KI i helsevesenet: - Kan få diskriminering av noen pasienter

Det sier Mathias Hauglid, som i november i fjor leverte sin doktorgradsavhandling om kunstig intelligens i helsetjenesten, bare noen uker før det ble vedtatt et felles europeisk regelverk for KI-systemer (AI Act).

- Hvordan har det vært å skrive doktorgradsavhandling om et tema hvor utviklingen skjer så fort?

- Det har vært litt vilt - og veldig gøy.

- Da jeg begynte i 2019 tenkte jeg at det var et veldig populært og aktuelt tema, men så jo at allmennheten virkelig fattet interesse etter at ChatGPT ble lansert høsten 2022. Så det var nok mer en nisje enn jeg trodde da jeg startet, men har blitt veldig stort underveis, sier Hauglid.

- Det er selvfølgelig en utfordring å sørge for at det man skriver er oppdatert og såpass prinsipielt at det har en viss varighet.

Diagnostisering og behandlingsvalg

Hauglid hadde i tre år etter studiene jobbet i Haavinds avdeling for teknologi, medier og immaterialrett da han så stipendiatsutlysningen ved Universitetet i Tromsø.

Doktorgradsprosjektet er en del av det tverrfakultære prosjektet «Data-Driven Health Technology» som er et samarbeid mellom Fakultet for naturvitenskap og teknologi, Det helsevitenskapelige fakultet og Det juridiske fakultet. Hauglid er den eneste juristen på prosjektet.

- Jeg har skrevet om noen måter å bruke kunstig intelligens på i helsetjenesten, for eksempel til diagnostisering, behandlingsvalg, gjøre preventive inngrep og mer persontilpasset behandling.

- Så jeg har valgt ut noen former for kliniske beslutninger, og skriver om kunstig intelligens som beslutningsstøtteverktøy.

Hauglid forteller at kunstig intelligens nå rulles ut i helsetjenesten i Norge i stadig større grad. Han trekker blant annet frem Bærum sykehus som et eksempel som har vært omtalt i media. Der tok de i 2023 i bruk et KI-verktøy som i løpet av sekunder vurderer røntgenbilder i tilfeller hvor det er mistanke om små bruddskader.

Diskriminering mulig utfordring

Eksempelet fra Bærum sykehus er bare starten på bruken av KI i helsesektoren, tror Hauglid. Det kan gjøre mye arbeid enklere og effektivisere arbeidshverdagen. Men det kan også by på mange utfordringer, også noen vi ennå ikke har oversikt over og kan forutse, noe han tar for seg i sin avhandling.

- Det er flere utfordringer knyttet til dette, og et problem har å gjøre med skjevheter i disse systemene. På engelsk kaller man det for «bias», noe man kan oversette med systematisk skjevhet, forklarer han.

Disse skjevhetene som kan oppstå i KI-systemene er et kjent problem, men det er en utfordring at det er ganske uspesifisert hva det går ut på og hvilke konsekvenser det kan få. Hauglid har jobbet med å forstå konseptet med skjevheter, årsaker til at de oppstår og hva det kan bety for pasienter i praksis.

Hauglid forklarer at det mest klassiske eksemplet er når man har visse befolkningsgrupper som er underrepresentert i datasettene som brukes til å utvikle kunstig intelligens. Det fører til at gruppene som er minoriteter i befolkningen også vil være minoriteter i datasettene.

- Kunstig intelligens fungerer slik at den oppstår gjennom en treningsprosess. En algoritme studerer pasienter som har en viss sykdom og kan bli god på å gjenkjenne den sykdommen hos pasienter som representerer en gruppe den har sett ofte, sier han.

- Da kan den bli veldig god på hvite nordmenn og gjerne ikke så tilpasset minoritetsgruppene i samfunnet. Det kan være at symptomer ser annerledes ut hos ulike grupper, og generelt at algoritmen er mindre nøyaktig.

- Konsekvensene uoversiktlige

Hauglid trekker frem et mulig scenario hvor man for eksempel ønsker å bruke kunstig intelligens til å forutsi noe om behov for bruk av tvang på en psykiatrisk institusjon.

- Det finnes forskning som viser at kunstig intelligens da vil kunne foreslå bruk av tvang oftere for etniske minoriteter.

- Det skyldes at det historisk har vært fordommer mot og dårlig kommunikasjon med minoritetsgruppene hos behandlerne, noe KI-systemer fanger opp når de trener.

Foreløpig er det andre ting helsevesenet vil bruke kunstig intelligens til i første rekke.

- Heldigvis. I den fasen vi er i nå brukes det mest til hjelp i beslutninger som ikke er de mest viktige for pasienten. Diagnostisering av små brudd, som ved Bærum sykehus, er i en sånn kategori.

- Er du bekymret for diskriminering på grunn av kunstig intelligens i helsevesenet i fremtiden?

- Jeg tenker at det finnes så mange ulike skjevheter som kan virke inn på kunstig intelligenssystemene at vi har ikke helt oversikt over det. Jeg tenker at det vil dukke opp skjevheter som vi ikke har forutsett, og konsekvensene av det er også uoversiktlige.

Mathias Hauglid påpeker at han gjennom doktorgradsarbeidet sitt har sett at det stadig påvises skjevheter i helsevesenet.

- Vi oppdager løpende skjevheter i hvordan pasienter blir behandlet og vurdert historisk, og samtidig utvikler vi kunstig intelligens som skal ta beslutninger basert på historiske data.

Han er ikke i tvil om at vi vil oppdage flere og flere skjevheter, og at noe av det ikke vil bli oppdaget før systemene er tatt i bruk.

- Da kan vi potensielt få diskriminering av noen pasienter.

Kjønn og etnisitet

Hauglid er opptatt av å løfte frem at det flere former for diskriminering som følger av kunstig intelligens. Han peker på at de i jussen som hovedregel er noen faktorer man ikke skal legge vekt på, som kjønn, etnisitet, seksuell legning og så videre.

- Ganske ny forskning innenfor kunstig intelligens tyder på at de mest avanserte KI-systemene kan kjenne igjen faktorer som kjønn og etnisitet i datasett der vi mennesker ikke aner at den informasjonen finnes.

- Og når det skjer så kan det også bety at de legger vekt på de faktorene. Hvis det skjer uten at vi er klar over det, så har jo vi beslutningssystemer som legger vekt på faktorer som diskrimineringsretten sier at man ikke kan legge vekt på. Og hvis vi ikke vet at det skjer, så vet vi heller ikke om det er en god grunn til å legge vekt på de faktorene.

- Hvordan kan kunstig intelligens kjenne igjen for eksempel kjønn i data hvor det ikke er et menneske som legger vekt på det?

- Det er et veldig godt spørsmål. Nå er vi inne på noe av det mest spøkelsesaktige med dette. Innenfor radiologi har for eksempel forskere vist at KI kan forutsi etnisitet basert på bilder der radiologer ikke kan se noen tegn til etnisitet.

Slike utfall byr på utfordrende vurderinger, mener Hauglid. Han peker blant annet på at kjønn ofte er en relevant og viktig faktor å legge vekt på i medisinske beslutninger.

Abstrakt prinsipp om ikke-diskriminering

Når det gjelder jussen peker Mathias Hauglid på at personvernreglene har noe å si for hvordan man kan behandle data om pasienter når man utvikler og bruker disse systemene, mens når det gjelder beskyttelse mot skjevheter som potensielt kan føre til diskriminering er det mer generelle ikke-diskrimineringsprinsippet som finnes i grunnloven og i menneskerettskonvensjonen som gjelder.

Hauglid har jobbet mye med å tolke dette prinsippet og forsøke å forstå hvilke skjevheter som kan føre til diskriminering i rettslig forstand.

- I dag har vi veldig lite preventive regler som sier hva slags vurderinger vi må gjøre før vi tar i bruk kunstig intelligens. Vi har bare dette litt abstrakte prinsippet om ikke-diskriminering.

Han påpeker at prinsippet gjelder på mange samfunnsområder som har rettspraksis knyttet til seg, men som handler om helt andre ting enn kunstig intelligens.

- Rettspraksis handler faktisk veldig sjeldent om helsetjenester i det hele tatt.

AI-Act

I desember i fjor ble det enighet om AI Act i EU. Det nye regelverket skal sikre at kunstig intelligens som brukes i Europa er trygg og respekterer grunnleggende rettigheter. Både utviklere og brukere får plikt til å gjøre ulike vurderinger før et KI-system tas i bruk eller plasseres på EU-markedet.

- Det står blant annet at man skal gjøre en del forhåndsvurderinger og dokumentere at man har gjort det før kunstig intelligens tas i bruk. Faren for diskriminering er ett av flere forhold som skal vurderes, sier Hauglid, og fortsetter:

- Men det er fortsatt ikke helt klart hvordan man skal forstå ikke-diskrimineringsprinsippet, og enda mindre klart hvordan man skal anvende det i en forhåndsvurdering før man tar i bruk et system. Der har du egentlig hovedproblemstillingen min.

Hauglid tror forhåndsvurderingskravene sannsynligvis vil være ganske krevende å oppfylle for mange av de virksomhetene som blir regulert av dem fordi det krever en inngående tverrfaglig forståelse.

- Du må ha forståelse for det tekniske, du må ha forståelse for diskrimineringsjussen, og du må ha en forståelse av disse skjevhetene og de mekanismene som fører til at de oppstår.

- Så jeg er veldig spent på hvordan forskjellige virksomheter skal få til å gjøre gode vurderinger for å hindre at diskriminering skjer.

- Kommer vi til å se veldig mye mer KI i bruk i helsevesenet i løpet av året som kommer eller om fem år?

- Ja, definitivt. Det er det ingen tvil om. I helsetjenesten så er det enorme investeringer i kunstig intelligens.

Hvem som får tilgang viktig spørsmål

Jusforsker Anne Kjersti Befring har ansvar for helserett og «life science» ved det juridiske fakultetet ved Universitetet i Oslo og har fordypet seg i det stadig mer omfattende feltet helserett siden 2014.

Diskriminering handler ikke bare om hvordan AI benyttes slik at teknologien kan forsterke ulikheter, påpeker hun.

- Innenfor helse blir et viktig spørsmål hvem som får tilgang til nye teknologier som kan føre til mer presise og effektive behandlingsforløp og AI implementeres i helsetjenesten, sier Befring.

Hun sier vi allerede har mange eksempler på at metoder er utviklet for noen sykdommer og ikke for andre, og i noen sykehus og ikke andre.

- Vi har på den ene side eksempler på at det konstrueres rettslige barrierer, blant annet når det gjelder hvordan data lagres og deles, og som i seg selv kan føre til ulik tilgang, og på den andre siden at risikoen med AI ikke vurderes i tilstrekkelig grad.

Befring mener det dessuten vil være en "kontinuerlig risiko for at "umoden" teknologi implementeres ut fra kostnadshensyn og på en måte som kan føre til høyere risiko i helsehjelpen."

- Nasjonalt må det nå arbeides med lovgivning for å tilpasse EUs AI forordning og andre reguleringer av betydning for hvordan AI kan utvikles og benyttes, blant annet forordning om medisinsk utstyr, pasientrettighetsdirektivet og trygdeforordningen, og forordninger som regulerer behandling av persondata.