Tester ut bruk av kunstig intelligens i personvernets gråsone

Datatilsynets sandkasse er et testmiljø for kunstig intelligens som tar i bruk personopplysninger. Her tilbys det veiledning til utvalgte virksomheter, der målet er innovasjon av etisk og ansvarlig kunstig intelligens fra et personvernperspektiv. Tanken er at virksomhetene skal få økt forståelse for de regulatoriske kravene som stilles, og myndighetene vil kunne få økt forståelse for nye teknologiske løsninger slik at risiko og problemstillinger lettere vil kunne identifiseres, skriver Datatilsynet.

«I sandkassen skal deltakerne leke og lære sammen med Datatilsynet med mål om å tegne et tydeligere kart over juridiske gråsoner», ifølge tilsynet.

Kari Laumann er prosjektleder for sandkassen, som nå er inne i sitt andre driftsår og andre runde med deltakende virksomheter som eksperimenterer med nye produkter og tjenester.

– Tverrfaglighet er utrolig viktig i disse prosjektene og juristenes rolle er veldig sentral, sier hun til Juristen.

Bakgrunnen for etableringen av sandkassen er den nasjonale strategiplanen om kunstig intelligens (KI), som ble lagt fram i januar 2020. Der er formålet er å få til innovativ bruk av KI, men på en ansvarlig måte som ivaretar rettssikkerheten. Ett av tiltakene i handlingsplanen var å etablere en regulatorisk sandkasse og Datatilsynet vi har fått midler av departementet til å bygge og drifte dette – foreløpig ut dette året.

– Formålet er å hjelpe norske virksomheter med å navigere etter et regelverk som til tider kan virke krevende og litt komplisert, sier Laumann.

Gråsoner

– Når vi skulle bygge opp sandkassen, snakket vi med mange både i offentlig- og privat sektor og innen forskning. Tilbakemeldingen var at vi har et regelverk og en del generell veiledning, men det er ganske mye usikkerhet om hvordan en del av kravene i regelverket skal gjennomføres i praksis i kunstig intelligens-løsninger.

Det kan for eksempel gjelde spørsmål knyttet til krav om åpenhet og krav til rettferdighet – hvordan ser en rettferdig algoritme ut i praksis? Eller kravet om dataminimering, altså at du skal bruke minst mulig data – og en rekke andre problemstillinger.

– Arbeidet i sandkassen kan bidra med konkrete eksempler på hvordan vi sammen med en ekstern deltaker viser hvilke vurderinger vi gjør og hvilke konkrete konklusjoner og løsninger vi kommer fram til. På den måten håper vi å belyse en del gråsoneproblematikk eller ting som oppleves som utfordrende i regelverket.

Laumann forteller om stor interesse fra både privat og offentlig sektor. Det har vært to runder med opptaksprosess, med 25 søkere i første runde og 21 i andre runde.

– Det var kjempeinteressante prosjekter, om alt fra matdistrubisjon til helse, finans og utdanning. Vi kan slå fast at kunstig intelligens er på full vei inn i alle sektorer og bransjer.

Og mye av det krever bruk av personopplysninger.

– Dermed blir personvernet svært viktig. Både at det skjer på en lovlig måte og at det bygges løsninger som skaper tillit hos brukeren slik at folk faktisk ønsker å ta i bruk løsningene.

Etiske vurderinger

– Dere kan gå inn i gråsoner – hvordan vurderes etikken i prosjektene?

– Vi erfarer, helt konkret i de casene vi jobber med i sandkassen, at de etiske problemstillingene er veldig tett sammenvevd med de juridiske kravene og vurderingene som gjøres.

Som i prosjektet Secure Practice, som handler om å profilere ansatte for å gi tilpasset og målrettet opplæring om informasjonssikkerhet.

– Der hadde vi blant annet fokusgrupper med ansatte og ansatterepresentanter for å utforske når ting blir ubehagelig og krysser en akseptabel grense. Spørsmålet er når en slik profilering oppleves som inngripende, når man ser det i kontekst av det maktforholdet som er mellom arbeidsgiver, som eventuelt har kjøpt inn et slikt system, og arbeidstaker.

Da kommer man blant annet inn på transparens og åpenhet.

– Vet man hvordan opplysningene brukes og hvordan det er med rettigheter og kontroll over egne opplysninger? Der kommer det juridiske inn, men også etiske og praktiske problemstillinger. Vi har sett at det ofte ikke finnes en fasit for en del av disse spørsmålene. Det må vurderes fra case til case. 

– Kunstig intelligens gir enorme muligheter. Vil vårt syn på personvern endres etterhvert?

– Personvern er et konsept som er i konstant endring. En tendens jeg synes å se nå, er at personvernet blir viktigere og mer konkret for folk. De opplever kanskje ting på sin egen arbeidsplass eller i sosiale medier, eller de ser saker i media der det blir veldig tydelig hvordan digitaliseringen av hele samfunnet påvirker bruken av personopplysninger, sier Laumann og viser til eksempler som der informasjonssikkerhetsbrudd gjør at man ikke får tilgang til helseopplysninger, datalekksjer eller at man blir profilert i sosiale medier.

– Når vi ser at kunstig intelligens rulles ut mer nå og i årene som kommer, både i privat og offentlig sektor, kommer disse problem­stillingene til å bli veldig reelle. Ikke bare for brukere, men også de som står bak og er ansvarlig. De må forholde seg til mange problem­stillinger og ta mange avgjørelser.

Skal systemet tas i bruk? Hvordan skal det tas i bruk? Hvordan skal man informere? Hvordan sjekker man at det ikke diskriminerer?

– En rekke slike problemstillinger er veldig reelle. Dette er ikke en teoretisk øvelse, men en praktisk øvelse for veldig mange.

Nedkjølingseffekt

Kommunikasjonsrådgiver Arild Opheim i Datatilsynet jobber tett med sandkasseprosjektet.

Han forteller at en personvernundersøkelse Datatilsynet gjennomførte for et par år siden viste en «digital nedkjølingseffekt».

– Det var tydelige spor av at forbrukerne stoler mindre på de store digitale aktørene. Så akkurat dette med tillit til systemene er noe som har gått igjen i noen av prosjektene vi har hatt.

Det kan dreie seg om åpenhet rundt hva slags opplysninger som blir brukt og hva som er formålet med det.

– Det finnes krav til hva du skal informere om, men det er også viktig hvordan man informerer. Det er ikke nødvendigvis nok å bare pøse ut den informasjonen du er lovpålagt å legge ut. Det handler også om å bygge tillit hos brukerne ved å kommunisere på en måte brukeren kan forstå. Det er allerede nå tydelige spor av at også utviklerne innser at det er viktig å bygge slik tillit, men det kommer til å komme enda mer. Det med andre ord ikke bare snakk om å følge loven, sier han.

Kari Laumann erfarer at tverrfaglighet blir svært viktig.

– Teknologer, jurister, samfunnsvitere må engasjere seg. Det er veldig mange elementer i dette som må jobbe sammen. Man kan ikke sitte med de juridiske vurderingene helt uavhengig av hvordan man bygger opp systemet og hvordan man informerer om det. Alle må med for å klare å bygge inn personvernet helt fra start. Juristene har en sentral rolle, sammen med mange andre, sier hun.

– Opplever dere interesse fra juristmiljøer?

– Vi opplever at både jurister internt hos oss og også eksternt er veldig interessert og engasjert i temaet. I sandkassen utforsker vi jo gråsoneproblematikk og det kan være litt komplisert på noen områder. Det oppfatter jeg at jurister synes er veldig spennende. Men det er også ganske utfordrende, fordi man må forstå både teknikken og business-siden i et prosjekt.

– Det er en ny måte å jobbe på for oss i Datatilsynet. Vi driver vanligvis med saksbehandling og veiledning og går på tilsyn. Dette er også veiledning, men det går mer i dybden og vi prøver å finne løsninger sammen med eksterne aktører.

– Så juristene er ikke bare en brems?

– Nei, her skal vi finne felles løsninger. Noen ganger skal vi absolutt bremse litt, men der det er mulig skal man gasse litt på for å utforske hva man faktisk kan få til. Det er kjempebra hvis vi får til noe i sandkassen som deltakere kanskje ikke trodde var mulig, ved å gjøre gode vurderinger og ta de rette grepene. 

Effektiv forvaltning

– Må lovverk endres?

– Ja, i NAV-prosjektet var det ett av funnene, sier Laumann og sikter til det første   sandkasseprosjektet som er ferdig. Rapporten om prosjektet, der NAV ser på bruk av KI-verktøy for oppfølgingen av sykmeldte, ble levert i januar.

– Regelverket NAV bruker for å hjemle bruk av personopplysninger til å utvikle kunstig intelligens er ikke tydelig nok. Trygdelovverket er skrevet mange år før kunstig intelligens kom på banen og spesifiserer ikke om man kan bruke opplysninger, om for eksempel de som var sykmeldt i fjor eller for tre år siden, for å trene opp en algoritme. Her har vi sammen med NAV sagt at det er det behov for mer tydelighet.

– Bruk av kunstig intelligens til å effektivisere forvaltningen er vel et stort tema med mange vanskelige vurderinger?

– Ja, og dette gjelder ikke bare innenfor trygd, men også andre områder der man ønsker å bruke kunstig intelligens; ikke bare til å effektivisere, men også for å lage bedre og mer målrettede tjenester. Det er jo noe alle har lyst på, men jeg går også ut fra at alle ønsker et godt personvern i slike løsninger. Det er noe som må gå hånd i hånd.

Overvåking

– Hva er potensielt skummelt med å bruke kunstig intelligens?

– En potensiell trussel er diskriminering og skjevbehandling. Hvis du får store systemer som systematisk diskriminerer eller skjevbehandler mennesker vil jo det gå imot de verdiene vi har i vårt samfunn og den retningen vi ønsker å gå. Internasjonalt finnes det stygge eksempler på det. Systemene er basert på historiske data og da kan skjevheter reproduseres.

Dessuten gir det store muligheter for overvåking, gjennom å profilere, overvåke og styre.

– Det kan absolutt gå for langt dersom man ikke tar aktive grep.

Det viser blant annet en dom fra Italia i fjor, der tema var overvåking av ansatte ved hjelp av algoritmer. Alt de ansatte i et matleveringsfirma gjorde ble kartlagt: Hvor lang tid de brukte, hvor de befant seg, når de åpnet appen, hvilken rating de fikk osv. Selskapet ble dømt for ikke å ha transparens.

– De ansatte visste ikke hvorfor de plutselig ikke fikk flere oppdrag. Det var skjult overvåking og kontroll, noe som gjør det vanskelig for brukerne å oppdage at man er urettferdig behandlet. Man vet ikke at det skjer, hvorfor eller hvordan. Overvåking, og ikke minst skjult overvåking, er en risiko ved økt digitalisering, automatisering og profilering.

Sandkasseprosjektet i Datatilsynet går foreløpig ut 2022, men det er søkt om at det skal etableres som en permanent løsning.

– Vi har fått stor oppmerksomhet både nasjonalt og internasjonalt om sandkassen.

Metoden er fremtidsrettet. Hovedmålet er å hjelpe virksomheter gjennom å vise frem eksempler på vurderinger og løsninger vi har kommet frem til i sandkassen. I tillegg hjelper vi oss selv ved at vi bygger kompetanse på kunstig intelligens og personvern som hjelper oss til å bli bedre i det øvrige arbeidet vi gjør.

Vil profilere ansatte for å vurdere risiko

Selskapet «Secure Practice» ønsker å utvikle en tjeneste som profilerer ansatte med tanke på hvilken cybersikkerhetsrisiko de utgjør for virksomhetene.

Formålet er å kunne følge opp med tilpasset sikkerhetsopplæring basert på hvilke profilkategorier de ansatte havner i. Prosjektet ble tatt opp i Datatilsynets sandkasse i fjor og sluttrapport er nå levert.

Profilering på arbeidsplassen kan være spesielt utfordrende, men kan det finnes en metode som utnytter fordelene ved profilering, samtidig som risikoen for ulempene blir redusert eller fjernet helt? Det var utgangspunktet for prosjektet, som tar for seg  en ny tjeneste Secure Practice ønsker å tilby markedet for informasjonssikkerhet. 

Tjenesten skal bruke kunstig intelligens til å gi individuell og persontilpasset sikkerhetsopplæring til ansatte i kundenes virksomheter. 

I sluttrapporten konkluderes det med at det er mulig å ta i bruk og videreutvikle tjenesten innenfor både generelle personvernregler i EU, og spesialregler for personvern i arbeidslivet i Norge. En vurdering viser at tjenesten har lav risiko for diskriminering ifølge rapporten.