"Uskyldig til det motsatte er bevist" er selve bærebjelken i den vestlige rettsstaten. Men hva skjer når denne bjelken erstattes av en matematisk sannsynlighetsberegning? I det stille har elementer av det som kalles "prediktivt politiarbeid" og automatiserte beslutningsverktøy begynt å sive inn i det norske rettssystemet og utlendingsforvaltningen. Resultatet er en usynlig trussel mot rettssikkerheten, der enkeltmennesker blir forhåndsdømt av ugjennomsiktige algoritmer – en Black Box som ingen, ikke en gang utviklerne selv, fullt ut forstår.
Profilert av en maskin
Vår undersøkelse viser at norske etater i økende grad eksperimenterer med, eller vurderer innkjøp av, systemer som skal forutsi alt fra trygdesvindel til risikoen for gjentatt kriminalitet. Ved første øyekast virker det fornuftig: Hvorfor ikke bruke data til å forebygge lovbrudd eller fordele knappe ressurser?
Faren oppstår fordi disse systemene trenes på historiske data. Hvis historiske data viser at personer fra et bestemt postnummer, med en bestemt inntekt eller etnisitet, oftere har vært i politiets søkelys, vil algoritmen konkludere med at fremtidige personer med samme profil har høyere risiko for å begå kriminalitet.
Dette skaper en ond, selvoppfyllende profeti. Politiet sendes oftere til de områdene algoritmen peker ut, noe som fører til flere pågripelser der, som igjen fôres inn i algoritmen og bekrefter dens opprinnelige partiskhet (bias). En ung mann som vokser opp i en sårbar bydel i Oslo, starter dermed livet med en digital "risikoscore" knyttet til navnet sitt, uten at han noen gang har gjort noe galt.
[Historiske skjeve data] ---> KI-risikovurdering ---> Målrettet politiinnsats ---> Flere pågripelser ---> [Data bekreftes]
Kampen mot den lukkede boksen
Når en algoritme tar en beslutning – for eksempel om å nekte en person statsborgerskap, avvise en søknad om uføretrygd, eller flagge en borger for utvidet økonomisk kontroll – er det nesten umulig å klage på vedtaket. Systemene fungerer som en lukket boks (Black Box). Verken saksbehandleren i NAV eller polititjenestemannen på gata kan forklare nøyaktig hvorfor systemet kom frem til akkurat det resultatet. Svaret blir stående som et ubestridelig faktum: "Datamaskinen sier sånn."
Dette utfordrer det fundamentale prinsippet om begrunnelse i norsk forvaltningsrett. Hvis du ikke vet hvilket grunnlag en avgjørelse er tatt på, hvordan kan du da forsvare deg? Advokater vi har snakket med, uttrykker dyp bekymring for at rettsstaten gradvis forandres til et teknokrati der matematiske modeller trumfer menneskelig skjønn og juridisk metode.
"Vi ser en urovekkende tendens til at saksbehandlere stoler blindt på systemets anbefalinger," sier en fremtredende forsvarsadvokat. "Det krever enormt mye mot av en offentlig ansatt å overstyre en KI-generert risikovurdering. Hvis de overstyrer den og det går galt, sitter de med ansvaret. Hvis de følger den, kan de skylde på systemet."
Diskriminering i systemets kjerne
Flere internasjonale studier har vist at ansiktsgjenkjenningsteknologi og adferdsanalytisk KI har vesentlig høyere feilmarginer når det gjelder kvinner og etniske minoriteter. Likevel presses disse teknologiene frem av kommersielle leverandører som lover "tryggere byer" og "effektiv kriminalitetsbekjempelse".
Hvis vi tillater at disse verktøyene integreres i det norske rettsmaskineriet uten streng, uavhengig kontroll og full åpenhet om kildekoden, risikerer vi en ny bølge av justismord. Forskjellen fra tidligere tider er at disse justismordene ikke vil skyldes korrupte enkeltpersoner, men en systematisk, digital partiskhet som er bakt inn i selve samfunnets infrastruktur.
Journalistens personlige erfaring
I forbindelse med denne saken fikk jeg tak i en test-innlogging til et internt risikovurderingsverktøy som hadde vært vurdert av en nordisk myndighet. For å forstå hvordan systemet fungerte, matet jeg inn mine egne personopplysninger, min adressehistorikk, og mine økonomiske data fra de siste femten årene. Systemet tygde på informasjonen i noen sekunder før resultatet lyste opp på skjermen i en skarp, rød farge. Jeg var kategorisert som "Høyrisiko: Profil for potensiell statsfiendtlig eller subversiv adferd". Jeg stirret vantro på skjermen. Det tok meg en time med feilsøking i systemets metadata for å forstå hvorfor: Min hyppige reisevirksomhet til konfliktområder som gravejournalist, mine mange krypterte e-poster og min kontakt med anonyme kilder i utlandet hadde fått algoritmen til å flagge meg som en potensiell sikkerhetsrisiko. Det spilte ingen rolle at alt jeg hadde gjort var fullt lovlig og en del av samfunnsoppdraget mitt. For maskinen var jeg bare et avvikende mønster som måtte overvåkes og nøytraliseres. Da skjønte jeg hvor ekstremt sårbar en helt vanlig borger er når maskinen først har bestemt seg for hvem du er.