Automatiserede beslutningssystemer – ofte betegnes systemerne som Kunstig Intelligens (KI) – er kommet for at blive, både i den private sektor og i den offentlige sektor, hvor indførelsen af disse systemer sker takket være vekslende regeringers indsats for at digitalisere lovgivningen. Kernen i disse systemer er algoritmer, dvs. softwareopskrifter på hvorledes data skal behandles af systemerne.
Disse beslutningssystemer vil snart gennemtrænge hele den offentlige sektor i form af systemer, der antages at kunne forudsige sociale begivenheder, kriminalitet, færdselsuheld, systemer der kan afsige domme, styre trafik- og energistrømme, holde øje med kritisk infrastruktur. Ja, det er faktisk kun fantasien, der sætter grænser.
Men indførelsen af automatiserede beslutningssystemer sker uden, at vi har mekanismer på plads, der kan overvåge dem, sikre at et ansvar kan placeres for systemerne og deres afgørelser og funktion og vurdere deres kort- og langsigtede virkninger. Mange af disse systemer er ’sorte kasser’, hvis indhold og funktionalitet unddrager sig indsigt.
Men uden viden, kan der ikke føres en oplyst debat om en politik på området. Dette vil, som tiden går, betyde, at den offentlige sektor og de borgere, den tjener, mister kontrollen med, hvorledes beslutninger træffes og dermed være ude af stand til at erkende og rette op på fejl, skævheder og andre problemer. Anvendelsen af automatiserede beslutningssystemer må ikke føre til tab af rettigheder, uretfærdig sagsbehandling eller indskrænkning af borgernes retssikkerhed.
På denne baggrund og med de positive erfaringer, der allerede foreligger, når det drejer sig om obligatoriske og lovfæstede vurderinger af virkninger på andre områder som f.eks. miljøet (VVM-vurderinger) eller arbejdspladsvurderinger (APV), bør der indføres lignede mekanismer for vurdering af algoritmers indvirkning. Man kan således bygge på allerede indvundne erfaringer og desuden inddrage den europæiske databeskyttelsesforordning (GDPR) foruden den forskning, der finder sted på området.
Udover at forøge vores viden om automatiserede beslutningssystemer, vil indførelse af en sådan obligatorisk vurderingsmekanisme hjælpe os med at afgøre, hvorvidt et system bør indføres eller ej. Besluttes det at indføre et system, bør vurderingerne foretages løbende, så længe systemet er i brug, for at sikre, at det ikke udvikler sig utilsigtet og til skade for borgerne.
AI Now-instituttet på New York University har arbejdet med disse problemer og fremlagt et forslag til en vurderingsmekanisme, der hviler på disse principper (min oversættelse):
”1. Offentlige myndigheder skal gennemføre en vurdering af eksisterende og foreslåede systemer til automatisk beslutningstagning og vurdere disses mulige indvirkninger på rimelighed, retfærdighed, ensidighed eller vurdere andre betænkeligheder, der angår de berørte borgergrupper.
- For at kunne opdage, måle og følge virkningerne over tid, skal offentlige myndigheder med deltagelse af eksterne eksperter udvikle meningsfulde inspektionsprocesser.
- Offentlige myndigheder skal offentliggøre deres definitioner af, hvad de forstår ved ”automatiske beslutningssystemer”, og de skal offentliggøre oplysninger om eksisterende og foreslåede systemer og alle egne vurderinger og forskningsbaserede revisionsprocesser, før det pågældende system anskaffes.
- Myndighederne skal indhente offentlighedens kommentarer for at kortlægge bekymringer og besvare spørgsmål.
- Staten skal indføre procedurer, der sikrer, at berørte individer og grupper kan gøre indsigelse mod fejlagtige eller utilstrækkelige vurderinger eller unfair, skævvreden eller på anden måde skadelig brug af systemer, som offentlige institutioner har undladt at forbedre eller rette op på.”
En obligatorisk og lovfæstet vurdering af algoritmers indvirkning, har som minimum følgende mål (min oversættelse):
”1. At respektere borgernes ret til vide, hvilke systemer, der har indvirkning på deres liv og hvorledes denne påvirkning sker ved offentliggørelse af fortegnelser over og beskrivelser af algoritmiske systemer, der anvendes til at træffe vigtige afgørelser, der påvirker individuelle borgere eller grupper af borgere.
- At sikre større mulighed for at der kan placeres et ansvar i forbindelse med anvendelsen af algoritmiske systemer ved at give eksterne eksperter meningsfuld og vedvarende mulighed for at undersøge, kontrollere og vurdere disse systemer med metoder, der gør det muligt at identificere og opdage problemer.
- At øge offentlige myndigheders interne ekspertise og deres kapacitet til at kunne vurdere de systemer, de opbygger eller anskaffer, så myndighederne kan forudse problemer, der måtte vække bekymring, som f.eks. utilsigtede eller forkerte virkninger eller overtrædelse af demokratiske rettigheder.
- At sikre offentligheden meningsfuld mulighed for at forholde sig til og om nødvendigt sætte spørgsmålstegn ved brugen af et givet system eller ved en myndigheds måde at forholde sig til sit ansvar, når det gælder brugen af algoritmiske systemer. ”
Man bør til disse mål også føje muligheden for helt at stoppe indførelsen af et automatiseret beslutningssystem. Og naturligvis skal en vurderingsmekanisme for algoritmiske systemer indrettes, så den passer til danske og europæiske forhold.
At få indført en obligatorisk og lovfæstet vurdering af algoritmers indvirkning er en opgave, der haster. De automatiserede beslutningssystemer og ’sorte kasser’ breder sig med lynets hast og uden uafhængig, demokratisk kontrol.
Byen New York har indset dette og har allerede taget de første skridt til at forsøge at bringe automatiske beslutningssystemer under en vis form for kontrol, idet byrådet har vedtaget en lokal bestemmelse, der netop sigter på dette og giver borgmesteren bemyndigelse til at nedsætte en arbejdsgruppe vedrørende automatiske beslutningssystemer.
At arbejde for. at den slags vurderinger også indføres i Danmark, er en opgave som er yderst vigtig for landet som demokratisk samfund, men kan kun gennemføres, hvis et bredt udsnit af befolkningen står bag sammen med professionelle organisationer, fagforeninger, interesseorganisationer og andre af civilsamfundets mange organisationer.
Dette forslag fremsættes efter inspiration fra materialer udgivet af AINow, først og fremmest “Algorithmic Impact Assessments: A Practical Framework for Public Agency Accountability” (Dillon Reisman, Jason Schultz, Kate Crawford, Meredith Whittaker, AINow, april 2018).
(NIELS FRØLICH, medlem af TeknoEtiks bestyrelse, froelich@teknoetik.org)