Automatiserede beslutningssystemer – ofte fejlagtigt betegnet som Kunstig Intelligens (KI) – er kommet for at blive, både i den private og i den offentlige sektor. Kernen i disse systemer er algoritmer, dvs. softwareopskrifter på hvorledes data skal behandles af systemerne for at opnå et bestemt resultat. Indførelsen sker i Danmark takket være vekslende regeringers iver efter at digitalisere lovgivningen, men der er tale om en global tendens.
Automatiserede beslutningssystemer vil snart gennemtrænge hele den offentlige sektor i form af systemer, der antages at kunne forudsige sociale begivenheder, kriminalitet, færdselsuheld, systemer der kan afsige domme, styre trafik- og energistrømme og i det hele taget holde øje med kritisk infrastruktur. Ja, det er faktisk kun fantasien, der sætter grænser.
Som FNs særlige rapportør, Philip Alston, dokumenterer i en nylig rapport, breder den digitaliserede velfærdsstat sig med lynets hast over alt, især i de mest udviklede lande. Den sælges til borgerne som mere retfærdig (’objektiv’) og bedre i stand til at opdage snyd end den menneskelige sagsbehandling. Men undersøger man systemernes praksis nærmere, viser det sig, at de meget ofte rummer en stor skævhed. De bliver nemlig i virkeligheden rettet mod de samfundsgrupper, velfærdsstaten skulle beskytte og hjælpe. Med Alstons ord er
”forbavsende lidt opmærksomhed indtil nu blevet rettet mod den måde, nye teknologier ville kunne [anvendes til at] omdanne velfærdsstaten til det bedre. I stedet for at være besat af snyd, besparelser, sanktioner og markedsdrevne definitioner på effektivitet, burde udgangspunktet være, hvorledes eksisterende eller ovenikøbet udvidede velfærdsbudgetter ved teknologiens hjælp kan ændres til at sikre en højere levestandard for de sårbare og underprivilegerede, at skabe nye måder at tage sig af dem, der er udenfor, og mere effektive teknikker til at imødekomme de behov, de der kæmper for at komme ind på arbejdsmarkedet, har.” [1]
Lad os derfor skynde os at slå fast, at indførelsen af den digitale velfærdsstat er et politisk valg og ikke noget uundgåeligt eller et barn af en ustoppelig naturlov, ’fremskridtet’, der står udenfor historien og de samfundsmæssige interessekonflikter. En af de største farer udgøres i dag netop af troen på, at teknologien repræsenterer noget forudbestemt og objektivt rationelt, en tro der i sig bærer kimen til at sætte demokratiet og menneskerettighederne ud af kraft. Denne tro underbygges og bestyrkes af de sidste mange års sætten markedet i højsædet.
Velfærdsstatens indretning er uundgåeligt et resultat af visse præferencer, værdier og forestillinger, hvad det omvendt betyder. at andre præferencer, værdier og forestilling er valgt fra – altså politiske valg, der afspejler livserfaringer og værdier hos de, der former staten. Dette forhold overføres derfor også til de systemer, der er rygraden i velfærdsstatens digitaliserede version.
’Kunstig Intelligens’ (på engelsk ’Artificial Intelligence’, AI) er et af tidens helt store emner, men der hersker stor uenighed om, hvad AI egentlig er, så lad os her slå fast, at AI ikke lige nu er emnet for de kontrolforanstaltninger, der presser sig på for at hindre, at demokratiet undermineres. Det, der aktuelt rejser de alvorligste spørgsmål, er anvendelsen i den offentlige forvaltning af algoritmer, der antages at kunne se ind fremtiden (’predictive analysis’) på baggrund af de store mængder data, som den offentlige sektor konstant indsamler om borgerne. Data, der ganske vist ligger i mange forskellige registre, som man tidligere ikke uden videre kunne samkøre, men som nu tit med en diskret bestemmelse i lovene og digitaliseringen af lovgivningen efter en ministers bestemmelse – dvs. uden anden demokratisk kontrol – alligevel kan sammenføres. Også selvom de er indsamlet med vidt forskellige formål og med vidt forskellige kriterier for efterprøvning af deres sandhedsværdi.
Diskussion af de automatiserede systemer starter og ender meget ofte med at handle om teknologien og ikke hele den beslutningsproces, maskinerne og programmerne indgår i. Men som den tyske organisation AlgorithmWatch skriver i sin rapport Automating Society – Taking Stock of Automated Decision-Making in the EU, risikerer man dermed at overse afgørende aspekter: Selve beslutningen om at anvende et system til et konkret formål, den måde systemet blev udviklet på, hvordan det blev anskaffet, og endelig hvordan det blev anvendt og sat i drift. Hvordan opstod ideen om at anskaffe et automatiske beslutningssystem? Var det fordi det problem, der skulle løses, ikke kunne løses på andre måder? Eller havde nedskæringer ført til, at der ikke længere var ressourcer til menneskelige sagsbehandlere, så automatiseringen var en besparelsesforanstaltning?[2]
AlgorithmWatch gør også opmærksom på, at det ikke er nok at kigge på de nyligt indførte GDPR-regler (General Data Protection Rules), hvis man leder efter ideer til kontrolmekanismer. F.eks. er det tvivlsomt, om GDPR vil kunne yde beskyttelse, når det gælder ’predictive policing’.
Borger og sagsbehandler i den digitaliserede velfærdsstat
Endvidere rejser indførelsen af automatiske beslutningssystemer spørgsmålet om, hvorledes forholdet mellem borger og stat og embedsmandens rolle ændrer sig med indførelsen af disse systemer. Hvor sagsbehandleren førhen opererede som menneske overfor menneske, reducerer de automatiske systemer sagsbehandleren til enten at læse op fra en skærm eller fjerner hende eller ham helt fra borgeren (som gyser kan man nævne Københavns Kommunes Borgerservice).
Selvom forholdet mellem borger og stat i sagsbehandlingssituationen altid har været asymmetrisk – borgeren står alene overfor sagsbehandleren, der har hele statens belønnings- og straffesystem bag sig i, sidste instans manifesteret ved voldsmonopolet – var der i den personlige sagsbehandling tale om menneskelig interaktion og borgeren havde i hvert fald i teorien en mulighed for at forklare sig overfor sagsbehandleren. Nu er borgeren endnu mere alene fordi, han eller hun ikke engang kan tale med et menneske. Udover denne umenneskeliggørelse medfører den automatiserede sagsbehandling, at borgerens problem skal passe ind i foruddefinerede kategorier, der dermed risikerer ikke at passe på den enkelte borgers situation og som ikke kan opfange det menneskelivs mange dimensioner og facetter.
Forvaltningens udøvelse af skøn reduceres til at gentage det, som maskinerne har fundet ud af.
De sagsbehandlere, der har overlevet omstruktureringen og digitaliseringen, befinder sig nu til gengæld langt fra gadeplanet på systemniveau. Det er på dette niveau, de beslutninger i form af love, der er truffet på det politiske niveau, omsættes til programkode i digitaliseringsprocessen. Derfor bliver system- og softwaredesignere en nøglefaktor, selvom de ikke er sagsbehandlere – der er nemlig en høj risiko for at deres præferencer og værdier usynligt og bag om ryggen nedfældes og bages ind i systemerne. Og det uden at de er underkastet den demokratiske kontrol, der ligger i at være offentligt ansat sagsbehandler.
En obligatorisk og lovfæstet kontrolmekanisme
Indførelsen af automatiserede beslutningssystemer sker uden, at vi har mekanismer på plads, der kan overvåge dem, sikre at et ansvar kan placeres for systemerne og deres afgørelser og funktion og vurdere deres kort- og langsigtede virkninger. Mange af disse systemer er ’sorte kasser’, hvis indhold og funktionalitet unddrager sig indsigt. Men uden viden kan der ikke føres en oplyst debat om en politik på området. Dette vil, som tiden går, betyde, at den offentlige sektor og de borgere, den tjener, mister kontrollen med, hvorledes beslutninger træffes og dermed være ude af stand til at erkende og rette op på fejl, skævheder, fejl og andre problemer. Anvendelsen af automatiserede beslutningssystemer må ikke føre til tab af rettigheder, uretfærdig sagsbehandling eller indskrænkning af borgernes retssikkerhed. Derfor skal systemerne bringes under kontrol ved hjælp af en kombination teknologiske foranstaltninger, lovfæstede reguleringsmekanismer og demokratisk opsyn.
På denne baggrund og med de positive erfaringer, der allerede foreligger, når det drejer sig om obligatoriske og lovfæstede vurderinger af virkninger på andre områder som f.eks. miljøet (VVM-vurderinger) eller arbejdspladsvurderinger (APV), bør der i den offentlige sektor indføres lignede mekanismer for vurdering af automatiserede beslutningssystemers og algoritmers indvirkning. Man kan således bygge på allerede indvundne erfaringer og desuden inddrage den europæiske databeskyttelsesforordning (GDPR) foruden den forskning, der finder sted på området.
Udover at forøge vores viden om automatiserede beslutningssystemer, vil indførelse af en sådan obligatorisk vurderingsmekanisme hjælpe os med at afgøre, hvorvidt et system bør indføres eller ej. Besluttes det at indføre et system, bør vurderingerne foretages løbende, så længe systemet er i brug, for at sikre, at det ikke udvikler sig utilsigtet og til skade for borgerne.
AI Now-instituttet på New York University har arbejdet med disse problemer og fremlagt et forslag til en vurderingsmekanisme, der hviler på følgende principper (min oversættelse):
”1. Offentlige myndigheder skal gennemføre en vurdering af eksisterende og foreslåede systemer til automatisk beslutningstagning og vurdere disses mulige indvirkninger på rimelighed, retfærdighed, ensidighed eller vurdere andre betænkeligheder, der angår de berørte borgergrupper.
2. For at kunne opdage, måle og følge virkningerne over tid, skal offentlige myndigheder med deltagelse af eksterne eksperter udvikle meningsfulde inspektionsprocesser.
3. Offentlige myndigheder skal offentliggøre deres definitioner af, hvad de forstår ved ”automatiske beslutningssystemer”, og de skal offentliggøre oplysninger om eksisterende og foreslåede systemer og alle egne vurderinger og forskningsbaserede revisionsprocesser, før det pågældende system anskaffes.
4. Myndighederne skal indhente offentlighedens kommentarer for at kortlægge bekymringer og besvare spørgsmål.
5. Staten skal indføre procedurer, der sikrer, at berørte individer og grupper kan gøre indsigelse mod fejlagtige eller utilstrækkelige vurderinger eller unfair, skævvreden eller på anden måde skadelig brug af systemer, som offentlige institutioner har undladt at forbedre eller rette op på.”
En obligatorisk og lovfæstet vurdering af algoritmers indvirkning, har som minimum følgende mål (min oversættelse):
”1. At respektere borgernes ret til vide, hvilke systemer, der har indvirkning på deres liv, og hvorledes denne påvirkning finder sted, ved offentliggørelse af fortegnelser over og beskrivelser af algoritmiske systemer, der anvendes til at træffe vigtige afgørelser, der påvirker individuelle borgere eller grupper af borgere.
2. At sikre større mulighed for at der kan placeres et ansvar i forbindelse med anvendelsen af algoritmiske systemer ved at give eksterne eksperter meningsfuld og vedvarende mulighed for at undersøge, kontrollere og vurdere disse systemer med metoder, der gør det muligt at identificere og opdage problemer.
3. At øge offentlige myndigheders interne ekspertise og deres kapacitet til at kunne vurdere de systemer, de opbygger eller anskaffer, så myndighederne kan forudse problemer, der måtte vække bekymring, som f.eks. utilsigtede eller forkerte virkninger eller overtrædelse af demokratiske rettigheder.
4. At sikre offentligheden meningsfuld mulighed for at forholde sig til og om nødvendigt sætte spørgsmålstegn ved brugen af et givet system eller ved en myndigheds måde at forholde sig til sit ansvar, når det gælder brugen af algoritmiske systemer.”
Man bør til disse mål også føje muligheden for helt at stoppe indførelsen af et automatiseret beslutningssystem. Og naturligvis skal en vurderingsmekanisme for algoritmiske systemer indrettes, så den passer til danske og europæiske forhold.
Andre lande er i gang – hvor er Danmark henne?
At få indført en obligatorisk og lovfæstet vurdering af algoritmers indvirkning er en opgave, der haster. De automatiserede beslutningssystemer og ’sorte kasser’ breder sig med lynets hast og uden uafhængig, demokratisk kontrol.
Byen New York har indset dette og har allerede taget de første skridt til at forsøge at bringe automatiske beslutningssystemer under en vis form for kontrol, idet byrådet har vedtaget en lokal bestemmelse, der netop sigter på dette og giver borgmesteren bemyndigelse til at nedsætte en arbejdsgruppe vedrørende automatiske beslutningssystemer[3].
Også den canadiske forbundsregering er ved at indføre en kontrol med de automatiserede beslutningssystemer, der hviler på en politisk beslutning[4]. Det kan nævnes, at den engelske regering og Europa-parlamentet er inde på samme tanker. Slutteligt har de IT-kommitterede i de tyske forbundslande på et møde i Ulm i slutningen af 2018 også opfordret til indførelse af en kontrolmekanisme[5].
At arbejde for at den slags vurderinger også indføres i Danmark, er en opgave som er yderst vigtig for landet som demokratisk samfund, men kan kun gennemføres, hvis et bredt udsnit af befolkningen står bag sammen med professionelle organisationer, fagforeninger, interesseorganisationer og andre af civilsamfundets mange organisationer.
Denne artikel er inspireret af materialer udgivet af AINow, først og fremmest “Algorithmic Impact Assessments: A Practical Framework for Public Agency Accountability” (Dillon Reisman, Jason Schultz, Kate Crawford, Meredith Whittaker, AINow, april 2018).
[1] “to date astonishingly little attention has been paid to the ways in which new technologies might transform the welfare state for the better. Instead of obsessing about fraud, cost savings, sanctions, and market-driven definitions of efficiency, the starting point should be on how existing or even expanded welfare budgets could be transformed through technology to ensure a higher standard of living for the vulnerable and disadvantaged, to devise new ways of caring for those who have been left behind, and more effective techniques for addressing the needs of those who are struggling to enter or re-enter the labour market. That would be the real digital welfare state revolution. https://www.ohchr.org/Documents/Issues/Poverty/A_74_48037_AdvanceUneditedVersion.docx
[2] https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=2ahUKEwjcg-zNgt7lAhUSGewKHRTVDw4QFjAAegQIAxAC&url=https%3A%2F%2Falgorithmwatch.org%2Fwp-content%2Fuploads%2F2019%2F01%2FAutomating_Society_Report_2019.pdf&usg=AOvVaw1ZMD-dCufi7vb_8Vuwk8EG
[3] https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=4&ved=2ahUKEwi958Dhhd7lAhUC4aQKHRvDD0kQFjADegQIBRAC&url=https%3A%2F%2Fwww1.nyc.gov%2Fassets%2Fbuildings%2Flocal_laws%2Fll49of2019.pdf&usg=AOvVaw0SQLheCkq_Z_jgpkuoyWBR
[4] https://www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=32592
[5] https://www.datenschutzzentrum.de/uploads/informationsfreiheit/2018-Position-Paper-Transparency-of-algorithms.pdf