Slik ble KI-systemet Asta presentert da det ble tatt i bruk i 2019. Screengrab: vtp.dk
Ubrukelig kunstig intelligens
Saksbehandlere unngikk å bruke kunstig intelligens fordi anbefalingene fra systemet ikke kunne forstås eller begrunnes. Dette sentrale problemet med KI kan vise seg å bli en betydelig hindring for å ta i bruk den nye teknologien i offentlig sektor
I et forskningsprosjekt gjennomført av tre danske forskere ved Syddansk Universitet ble saksbehandlere i den danske versjonen av NAV observert og intervjuet om sine erfaringer med bruk av et system for kunstig intelligens.
Flere danske Jobcentre har gjort forsøk med KI-systemet ASTA som vurderer risikoen for langtids arbeidsledighet blant personer som nylig er blitt arbeidsledige. Systemet bruker 50 ulike vriable for å vurdere risikoen for langtidsledighet.
Variablene var vidt forskjellige og omfattet blant alder, helse og hvorvidt den arbeidsledige hadde sagt ja til å motta SMS`er fra jobbsenteret. På basis av disse variablene leverte systemet en trafikklys-vurdering av størrelsen på risikoen for langtidsarbeidsledighet: grønn, gul eller rød. Konsekvensene av en rød vurdering, som altså betyr høy risiko, kunne være sterkere tiltak og strammere betingelser i avgjørelsen fra jobbsenteret.
Begrunnelsesplikten
En sentral forutsetning i dansk forvaltning (og i norsk) er at avgjørelser skal begrunnes. Spesielt skal de begrunnes hvis ikke brukeren ikke får fult gjennomslag for sine ønsker. Dette kravet om begrunnelse viste seg å være hovedårsaken til at saksbehandlerne på de danske Jobcentrene etterhvert endte opp med å ikke bruke Asta i sin saksbehandling. Og systemet som helhet ble også etterhvert lagt bort.
Asta- systemet kunne ikke gi saksbehandlerne en god nok begrunnelse for hvorfor risikoen for langtidsledighet var slik systemet mente den var. Ofte var saksbehandlerne uenige i risikovurderingene, men hovedproblemet var at de ikke forsto vurderingene. Asta-systemet kunne ta i bruk 50 variabler for å gjøre sine risikovurderinger. Det er vanlig i forskningen å gå utifra at menneskers korttidshukommelse kan klare å håndtere 4 variabler samtidig.
En lukket svart boks
Denne konflikten mellom en risikovurdering basert på 4 variabler som er forståelig for mennesker, oppimot en vurdering som er baset på 50 er selve kjernen i det som kalles black-box-paradox. Den svarte boksen i systemet som gjør beregningene er i praksis utilgjengelig for mennesker.
Vi kan ikke forstå beregningene som systemet bruker. Og når vi ikke forstår det, er fristelsen til å unngå det, ganske stor. I tillegg kommer altså det juridiske aspektet, med at vedtak skal begrunnes. Og når begrunnelsen blir uforståelig vil den være vanskelig å bruke.
En innvendig mot et slikt resonnement kan være at det brukes mange matematiske modeller i offentlig forvaltning som ikke er forståelige for den vanlige saksbehandler og for publikum. F.eks. modeller for nasjonalregnskap og værmelding. De brukes jo likevel, og med stort hell.
Ayo Næsborg-Andersen, Jøren Ullits og Ole Hammerslev: Beslutningsunderstøttende algoritmer i det offentlige: påvirkningen af sagsbehandlerens skøn og begrundelse. politica, 55. årg., nr. 3 2023,
