KI raserte Paulas liv: – Ble fratatt muligheten til å være et fungerende menneske

– Jeg ble fratatt muligheten til å være et fungerende menneske, sier Paula Bouwer til NRK.

Hun ble tvunget til å betale nederlandske myndigheter flere hundre tusen kroner etter at hun feilaktig ble beskyldt for bedrageri.

– Jeg jobbet i bank på dagtid, og på restaurant på kvelden, for å kunne betale pengene til myndighetene, sier hun.

Hun fikk ikke lenger lån i banken. For å overleve måtte hun selge unna mye av det hun eide.

Dette skjedde på grunn av feil i et datasystem. Nederlandske myndigheter brukte kunstig intelligens med maskinlæring til å finne skattesvindlere.

Men verktøyet plukket også ut titusener av andre som ikke hadde gjort noe galt.

– Det var gjennomgående folk med minoritetsbakgrunn som ble flagget som trygdesvindlere, sier Bouwer.

Basert på bostedsadresser, inntekt, hvem man var gift med og mange andre faktorer plukket systemet ut personer som kunne være i risiko for å drive med svindel.

– Vi fikk ikke vite hvorfor KIen hadde valgt å flagge oss som bedragere.

Bouwer fikk i 2021 vite at hun var uskyldig dømt. Samme år måtte den nederlandske regjeringen gå på grunn av skandalen.

Frykter det kan skje i Norge

Det er fare for at algoritmer vil diskriminere også i Norge, dersom lovverket ikke endres, mener Likestillings- og diskrimineringsombud, Bjørn Erik Thon.

– Diskrimineringsloven bør endres nå. Dette regelverket ble laget før vi nesten en gang kjente ordet kunstig intelligens, sier Thon.

Regjeringen vil at 80 prosent av offentlig sektor skal ta i bruk kunstig intelligens innen neste år.

Digitaliseringsminister Karianne Tung mener hver enkelt virksomhet må finne en versjon av KI som passer dem.

Det har ikke kommunene forutsetningene til, mener Thon.

– Det er oppskriften på at noe kan gå ordentlig galt. Jeg tror nok å gi en slags marsjordre om at nå skal alle ut og bruke KI ikke er særlig smart, sier Thon.

Digitaliseringsminister Tung mener det er viktig å tenke nytt for å fornye offentlig sektor. Hun sier alle som tar i bruk KI, har et ansvar for å gjøre det på forsvarlig vis, og viser til veiledere fra LDO, Datatilsynet og Digitaliseringsdirektoratet.

– Jeg forventer at alle som tar i bruk KI setter seg godt inn i dette for å unngå mulige fallgruver, skriver hun i en e-post til NRK.

– Det som ikke er lov ellers, som diskriminering, er heller ikke lov ved bruk av KI, understreker hun.

Ny rapport: Loven bør endres

For å sikre at algoritmisk diskriminering fanges opp på en bedre måte enn i dag, bør loven mot diskriminering endres. Det slår en fersk rapport fast.

– Loven er bygget opp med tanke på at diskriminering skjer i mellommenneskelige relasjoner. Men KI vil komme inn på tvers av alle samfunnsområder, sier professor i rettsvitenskap ved Universitetet i Oslo, Vibeke Blaker Strand.

Hun har på oppdrag for LDO kartlagt hull i lovverket ved bruk av kunstig intelligens.

Kunstig intelligens kan enkelt kategorisere folk i ulike grupper. Det kan være en utfordring, dersom den ikke blir regulert riktig.

– Det står for eksempel ingenting i dagens lov om at det ikke er lov å diskriminere på bakgrunn av adresse eller utdanningsbakgrunn, sier Strand.

I Nederland ble folk sortert inn i slike kategorier, basert på denne typen data.

I Norge er vi langt fremme med å ta i bruk ny teknologi. Vi burde også være tidlig ute med å sikre et robust lovverk, som sørger for at folk ikke blir diskriminert i møte med algoritmer, mener Strand.

– Gjennomgangen viste at det er flere punkter i loven hvor man burde vurdere å gjøre justeringer.

Enorme konsekvenser

I Nederland pågår fortsatt opprydningen etter trygdeskandalen.

Feilen i det offentlige datasystemet ble først oppdaget i 2018. Årene før var svært mange feilaktig beskyldt for bedrageri.

Ikke alle har fått erstatning. Men ifølge nederlandske medier har hittil 33 000 familier blitt kompensert.

– Kunstig intelligens flagget oss som svindlere. Men glemmer man etikken i slike verktøy kan det ødelegge livene til folk, sier Paula Bouwer.

Dersom myndighetene skal bruke KI-verktøy må folk få vite hvordan systemene fungerer, mener nederlandske Bouwer.

– Mennesker må også være involvert. Man må sikre at man faktisk gjør det som er målet med algoritmen, sier hun.