Skoleforskningen som ikke eksisterte: Da kommunen brukte KI, gikk det fryktelig galt

4 days ago 9

KOMMENTAR: Joda, det går fortere med ChatGPT, men det undergraver tilliten om du bruker det uvettig. Og når det oppdages må arbeidet gjøres på nytt.

Kommunedirektør i Tromsø, Stig Tore Johnsen, forteller at KI ble brukt som hjelpemiddel når de lagde saksdokument for ny skolestruktur. Det gikk ikke bra. (Foto: Terje Pedersen / NTB)

Denne artikkelen er en kommentar, som gir uttrykk for skribentens meninger.

Det er nesten ikke til å tro.

Tromsø kommune skal omorganisere og nedlegge skoler. Da gjør de som det offentlige pleier: de lager et saksdokument som de legger ut på høring.

I dag skal alle offentlige vedtak være kunnskapsbaserte, så saksdokumentet er behørig tuftet på skoleforskning.

Problemet er bare at ikke all forskningen i saksdokumentet finnes. Det blir vist til studier som ikke er gjort, til bøker av forskere som slett ikke har skrevet dem.

Det var iTromsø som avslørte bløffen.

Stakkars den som stoler på KI

Thomas Nordahl er en av forskerne som er sitert i saksdokumentet.

Han sier til VG at han ikke kjenner seg igjen. Hans forskning handler om noe annet enn det som står i saksdokumentet. Nordahl har heller ikke skrevet boka som står oppført med ham som forfatter.

Det lukter KI lang vei.

Jeg synes synd på den ansatte i kommunen som fant ut at ChatGPT svarer på alt. Hen var sikkert også fornøyd med hvor raskt arbeidet gikk.

Så kom virkeligheten og slo beina under den kunstig intelligente kunnskapen.

Hver gang nye medier og teknologier tar et skritt videre, så er det noen tullinger som bruker det feil.

Eller til å jukse.

Tull om tusenbein

ChatGPT ble lansert i november 2022.

Bare noen måneder etterpå fikk den danske tusenbein-forskeren Henrik Enghoff melding om at en av hans studier hadde blitt sitert i en ny vitenskapelig artikkel, som jeg har skrevet om tidligere.

Men da han sjekket den nye artikkelen, oppdaget han at referansene var feil. Det var studier han aldri har gjort.

Artikkelen var skrevet med ChatGPT.

Forskeren som siterte Enghoff, unnskyldte seg med at kunstig intelligens var nytt for ham. Men nå hadde han forstått at ChatGPT ikke var egnet til akademisk skriving.

Men han lærte ikke. Han fortsatte å legge ut vitenskapelige artikler, fortsatt med fiktive referanser til Enghoffs og andres forskning.

KIs plass i vitenskapen

Den KI-skrevne artikkelen hadde blitt publisert på preprints.org, en plattform der forskere legger ut artikler før de blir fagfellevurdert. Slik fikk den en plass i vitenskapen.

Forlagene som gir ut de vitenskapelige tidsskriftene, forsøker å sjekke og avsløre KI-skrevet tekst. Men KI-verktøyene blir stadig bedre. Det er en kamp om å ligge foran.

Dessuten er det alle røvertidsskriftene, useriøse tidsskrifter der hvem som helst kan publisere hva som helst for penger. De sjekker ikke om noen skriver med KI.

Heldigvis kan gode folk og kunstig intelligens avsløre kunstig intelligens.

Noen er på sporet

Rundt om i verden, også i Norge, er det forskere som på frivillig basis jobber for å avsløre juks i vitenskapen. De kalles sleuths.

En av dem er Alex Gynn ved University of Louisville i USA. Han har laget et KI-søk som avslører om tekst og siteringer er laget med AI. Foreløpig har han 605 vitenskapelige artikler, 98 konferanseforedrag og 2 bokkapitler på lista.

Også Retraction Watch, som følger med på vitenskapelige artikler som blir trukket tilbake, har liste over KI-skrevne artikler.

Konsekvensen av slike artikler er lavere tillit til forskning og at feil kan spre seg både gjennom forskere som siterer og andre som er interessert i eller bruker forskning.

Gir deg svar - uansett

KI er vidunderlig. Du får raske svar på ett sted. Men så må du sjekke og dobbeltsjekke. Det er all grunn til å være mer kildekritisk med KI enn når du googler.

For KI-verktøyene er satt opp til å gi deg svar. De vil gjøre deg fornøyd. Spør du etter litteratur om små og store skoler og hvordan de påvirker læring, ja så får du det. Uansett om det er sant eller ikke.

Mange har spurt KI om seg selv. Ifølge ChatGPT har jeg vunnet en Pulitzerpris, den aller gjeveste journalistprisen. Skulle ønske det var sant.

Jeg spurte ChatGPT om hvor mange nåværende og tidligere norske politikere som har doktorgrad. Jeg fikk en lang liste med navn, fag og universitet. Ikke én stemte.

Flere KI-verktøy oppgir lenker til kildene de henter svarene fra. Da kan man selv sjekke om kilden er pålitelig og om informasjonen faktisk står der. Det lønner seg.

Det har ikke stakkaren i Tromsø gjort som antas å ha klippet og limt inn usannheter fra et KI-program.

Får konsekvenser

Kommunaldirektør Stig Johnsen fortalte på en pressekonferanse i går at KI var brukt som hjelpemiddel for å utarbeide saksdokumentet. Han sa at det var særlig kapittelet om forskning som hadde mye feil.

Kanskje den som laget dokumentet, tenkte at det er lettere å bløffe med forskning. Det er tross alt ikke så mange som sjekker hver vitenskapelige artikkel og referanselista.

Kanskje var det rein amatørisme.

Men det kan få følger. Om Tromsø omstrukturerer skolene sine basert på kunnskap som ikke finnes eller er feil, får det konsekvenser for barna.

Nå har behandlingen stoppet opp i Tromsø kommune. Arbeidet må gjøres på nytt. Det er unødvendig bruk av ressurser.

Og ta KI-artikkelen om tusenbein. Ifølge den er tusenbein farlig for landbruket. De spiser opp avlingene. Det stemmer ikke i det hele tatt. Men om den falske kunnskapen får spre seg, kan bønder gjøre feil grep som koster dem tid og penger.

En dag spurte jeg ChatGPT om Sølvpilen. Det er en tegneserie som ble gitt ut på 1970 og -80-tallet. Kanskje et smalt tema for KI. Men jeg fikk et slags svar. Og en advarsel.

«Selv om jeg prøver å være nøyaktig, kan jeg noen ganger hallusinere detaljer,» skrev ChatGPT.

Hallusinasjoner er dårlige kilder i kommunalt utredningsarbeid.