UiT-ansatte kritiserte ChatGPT-studie – nå er den trukket tilbake

– Artikkelen omtaler læringsprestasjoner, og det må ikke forveksles med læring, sier stipendiat ved UiT Norges arktiske universitet Magnus Ingebrigtsen til NRK.

Sammen med universitetslektor Marko Lukic har han påpekt alvorlige feil i en artikkel publisert i forskningstidsskriftet Humanities and Social Sciences Communications i mai i fjor.

Den konkluderte med at ChatGPT forbedrer studenters prestasjoner og høyereordens tenkning, og anbefalte aktiv bruk av verktøyet i undervisning.

Nå er artikkelen trukket tilbake.

NRK har stilt spørsmål om artikkelen og tilbaketrekkingen til både forfatterne og forlaget. Se hva forlaget svarer lenger ned i saken.

Brukte tilbaketrukket studie

Før tilbaketrekkingen ble studien lest over 470.000 ganger og sitert mer enn 250 ganger, skriver Khrono, som omtalte saken først.

Den er blant annet omtalt i NRK.

Kort tid etter publisering reagerte Ingebrigtsen på funnene. Han forsker selv på læring og effektiv kunnskapstilegnelse, og stusset over hva som faktisk var målt.

Det viste seg at forskerne hadde vurdert kvaliteten på studentenes innleveringer, ikke hva de faktisk hadde lært.

– Hvis du skriver en god tekst med hjelp av ChatGPT, vil det telle som en læringsprestasjon. Men det betyr ikke nødvendigvis at studenten forstår stoffet eller kan bruke kunnskapen senere, sier Ingebrigtsen.

Sammen med Lukic gikk han nærmere inn i metoden forskerne hadde brukt.

Studien er en metaanalyse, som har sett på 51 tidligere studier. Den viste seg å inneholde flere alvorlige feil. De to UiT-forskerne påpekte blant annet at den enkeltstudien i analysen som er lagt mest vekt på faktisk var trukket tilbake før forskningsartikkelen ble publisert.

Ingebrigtsen peker også på at effekten forskerne rapporterte, var uvanlig høy.

– Det er ekstremt sjelden å se så store tall i velkontrollerte eksperimenter. Det tyder ofte på små studier med få deltakere og stor usikkerhet, som blåser opp resultatet.

– Til sammen gjør alle feilene at man ikke kan stole på funnene i det hele tatt, sier Ingebrigtsen.

– Mistet helt tillit

De to UiT-forskerne tok først kontakt med forfatterne bak studien.

– De innrømmet enkelte feil, men forklarte dem med formateringsproblemer, sier Ingebrigtsen.

Det kunne imidlertid ikke forklare alt de hadde funnet, ifølge stipendiaten.

Forfatterne sendte også det de oppga som datagrunnlaget, men som viste seg å være en ny referanseliste som ikke stemte helt overens med listen publisert i artikkelen.

Etter å ha gjennomgått listene, avdekket Ingebrigtsen og Lukic at mange av studiene var feil referert i artikkelen.

– Da mistet vi helt tillit til at denne studien kunne aksepteres med mindre justeringer, sier Ingebrigtsen.

Derfor tok de kontakt med tidsskriftet, som ba om en formell kommentar.

Etter innsending ble det stille, til tross for gjentatte forsøk på oppfølging. I midten av april sendte de saken videre til forlagets forskningsintegritetsgruppe.

Fem dager senere ble artikkelen trukket.

Sjefredaktør for tidsskriftet, Gino D’Oca, skriver til NRK at tilbaketrekkingen kom som følge av at de, etter å ha fått tilbakemeldinger fra lesere, oppdaget avvik som svekket gyldigheten av artikkelens konklusjoner.

– Selv om vi tilstreber å kommunisere resultatene av slike undersøkelser så åpent som mulig, kan vi dessverre ikke dele spesifikke detaljer om selve undersøkelsen eller fagfellevurderingen av denne artikkelen, da vi behandler denne informasjonen som konfidensiell, skriver D’Oca.

Han understreker at forlagets høyeste prioritet er å opprettholde nøyaktighet og integritet i den vitenskapelige publiseringen.

– Vi er forpliktet til å lære av slike saker og forbedre våre prosesser der det er nødvendig.

– Forskning vurderes ikke alltid kritisk

Lukic mener at saken tydeliggjør mer grunnleggende problemer i forskningssystemet.

Når nye felt vokser raskt, som generativ KI, publiseres det et stort antall studier på kort tid. Samtidig er fagfellevurdering ofte lite transparent og basert på frivillig arbeid, noe som kan gjøre det vanskelig å sikre kvaliteten.

– Mange forskere har heller ikke kapasitet til å gå grundig gjennom alle studier selv, og noen velger hva de siterer basert på hvor anerkjent tidsskriftet er. Da risikerer vi at svake studier får stor gjennomslagskraft, sier han.

Det kan være årsaken til at akkurat denne studien fikk så stor oppmerksomhet, tror Lukic.

– Dette er et stort problem i akademia. Vi er opptatt av hvordan KI påvirker evnen vår til kritisk tenkning, men samtidig vurderer vi ikke alltid selv kritisk forskningen vi velger å sitere, sier universitetslektoren.

Han utdyper:

– Vi foretar en form for kognitiv avlastning ved å delegere vurderingen til en ukjent fagfelle som vi ikke kjenner kompetansen til, og så bare siterer vi dem.

Lukic mener det er nødvendig med store endringer på dette området i akademia.

Det er særlig viktig at artikler som skal brukes i en eller annen form for beslutningstaking blir gjenstand for kritiske vurderinger, mener han.

– For eksempel beslutninger om hvorvidt og hvordan vi skal implementere KI i undervisningen.

Handler om mer enn enkeltstudie

Ingebrigtsen mener at folk bør kunne stole på publisert forskning.

– Men vi må forstå at det finnes artikler som dette som slipper gjennom, og det betyr at vi må være ekstra oppmerksomme, sier han, og legger til:

– Særlig når de kommer med veldig storslåtte påstander.

Stipendiaten understreker at en ikke nødvendigvis kan være kritisk til forskning uten å selv ha mye kunnskap om feltet.

– Jeg må kunne stole på at forskere på felt jeg ikke kjenner like godt har vært etterrettelige nok til at jeg kan stole på funnene de publiserer.

Lukic understreker at dette handler om noe mer enn å anklage forfatterne bak studien.

– Dette handler om problemer med publiseringskultur og fagfellevurderinger. Det er mye som ikke fungerer godt i dag, og det må vi jobbe for å endre til det bedre.

Saken bør ikke rokke ved tilliten til forskning som sådan, mener Ingebrigtsen.

– Vitenskap har bidratt til svært mye bra, og det er gode grunner til å stole på det som publiseres. Samtidig er dette et eksempel på hvordan forskningen fungerer i praksis: Noen publiserer funn, og andre forsøker å etterprøve og eventuelt korrigere dem, sier han.

Lukic tror ikke enkeltsaker som dette vil løse utfordringene.

– Det trekkes flere artikler enn før, men det er trolig bare en dråpe i havet sammenlignet med hvor mange som burde vært trukket.