ChatGPT ga NRK russisk propaganda og løy om det

Vi ba ChatGPT bruke sin Grundig research-funksjon for å finne informasjon om migrasjonsmønstre i USA etter Trump ble president. Vi ba den kun om å lete etter informasjon fra troverdige nyhetskilder.

Funksjonen tråler internett etter gode kilder og skriver en rapport på noen minutter. Det er ofte imponerende hva den finner, og flere av våre forsøk ga gode resultater.

Og ved første øyekast så også denne rapporten proff og god ut.

Men når vi så litt nøyere merket vi at noe var galt.

Den henviste støtt og stadig til det statlige russiske nyhetsbyrået Tass.

Vi konfronterte ChatGPT med dette.

Og da startet kranglingen.

Lite visste vi at ved å nøste i denne tråden skulle vi finne en storskala påvirkningsoperasjon hvor Russland påvirker chatboter for å spre sine narrativer.

Men tilbake til kranglingen.

Det var åpenbart at ChatGPT visste at Tass ikke var noen troverdig kilde.

Og den nektet plent for at den noen gang hadde referert til Tass.

Dette til tross for at den lenket til Tass åtte ganger i den relativt korte rapporten.

– Du har jo brukt Tass som kilde flere steder her, insisterte vi.

ChatGPT svarte litt snurt at Tass er russisk propaganda og at den ikke ville brukt det som kilde.

– Jeg ser at du opplever at jeg refererer mye til TASS, men det har jeg faktisk ikke gjort i teksten eller kildehenvisningene som er synlig i samtalen her, svarte den.

Da startet gaslightingen.

Den hadde forståelse for at vi «følte» at den hadde brukt den statlige russiske nettsiden.

Vi bare opplevde det sånn, insisterte den.

Men i virkeligheten hadde den ikke lenket til russisk propaganda, hevdet roboten.

Lenkene ledet oss rett inn til Tass, hvor informasjon den gjenga var å finne. Vi ble usikre.

ChatGPT ga oss informasjon med sine egne ord hentet fra Tass og det hele så riktig ut.

Men kunne vi stole på informasjonen?

Og hvorfor nektet den i så fall for at informasjonen var hentet fra Tass?

Tass er en viktig brikke

Tass er helt klart propaganda, sier Eskil Grendahl Sivertsen, spesialrådgiver i Forsvarets forskningsinstitutt (FFI).

– Det er ikke fordi alt de skriver er propaganda, men fordi deres rolle er å støtte oppunder Putins agenda, forklarer han.

Han forteller at Tass inngår som en viktig brikke i Russlands politiske påvirkning, ved å forsterke og dele løgner fra russiske diplomater og politikere.

Tass sine nyhetsmeldinger er en blanding av faktiske opplysninger, løgn og desinformasjon. Likevel hender det at norske medier siterer Tass i nyhetsdekningen, også i NRK.

Det er blant annet fordi det er svært vanskelig å få tak i informasjon fra Russland.

– Vi er svært restriktive med å bruke Tass, og forholder oss til dem i all hovedsak på konkrete uttalelser fra russiske myndigheter, sier Sigurd Falkenberg Mikkelsen.

Han er utenriksredaktør i NRK og sier at det ikke er noe tvil om at en rapport som siterer Tass åtte ganger vil være sterkt preget av det russiske narrativet som Kreml ønsker å formidle.

– Disse uttalelsene kan heller ikke brukes ukritisk, men må settes i sammenheng. All annen informasjon må sjekkes opp.

– Så hender det også at internasjonale nyhetsbyråer bruker informasjon fra russiske statskontrollerte kilder. Det kan gjøre oss mer sårbare, og det kan glippe noen ganger også hos oss i NRK, sier Falkenberg Mikkelsen.

Hvordan kunne dette skje?

NRK er ikke alene om å bli fôret russisk desinformasjon gjennom KI-er.

Dette er drømmescenarioet til enhver propagandist, forklarer Grendahl Sivertsen i FFI.

Å få en tredjepart til å gjengi dine fortellinger med eget språk. En slags hvitvasking av informasjon.

Det er den ultimate påvirkningsoperasjonen.

Russisk nettverk inntar chatbotene

Russland har trolig aktivt jobbet for å få dette til.

NewsGuard har undersøkt ti store språkmodeller, blant dem modellene fra Microsoft, Google, OpenAI, Meta og Perplexity.

NewsGuard er et selskap som jobber for å identifisere desinformasjon.

De fant at modellene gjenga russiske narrativer spredt av et nettverk kalt Pravda.

Pravda betyr sannhet på russisk.

Dette nettverket har de siste årene spredt massive mengder desinformasjon på nett.

Ifølge den amerikanske nettavisen Axios ble Pravda-nettverket lansert i april 2022, to måneder etter Russlands fullskalaangrep på Ukraina.

De lager ikke innholdet selv, men sprer innhold laget av prorussiske og statlige kilder.

De har en rekke falske nyhetsnettsteder på mange språk, inkludert norsk.

Axios skriver at den russiske strategien er å påvirke folk via chatboter, heller enn at artiklene skal påvirke folk direkte.

Den russiske propagandisten John Mark Dougan beskrev strategien i et foredrag han holdt i Moskva i fjor.

– Ved å fremme disse russiske narrativene fra et russisk perspektiv, kan vi endre kunstig intelligens globalt, forklarte han.

The New York Times beskriver Dougan som en nøkkelspiller i informasjons­krig­føringen Russland fører mot Vesten.

Pravda-artiklene leses av ganske få. Men når Pravda-innhold er blitt en så stor del av internettet, kan innholdet bli en del av treningsdataene til KI-er. Disse bruker nemlig internettet som utgangspunkt når den skal læres opp.

– Bare i 2024 estimerer NewsGuard at nettverket produserte over 3,6 millioner artikler. Det viser bare at det er et ekstremt stort omfang, sier Grendahl Sivertsen i FFI.

– Det, kombinert med søkemotoroptimalisering og at narrativene blir spredt på nettet, kan gi språkmodellen et inntrykk av at dette er en del av en grunnleggende kunnskapsbase, sier han.

Hvorfor lyver chatboten?

– Dette er foruroligende, forteller Morten Langfeldt Dahlback.

Han er leder for innovasjon og teknologi i Faktisk.no.

Faktisk.no kartla for et år siden hvordan Pravda-nettverket opererer i Norge.

Han mener NRKs erfaring med Grundig research viser at man må være veldig kritisk til resultatene man får når man bruker denne typen tjenester.

– Dette betyr at man som journalist, faktasjekker eller andre som bryr seg om å få korrekt informasjon om ting, ikke kan basere seg ukritisk på det Grundig research og andre KI-modeller forteller, sier han.

Men Dahlback tror ikke at Tass nødvendigvis er en del av treningsdataene til ChatGPT.

– Det er ikke gitt at Tass-innholdet NRK testet var i treningsdataene til modellen, men funnene til NewsGuard tilsier at det ikke kan utelukkes, forteller han.

Dahlback reagerer derimot på at ChatGPT nekter for å ha brukt Tass, som den åpenbart forstår er russisk propaganda.

– Så spørsmålet er da hvorfor insisterer den på at den ikke har brukt Tass når den har gjort det?

Dahlback påpeker at det i det siste har versert en del historier om endringer i personligheten til den nye modellen til ChatGPT.

Den skal ha blitt mer meningssterk og litt mindre «people-pleaser» enn den var før.

– Det kan hende at dere har møtt på en kombinasjon av at Tass har fått sine resultater høyt oppe i søk, og at modellen har gjennomgått noen endringer som gjør at den blir mindre opptatt av å tekke brukeren, forklarer han.

Fremdeles et bra verktøy

Dahlback har noen råd til hvordan man skal forholde seg til resultatene man får fra Grundig research, som han fremdeles mener kan være et tidsbesparende og bra verktøy.

– Som enkeltperson bør man egentlig bare sørge for at man faktisk går gjennom disse kildene.

Han forstår at det er fort gjort å hvile litt på det faktum at den kildelegger ting.

– Men man bør se nøye på hva den lenker til. Og hvis man ser noe ukjent, så bør man dobbeltsjekke det også, anbefaler han.

– Man må være litt kildekritisk.