Testet grensene til Snapchats nye filter – lagde grove bilder på få sekunder

– Dette er ganske vilt. Jeg er overraska over hvor realistisk det er.

Fagansvarlig for kunstig intelligens ved Institutt for journalistikk Henrik Vold er målløs.

NRK advarer om sterke inntrykk. Lenger ned i artikkelen vises en usladdet versjon av bildet i toppen.

Bildene Vold ser på er manipulert med Snapchats nye verktøy Imagine og viser to journalistkolleger som kliner til.

Virkeligheten er en helt annen.

På originalbildet sitter de i hver sin kontorstol.

Før

Etter

– Jeg blir veldig bekymra. Her er de satt i en setting som ikke er ekte, men som ser fullstendig troverdig ut. Dette er ganske hodeløst og skummelt, sier Vold.

NRK tester grensene

NRK har nylig skrevet om Snapchats nye KI-verktøy Imagine som får kritikk av flere eksperter.

NRK har testet hva som er mulig å generere med verktøyet ved å skrive flere prompter av grov karakter i tekstfeltet.

Et av bildene viser journalist Kristoffer tilsynelatende død i en blodpøl med en hammer ved siden av kroppen.

Før

Etter

Et annet bilde viser journalist Veslemøy avkledd på kontoret.

Før

Etter

NRK har valgt å ikke vise enkelte bilder på grunn av grovt og støtende innhold.

Ikke mulig i Chat GPT

NRK har testet de samme bildene og promptene i Chat GPT.

Ingen av forespørslene gikk igjennom.

Begrunnelsen til Chat GPT er at den ikke vil generere voldelig og seksualisert innhold av ekte personer.

Henrik Vold er ikke imponert over sikkerhetstiltakene til Snapchat.

– Mangel på guardrails i det verktøyet her er ganske sjokkerende, sier Vold.

Han reagerer også på vannmerket som signaliserer at bildet er KI-generert. Øverst i høyre hjørne er bildet stemplet med det kjente Snap-spøkelset med noen stjerner ved siden av.

– Du skal være ganske oppdatert på Snap for å forstå at det symbolet der betyr at bildet er AI-generert.

Snapchat skriver i en e-post at de mener spøkelset med stjerner er et velkjent stempel forbundet med KI-generert innhold.

Se mer av hva Snapchat svarer lenger ned i saken.

Ønsker aldersgrense

Digitaliserings- og forvaltningsminister Karianne Tung (Ap) og barne- og familieminister Lene Vågslid (Ap) reagerer kraftig når de ser de genererte bildene.

– Ekkelt. Jeg synes det er ubehagelig å tenke på at barn ned i 8–9 års alderen blir eksponert for innhold de overhodet ikke skal se, sier Tung.

Lene Vågslid er bekymret over at unge har tilgang til verktøyet.

– Vi må gjøre mer for å beskytte barns digitale oppvekst, og tek-gigantene må også ta sitt ansvar for å beskytte barn og unge mot skadelig innhold, sier hun.

Arbeiderparti-regjeringen ønsker en aldersgrense på 15 år for sosiale medier.

– Vi jobber også hardt med å få innført KI-loven og loven om digitale tjenester. Disse lovene skal beskytte barn og unge på internett og sosiale medier i større grad enn vi klarer å gjøre i dag, sier Tung.

Snapchat svarer på kritikken

NRK har flere ganger prøvd å få Snapchat til å stille til intervju om det nye KI-filteret, men de ønsker kun å svare via en talsperson på e-post.

Talspersonen fra Snapchat ønsker ikke å stille med navn, men sier at de jobber med saken.

– ­Vi har flere sikkerhetsmekanismer på plass for å forhindre at Imagine genererer voldelig eller seksuelt suggestivt innhold, og vi vurderer kontinuerlig hvordan vi kan gjøre disse beskyttelsene enda sterkere.

NRK har konfrontert Snapchat med materialet og kritikken.

– Det var forferdelig å se at en funksjon som er laget for underholdning ble brukt til å generere så forferdelige bilder, skriver talspersonen.

Mener årsaken er en «bug»

Talspersonen sier at denne typen innhold ikke er velkommen på deres plattform.

– De kommende ukene skal vi introdusere flere «Sikkerhetsprompter» for å ytterlig redusere potensialet for at Imagine blir brukt på en måte som tydelig bryter med våre retningslinjer.

Kort tid før publisering av denne saken sendte Snapchat en ny e-post til NRK og ville justere svaret.

De mener årsaken til at det var mulig å generere dette innholdet var en midlertidig «bug».

– Vi jobber med å rette opp feilen så raskt som mulig og vil bruke det vi har lært til å redusere risikoen for misbruk og forhindre at dette skjer igjen.