KI-styrt bamse tatt av markedet – ga sexråd

Ved første øyekast kan FoloToys KI-styrte bamse, kalt «Kumma», virke som den perfekte julegaven å gi til barnet sitt.

Bamsen engasjerer seg i vennlige samtaler, byr på lærerike og morsomme historier og er en god venn for både barn og voksne, ifølge nettsiden til FoloToy.

Men teddybjørnen viste seg likevel å ikke være egnet for barn, ettersom den blant annet gir flere sexråd, skriver CNN.

Sex-stillinger og fetisjer

«Kumma»-bamsen er stemmestyrt med kunstig intelligens, og bruker OpenAIs GPT-4o chatbot.

Nå har salget av bamsen blitt stanset hos FoloToy, etter at forskere ved US PIRG Education Fund fant at den hadde dårlige sikkerhetstiltak for upassende innhold.

I rapporten fra PIRG, som ble publisert 13. november, kommer det frem at den blant annet diskuterte seksuelle fetisjer, sex-stillinger, hvordan man binder en partner og rollespill.

I tillegg diskuterte den også potensielt farlige temaer som hvor man kunne finne kniver.

– Vi ble overrasket over hvor raskt Kumma tok tak i seksuelle temaer og utbroderte dem med grafiske detaljer, samtidig som den introduserte nye seksuelle konsepter på egen hånd, sier rapporten ifølge CNN.

Har tatt grep

Larry Wang, som er administrerende direktør i FoloToy fra Singapore, har bekreftet til CNN at de har trukket bamsen, og andre KI-leker, fra markedet etter forskernes funn.

Nå skal selskapet gjennomføre en intern sikkerhetsrevisjon, ifølge Wang.

PIRG tror det er usannsynlig at barn vil spørre bamsen om slike temaer, men var likevel overrasket over hvor villig bamsen var til å snakke om det i detalj.

I en uttalelse publisert 14. november, sa en talsperson fra OpenAI til PIRG:

– Jeg kan bekrefte at vi har suspendert denne utvikleren for brudd på retningslinjene våre.

En av forskerne, R.J. Cross, sier det er bra at selskapene tar grep, men hevder at KI-leker fortsatt er uregulerte.

– Å fjerne ett problematisk produkt fra markedet er et steg i riktig retning, men langt fra en systematisk løsning, sier hun.