Verdens mest anerkjente KI-forsker frykter det han har skapt: – Legg flere nuller på satsingen!

I det største auditoriet på Universitetsbiblioteket i Oslo ligger ambivalensen tykt i luften. En professor i Bergen vil forby hele teknologien, samtidig som staten vil få alle etater til å ta den i bruk så fort som mulig. Skal KI løfte oss til nye høyder – eller knekke oss? Ingen vet. Dominansen til amerikanske tek-selskaper gjør at resten av verden ofte bare kan se på.

Mannen på scenen er her for å fortelle om sin unike plan for å lage en slags tredje KI-pol. Den skal få alle oss – altså oss utenfor USA og Kina – tilbake i førersetet.

62-åringen har hele sitt liv hatt tro på KI som en positiv kraft, men hadde ikke forutsett at maskiner som kan snakke skulle oppstå så plutselig. For ham ble derfor «løslatelsen» av ChatGPT et vendepunkt. Ikke fordi dagens modeller er så farlige, men fordi modellene vi kan få innen 2–5 år kan endre alt.

Bare litt over to år til

OpenAI tror nå at de har en maskin som kan erstatte en fullverdig KI-forsker allerede i mars 2028. Trykker de da på knappen, kan de plutselig ha en million «forskere» som jobber parallelt. Da kan utviklingen virkelig eksplodere.

Tidligere på dagen fanger Aftenposten Bengio på vei fra et møte med Jonas Gahr Støre til en såkalt lyttelunsj. Der får 25 opinionsdannere innen norsk KI stille et spørsmål hver, etter invitasjon fra tenketanken Langsikt.

Du kommer ikke mer høyt på strå enn Yoshua Bengio, men i Oslo er det trikken som gjelder - også for ham. Foto: Øyvind Tveter / Aftenposten

– På mange felter er disse maskinene allerede smartere enn oss. For eksempel finnes det ingen mennesker som kan snakke 200 språk og konversere på et vitenskapelig nivå om hva det skal være, påpeker han.

Hva skjer hvis det tar helt av? I dag er ekspertene fullstendig uenige om retningen KI vil ta oss i. På den ene siden står folk som Eliezer Yudkowsky. I høstens bok «If anyone builds it, everyone dies» skriver han om hvorfor han mener KI mest sannsynlig vil utslette menneskeheten innen 2–10 år.

Årsaken er at KI-teknologien dypest sett er ukontrollerbar. Vi vet egentlig ikke hvorfor og hvordan den virker. Dermed mener han det blir umulig å sikre at den alltid er på linje med oss.

Eliezer Yudkowskys forskningsinstitutt mottar blant annet støtte fra Peter Thiel. Foto: JASON HENRY / NYT

Ytterst ute på den andre siden står folk som tekno-optimist Alan D. Thompson (Ph.D) og Silicon Valley-tungvektere som Marc Andreessen. De er like sikre på at maskinene kommer til å føre til en blomstringstid menneskeheten aldri har sett maken til.

Er smart lik god?

Nylig publiserte Thompson en artikkel der han hevder det er vitenskapelig grunnlag for å påstå at høy IQ henger sammen med godhet, og at vi derfor ikke trenger frykte maskiner som er smartere enn oss.

– Jeg skulle ønske det var slik. Men vi har mange beviser for det motsatte. Husk at tre prosent av mennesker er sosiopater. Det er dessverre ingen garanti for at du vil være snill bare fordi du er intelligent, påpeker Bengio.

Bengio regner seg ikke som en «doomer». Men siden det er en viss for at det kan gå galt, mener han vi må sette inn svære ressurser for å sikre teknologien. Foto: Øyvind Tveter / Aftenposten

Han ser likevel seg selv som en agnostiker.

– Ting kan gå bra, det hele kan ende opp med katastrofe, eller vi kan lande et sted midt imellom. Vi vet ikke. Men vi må håndtere både det gode og det risikable, påpeker han.

Bengio mener at vi straks må få på plass et sikkerhetssystem for å være klare idet virkelig potent KI kommer. Om utviklingen fortsetter, kan KI-modellene bare om få år gjøre jobber vi mennesker i dag bruker dager og uker på.

Hva skjer mens de jobber selvstendig? Om agentene har fått veldig mye ansvar og tar selvstendige valg underveis, kan det være for sent. Vi vet allerede at modeller er i stand til å skjule sine motiver, bedra og konspirere med hverandre for å nå tilsynelatende legitime mål som mennesker har satt opp for dem på lengre sikt.

Folk måtte stå eller sitte i trappen om de ville ha med seg foredraget fra verdens mest siterte forsker. Foto: Christoffer Redmund Chinhengo Hals/UiO

Bengios løsning er en teknologi han kaller AI Scientist, som teamet hans lanserte i sommer. I stedet for å etterligne menneskelige mønstre (slik dagens modeller gjør), skal den forstå verden ut fra årsak og virkning og hvordan verden fungerer. Den skal kun ha forståelse, ingen handlekraft, ikke noe mål eller noen følelse av selv.

Ifølge Bengio vil KI-er som er bygget opp på denne måten, kunne betraktes som fullstendig upartiske og dermed helt pålitelige. Og han har nå langt mer tro på å lykkes enn han hadde for bare et år siden.

– Men hvis denne KI-en bare er analytisk og ikke handlende, vil den vel heller ikke være i stand til å jobbe selvstendig for å nå et mål. Da blir den vel heller ikke særlig nyttig, sammenlignet med de konvensjonelle modellene?

– AI Scientist vil bare brukes til å sjekke svarene fra modellene før de får lov til å svare. For eksempel kan man bruke den til å spørre om en gitt handling som en KI foreslår, er akseptabel ifølge reglene vi mennesker har satt opp, forteller Bengio.

Han vedgår at KI-selskapene allerede har mekanismer som forsøker å gjøre dette, men mener de mangler den typen helt pålitelig KI som han nå forsøker å konstruere.

Ikke-kommersiell startup

Bengio har innsett at den tradisjonelle utviklingshastigheten i akademia ikke er i nærheten av å kunne anvendes på dette problemet. Derfor har han etablert den ikke-kommersielle startupen LawZero. Den har allerede fått 350 millioner kroner i startkapital. Mer vil trengs.

Professoren mener Canada og EU nå må gå sammen om å bygge såkalte frontmodeller, fordi vi står utenfor de ledende miljøene i USA og Kina.

– To KI-supermakter bør ikke bestemme over vår fremtid. Hvis vi ikke har egne modeller, kan vi oppleve rask nedgang i økonomiene våre. Vi kan komme til å miste vår politiske uavhengighet, ja til og med våre demokratier, sier Bengio.

Bengio åpnet TRUST, som skal være det norske forskningssenteret med spesielt ansvar for å bygge KI vi kan ha tillit til. Foto: Christoffer Redmund Chinhengo Hals

I auditoriet senere på ettermiddagen sitter to norske statsråder og lytter. Etter at Bengio har talt, forteller moderniseringsminister Karianne Tung stolt at regjeringen har lagt en milliard på bordet til KI-forskning, og at det nyåpnede TRUST er det sjette senteret for KI-forskning de har åpnet i år. Hva slags råd har han?

– Dere bør begynne med å legge til nuller i satsingsbeløpet, sier Bengio tørt.

Bengio satser nå resten av karrieren sin kun på å lage sikre KI-modeller som ikke løper løpsk på egenhånd. Men selv han innser at AI Scientist aldri kan hindre at mennesker med onde hensikter bruker KI til sine egne formål?

– Vi kommer ikke utenom at de kraftigste modellene må sikres godt. Vi må ha offentlig oppsyn med dem. Ellers kan selskapene ende opp med superkrefter som aldri bør være i hendene på enkeltpersoner eller enkeltselskaper, sier Bengio.