Kunstig intelligens slo erfarne leger suverent

Vi er ikke der ennå at leger uten videre kan ta kunstig intelligens i bruk, mener forsker. (Shutterstock/NTB)

– Ved første øyekast virker dette oppsiktsvekkende. Men ser vi nærmere på studien er det mer forståelig, sier ekspert på kunstig intelligens.

I en ny studie fra USA ble 50 erfarne leger delt i to grupper.

Legene i begge gruppene ble utstyrt med seks pasientjournaler med symptomer og sykdomshistorie fra virkelige pasienter. 

Den ene gruppen av leger skulle stille riktig diagnose på egen hånd. 

Den andre gruppen skulle bruke språkmodellen ChatGPT som hjelpemiddel. 

I tillegg ble ChatGPT fôret med de samme pasientjournalene og ble bedt om å finne ut hva som feilte pasientene.  

ChatGPT vant duellen

Forskerne var spente på hvem av som raskest ville komme til en riktig diagnose. 

Det viste seg at språkmodellen vant denne duellen suverent. 

Alene klarte språkmodellen å stille 92 prosent av diagnosene korrekt, mens legene alene bare klarte 74 prosent. 

De legene som benyttet språkmodellen, endte med 76 prosent riktige diagnoser. 

Alle som skal bruke kunstig intelligens i praksi, må har ordentlig opplæring, sier Michael Riegler. (Foto: John Trygve Tollefsen/Akademiet for yngre forskere)

Både styrker og svakheter

Michael Riegler er professor ved OsloMet og forsker på kunstig intelligens. Han har lest studien.

Det er en godt designet studie. Samtidig finnes det viktige svakheter i metoden forskerne benytter seg av, mener Riegler. 

Da ChatGPT skulle finne diagnosene selv, hadde de fått perfekt formulerte spørsmål fra forskerne. 

Disse var utviklet og forbedret gjennom gjentatte forsøk. 

Legene som fikk tilgang til KI-systemet, måtte derimot formulere spørsmålene selv.

 De fikk ikke noen spesiell opplæring i hvordan de best skulle kommunisere med ChatGPT. 

Dårlige sammenligninger

Nøkkelen ligger altså i hvordan KI blir brukt, mener Riegler. 

– Dette blir som å sammenlikne en ekspert som bruker et verktøy med noen som nettopp har fått tilgang til det samme verktøyet. 

Når KI-systemet presterte bedre alene enn når leger brukte det, reflekterer dette mer hvordan spørsmålene ble stilt enn den faktiske nytten av KI i klinisk praksis, mener Riegler.

– Dette forteller oss mer om hvor viktig det er hvordan man stiller spørsmålet til KI-systemet enn om systemet faktisk har evne til å støtte klinisk diagnostikk i praksis. 

Alle som bruker KI i praksis, må ha ordentlig opplæring, mener KI-eksperten. 

Han synes det derfor er påfallende at studien ikke inkluderte opplæring av legene.

– Dette gjør det vanskelig å vurdere systemets reelle potensial i klinisk praksis, sier  Riegler.

Skal ikke erstatte klinisk praksis

Studien viser at teknologien har potensial, men også at vellykket innføring av den krever mer enn bare tilgang til teknologien, mener professoren. 

Han mener at vi ikke er der ennå at leger uten videre kan ta kunstig intelligens i bruk.

– Vi må utvikle bedre grensesnitt mellom lege og KI og gi dem grundig opplæring i effektiv bruk av verktøyene. 

Kunstig intelligens må integreres på en måte som støtter, ikke erstatter, klinisk vurdering, mener forskeren. 

På full fart inn

Jorunn Taulow er lege og forsker ved avdeling for allmennmedisin ved Universitetet i Oslo. Hun er også daglig leder i Medbric AS, et selskap som utvikler kunstig intelligens-løsninger til leger.

Hun sier at det er viktig å sikre at KI-verktøy fungerer som beslutningsstøtte og ikke erstatter menneskelig ekspertise.

Jorunn Thaulow forsker på kunstig intelligens i helsevesenet: – Jeg ser et veldig stort potensiale for at teknologien kan hjelpe våre leger til å få en bedre arbeidshverdag, sier hun. (Foto: UiO)

– For å oppnå dette trengs bedre opplæring, tilpassede grensesnitt og mer forskning på hvordan KI kan forbedre spesifikke deler av den diagnostiske prosessen.

Hun sier at hun vet at mange leger allerede bruker ChatGPT og lignende chatbots til å rådføre seg. 

– Det betyr at det haster å få på plass enda flere klargjøringer fra myndighetene.

Er teknologioptimist

Taulow sier at KI-teknologi blant annet kan hjelpe leger med å fokusere mer på pasientene.

Hun mener resultatene i den nye studien bekrefter potensialet som ligger i KI-teknologi.

Men hun sier også at hun er bekymret for at leger kan ta i bruk KI-verktøy uten å helt forstå begrensningene. KI kan jo også feiltolke og gjøre feil.

– Ansvaret for alle beslutninger og dokumentasjon forblir hos legen, og det kreves derfor en selvstendig vurdering gjennom hele prosessen. For å sikre en trygg implementering av KI i helsevesenet er det avgjørende med grundig opplæring av helsepersonell, sier hun. 

Kilde:

Ethan Goh m.fl: Large Language Model Influence on Diagnostic Reasoning, A Randomized Clinical Trial, JAMA Network Open, oktober 2024

Opptatt av hva som
skjer i samfunnet?

Utdanning, familie, økonomi, politikk og ledelse er bare noe av det du blir oppdatert på i nyhetsbrev fra forskning.no.

Meld meg på

Hun er teknologioptimist og tror kunstig intelligens vil revolusjonere helsevesenet.

– Jeg ser at teknologien kan hjelpe våre leger til å få en bedre arbeidshverdag med mindre stress, mer fokus på pasienten og høyere faglig kvalitet i behandlingen. 

I en pilotstudie i forbindelse med utprøving av et transkriberingsverktøy hun har deltatt i ved Universitetet i Oslo, svarte 75 prosent av legene at de hadde fått bedre kommunikasjon med pasientene etter at de hadde tatt verktøyet i bruk. 56 prosent sa at det førte til bedre journalnotater mens 20 prosent oppga at pasientbehandlingen fikk bedre kvalitet. 

Hun er nå med i et prosjekt der forskerne har invitert fastleger til å bistå i prosessen med å innføre KI på legekontoret på en trygg og treffsikker måte. 

Kilde:

Ethan Goh m.fl: Large Language Model Influence on Diagnostic ReasoningA Randomized Clinical Trial, JAMA Network Open, oktober 2024