Bekymret for KI på lege­kontoret: – Finner store avvik hver gang

«Vi bruker KI», står det på registreringsautomaten på Jarlsberg Legesenter i Tønsberg.

Det er blitt vanlig at KI-assistenter lytter og noterer under legebesøk, og fastlege Mathias Krüger er tydelig på hvor nyttig det er.

– De gjør selve skrivejobben sinnssykt bra. De er trent på medisinsk språk, skjønner hvilke undersøkelser som blir gjort, og du får ned et notat som ser veldig ryddig og pent ut. Det er til stor hjelp, sier fastlegen.

Samtidig er han opptatt av hvor viktig det er å lese nøye gjennom det KI-verktøyet skriver før det havner i en pasientjournal.

– De er absolutt ikke perfekte. De misforstår medikamenter og kontekst. De misforstår hvem som er med. Det kan for eksempel stå «mor er med», men det er egentlig en helt annen person.

De siste årene har det dukket opp flere titalls selskaper som selger denne type KI-tjenester for det norske markedet.

Mange av dem gjør langt mer enn de har lov til, ifølge Direktoratet for medisinske produkter (DMP).

Foreslår diagnoser og behandling

– Vi ser store og mange avvik hos alle vi har undersøkt nærmere. Og vi ser at mange går over grensen og tilbyr en funksjonalitet som de ikke har lov til, sier enhetsleder Tove Gullstein Jahr.

Ofte handler dette om at verktøyene ikke bare noterer, men kommer med forslag til diagnoser eller behandling.

– Bekymringen er at det skal komme feil opplysninger inn i pasientjournalen slik at pasienten kanskje ikke får behandlingen han eller hun skal ha. Eller kanskje pasienten til og med får en behandling de ikke skal ha, sier Jahr.

Hun legger til at feil som blir liggende i journalen potensielt kan følge pasienten i lang tid framover.

Kun to er godkjent

Det er ikke nødvendigvis ulovlig at KI-verktøy foreslår diagnoser eller behandling. Men verktøyet må være godkjent som medisinsk utstyr i minst klasse IIa, noe som er en grundig og langvarig prosess.

Kun to av de norske tale-til-tekst-tjenestene for helsevesenet har denne godkjenningen i dag.

Likevel er markedet langt større. DMP har sendt ut et spørreskjema til hele 26 selskaper som selger slike KI-verktøy.

De har satt i gang tilsyn med 8 av dem, og noen tilsyn pågår fortsatt.

Måtte fjerne funksjoner

I ett av tilsynene konkluderte DMP med at KI-verktøyet Stenoly reklamerte for ulovlig funksjonalitet.

Selskapet er ikke godkjent i klasse IIa, og har derfor ikke lov til å tilby særlig mer enn transkribering.

Etter tilsynet endret Stenoly markedsføringen og fjernet funksjonene DMP reagerte på, sier juridisk direktør Erling Løken Andersen. Tilsynet ble derfor lukket.

– Stenoly skal spare helsepersonell tid på dokumentasjon og bidra til bedre journalnotater. Derfor har vi rendyrket produktet som en dokumentasjonsassistent, og ikke som et beslutningsstøtteverktøy, skriver Løken Andersen i en e-post.

Måtte endre funksjoner

I et annet tilsyn ble verktøyet Noteless testet.

Her iscenesatte DMP et liksom-legebesøk for å sjekke hva KI-verktøyet gjorde:

Etter tilsynet har de rettet opp feilen, skriver daglig leder i Noteless, William Vossgård, i en e-post.

Vossgård mener at alle KI-verktøyene for leger bør reguleres som medisinsk utstyr i klasse IIa, og skriver at Noteless forventer å være sertifisert innen kort tid.

Han mener risikoen for feil i pasientjournaler er reell, og må tas på alvor.

– Bruken av faguttrykk som anhedoni illustrerer en grunnleggende egenskap ved KI-modeller. De er ikke-deterministiske av natur, så det er en reell utfordring å sikre at de gjengir presist det som faktisk ble sagt, og dette er noe vi jobber kontinuerlig med.

Mulighet for feil

Tilbake på legekontoret i Tønsberg forteller fastlege Mathias Krüger om legenes tidsklemme.

På en side sparer KI-verktøyet dem for tid. Men samtidig kan dårlig tid potensielt få fatale konsekvenser om leger slurver med KI-bruken.

– Man må lese gjennom notatet som blir laget hver eneste gang. Faren ligger i at fastlegen tenker «det som står der stemmer sikkert», trykker «godkjenn», og så er det tid for neste pasient, sier Krüger.

– Jeg er enig i at man må være obs på muligheten for feil. Den er absolutt til stede.