Ein million foto bidrar til identifisering av dyra på havbotnen

Denne artikkelen er produsert og finansiert av Havforskningsinstituttet - les mer.

Her er programmet for bildegjenkjenning i arbeid. Ulike artar er gjenkjent og markert med boksar som viser at dei er identifisert. (Foto: Mareano / Havforskningsinstituttet)

Kunstig intelligens kan raskt identifisere dyra på havbotnen. Men ennå må forskarane ta del i jobben.

Snart skal det bli enklare for forskarane når dei skal analysere videoopptak frå Mareano-tokt. Dei skal få assistanse frå kunstig intelligens og maskinlæring.

Mareano er eit nasjonalt program for kartlegging av havbotnen i norske havområde.

– Når vi kjem heim frå tokt, har vi blant anna med oss timevis med videoopptak som kvart viser ein strekning på 200 meter, fortel forskar Heidi Kristina Meyer. 

Ho har hatt jobben med å gjennomgå bilete som kan brukast til opplæring av den kunstige intelligensen.

Tidkrevjande videoanalysar

Etter toktet vert videoane analyserte. Kvart einaste dyr som dukkar opp, skal skrivast ned – og det er her datamaskiner og KI kan få ei viktig rolle i framtida.

Foreløpig blir arbeidet gjort på gamlemåten.

– På eit tokt er det gjerne frå 50 til 150 videostasjonar. I perioden frå 2006 til 2023 har vi undersøkt heile 3482 videostasjonar, så det er eit rikhaldig biletmateriale å jobbe med, fortel Meyer.

På sikt håpar forskarane at dei kan få hjelp av KI til delar av denne jobben.

Nokre artar finst i store mengder på havbotnen slik som på dette skjermbiletet. I slike tilfelle vil bruk av KI vere rask og effektiv. Samtidig gir det forskarane meir tid til å analysere artar som enten ikkje er identifisert tidlegare eller som er så vanskelege å identifisere at det ikkje kan gjerast automatisk. (Foto: Mareano / Havforskningsinstituttet)

Lærer datamaskina å kjenne igjen dei ulike dyra

Før datamaskina kan hjelpe forskarane, må den lære seg jobben.

– Å lære opp algoritmen, eller KI’en, til å gjere det du vil, betyr at den må få tilgang på nødvendig informasjon – og lære å bruke han på riktig måte. I dette tilfellet er det å dokumentere kva dyr som er på havbotnen, forklarar Meyer.

For at metoden eller modellen, skal fungere, trengs det bilete av artane som skal gjenkjennast. Ikkje berre eit, men frå alle retningar.

– Ein art kan sjå veldig ulik ut på to bilete. Dermed må maskina ha tilgang på ei rekke bilete av kvar art for å gjere jobben, seier Meyer.

– Dersom utvalet av bilete er feil, kan vi risikere at identifiseringane blir feil eller unøyaktige, seier ho.

Brukar ferdig analyserte bilete til maskinopplæringa

Vegen mot maskinlæring og bruk av kunstig intelligens har vert, og er, framleis lang. Foreløpig har Meyer henta ut over ein million bilete frå Mareano sin database.

– Alle desse er analyserte frå tidlegare og inneheld artsnamn, seier ho.

No er desse bileta gjennomgått endå ein gong.

– Det er viktig at opplysningane er lagt inn på tilsvarande måte på alle bileta. Då blir den komande maskinlæringsjobben enklare, forklarar Meyer. 

For å komplisere det heile endå litt meir: Det er ikkje sjølve dyret den kunstige intelligensen skal kjenne igjen, men forma på det.

– På kvart bilete lagar vi ei slags ramme eller grense rundt alle dyra. KI lærer å setje desse saman på ein slik måte at den kan bruke desse rammene som utgangspunkt for identifiseringa, forklarar Nils Piechaud. 

Han har ansvaret for å utvikle modellane som blir brukt av KI i dette prosjektet.

No pågår arbeidet med å sette grensene og deretter lære KI å lese dei, for fullt.

– Til saman er cirka 780 artar representert på bileta som er plukka ut. Nokre av artane har meir enn 30.000 bilete knytt til seg, seier Meyer.

Datamaskina skal lære seg å gjere jobben sjølv

No er utfordringa å få modellen og KI til å fungere slik forskarane har tenkt.

– Eit menneske kan sjå på ei sjøstjerne ein gong og deretter kjenne igjen denne arten. Slik er det ikkje for KI. Den treng mange ulike bilete frå ulike vinklar og retningar for å klare å kjenne igjen til dømes ei sjøstjerne, seier Piechaud.

Vanlegvis presterer KI dårleg til å begynne med, men som på mange andre område er det slik at øving gjer meister også her.

– Med litt hjelp frå oss kan modellen ved hjelp av KI, trene seg sjølv til å bli stadig betre, seier Piechaud.

Han held på å undersøke akkurat kor mykje informasjon som trengs for at datamaskina skal klare å kjenne igjen dei ulike artane.

Ekstra utfordrande er det at etter kvart som fleire artar vert inkludert, aukar også krava til kva modellen må lære seg å gjere – det blir både fleire artar og fleire ulike formar å halde styr på.

– Til slutt, når modellen har lært nok, klarer den å kjenne igjen omrisset av dei utvalde dyra når dei dukkar opp på nye videoar, seier han.

Kunstig intelligens i arbeid

Det er mange videoopptak av havbotnen som skal analyserast etter eit tokt. Slik som opptaket over kan det sjå ut. Når det kjem artar som skal dokumenterast, dukkar spora etter den kunstige intelligensen opp.

Når den kunstige intelligensen går gjennom videoane, ser den etter nøyaktig dei artane den har fått beskjed om. Her i videoen er det ei sjøpølse som er målet. Straks den dukkar opp i biletramma blir den tildelt eit unikt id-nummer (gul ramme). 

Den grønne streken viser kva retning arten beveger seg i. Slik unngår forskarane at programmet blandar det utvalgte dyret sammen med andre dyr som kan dukke opp i samme biletramme. Dyret blir først talt når det har passert den blå streken nederst på skjermen.

Koden som er brukt til dette programmet er utvikla av Nils Piechad ved Havforskingsinstituttet. Det er inspirert av ei liknande løysing som er utvikla i open kildekode og utvikla av Ultralytics.

Kan ikkje erstatte menneske

Foreløpig tvilar dei to forskarane på at datamaskina kan ta heilt over identifiseringa i nær framtid.

– Sjølv om den identifiserer raskt og sikkert på dei artane den har lært seg, er det foreløpig usannsynleg at den vil klare å telle og identifisere alle artane like godt som eit menneske kan gjere, seier Piechaud.

I praksis betyr det at det kjem til å bli ein kombinasjon av KI og godt, gammaldags identifiseringsarbeid i lang tid framover.

– Det endelege målet er at KI skal klare identifiseringa sjølv, men foreløpig blir det ein kombinasjon der KI gjer mykje av rutinearbeidet medan forskarar kvalitetssikrar og i tillegg identifiserer dei meir vanskelege eller ukjende artane, seier han.