Slik kan førerløse skip seile gjennom skummel is og dårlig vær i Arktis

4 months ago 45

Se for deg et selvkjørende skip på vei gjennom et av verdens villeste havområder.

I Arktis ligger sjøisen på alle kanter. Tåke, snø eller regn kan gjøre sikten elendig.

Akkurat slik en sjøkaptein ser omgivelsene rundt seg, vil selvstyrende navigasjons-algoritmer oppfatte verden rundt skipet gjennom sensorer.

Og sikten i dårlig vær er akkurat like grøtete for sensorene, som det er for sjøkapteiner.

Kvitter seg med dårlig sikt

Det er under slike forhold, at det ville vært ekstremt nyttig med noe som kunne viske styggværet vekk, slik at algoritmene kan se isforholdene rundt skipet like godt som på en solskinnsdag. En algoritme er en oppskrift som en datamaskin følger for å løse et problem eller utføre en bestemt oppgave.

Stipendiat Nabil Panchi ved Institutt for marin teknikk på NTNU har utviklet en algoritme som kan løse nettopp denne oppgaven.

– Vi har lagt på plass én ny bit av det store puslespillet for bedre modellering av sjøis, forklarer Panchi.

Dagens kunstig intelligens-algoritmer fungerer godt på rene bilder, men sliter når bildene blir uklare. Stipendiaten, som også er utdannet skipsarkitekt, har matet den nye algoritmen med tusenvis av bilder fra Arktis.

Han har trent den til å rense vekk regn, snø og tåke, samt dråper på linsen til kameraer som mange av dagens skip er utstyrt med.

Regn inn, klarvær ut. Når KI-modellen mates med et værbilde renser den vekk for eksempel regndråper, og får fram et mye klarere bilde av omgivelsene rundt skipet.

Nabil Panchi er tilknyttet prosjektet DigitalSeaIce, som jobber med samordning og digitalisering av sjøis-observasjoner i Arktis.

Det overordnede målet er å få fram mer presise sjøis-modeller, og bedre forståelse av langsiktige variasjoner i isforholdene.

Forstå miljø via bilder

– Forskningen vår handler om å forstå miljøet i Arktis gjennom bruk av optiskebilder. Vi utvikler algoritmer som fungerer under alle værforhold, forklarer Panchi.

Forskningen hans bygger på flere tusen bilder tatt under et tokt med forskningsskipet Kronprins Haakon i Arktis, sommeren 2023.

Sammen med veilederen sin, førsteamanuensis Ekaterina Kim, publiserte han nylig artikkelen «Deep Learning Strategies for Analysis of Weather-Degraded Optical Sea Ice Images» i IEEE Sensors Journal.

To måter å rense vekk vær på

Panchi og Kim lanserer to måter å fjerne dårlig vær fra bilder på.

Den ene bruker kunstig intelligens (KI) for å rense bildene slik at dagens algoritmer virker slik de skal.

Den andre, litt mer effektive måten, er å utvikle nye algoritmer som fungerer i dårlig vær.

Algoritmer som kan rense bilder for vær er for lengst i bruk, men først og fremst i urbane strøk. De benyttes for eksempel til å utvikle selvkjørende fartøy, og innen sikkerhet og kameraovervåkning.

På tokt. Stipendiat Nabil Panchi (til høyre) justerer kameraet, mens stipendiat Alexandra Pliss sprayer vanndråper på skjermen foran den ene kameralinsen.

Dagens algoritmer for analyser av sjøis, bygger i stor grad på bilder tatt fra skip under gunstige værforhold. Bilder fra Arktis blir ofte grøtete av tåke, regn og snø. Dermed blir de dårlig kost for algoritmene som er utviklet for å forstå akkurat disse omgivelsene.

Algoritmene må trenes opp til å analysere hva slags istyper som omgir skipet. Da kan de vise hvor det er trygt å bryte igjennom isen, og hvor skipet bør styre unna. Men for å kunne fjerne tåke og regndråper, må de også trenes til å rense vær-påvirkede sjøis-bilder.

Åpent datasett med havisbilder

Så langt er dette et forskningsfelt som har fått lite oppmerksomhet. Problemet har vært begrenset tilgang på klare bilder fra Arktis – til nå.

Panchis veileder Ekaterina Kim har jobbet mye i Arktis. De senere årene har hun interessert seg for å ta i bruk KI for å kunne løse noen av utfordringene i polare strøk.

Nå har de to NTNU-forskerne lagt datasettet SeaIceWeather med tusenvis av bilder åpent ut på nett. Dette er det aller første åpne datasettet for sjøis.

Vil gi sikrere seilaser

– Slike, åpent tilgjengelige datasett finnes knapt. Vi håper de kan bidra i utviklingen av fremtidig, værbestandig teknologi, sier Panchi.

NTNU-forskerne håper at datasettet både tas i bruk av flere, og at flere inspireres til å samle inn slike bilder. Brukerne er særlig forskere som utvikler modeller for sjøis og navigasjon, eller dynamiske posisjoneringssystemer.

Disse systemene må virke uansett vær, og jo flere bilder algoritmene får trene på, jo mer nøyaktig blir overvåkning, isvarsling og navigering.

Og det trengs.

Flere skip – og uerfarne kapteiner

Global oppvarming smelter mer av isen som tidligere stengte de nordligste farvannene for skipstrafikk. Nå velger stadig flere rederier de nye, isfrie rutene. Mellom 2013 og 2019 økte skipstrafikken i Arktis med 25 prosent.

– Det kreves mye erfaring å navigere trygt gjennom sjøis. Det er nok flere skip i polare farvann nå, enn det er erfarne sjøis-kapteiner. Systemet vi har bygget kan gi bedre assistanse for de som manøvrerer skipene, sier Nabil Panchi.

Sjøisen er blitt tynnere. Den sprekker lettere opp og kan lage massive isrygger, eller skrugarder. Fra skipsbroen kan du kanskje se den ene meteren som stikker opp av overflaten, men ikke de 4-5 meterne som stikker ned i dypet. Muligheten for bulker og skrogskader er stor.

Skipsrevolusjonen skjer

Samtidig går utviklingen mot autonom skipsfart. Det kan revolusjonere hele næringen – og gjøre den både sikrere og mer effektiv. Fortune Business Insights anslår at det globale markedet for førerløse skip vil dobles, fra 6.11 milliarder USD i år, til 12.3 milliarder USD i år 2032.

– Vi forventer mer autonom teknologi på skip som navigerer gjennom farvann med mye is. I ekstreme arktiske omgivelser må systemene være absolutt pålitelige, sier Ekaterina Kim.

30 dager med datafangst

Nabil Panchi har trent algoritmene på to bildedata-sett. Det ene er hentet fra bildebaser på nettet, det andre samlet inn under GoNorth-toktet.

Han monterte to kameraer rett under hverandre på dekk på den ene skipssiden. Det øverste hadde fri sikt, foran det nederste monterte de en gjennomsiktig skjerm, som ble sprayet med vann for å etterligne regndråper på linsen.

Gjennom 30 dager samlet han inn tusenvis av bildepar, hvert par bestod av ett rent bilde og ett med kunstig regnvær.

Slik trenes algoritmene

I alt teller datasettene over 4.600 rene bilder, de fleste fra toktet. Ved hjelp av algoritmer laget de syv vær-varianter for hvert rent bilde: Små, middels og store snøfnugg, regnvær, tåke, og ekte, og simulerte regndråper på kameralinsen.

Ut fra dette lagde de to datasett. Det ene får fram bilder som forteller hva slags is som befinner seg rundt skipet. Det andre deler isen inn i ulike kategorier, som isflak, tallerken-is, issørpe, drivis, og så videre.

Forskerne lot tre forskjellige tilgjengelige algoritmer som renser bilder, få trene på datasettene. Når de sammenligner resultatene med de rene bildene, ser de tydelig hvilke algoritmer som er mest treffsikre for de ulike værtypene.

Utvidet virkelighet

Begrensningene i metoden er at alle bilder er tatt i fullt dagslys, og med kun tre typer værforhold. Siden Arktis ligger i mørke fra september til mars, bør det strengt tatt, samles inn tilsvarende bilder vinterstid, ifølge Panchi.

– Foreløpig er det nok forskere som kan utnytte det vi har gjort. Kanskje tar det inntil 5 år før modellene kan tas i bruk kommersielt. Da må de ha en kvalitet som gjør at de kan være en fullt pålitelig assistent for skipsledelsen, sier han.

Vil bety mindre utslipp

De største skipene bruker enormt med drivstoff. Når is skal brytes, må de av og til gå flere ganger frem og tilbake for å komme gjennom. Det krever mye energi.

– Om du fullt ut forstår forholdene som råder rundt båten, kan du eller KI, planlegge ruten og spare både tid, krefter og utslipp. Det vil også gjøre skipsfarten sikrere, sier Panchi.

– Stadig flere tankskip med flytende naturgass og annen last seiler i Arktis. Så langt har det ikke vært uhell med oljeutslipp, men skjer det, kan følgene bli alvorlige, legger han til.

En bonus ved å jobbe på en isbryter, er muligheten til å hilse på nysgjerrige isbjørner.

Mye ubrukt bildedata

Overvåkning av polare farvann er også viktig for å følge med på klimaendringene. Mange skip har kameraer og sensorer som overvåker seilingskurs.

Flere skip gir flere bilder, men lite er tilgjengelige online. De fleste havner i maritime dataarkiver. Med unntak for en og annen forsikringssak blir de aldri brukt, ifølge Nabil Panchi.

– Vi ser store muligheter i å hente nyttige data ut fra disse bildene. Ett av målene våre er å utvikle algoritmer som kan forbedres i sanntid, på stedet. Bedre overvåkning av Arktis vil komme samfunnet til gode. Det gir bedre grunnlag for utforming av politikk, og for bærekraftig og trygg utforsking av dette området, sier han.

Et KI-basert system for sjøis-analyser hjelper mannskapet til å forstå hva som befinner seg rundt skipet. – Vi kan bruke denne informasjonen til å utvikle avanserte systemer for å unngå kollisjoner, for tryggere navigasjon og best mulige seilingsruter. Det siste vil også gi mindre utslipp, sier stipendiat Nabil Panchi.

Referanse:

Nabil Panchi og Ekaterina Kim: Deep Learning Strategies for Analysis of Weather-Degraded Optical Sea Ice Images. IEEE Sensors Journal, 2024. (Sammendrag) Doi.org/10.1109/jsen.2024.3376518