Teknologi fikk topp­karakterer, men tålte ikke testing

Cybersikkerhet: Forskere fant alvorlige brister i anerkjent forskning som skal beskytte mot digitale angrep. (Illustrasjonsfoto: Shutterstock / NTB)

KRONIKK: Digital sikkerhet starter med etterprøvbarhet, ikke prestisje.

Norges ingeniør- og teknologorganisasjon (NITO) publiserte nylig funn fra en undersøkelse blant over 1.300 av sine medlemmer. Den viser at norske ingeniører og teknologer har svært høy tillit til cybersikkerheten på egen arbeidsplass.

Mange sier imidlertid at de stoler på virksomhetens sikkerhetssystemer, men at de vet lite om hvordan de faktisk fungerer.

Ifølge NITO kan det tyde på en falsk trygghet. Jeg deler den bekymringen – og kan dokumentere at dette ikke bare gjelder teknologer i arbeidshverdagen, men også i forskningen på cybersikkerhet.

Forskning som ikke tålte etterprøving

Jeg er selv både praktiker og forsker, det vil blant annet si at jeg er ekspert på cybersikkerhet, teknologi koblet til internett og vedlikehold av IT-løsninger. 

I fjor gjorde jeg og noen kolleger ved Kristiania en grundig etterprøving av et cybersikkerhetssystem. Systemet skal beskytte såkalte IoT-enheter – alt fra smarte høyttalere til industrielle sensorer – mot en type digitale angrep vi kaller DDoS-angrep.

DDoS-angrep (Distributed Denial of Service) overbelaster og lammer systemer ved å sende dem enorme mengder trafikk. Det kan ha alvorlige konsekvenser: alt fra pasientmonitorer til strømnett og alarmsystemer kan svikte hvis slike angrep ikke oppdages og stanses i tide.

Jeg bestemte meg for å teste et anerkjent system som var presentert som et intelligent forsvarssystem med nær perfekt treffsikkerhet (over 99 prosent) basert på maskinlæring og analyse av nettverkstrafikk. Men da jeg forsøkte å gjenskape resultatene for å teste systemet i praksis, fant jeg en rekke alvorlige brister:

• Ingen IoT-enheter var brukt i testene – til tross for at systemet var ment for nettopp disse.
• Datasettene besto av trafikk mellom vanlige datamaskiner i et virtuelt testmiljø, ikke fra realistiske IoT-scenarier.
• Maskinlæringsmodellene var trent på irrelevante data, som IP-adresser og flow IDs (altså unike identifikatorer for en datastrøm), som varierer i virkelige nettverk og derfor gjør modellen ubrukelig i praksis.
• Der var meningsløse matematiske ligninger.
• Resultatene så ut til å være kopiert fra en annen studie – uten at kilden var oppgitt.
• Den kanskje mest alvorlige svakheten er at forfatterne verken publiserte kildekoden eller oppga hvilket programmeringsspråk de brukte.
• Testdatasettet inneholdt omtrent 0,16 prosent ufarlige tester som – i kombinasjon med en manipulerende måte å fremstille resultatene på – gir nærmest perfekte resultater.
• Begreper som «kunstig intelligens» og «IoT» var brukt, uten at disse faktisk var del av metodikken eller analysen. Dersom de har brukt KI, var begrunnelsen for bruken og resultatene tvilsomme.

Likevel ble artikkelen i 2020 publisert i det høythengende fagtidsskriftet IEEE Internet of Things Journal. Den var altså gjennomlest og godkjent av andre cybersikkerhetsforskere. At prestisjefylte fagtidsskrifter publiserer, gir forskningen et kvalitetsstempel. Denne forskningen er siden brukt som bevis på at problemet med DDoS-angrep i enheter koblet til internett (IoT) er løst.

Det stemmer altså ikke, og vår forskning og kritiske etterprøving vant derfor prisen for beste vitenskapelige artikkel ved Norsk informasjonssikkerhetskonferanse ved NTNU i 2024.

Tillit er ikke nok – vi må teste systemene

Saken illustrerer egentlig et større problem: at både forskere og teknologer kan ha for høy tillit til systemer og løsninger – uten å etterprøve dem grundig nok.

Det viktigste vi kan gjøre – som forskere, utviklere og beslutningstakere – er å være kritiske og spørre oss selv:

• Er systemene testet i realistiske omgivelser?
• Er resultatene åpne og etterprøvbare?
• Er metodene relevante for formålet, eller bare teknisk imponerende?

Skal vi bygge trygg digital infrastruktur, må vi også bygge en forskningskultur med åpenhet og etterprøvbarhet. I cybersikkerhet er det ikke nok å tro at noe virker. Vi må vite det.

Referanser:

• Jia, Y., Zhong, F., Alrawais, A., Gong, B., & Cheng, X. (2020). FlowGuard: An intelligent edge defense mechanism against IoT DDoS attacks. IEEE Internet of Things Journal, 7(10), 9552–9562. https://doi.org/10.1109/JIOT.2020.2993782
• Gavric, N., Bhandari, G., & Shalaginov, A. (2024). Revisiting FlowGuard: A Critical Examination of the Edge-Based IoT DDoS Defense Mechanism. Norsk IKT-konferanse for forskning og utdanning, (3). Hentet fra https://www.ntnu.no/ojs/index.php/nikt/article/view/6239
• NITO. (2025, 22. mai). Undersøkelse viser enorm tillit til cybersikkerhet [Pressemelding]. Kommunikasjon.no. https://kommunikasjon.ntb.no/pressemelding/18537554/undersokelse-viser-enorm-tillit-til-cybersikkerhet?publisherId=89239&lang=no