Hva kan joggesko lære oss om arbeidsfradrag?

Forskerne bruker i kronikken et joggeskoeksempel for å forklare at randomiserte eksperimenter er nyttige, men bare når man forstår hva man måler. Foto: Bjørn Erik Larsen

I jakten på kunnskapsbasert politikk er det både riktig og viktig at politikere åpner for randomiserte forsøk. Et enkelt eksempel viser likevel hvorfor resultatene må tolkes varsomt.

Forskere og politikere vil undersøke om økt arbeidsfradrag for unge fører til høyere sysselsetting. Ideelt sett skulle vi sammenlignet to alternative versjoner av Norge: én der alle unge får økt fradrag, og én der ingen gjør det. Forskjellen i andelen sysselsatte er effekten av tiltaket. Utfordringen er at vi bare kan observere ett av disse scenariene. Det andre forblir kontrafaktisk.

Som en mulig løsning har Finansdepartementet sendt ut et forslag om å gi økt arbeidsfradrag til et tilfeldig utvalg unge for å kunne sammenligne sysselsettingen i denne gruppen med resten av befolkningen.

Hvis noen viktige forutsetninger er oppfylt, vil denne kontrasten tilsvare effekten av økt fradrag. Randomiseringen sikrer én av disse forutsetningene: at gruppene i utgangspunktet er like. Men randomisering alene er ikke nok for å konkludere at kontrasten vi måler, er lik den effekten vi egentlig er interessert i. Et enkelt eksempel illustrerer hvorfor.

Joggeskoeksempelet

Tenk deg at du vil teste om en ny type joggesko øker sjansen for å komme på pallen. Du randomiserer noen løpere til å bruke skoene. Gjennom sesongen ser du at de havner oftere på pallen enn andre – og konkluderer med at skoene har en positiv effekt. Neste sesong bruker alle de nye skoene – men nå er effekten borte. Skoene øker ikke lenger sjansen for å komme på pallen siden alle har dem. Det du målte, var ikke effekten av skoene i seg selv, men fordelen ved å ha bedre sko enn konkurrentene. Det er ikke det samme.

Dette er et eksempel på interferens: Tiltaket som rettes mot én person (for eksempel nye joggesko eller økt arbeidsfradrag), påvirker en annens utfall (som å komme på pallen eller komme i jobb). Interferens gjør det vanskelig å identifisere de kausale sammenhengene som faktisk er relevante, selv i randomiserte forsøk.

I eksempelet med løpeskoene er én mulig løsning å endre forskningsspørsmålet på en måte som gjør at interferensen forsvinner. For eksempel: «Hva er effekten av de nye skoene på hvor fort man løper?» Under dette nye spørsmålet er det rimelig å anta at det ikke er interferens – én persons løpesko påvirker ikke hvor fort en annen løper.

Kan gi uventede effekter

Joggeskoeksempelet er oversiktlig. Vi forstår mekanismene og skjønner hvordan vi kan justere eksperimentet for å unngå interferens. I større og mer komplekse samfunnssystemer er det ikke nødvendigvis så enkelt.

Interferens kan gi uventede effekter i flere retninger. Derfor er det vanskelig å vite hva et randomisert eksperiment faktisk måler. Vi kan ende opp med tallfestede resultater uten å vite hva de representerer.

Interferens er en utfordring i forsøksordningen som nå er på høring fra Finansdepartementet. Når noen får økt arbeidsfradrag, kan det påvirke andres sjanser på arbeidsmarkedet. Arbeidsmarkedet er et konkurransemarked. Én gruppes fordel kan bli en annens ulempe. Anta for eksempel at unge som får økt arbeidsfradrag, blir mer villige til å ta lavtlønte jobber. Disse unge kan da fortrenge andre som ellers ville fått jobbene.

Hvis forskerne finner høyere sysselsetting blant dem som fikk økt arbeidsfradrag, må vi tolke resultatene varsomt. Skyldes det fradraget i seg selv – eller fordelen av å ha høyere fradrag enn andre? Eller noe helt annet? Eller en kombinasjon? Hvis effekten skyldes konkurransefortrinnet, vil den forsvinne når alle får økt fradrag. Da har man ikke målt effekten av selve tiltaket og kan ikke forvente at samlet sysselsetting vil øke.

En svakhet

Diskusjonen om forsøksordningen bør derfor ikke reduseres til et spørsmål om man er for eller mot randomisering.

Det er både riktig og viktig at politikere åpner for randomiserte eksperimenter i jakten på kunnskapsbasert politikk, men det blir en forenkling – og i noen tilfeller misvisende – å hevde at randomiserte eksperimenter i seg selv garanterer ny innsikt.

Like misvisende er det å antyde, slik Kjetil B. Alstadheim gjorde i Aftenposten, at slike eksperimenter egner seg til å besvare medisinske, men ikke økonomiske spørsmål. Interferens er for eksempel en kjent utfordring i studier av infeksjonssykdommer. Hva man kan undersøke med randomiserte eksperimenter, avgjøres ikke av fagfelt, men av det konkrete spørsmålet man ønsker å besvare.

Om – og i hvilken grad – interferens er et problem i forsøksordningen, bør vurderes av økonomer og andre eksperter. Utfordringer knyttet til interferens er ikke omtalt i rapporten som følger høringsforslaget. Det er en svakhet.

Villspor

Eventuelle utfordringer kan minimeres eller unngås med et godt gjennomtenkt forsøksdesign. I verste fall er interferensen så omfattende at det ikke gir mening å bruke et randomisert eksperiment.

Randomiserte eksperimenter er nyttige, men bare hvis vi forstår hva de faktisk måler. Når målet er uklart, kan en kostbar, randomisert studie lede oss på villspor.

Randomisering alene gjør ikke et forsøk til en gullstandard, slik flere forskere har hevdet den siste tiden. Ny kunnskap er først verdifull når vi vet hva vi har fått kunnskap om.