Hvilke krav bør vi stille til offentlige eksperimenter?

Arbeiderpartiets finansminister Jens Stoltenbergs forslag om arbeidsfradrag for unge engasjerer. Regjeringen ønsker å gjøre et forsøk med det, men hvordan skal det gjøres? Innleggsforfatterne drøfter krav og metoder. Foto: Ketil Blom Haugstulen

Offentlige eksperimenter får stor innvirkning – da trengs bedre vurdering. Kliniske studier kan gi nyttige metoder.

I Aftenposten 29. juni skrev vi at randomisering, tilfeldig utvelging av personer eller andre enheter for en empirisk undersøkelse, alene ikke sikrer at et forsøk gir relevante svar.

Vi brukte et forklarende eksempel med joggesko for å forklare én mulig feilkilde: interferens, altså at tiltak rettet mot én person (for eksempel arbeidsfradrag eller nye joggesko) påvirker andres utfall (for eksempel sysselsetting eller pallplassering).

Ofte kan vi neglisjere slik påvirkning. I et klinisk forsøk som undersøker effekten av en ny øyeoperasjon, er det ikke grunn til å tro at operasjonen én pasient får, påvirker synet til andre.

Men i forsøket med arbeidsfradrag for unge er det vanskeligere å utelukke interferens. Deltagerne inngår i et felles arbeidsmarked og kan påvirke hverandres muligheter og valg. Hva skjer hvis én i et parforhold får fradraget? Jobber den andre mindre? Gir fradraget et forhandlingsfortrinn i lønnsforhandlinger?

Kan vi lære noe av kliniske studier?

Kliniske studier – som evaluerer effekten av legemidler eller behandlingsmetoder – har konsekvenser for liv og helse. Derfor stilles det strenge krav til hvordan disse forsøkene planlegges, gjennomføres og tolkes.

Forsøksordningen handler ikke direkte om liv og helse, men koster rundt 500 millioner kroner i året og kan få stor betydning for fremtidig politikk.

Hvilke krav bør vi stille til denne typen offentlige eksperimenter?

Nedenfor foreslår vi at forsøket gjennomgås mer systematisk før oppstart. Vi diskuterer også påstander fra forskerne bak rapporten som fulgte høringsforslaget.

Spørsmål først, antagelser etterpå

Et grunnleggende prinsipp er at følgende punkter avklares før forsøket starter:

1. Hva er spørsmålet forsøket skal besvare?
2. Hva skal måles for å besvare dette spørsmålet?
3. Hvilke forutsetninger må være oppfylt for at målingene gir relevante svar?

I rapporten og tilsvaret til vår kronikk peker forskerne på flere mulige spørsmål forsøket skal besvare. Disse dreier seg blant annet om effekter på sysselsetting, lønn og arbeidstilbud. For hvert spørsmål kan det forekomme ulike former for interferens som må vurderes særskilt.

I tilsvaret skriver forskerne at de omtaler «utfordringer av denne typen i avsnitt 7.4». Dette korte avsnittet er imidlertid begrenset og vurderingene er ikke knyttet til klart definerte spørsmål. Det er derfor vanskelig for utenforstående å vurdere i hvilken grad interferens er håndtert på en tilfredsstillende måte.

For eksempel må tidspunktet for utfallet presiseres: Er man interessert i sysselsetting nøyaktig tre år etter forsøksstart, eller i løpet av hele forsøksperioden?

Som forskerne selv påpeker, kan fradraget påvirke økonomien gjennom mekanismer som lønnsdannelse og endret arbeidstilbud. Slike prosesser utvikler seg over tid. Interferens kan derfor arte seg ulikt avhengig av hvilket tidspunktet man ser på.

Etter en systematisk kartlegging av spørsmål og nødvendige forutsetninger kan eventuelle utfordringer minimeres eller unngås gjennom en gjennomtenkt utforming av forsøket.

Dette er vanlig praksis, for eksempel i utprøving av vaksiner mot smittsomme sykdommer, hvor interferens ofte er en utfordring. Det hadde vært interessant å se om noen av disse metodene også kan brukes i forsøksordningen.

Stort og lite

Forskerne skriver i tilsvaret: I praksis er derimot denne feilkilden [interferens] svært liten. Andelen som mottar fradraget er ‘bare’ 8 prosent, og i den grad de ‘stjeler’ jobbene fra ikke-mottagerne, påvirker dette sysselsettingen i denne gruppen svært lite fordi den er så stor.

Det er ikke åpenbart at interferens er et lite problem bare fordi få mottar fradraget. Fradraget kan for eksempel gi mottagerne et konkurransefortrinn, ved at de er villige til å jobbe for lavere lønn. Et slikt fortrinn kan være sterkere jo færre som får fradraget. Dette øker usikkerheten om hvorvidt resultatene fra forsøket vil gjelde dersom fradraget blir en permanent ordning for alle.

Og hva betyr bare og svært lite i denne sammenhengen? Finnes det eksplisitte, faglig begrunnede terskler? Når er en forstyrrelse så liten at vi ikke trenger å bry oss om den?

Det er viktig å gi konkrete svar på disse spørsmålene fordi effekten av arbeidsfradraget også anslås å være liten. Derfor kan selv små feilkilder få stor betydning. Som det heter i forskernes rapport: «Sett opp mot variasjonen i utfall over tid, mellom kommuner osv. er effektene av et arbeidsfradrag relativt små. Det gjør at eventuelle feilkilder […] vil få uforholdsmessig stor betydning, og redusere potensialet for ny kunnskap betraktelig.»

Med andre ord: Jo mindre effekten man ønsker å måle er, desto mindre støy tåler forsøket. Derfor bør vi vurdere interferens og andre feilkilder, selv om vi antar at påvirkningene er begrenset.

Økt tillit

Statistiske resultater veier tungt i det offentlige ordskiftet. Derfor er det viktig at resultatene er relevante og pålitelige.

En mer systematisk gjennomgang før oppstart vil gjøre det lettere å forstå forsøket, avdekke svakheter og foreslå forbedringer.

På sikt kan det styrke tilliten til randomiserte forsøk som grunnlag for ny politikk.