Hvordan ved vi om vi gør det rigtige?

Mindsker mentorordninger frafald? Får børn et bedre sprog af at blive sprogstimulerede? Og gør lederuddannelse til skolelederne i sidste ende folkeskolelever dygtigere til dansk og matematik? Det er blot nogle af de mange spørgsmål der svirrer i det danske uddannelsessystem, hvor forvaltningsansatte, politikere, ledere, lærere og pædagoger søsætter indsatser der skal skabe endnu bedre uddannelsesforløb for danske børn.

For det er vigtigt at vide hvad der virker i en tid, hvor ressourcerne er knappe, og hvor dansk uddannelse ranglistes i globale målinger som fx PISA-systemet.

Men vil man have viden, man faktisk kan bruge til noget, kræver det et bredere syn på hvordan vi undersøger det - en viden om hvilke spørgsmål de forskellige målinger kan svare på. Det fortæller Mikkel Bergqvist og Lluis Armangué, metodekonsulenter på EVA og eksperter i undersøgelsesdesign.

Piller og placebo

Mange forstår i dag effektmåling som de eksperimenter man kender fra den medicinske verden hvor man giver en pille med et virksomt stof til en gruppe og uvirksomt stof (placebo) til en anden, for efterfølgende at kunne sammenligne de to gruppers reaktion og dermed pillens effekt. Det kalder man også en eksperimentel eller evidensbaseret tilgang til effektmåling. Den eksperimentelle effektmåling kræver at man har en kontrolgruppe, det vil sige en gruppe som på alle måder ligner den gruppe som modtager en bestemt indsats, og kun adskiller sig ved at den ikke modtager indsatsen. Den kan altså ikke bruges til at vurdere indsatser der er rullet ud over samtlige skolelever eller børnehavebørn.

Svært at måle alt på en gang

I Danmark har vi en tradition for at rulle nye tiltag ud over alle på en gang og at sætte en masse initiativer i gang på samme tid. Det gør det umuligt at isolere effekten for hvert tiltag, og metoden er da heller ikke særlig udbredt i den danske uddannelsesverden – modsat et land som USA hvor man har rullet evidensbaserede målinger ud over hele uddannelsessystemet.

Ifølge EVA’s metodekonsulenter er den evidensbaserede metode oplagt at bruge mere af i nogle kontekster herhjemme, men det er vigtigt at holde sig for øje at der også er spørgsmål den type måling slet ikke kan svare på.

”En evidensbaseret måling giver mening hvis man kan matche to grupper der i udgangspunktet har samme forudsætninger for at præstere. Fx i forhold til frafald – hvis man indfører studiesamtaler for at forebygge frafald kan man sammenligne en gruppe elever der gennemfører en studiesamtale med en gruppe der ikke gennemfører en samtale og efterfølgende aflæse om der er færre der falder fra studiet i den første gruppe end i den anden," siger Mikkel Bergqvist.

"Det der er altafgørende for at metoden kan bruges, er at begge grupper fra start har samme forudsætninger for at gennemføre uddannelsen. Først da ved vi at vi måler effekten af studiesamtalerne. Den eksperimentelle tilgang er rigtig stærk til at konstatere om studiesamtalerne har en effekt, men undersøgelsen siger jo ikke noget om hvorfor eller hvilke omstændigheder i samtalen der gør at studiesamtalerne fastholder de studerende,” forklarer Mikkel Bergqvist.

Skal vi starte nyt eller forbedre det vi har?

Den eksperimentelle måling er relevant i tilfælde hvor man står over for at skulle vælge mellem at rulle en indsats ud eller trække den tilbage - skal vi fx indføre studiesamtaler eller lade være?

Hvis en indsats er givet – vi har studiesamtaler for det siger loven vi skal - er det måske mere relevant at se på hvornår samtalerne har en effekt på elevernes lyst til at blive på studiet, under hvilke omstændigheder og hvorfor? Her er andre metoder mere virksomme.

Se på de enkelte dele af en indsats

Med en såkaldt processuel tilgang følger man vejen fra en indsats til et resultat i en helt konkret kontekst. Lluis Armangué tager sprogstimulering af børn som eksempel. Her vil man se på om personalet i første omgang er blevet opmærksomme på børn der har behov for sprogstimulering, siden om de har udarbejdet en handleplan, om de efterfølgende har ført handleplanen ud i livet, om det så har ført til implementering af nye sprogindsatser, om sprogindsatserne matcher børnenes behov, og endelig om det i sidste ende styrker deres sprogkompetencer.

”Sagt på en anden måde bryder man indsatsen ned i en kæde af mekanismer som vi forventer at kunne se som trin på vejen til et resultat. Man laver altså en ”programteori” ud fra et logisk ræsonnement for hvad man forventer at der skal ske undervejs, og undersøger efterfølgende om det faktisk finder sted. Men man vil især også fokusere på hvordan konteksten spiller ind for at det sker eller ikke sker.” 

Se hvor kæden hopper af

Den processuelle tilgang gør det lettere at se hvor i en indsats kæden hopper af hvis den hopper af. Og hvor man i givet fald skal reparere. Men metoden kræver, ligesom den eksperimentelle tilgang, at man har et mål for hvad der skal komme ud af indsatsen i den sidste ende. Og at man ydermere kan har en klar idé om hvad der hører til indsatsen, og hvad der ikke gør.

Hvilket ikke er let inden for et komplekst område som uddannelsesverdenen. Mikkel Bergqvist forklarer.

”Tager man sprogstimuleringen som eksempel igen, er det svært at se om det i sidste ende er den der udvikler børns sprog, eller om de var nået samme sted hen alligevel. For børnenes sprog påvirkes også af alt muligt andet. Derfor bør man faktisk, for at isolere indsatsen, kombinere de to tilgange. Den processuelle tilgang siger så noget om hvor kæden hopper af, mens den eksperimentelle tilgang siger noget om effekten af sprogstimuleringen. Om den virker eller ej.” 
 

Bevidst prioritering

Effektmåling på både den eksperimentelle og den processuelle måde findes i en række varianter. Fælles for dem er at de kræver man klart kan beskrive og afgrænse sin indsats, samt at man har en klar forestilling om hvad indsatsen skal påvirke – hvilke resultater man kan forvente at den skaber. Er man bevidst om hvad de to metoder kan bidrage med hver især, har man til gengæld gode muligheder for at finde ud af hvad der gør en positiv forskel i det danske uddannelsessystem. Men det kræver indsigt og tålmodighed, understreger Mikkel Bergqvist og Lluis Armangué.

”Der findes ingen hurtige løsninger. Hvis du både vil have at vide om noget virker, og hvorfor eller hvordan det virker, må du typisk kombinere de to tilgange. I det politiske system kræver det en anden tålmodighed end vi oplever i dag hvor man gerne vil have hurtige svar og også indfører nye tiltag uden nødvendigvis en langsigtet strategi for hvordan vi opnår viden om hvad der virker. Og i forvaltninger, på skoler og i dagtilbud kræver det viden om hvad man kan med de forskellige målinger. Først da kan vi for alvor blive klogere på om det vi gør, er det rigtige,” slutter EVA’s metodekonsulenter. 

Vil du vide mere om effektmålinger?

EVA har i løbet af efteråret afholdt flere workshops om effektmålinger. Følg med på eva.dk  

Download EVA's publikation af effekt.

Herfra kan du downloade en længere introduktion til metoder til effektmålinger.