Vi vil vide hvad der virker

Hvad har kampen mod frafald på erhvervsuddannelserne tilfælles med en kommunes indsats for at gøre børn til bedre læsere? Umiddelbart ingenting. Og dog. For når EVA går i gang med to undersøgelser af de emner, er det med samme overordnede mission: at se på effekt og virkning i et større perspektiv.

"Når vi nu går i gang med de to evalueringer – hvor forskellige de end er – er det for at afprøve nogle forskellige metoder til at analysere effekter og virkninger. Undervisning og uddannelse er et meget komplekst og dynamisk felt, og det kan være meget svært at isolere årsager og virkning. Men det betyder ikke at man ikke skal prøve. Vi vil gerne styrke vores beredskab til at kunne sige hvad der virker," fortæller evalueringskonsulent Trine Danø, der har det overordnede ansvar for EVA’s effektmålings-flagskib.  

På den politiske dagsorden

Behovet for at kunne måle effekten af et bestemt tiltag – om det virker, hvordan det virker, og hvorfor – står højt på den politiske dagsorden. I sidste ende handler det om at beslutningstagerne, når de fordeler de økonomiske midler, gerne vil sikre sig at pengene og indsatsen lægges det rigtige sted – der hvor de virkelig nytter. Trine Danø:

"I Danmark har der ikke været en udbredt tradition for at effektmåle på det man kunne kalde de bløde områder, dvs. bl.a. de pædagogiske og sociale områder. Man ved ofte rigtig meget om fx en indsats' indhold og processer, men mindre om sluteffekten for brugerne og hvilke dele af en indsats der især har betydning for effekterne. Men siden 1990’erne er strømmen begyndt at vende. Der er stigende fokus på at kunne sige noget mere præcist om hvad der reelt virker."

Du får en blå pille, jeg gør ikke

Men hvordan gør man det så, det med at evaluere effekter og virkninger? I EVA’s undersøgelse af frafaldet fra hg-uddannelserne arbejder man med metoder der bruges i klassisk effektmåling. Her er den grundlæggende idé at man sammenligner en gruppe der har været "udsat" for en indsats, med en der ikke har – en såkaldt kontrolgruppe. Den ene gruppe får en blå pille, men den anden gør ikke. Hvad er forskellen? Hvilken effekt havde den blå pille så?

"Denne metode kræver at de to grupper er ens, ellers risikerer man fx at selve forskellen på grupperne – og ikke indsatsen i sig selv – er årsag til forskellen i resultatet. En klassisk effektmåling stiller derfor store krav til datamaterialet og til behandlingen af det," forklarer metodekonsulent Niels Matti Søndergaard der har ansvaret for undersøgelsen af frafaldet på hg-uddannelserne.

Drømmescenarium vs. virkelighed

"Når vi i undersøgelsen gerne vil finde svar på hvilke indsatser der effektivt bekæmper frafaldet, ville drømmescenariet være at halvdelen af skolerne havde et tiltag som den anden gruppe ikke havde – som fx en mentorordning for de studerende," siger Niels Matti Søndergaard.  

Han forklarer også at de to grupper man vil sammenligne, så skulle være meget ens med hensyn til faktorer som køn, alder, etnicitet, socioøkonomisk status osv. Det ville gøre det muligt at isolere effekten ved at se på om frafaldet var mindre i den gruppe med mentorordningen.

Men en ting er drøm, noget andet virkelighed, som Niels Matti pointerer:

"Virkelighedens verden er mere kompliceret. Skolerne har flere tiltag kørende ad gangen, og vi har ingen naturlig kontrolgruppe. Derfor kræver effektmålingen at vi er meget præcise i vores indkredsning af problemstillingerne, og at vi anvender en høj grad af statistisk kontrol."

Hvorfor virker det?

Men en ting er at vide om et tiltag virker – noget andet er at vide hvorfor, hvornår og hvordan det virker. Det er det EVA’s anden undersøgelse skal finde ud af. Her er det en kommunes indsats for at gøre eleverne til bedre læsere der er i fokus. Undersøgelsen skal se på om den pågældende indsats nu også virker efter hensigten i en såkaldt "virkningsevaluering":

”Vi ser på hvad der virker for hvem, hvordan det virker, og i hvilken sammenhæng det virker. Et vigtigt led i dén øvelse er at kortlægge og udfordre de antagelser om hvad der virker, som der ligger bag et bestemt tiltag – det man kalder for en "programteori"," fortæller Trine Danø og pointerer at der i princippet kan afdækkes og udfoldes en programteori i forhold til alle offentlige indsatser.

Ser på om antagelserne holder

Når man får sat ord på hvilke hypoteser der ligger bag en indsats – fx hvorfor og hvordan en kommune mener at det giver børnene bedre læsefærdigheder at uddanne lokale læsevejledere eller at inddrage forældrene – vil man også kunne afprøve om hypoteserne er gyldige, og hvad der skal til for at de er det.

"I en evaluering af virkning ser man med andre ord på om hypotesen "holder i byretten". Vi spørger lidt frækt: "Du tror det virker, men hvordan kan du vide det virker?". På den måde kan man indkredse hvad det er der gør at noget virker – og hvorfor det virker," siger Trine Danø.

De syv trin

En virkningsevaluering gennemgår typisk syv trin:

1. Stil evalueringsspørgsmålet

2. Find kilder til programteorien

3. Opstil programteorien

4. Gør programteorien klar til evaluering

5. Vælg evalueringsmetoder

6. Indsaml data

7. Analysér og konkludér.

"En af fordelene ved at evaluere virkning ved at se på programteorien bag er at man arbejder sammen med den man evaluerer, fx en kommune, om at formulere hvorfor de gør som de gør. Den proces er meget lærerig og øjenåbnende og vil ofte i sig selv give anledning til refleksion."

"Det der så er udfordringen med en virkningsevaluering, er at den på den ene side evaluerer en lokal indsats i en bestemt kontekst og på den anden side også må binde an til et mere generelt felt hvis resultaterne skal bredes ud. Kun når det lykkes, kan vi tillade os at tale om evidens – også selvom det er undersøgt lokalt," siger Trine Danø.

Ga-Joler frem for Matador Mix

Selvom der er forskelle på de to effekt-projekter – det ene er en klassisk effektmåling, mens den anden ser på virkning og kontekst – så er de begge udtryk for ny tendens: Man vil gerne vide hvilken nytte ressourcerne har. I en klassisk effektmåling kan man få "syn for sagn" ved at isolere effekten.

"Det at se på hvad der virker, bryder med en tradition hvor midlerne tildeles først, og så evaluerer man bagefter. For hvis man vil måle effekten, kræver det at man designer politikken, så evalueringen bliver tænkt ind fra starten. Det betyder blandt andet, at man skal formulere klare mål og forventninger til effekter, og i det hele taget være meget præcis når man definerer tiltaget," siger Niels Matti.

"En mentorordning på CPH West er fx ikke det samme som man forstår ved en mentorordning på Tønder Handelsskole. I dag arbejder man typisk med en så bred definition af fx hvad en mentorordning er, at man ender op med pose Matador Mix – og i effektmåling skal man kunne sammenligne Ga-Joler med Ga-Joler."

Læs mere

Du kan læse mere om projekterne på projektsiderne. Du finder undersøgelsen om frafald på erhvervsuddannelser her. Og virkningsevalueringen af børns læsefærdigheder her.