Effektbølgen skyller ind over skolen

Bragt i Politiken, 18. august 2009. 

Af direktør Agi Csonka og områdechef Tue Vinther- Jørgensen, EVA.

Vil færre elever droppe ud af erhvervsuddannelserne hvis vi indfører mentorordninger? Bliver skoleeleverne bedre til at læse med den ene undervisningsmetode end med den anden? Og hvilken effekt har vejledning på unges valg af uddannelse?

Den danske skoleverden står midt i en effektbølge hvor folketingspolitikere, kommuner, skoleledere m. fl. i stor stil efterspørger effektmålinger som svar på spørgsmålet: Hvad er det der virker? Men det er stadig småt med effektstudier som kan fortælle hvad der er de bedste evidensbaserede metoder - f. eks. når Emma og Oskar skal lære at læse. I en effektmåling interesserer man sig ikke så meget for de pædagogiske processer. I stedet ser man på hvilke resultater der kommer ud af processerne. Bliver der flere gode læsere med den ene metode end den anden? Er der mindre frafald ved de uddannelsesinstitutioner der bruger mentorer, end ved dem der ikke gør? I dag er det standard at politikere og embedsmænd vil have belyst den type effekter når en udviklingspulje, et pilotprojekt eller en reform skal evalueres. Det kræver imidlertid at forskere og evaluatorer bruger andre metoder, men også at embedsfolk og praktikere gør noget andet end det de plejer.

EFFEKTBØLGEN RAMTE for alvor i 2004 med OECD's analyse af den pædagogiske forskning i Danmark. OECD pointerede at resultaterne af de mange pædagogiske forsøgsprojekter ofte ikke bliver samlet op og dokumenteret systematisk, og at de derfor kun sjældent giver ny viden som politikere og undervisere kan anvende når de hhv. skal træffe beslutninger og tilrettelægge undervisning.

Mere præcist ønsker politikere, embedsmænd og skolefolk at evalueringer og forskning skal afdække og dokumentere hvilke metoder der virker, og hvilke der ikke gør. Nogle mener endda at effektmålinger på lidt længere sigt skal kunne teste f. eks. forskellige indlæringsmetoder på samme måde som man gør i den medicinske forskning. Her opererer man med kontrollerede forsøg med tilfældig deltagerudvælgelse - og dette er nu også i stigende grad idealet for mange der beskæftiger sig med effekt af undervisning og uddannelse.

Et kontrolleret forsøg går groft sagt ud på at etablere to forsøgsgrupper via tilfældig udvælgelse, så man sikrer sig at grupperne ikke adskiller sig fra hinanden på måder der kan have betydning for resultatet.

Den ene gruppe udsættes nu for et nyt pædagogisk tiltag (treatment-gruppen), mens den anden gruppe ikke gør (kontrolgruppen). Herefter måler man så om treatment-gruppen opnår bedre resultater end kontrolgruppen, og om der altså har været en effekt af det pædagogiske tiltag.

SELV OM det politiske system efterspørger effektmåling, er kontrollerede forsøg ikke slået igennem i Danmark eller i resten af Norden for den sags skyld. En af årsagerne er at både forældre, fagfolk og politikere kan være bekymrede for om det er etisk forsvarligt at opstille forsøg hvor ikke alle børn tilbydes det vi tror virker bedst. En anden årsag er at det er dyrt og vanskeligt i en kompleks virkelighed hvor mange elementer spiller sammen, at isolere effekten af ét bestemt tiltag.

I USA HAR MAN gennemført effektmålinger i en årrække. Skoleprogrammet ' No Child Left Behind' stiller direkte krav om at lærerne underviser med evidensbaserede metoder.

Derfor arbejder det amerikanske 'What Works Clearinghouse' på at indsamle viden om hvad der virker.

De amerikanske erfaringer er ikke udelt positive. Selv om ambitionen oprindelig også var at undersøge effekten af større reformtiltag og pædagogiske udviklingsprojekter, er meget af aktiviteten lidt snævert og uinteressant kommet til at handle om private udvikleres undervisningssystemer og -materialer.

I mange tilfælde har det vist sig vanskeligt at dokumentere en øget effekt af særlige undervisningsmaterialer eller nye pædagogiske tiltag. Derfor har det amerikanske Clearinghouse ofte måttet konstatere at det ikke kan dokumenteres at noget virker. Sarkastiske sjæle taler derfor om 'Nothing Works Clearinghouse'. Clearinghouse har også måttet indføre begrebet ' best evidence' og inddrage forskningsresultater fra andet end kontrollerede forsøg i deres faglige praksisguider til de amerikanske skolelærere.

Til gengæld viser de amerikanske erfaringer at de etiske bekymringer ofte er overdrevne og ubegrundende, og at det kan give god mening at finde deltagere eller kommuner i pilotprojekter via tilfældig udvælgelse. Som regel er der tale om en ekstra indsats over for treatment-gruppen, så kontrolgruppen mister ikke noget i forhold til udgangspunktet.

DEN VIGTIGSTE pointe fra USA er imidlertid at effektmåling ikke kun er en udfordring for den pædagogiske forskning.

Uanset om man sværger til kontrollerede, tilfældige forsøg eller andre undersøgelsesmetoder, stiller effektmåling krav om en bevidst evalueringsstrategi tidligt i et forløb: Præcise effektanalyser kræver for det første præcise mål for indsatsen lokalt.

Hvad er en mentorordning helt præcis, og hvordan forventer man at den skal virke på uddannelsesinstitutionerne? For det andet kræver effektanalyser at nogle skoler skal sætte bestemte tiltag i værk på en bestemt måde, mens andre ikke skal.

Eller at store reformer iværksættes rullende over en årrække, så der bliver mulighed for at lave kontrolgrupper og sammenligne resultater.

EN SÅDAN instrumentel tilgang til udviklingstiltag i uddannelsesverdenen harmonerer ikke altid godt med en ' lad-tusind-blomster-blomstre'-tilgang endsige med uddannelsesinstitutionernes lokale handle-og metodefrihed. Så hvis vi i Danmark skal blive bedre til at analysere effekt - og dermed til at vurdere om vi bruger vores penge og kræfter hensigtsmæssigt - så skal forskerne helt sikkert ændre fokus og praksis. Men det skal politikere, embedsmænd og praktikere altså også.

Implementering og evaluering skal gå hånd i hånd hvis effektbølgen skal give værdi og evidens til uddannelsesverdenen og ikke blot ebbe ud som et lille skvulp på overfladen.