Fortæl mig hvad der virker
Bragt på Altinget.dk, marts 2009.
Af Agi Csonka, direktør, Danmarks Evalueringsinstitut.
Forsknings- og evalueringsverdenen har imidlertid haft svært ved at honorere forventningerne om systematiske effektevalueringer på uddannelsesområdet. I 2004 gennemførte OECD en analyse af den pædagogiske forskning i Danmark, hvor OECD roste de mange pædagogiske forsøgsprojekter, men samtidig pointerede at resultaterne ofte ikke bliver dokumenteret og sammenfattet systematisk, og at de derfor kun sjældent giver ny viden som politikere og undervisere kan handle på.
I USA har man gennemført hardcore effektanalyser i en årrække. Skoleprogrammet ”No child left behind” stiller direkte krav om at lærerne underviser med evidensbaserede metoder. Derfor arbejder det amerikanske What Works Clearinghouse på at indsamle viden om ”hvad der virker”, primært gennem eksperimentelle designs hvor man måler effekten af nye tiltag i skolerne ved at sammenligne med skoler hvor de samme tiltag ikke er indført. Ganske som man i årevis har gennemført kontrollerede forsøg med tilfældig deltagerudvælgelse inden for den medicinske forskning.
De amerikanske erfaringer er imidlertid ikke udelt positive. Selvom ambitionen oprindeligt også var at undersøge effekten af større reformtiltag og pædagogiske udviklingsprojekter, er meget af aktiviteten lidt snævert og uinteressant kommet til at handle om private udvikleres ofte it-baserede undervisningssystemer og -materialer. Og i rigtig mange tilfælde har det vist sig umuligt at dokumentere en øget effekt af særlige undervisningsmaterialer eller nye pædagogiske tiltag.
Den vigtigste pointe fra USA er imidlertid at effektanalyser stiller store krav - ikke alene til forskernes brug af forskellige metoder - men så sandelig også til de politikere og embedsmænd som udformer tiltagene.
Præcise effektanalyser kræver for det første præcise mål for og implementering af indsatsen lokalt. Hvad er en mentorordning helt præcist, og hvordan forventer man at den skal virke på uddannelsesinstitutionerne? For det andet kræver effektanalyser at man træffer nogle beslutninger om at nogle skoler skal sætte nogle bestemte tiltag i værk på en bestemt måde, mens andre ikke skal. Eller at store reformer iværksættes rullende over en årrække, så der bliver mulighed for at lave kontrolgrupper og sammenligne resultater. En sådan lidt instrumentel tilgang til udviklingstiltag i uddannelsesverdenen harmonerer ikke altid godt med en ”lad-tusind-blomster-blomstre”-tilgang endsige med uddannelsesinstitutionernes lokale handle- og metodefrihed. Så for at vi i Danmark kan blive bedre til at analysere effekt og dermed til at vurdere om vi bruger vores penge og kræfter hensigtsmæssigt, skal forskerne helt sikkert ændre fokus og praksis. Men det skal politikere, embedsmænd og praktikere altså også.
