Evalueringer med effekt
Når EVA har undersøgt effekten af sine evalueringer, er det af flere grunde. Vi vil gerne have indsigt i:
- Hvad ministerier, kommuner og skoleledere mener – om de kender instituttets evalueringer, og om de bruger viden fra evalueringerne i deres arbejde. Dvs. vi vil gerne kunne belyse og dokumentere evalueringernes effekt.
- Hvad der fremmer og hæmmer at evalueringerne får størst mulig effekt. De input som vi får fra undersøgelsen, kan give os input til hvor vi eventuelt skal revidere vores strategi, fx om hvor vi skal lægge en større indsats for at kunne øge effekten af vores arbejde.
Oplevet effekt
Undersøgelsen er baseret på ”den oplevede effekt”. Det betyder at undersøgelsen bygger på tilbagemeldinger fra en række forskellige interessentgrupper der har svaret på hvilke effekter de oplever at de enkelte evalueringer har haft.
Effektundersøgelsen har fulgt de evalueringer som EVA havde på sin handlingsplan for 2004, og som blev afsluttet i løbet af 2005. Det er i alt ti evalueringer, bl.a. evalueringerne af læsning i folkeskolen, kommunernes kvalitetssikring af folkeskolen, it på de gymnasiale uddannelser, VUC, videregående engelskuddannelser og studie- og erhvervsvejledning på universiteterne.
Kendskab, refleksion og ændret praksis
Interessentgrupperne er alle blevet spurgt om effekter på tre niveauer, nemlig om deres kendskab til evalueringerne, om evalueringerne har bidraget til refleksion, og om skolen har ændret sin praksis som følge af evalueringernes anbefalinger.
Ny dokumentation
Effektundersøgelsen har i høj grad indfriet sit formål om at dokumentere instituttets arbejde. Hidtil har vi ikke vidst om evalueringsresultaterne på skoleområderne kom bredt ud, dvs. om de blev brugt på landsdækkende plan og ikke alene af de fem-seks skoler deltog i hver evaluering og dermed var forpligtet til at følge op på evalueringens anbefalinger.
Nu ved vi at 82 % af skolelederne fra folkeskolen kender evalueringen af læsning i høj eller nogen grad. Og at 82 % af landets kommuner kender evalueringen af læsning, mens det er 88 % af de danske kommuner der kender EVA’s evaluering af kommunernes kvalitetssikring. Et kendskab som overrasker positivt.
Rapportlæsning og medieomtale
Skolelederne har fået kendskab til evalueringen af læsning ad forskellige veje. Undersøgelsen viser at 35 % af skolelederne har læst det meste af eller hele evalueringsrapporten om læsning, mens det er 82 % der har læst EVA’s hæfte der samler de vigtigste konklusioner og anbefalinger. Og så kan 72 % af skolelederne huske at have læst eller hørt om evalueringen gennem medier som fag- og dagspresse.
Ministerierne bruger rapporter
En anden interessentgruppe som EVA ofte retter anbefalinger til, er Undervisnings- og Videnskabsministerierne. Her viser interviewene at ministerierne tillægger evalueringerne stor betydning. Bl.a. er mange rapporter baggrund for givtige drøftelser, og nogle rapporters anbefalinger har afgørende betydning for ministeriernes planer og aktiviteter.
Skolediskussioner om læsning
Evalueringen af læsning har sat gang i refleksioner og diskussioner på landets skoler. Blandt skoleledere vurderer 64 % af lederne i folkeskolen og 47 % af lederne på de frie grundskoler at evalueringen af læsning har givet dem ny viden. Og evalueringen har sat diskussioner i gang på 57 % af folkeskolerne og 35 % af de frie grundskoler. Her er EVA især positivt overrasket over at en forholdsvis stor en del af de frie grundskoler bruger evalueringen.
Ændringer og udvikling
Undersøgelsen sporer også en effekt på det niveau der drejer sig om udvikling og ændringer i praksis på uddannelsesinstitutionerne. På grundskoleområdet vurderer 51 % af skolelederne i folkeskolen og 27 % af skolelederne i de frie grundskoler at evalueringen af læsning i høj eller nogen grad har haft indflydelse på udviklingen af læseundervisningen på deres skole. Og 70 % af kommunerne vurderer at evalueringen af kommunernes kvalitetssikring i høj eller nogen grad har sat sit præg på udviklingen af deres kvalitetssikring af folkeskolen.
Samlet set vurderer 68 % af de institutioner der deltog i EVA’s evalueringer fra Handlingsplan 2004, at evalueringerne i meget høj grad eller i høj grad har bidraget til at sætte interne udviklingsprocesser i gang. Institutionernes vurderinger varierer dog meget fra evaluering til evaluering. Samtlige deltagende institutioner har en positiv vurdering af bidraget til udvikling i evalueringerne af læsning i folkeskolen, kommunernes kvalitetssikring af folkeskolen, VUC og studie- og erhvervsvejledning på universiteterne.
Timing og troværdighed
EVA har også fået input til hvor vi kan forbedre instituttets praksis – og forhåbentligt nå en større effekt i fremtiden. Flere af informanterne i undersøgelsen peger nemlig på forhold som de mener, er vigtige for at evalueringerne har effekt. Repræsentanter for ministerierne fastslår at evalueringernes timing er utrolig vigtig for at resultaterne kan bruges i fx en reformproces eller et lovarbejde. Samtidig pointerer uddannelsesejerne, bl.a. ministerier og kommuner, at evalueringernes metodiske soliditet er en helt grundlæggende forudsætning for at evalueringerne har værdi og dermed effekt.
Effektiv og målrettet formidling
Informanterne efterspørger en effektiv formidling. Typisk har hver enkelt evalueringsrapport en meget bred målgruppe der strækker sig fra undervisere og ledere til embedsfolk og politikere kommunalt og statsligt. Især skoleområderne efterspørger mere målrettet EVA-materiale der kan støtte den interne debat og refleksion på skoler og i kommuner. De målrettede produkter som informanterne foreslår, er bl.a. korte politikervenlige resuméer og præsentationer til debatseminarier.
Operationelle anbefalinger
Når det drejer sig om EVA’s anbefalinger lægger informanterne vægt på at de er så operationelle og konkrete som muligt, at det er helt klart hvem anbefalingen retter sig mod, og at antallet af anbefalinger holdes på et overskueligt niveau. Ikke mindst hvor EVA’s evalueringer ser på overgange og sammenhænge mellem forskellige uddannelsesområder, er det vigtigt at det står helt klart hvem der skal følge op på anbefalingerne så de lander på de rette stole og ikke mellem dem.
Undersøgelsen viser …
- 82 % af skolelederne fra folkeskolen kender evalueringen af læsning i høj eller nogen grad.
- 82 % af landets kommuner kender evalueringen af læsning.
- evalueringen af læsning har sat diskussioner i gang på 57 % af folkeskolerne.
- 72 % af skolelederne huske at have læst eller hørt om evalueringen af læsning gennem medier som fag- og dagspresse.
- 88 % af de danske kommuner der kender EVA’s evaluering af kommunernes kvalitetssikring.
- 68 % af de institutioner der deltog i evalueringerne, vurderer at de i meget høj grad eller i høj grad har bidraget til at sætte interne udviklingsprocesser i gang.
Undersøgelsens metode
Undersøgelsen er designet så den består af tre delundersøgelser der til sammen inddrager en bred interessentkreds som evalueringerne hver især sigter mod at give ny viden, og som forventes at følge op på evalueringerne.
De tre delundersøgelser som udgør effektundersøgelsen, er:
- En institutionsundersøgelse blandt alle de uddannelsesinstitutioner og kommuner der har deltaget i EVA’s evalueringer
- En spredningsundersøgelse blandt alle kommuner og et repræsentativt udsnit af landets folkeskoleledere
- En interviewundersøgelse blandt kommunale skoleejere og ministerielle uddannelsesejere.
