Den gode evaluering #2: Er det en evaluering eller en undersøgelse, du skal lave?

Af metodekonsulent Kristine Als Velling og kommunikationskonsulent Maria Holkenfeldt Behrendt

I sidste nummer af EVAluering satte vi spot på to vigtige fokusområder, som du bør forholde dig til, når du skal i gang med en undersøgelse eller evaluering: afklaring af formålet og formulering af de overordnede spørgsmål skal besvares. I denne artikel får du svar på, hvad der adskiller en evaluering fra andre typer undersøgelser. 

Evaluering – en særlig type undersøgelse

En evaluering er en særlig type undersøgelse, hvor man foretager vurderinger på baggrund af evalueringskriterier. Det kan fx være vurderinger af:

• Effekter – her måler du, om en indsats gør en forskel.
• Målopfyldelse – her vurderer du, om på forhånd definerede forventninger realiseres i praksis.

Undersøgelser kan have et andet formål end evalueringer. Man kan fx være interesseret i at kortlægge en praksis og undersøge, hvordan noget fungerer, men uden et ønske om at vurdere denne praksis, eller om den ene er bedre end en anden.

Afgør typen af undersøgelsen

Når du begynder at have afklaret formålet, og du har formuleret nogle overordnede spørgsmål, har du grundlaget for at kunne beslutte, om det er en evaluering eller en anden type undersøgelse, du skal lave (læs også: Den gode evaluering#1: Hvad spørger du om og hvorfor?). Det skyldes, at forskellige formål og spørgsmål kalder på forskellige svar.

I nogle tilfælde vil det være afgørende, at der indgår vurderinger af det fænomen, man beskæftiger sig med, mens det i andre tilfælde ikke er vigtigt. Hvis formålet fx er, at få indblik i en problemstilling, som endnu ikke er så belyst, er det måske ikke vigtigt at foretage vurdereringer, men hensigtsmæssigt at lave en bredere undersøgelse. Hvis formålet derimod er at finde ud af, i hvilken grad nogle konkrete krav i lovgivningen bliver realiseret i praksis, så er det afgørende, at der bliver foretaget nogle vurderinger heraf, og så vil det være hensigtsmæssigt at lave en evaluering.

Det overordnede spørgsmål er afgørende

Det vil også være afspejlet i de overordnede spørgsmål, om der lægges op til at foretage vurderinger, og man kan derfor skelne mellem undersøgelsesspørgsmål og evalueringsspørgsmål. I tabellen herunder er der vist eksempler på spørgsmål, der lægger op til henholdsvis undersøgelser og evalueringer.

Vurderingsgrundlaget skal stå lysende klart

Hvis man skal lave en evaluering, bør ens vurderinger foretages på baggrund af et specifikt grundlag. Man kan tale om evalueringskriterier, vurderingskriterier eller et vurderingsgrundlag. Fælles er, at man identificerer et grundlag, og at man lægger det tydeligt frem, så det er gennemsigtigt, hvad vurderingerne foretages på baggrund af. 

Et vurderingsgrundlag kan se ud på mange måder, afhængig af evalueringen. Det bør dog være så konkret, at det rent faktisk kan guide ens vurderinger. Vurderingsgrundlaget kan fx være baseret på:

• organisatoriske målsætninger
• krav i lovgivningen
• forskning på området

To eksempler på evalueringer fra EVA:

• Evaluering med fokus på målopfyldelse

I EVA’s evaluering af det pædagogiske tilsyn i daginstitutioner vurderes muligheder og udfordringer ved kommunernes forskellige tilgange til at gennemføre tilsyn. EVA’s vurderinger er baseret på det lovgrundlag, som fremgår af dagtilbudsloven og den tilhørende vejledning. EVA har fortolket og operationaliseret lovgrundlaget og formuleret et evalueringsgrundlag, som består af temaerne: systematik, indhold, uvildighed og udvikling. I evalueringen vurderes kommunernes anmeldte tilsyn i forhold til dette evalueringsgrundlag. 

• Evaluering med fokus på virkninger

I EVA’s evaluering af undervisningsdifferentiering som bærende pædagogisk princip belyses det, hvordan styrket evalueringsfaglighed hos lærerne kan påvirke deres kompetencer til at differentiere undervisningen. Evalueringen er baseret på en indsatsteori (læs mere om indsatsteori her), der består af begrundede antagelser om, hvori denne sammenhæng består.  Indsatsteorien er udarbejdet med afsæt i lovgrundlaget samt pædagogisk forskning og litteratur på området. I evalueringen afprøves Indsatsteoriens holdbarhed i relation til svar fra en landsdækkende spørgeskemaundersøgelse samt observationer og interview med lærere, ledere og elever på udvalgte skoler. Indsatsteorien udgør dermed det vurderingsgrundlag, som analysen og vurderingerne foretages på baggrund af.