Den gode evaluering #1: Hvad spørger du om og hvorfor?

Af metodekonsulent Kristine Als Velling og kommunikationskonsulent Maria Holkenfeldt Behrendt

Når du skal i gang med en evaluering eller undersøgelse, er det første skridt at gøre sig klart, hvilke spørgsmål der skal svares på, og hvad formålet er. På EVA har vi erfaret, at man ikke altid opholder sig længe nok i denne fase, men går i gang med at indsamle sine data, mens der stadig er en række løse ender. Men jo mere præcis man kan blive på, hvad man søger svar på og hvorfor, des skarpere metodiske og formidlingsmæssige valg, kan man træffe. Præcise spørgsmål og et klart formuleret formål udgør nemlig det fundament, som en undersøgelse skal bygges op om.

Et tydeligt formål

Et tydeligt formål kan fungere som en ledestjerne, der viser, hvorfor undersøgelsen er sat i verden. Når du skal formulere formålet, kan det være en hjælp at arbejde med at besvare følgende spørgsmål:  

• Hvorfor stiller du lige netop disse undersøgelsesspørgsmål?
• Hvordan forventer du, at undersøgelsen vil blive brugt?
• Hvem skal have gavn af undersøgelsen?

Svarene på disse spørgsmål vil måske ændre sig undervejs, men det er vigtigt allerede fra begyndelsen at komme med nogle gode bud på svar.

Forskellige typer formål

Overordnet set kan man skelne mellem to typer af formål: et formål, der handler om at understøtte en udvikling, fx ved at belyse styrker og svagheder ved en given aktivitet, og et formål, hvor det handler om at stoppe op og gøre status og fx vurdere resultatet af en indsats eller målopfyldelse.

Derudover kan der være mere konkrete formål som fx: 

• At vurdere om en indsats virker efter hensigten.
• At få et vidensgrundlag som forandringer kan baseres på.
• At blive klogere på en problemstilling, der endnu ikke findes viden om.
• At leve op til eksternt krav om evaluering.
• At få indsigt i processer, som har betydning for implementering
   

Kendetegn ved gode spørgsmål

De overordnede undersøgelsesspørgsmål udgør grundlaget for at kunne lave et design og tage nogle velbegrundede metodiske valg. Derudover guider spørgsmålene dataindsamlingen og analysen, da de angiver, hvad der skal kastes lys over og dermed også, hvad der ikke skal belyses.

Det er almindeligt, at undersøgelsesspørgsmålene ikke ligger helt fast fra begyndelsen, men at de udvikler sig i løbet af den indledende fase. Det skyldes bl.a.,  at det kan være nødvendigt at forholde sig udfordrende og kritisk til spørgsmålene for at få dem helt på plads.  

Et godt undersøgelsesspørgsmål er et vigtigt spørgsmål, som man endnu ikke kender svaret på. Derudover er det kendetegnet ved:

• At være velbegrundet – du bliver nysgerrig på at kende svaret
• At hænge logisk sammen med formålet for undersøgelsen
• At være så præcist og velformuleret, at du ved, hvilke data, du skal opsøge
• At være logisk opbygget evt. med hovedspørgsmålet først, efterfulgt af få og velafgrænsede delspørgsmål.
   

Formulering af gode spørgsmål

De overordnede undersøgelsesspørgsmål udgør grundlaget for at kunne lave et design og tage nogle velbegrundede metodiske valg. Derudover guider spørgsmålene dataindsamlingen og analysen, da de angiver, hvad der skal kastes lys over og dermed også, hvad der ikke skal belyses.

Det er almindeligt, at undersøgelsesspørgsmålene ikke ligger helt fast fra begyndelsen, men at de udvikler sig i løbet af den indledende fase. Det skyldes bl.a., at det kan være nødvendigt at forholde sig udfordrende og kritisk til spørgsmålene for at få dem helt på plads.

Et godt undersøgelsesspørgsmål er et vigtigt spørgsmål, som man endnu ikke kender svaret på. Derudover er det kendetegnet ved: 

• Være eksplorative, fx hvad karakteriserer gruppen af studenter på erhvervsuddannelserne? 
• Lægge op til at beskrive noget afgrænset, fx hvordan inddrager lærerne Fælles Mål i forbindelse med udarbejdelsen af årsplanen i dansk og matematik?
• Have et handlingsanvisende sigte, fx hvordan kan lærere forberede sig inden skole-hjem-samtaler?
• Teste en hypotese, fx har skriveperiodens organisering betydning for elevernes karakterer i studieretningsprojektet?
• Have et vurderende sigte, fx hvordan kan man bedst arbejde med resultaterne af sprogvurderinger, hvis man vil opfylde lovgivningens intentioner?