ARTIKEL

Den gode evaluering #3: sådan vælger du metode

23/06 2015

Der er en række muligheder for at vælge metode til din evaluering og undersøgelse. Men hvordan vælger du den rigtige? Bliv klogere på den kvalitative og kvantitative metodetilgang – og hvordan man kan kombinere de to metoder.

Af specialkonsulent Niels Peter Mortensen og kommunikationskonsulent Maria Holkenfeldt Behrendt

Dit valg af metode bør være styret af formålet med den evaluering eller undersøgelse, du skal gennemføre, samt de overordnede spørgsmål, du vil have besvaret (læs også: Den gode evaluering#1). Et tydeligt formål og det præcist formulerede evaluerings- eller undersøgelsesspørgsmål er vigtige forudsætninger for at kunne foretage velbegrundede valg af metode. Den direkte kobling mellem spørgsmål og metode er med til at sikre, at du producerer den efterspurgte viden. Herunder kan du se to eksempler på, hvordan sammenhængen mellem formål, spørgsmål og metodevalg kan se ud:

Formål

Spørgsmål

Metode
1. Afklare,   om der er brug for yderligere information til lærerne om mulighederne for at   bruge ressourcepersoner i folkeskolerneHvor ofte inddrager lærerne ressourcepersoner?

Kvantitativ: Spørgeskemaundersøgelse blandt repræsentativ   stikprøve af lærerne

2. Inspirere   lærere og skoleledere i arbejdet med at udvikle undervisningen, så den skaber   gode læringsmuligheder

Hvad skaber god og motiverende undervisning på   folkeskolens mellemtrin?

Kvalitativ:
Observationsstudier og interview med lærerne

 

Kvantitative metoder – viden i bredden

Kvantitative metoder er fx:

  • Spørgeskemaundersøgelser; hvor man sender spørgeskemaer til en gruppe respondenter
  • Registerundersøgelser; hvor man anvender allerede indsamlet data organiseret i registre med oplysninger om fx uddannelse

Her indsamles der tællelige data. Du bør anvende kvantitative metoder til at indsamle data, når du vil vide noget om udbredelsen af fænomener og interesserer dig for spørgsmål som

  • hvor mange
  • hvor ofte

Kvantitative metoder er også velegnede til at finde ud af, hvilke forhold der har betydning for et fænomen. Når man benytter kvantitative metoder, kræver det tilstrækkelig viden om det undersøgte fænomen – man skal nemlig have viden nok til at kunne formulere spørgsmål og svarkategorier til et spørgeskema, eller til at kunne definere de oplysninger, man vil have fat på i registre. Kvantitative metoder er dog ikke gode til at skabe viden i dybden.

Kvalitative metoder – viden i dybden

Kvalitative metoder kan være:

  • forskellige former for interview, fx personlige interviews, telefoninterviews eller voxpops
  • observationer, fx undervisningssituationer
  • analyser af skriftlige dokumenter, fx baggrundsdokumenter for projekter

Kvalitative metoder er velegnede, hvis man vil skabe mere dybtgående viden om et fænomen og interesserer sig for spørgsmål som:

  • hvorfor
  • hvordan

Metodetilgangen kan også give indblik i, hvilke faktorer der har betydning for et fænomen. Kvalitative metoder er velegnede, når man vil opnå forståelse af fænomener, som man ikke har så meget viden om. Eller hvis man vil nå til en dybere og mere nuanceret forståelse af fænomener, som allerede er kendte. Kvalitative metoder er til gengæld ikke gode til at afdække udbredelsen af fænomener.

Mixed methods – en kombination

I mange evalueringer og undersøgelser stilles der spørgsmål, der både lægger op til kvantitative og kvalitative metoder, og hvor man derfor bør kombinere metoderne – også kaldet Mixed methods. Kombinerer du metoderne, bør det være, fordi du gerne vil have svar, der går både i bredden og dybden. Her skal du blandt andet være opmærksom på, at det tager længere tid og kræver flere ressourcer at foretage den slags evalueringer eller undersøgelser. Et eksempel ser sådan ud:

I EVA’s undersøgelse, Gymnasieelevers baggrund og forskellighed, blev der indsamlet data via et registerstudie, undervisningsobservation og interviews med lærere, ledere og elever på tværs af de gymnasiale uddannelser. Datakilderne bidrog til at svare på forskellige undersøgelsesspørgsmål, og derudover bidrog registerstudiet og undervisningsobservationen med en viden, der kunne bruges i interviewene.

Det lyder nemt, men...

I praksis er der mange faldgrupper, det er vigtigt   at være opmærksom på, i valget af datametode. En klassisk fejl er, at en metode bliver valgt, før man har fastlagt formålet og formuleret nogle præcise undersøgelsesspørgsmål. Fx ønsker man at få viden om frafaldet blandt   studerende på skolen og har besluttet at undersøge det vha. et spørgeskema. Her bliver der ikke taget stilling til, hvilke typer undersøgelsesspørgsmål det er velegnet at få belyst via et spørgeskema. 

Et sådan ureflekteret valg kan resultere i, at man ender med at udforme et spørgeskema med mange åbne kommentarfelter. Det medfører en række svagheder, fx at det ikke er nemt eller hensigtsmæssigt at redegøre  for det, der spørges til på ”et par linjer”. Ligesom det kan være tilfældigt,   hvem der udfylder kommentarfelterne.

Dermed har man ikke den systematiske udvælgelse af informanter, som man bør have, hvis man gennemfører en kvalitativ interviewundersøgelse.