Projektbeskrivelse delprojekt 3

EVA gennemfører et fireårigt projekt om kommunernes arbejde med de kommunale kvalitetsrapporter i perioden 2007-11 for formandskabet for Skolerådet. Denne projektbeskrivelse gør rede for delrapport 3 i projektet og dens formål, metode og formidling.

Formålet med projektet

Samlet set er formålet med det fireårige projekt:

• at vurdere under hvilke betingelser og på hvilken måde kvalitetsrapporterne fungerer som et udviklingsredskab for kommuner og skoler
• at belyse hvilken betydning kvalitetsrapporterne har for kommuners og skolers praksis på skoleområdet.
  

I delrapport 1 foretog EVA en indledende kortlægning af de første kommunale kvalitetsrapporters struktur og indhold for at få et overblik over hvordan kommunerne greb arbejdet med kvalitetsrapporter an det første år. Rapporten blev offentliggjort i januar 2008.

Delrapport 2 tog udgangspunkt i kommunernes kvalitetsrapporter fra 2007 og 2008. Den satte fokus på kommunernes opfølgning på kvalitetsrapporterne fra 2007 og i hvilket omfang kvalitetsrapporterne anvendes som et udviklingsredskab. Rapporten blev offentliggjort i juni 2009.

Formålet med delrapport 3

Formålet med delrapport 3 er at belyse hvordan anvendelsen af kvalitetsrapporter har betydet og kan betyde en ændring af kommuners og skolers praksis på skoleområdet, og hvilke faktorer der medvirker til og blokerer for at kvalitetsrapporterne kan have denne virkning. I den forbindelse afdækker evalueringen hvilken opfølgning kommunerne har gennemført på baggrund af arbejdet med kvalitetsrapporterne, og vurderinger af hvilken betydning det evt. har haft i form af ændrede prioriteringer og indsatser i kommuner og på skoler. Herunder belyses det hvordan kommunerne har arbejdet med at dokumentere betydningen af opfølgningstiltagene.

Virkningsevaluering

Delrapport 3 vil bygge på en såkaldt virkningsevaluering. Den tager udgangspunkt i de begrundede forestillinger og hypoteser der på forhånd findes om hvordan en indsats fungerer. Disse forestillinger kaldes programteorien bag indsatsen. Ved at undersøge praksis tester evaluator programteoriens holdbarhed, dvs. om indsatserne har ladet sig omsætte til praksis, om de har haft de ønskede virkninger, og i givet fald for hvem og under hvilke omstændigheder (Peter Dahler-Larsen og Hanne Kathrine Krogstrup: Nye veje i evaluering. Håndbog i tre evalueringsmodeller, Systime Academic, 2004, side 51).

Evalueringen opstiller således en programteori der viser den årsags-virknings-kæde der danner udgangspunkt for evalueringen.

Indledende overvejelser om programteorien

Det er en væsentlig del af selve projektets gennemførelse at opstille den programteori der skal afprøves. Det program der skal etableres antagelser om, er arbejdet med kvalitetsrapporten. Den egentlige programteori opstilles på baggrund af intentionerne i bekendtgørelsen og bemærkningerne til lovforslaget. Nedenfor præsenterer vi derfor kun den første grundskitse til den. I selve projektforløbet kvalificeres og udbygges skitsen gennem arbejdet med de udvalgte casekommuner og caseskoler. Den endelige programteori vil betone det cykliske i arbejdet med kvalitetsrapporter.

Skitse til programteori

Forudsætninger for kvalitetsrapporten (input) – bl.a.:

• Lovmæssige rammer
• Ressourcer og kompetencer til arbejdet med kvalitetsrapporten
• Allerede eksisterende viden/data, fx fra tidligere kvalitetsrapporter og fra tidligere praksis på skoleområdet, fx økonomistyring, kontraktstyring, virksomhedsplaner.
  

Selve indsatsen:

• Processer omkring tilblivelsen af og efterbehandlingen af kvalitetsrapporten styrker dialog og det løbende samarbejde om evaluering og kvalitetsudvikling mellem aktørerne i kommunens skolevæsen
• Selve kvalitetsrapporten præsenterer den tilvejebragte dokumentation om skolevæsenet, som derved bliver synliggjort over for skolevæsenets aktører.
  

De umiddelbare resultater (output):

• Udarbejdelse og implementering af handleplaner på enkeltskoler
• Igangsættelse af opfølgningsforløb på skolevæsensniveau
• Opfølgning på om opfølgningsinitiativer fra seneste kvalitetsrapport forløber som forventet og ønsket
• Revision af politiske mål.

Virkninger (outcome):

• På kort sigt: ændring af praksis på skolerne og åbenhed om skolevæsenets kvalitet over for borgere og omverden.
• På lang sigt: bedre kvalitet i skolevæsenet.

Evalueringens design og metode

Evalueringen kombinerer kvalitativ og kvantitativ metode: Først afprøves gyldigheden af programteorien på seks caseskoler i tre kommuner hvorefter udbredelsen af de konstaterede resultater undersøges i en spørgeskemaundersøgelse blandt alle landets kommuner.

Caseundersøgelse

Caseundersøgelsen finder sted på seks caseskoler i tre kommuner. Formålet med casestudierne er at undersøge hvordan forskellige typer af initiativer til opfølgning på kvalitetsrapporten påvirker skolerne:

• Udarbejdelse og implementering af handlingsplan for den enkelte skole
• Udarbejdelse og implementering af samlede initiativer for hele skolevæsenet
• Udarbejdelse og implementering af øvrige initiativer på skole- eller kommuneniveau
  (som ikke nødvendigvis fremgår af kvalitets- eller skolerapporten).
  

Konkret arbejdes der med følgende kilder fra de udvalgte caseskoler:

1. Dokumentstudier af den pågældende kommunes kvalitetsrapporter (inkl. skolerapporter) for 2007, 2008 og 2009
2. Faktaark med beskrivelse af kommunens og skolens proces omkring udarbejdelsen af kvalitetsrapporten og beskrivelse af opfølgningsinitiativer. Faktaarket følges op af telefoninterview med forvaltning og skoleledelse.
3. Interview med kommunal forvaltning, skoleledelse, skolebestyrelse og en gruppe lærere for at afprøve programteorien.
   

Caseskolerne udvælges gennem en desk research. På baggrund af screeningen af kvalitetsrapporter foretaget i forbindelse med EVA’s udarbejdelse af delrapport 1 og 2 udarbejder vi en bruttoliste over kommuner. Udvælgelsen sker ud fra den karakter kommunens opfølgning har. Ved screeningen i delrapport 1 og 2 vurderede vi om beskrivelserne var hhv.:

• Oplysende, vurderende, handlingsanvisende og reflekterende
• Beskrivende/oplysende og vurderende
• (Mangelfuldt) beskrivende.
  

Således udvælger vi de tre kommuner fra hver af disse grupper fra screeningen. Geografiske og størrelsesmæssige faktorer inddrages også i udvælgelsen.

I hver af de tre kommuner udvælges to skoler for at gøre det muligt at identificere skolespecifikke forskelle inden for den samme kommune. Dette vil kunne bidrage med en forståelse af hvilke faktorer der fremmer og hæmmer en ændring af praksis på skoleniveau. Vi tilstræber derudover at skoler med forskellige størrelser og elevgrundlag repræsenteres i caseundersøgelsen for at give mulighed for at skolernes forskellige vilkår afspejles i evalueringen. Inden for de tre kommuner udvælges skolerne sådan at skoler med og uden handlingsplan begge er repræsenteret i den samlede gruppe af skoler.

Kvalitetsrapporterne 2007, 2008 og 2009 fra de endeligt udvalgte kommuner vil indgå i en deskresearch forud for besøget. Ud over læsningen af kvalitetsrapporterne indgår kommunernes besvarelse af en række spørgsmål i et faktaark i deskresearchen før casebesøgene. Faktaarket afdækker kommunens proces for udarbejdelse af kvalitetsrapporten og de efterfølgende opfølgningsinitiativer. Det er et væsentligt formål med faktaarket at få synliggjort den opfølgning som ikke nødvendigvis dokumenteres i kvalitetsrapporten, men – hvilket erfaringerne med EVA’s delrapport 1 og 2 viser – alligevel kan finde sted. Faktaarket følges op af telefoninterview med repræsentanter fra forvaltningen og skolelederne på caseskolerne.

Interviewene, der skal afprøve programteorien, bliver foretaget på casebesøgene og er med kommunalpolitikere, forvaltning, ledere, (repræsentanter fra) skolebestyrelser og en gruppe af lærere. Interviewene struktureres af programteorien idet de skal kvalificere programteoriens forskellige led og disses indbyrdes sammenhænge og afdække hvad der hhv. medvirker til og blokerer for at kvalitetsrapporten får den positive virkning på skolevæsenets kvalitet som afprøves i programteorien.

Det er opfølgningen på – og virkningerne af – kvalitetsrapport 2009 der undersøges. EVA vurderer på baggrund af sin viden fra første og anden delrapport at kommunerne og skolerne antages at drøfte opfølgning på denne rapport i løbet af foråret 2010 hvorefter opfølgningen iværksættes for skoleåret 2010/2011. Projektets tidsplan tager udgangspunkt i og højde for denne kadence (skønt der naturligvis kan forekomme lokale variationer) idet casebesøgene planlægges til tidspunktet for implementeringen af opfølgningsinitiativer på skoleniveau. Den del af formålet der drejer sig om hvordan kommunerne har arbejdet med at dokumentere betydningen af opfølgningstiltagene, vil også tage udgangspunkt i kvalitetsrapport 2009, og som en følge heraf vil dokumentationen gå på virkningen af opfølgningsinitiativer fra de foregående generationer af kvalitetsrapporter (2007 og 2008).

Spørgeskemaundersøgelser

Resultaterne fra den kvalitative del af evalueringen danner baggrund for en spørgeskemaundersøgelse blandt de kommunale skolechefer i alle landets kommuner og en spørgeskemaundersøgelse blandt landets skoleledere.

Formidling

Ud over en evalueringsrapport udarbejder vi en pjece med gode råd til kommunerne om deres arbejde med kvalitetsrapporter. Pjecen udsendes til alle landets kommuner.