Projektbeskrivelse for delprojekt 1 og 2

I 2005 offentliggjorde EVA en evaluering af kommunernes kvalitetssikring af folkeskolen der vurderede at kommunerne ikke håndterede deres tilsynsforpligtelse tilfredsstillende. Rapporten indeholdt en række anbefalinger vedr. præcisering af tilsynsforpligtelsen og krav til tilsynets indhold og form. På den baggrund er der som led i en række ændringer i folkeskoleloven indført et krav om at kommunerne fra 2007 skal udarbejde og offentliggøre årlige kvalitetsrapporter. Kvalitetsrapporten skal beskrive kommunens skolevæsen, skolernes faglige niveau, de foranstaltninger kommunalbestyrelsen har foretaget for at vurdere det faglige niveau, og kommunalbestyrelsens opfølgning på den seneste kvalitetsrapport. Kvalitetsrapporterne skal således fungere som et redskab til udvikling.

Formandskabet for Skolerådet har bedt EVA om at gennemføre et treårigt projekt om kommunernes arbejde med de kommunale kvalitetsrapporter i perioden 2007-2009.

• I 2007 gennemføres et forstudie i form af en indledende kortlægning af de første kommunale kvalitetsrapporters struktur og indhold. Kortlægningen suppleres med interview med repræsentanter fra forvaltningen i udvalgte kommuner for at belyse forvaltningens vurdering af hvilke muligheder og problemfelter der er i arbejdet med kvalitetsrapporterne som et redskab til udvikling.
  
• I 2008 gennemføres en landsdækkende undersøgelse med udgangspunkt i kommunernes kvalitetsrapporter fra 2007 og 2008. Der sættes fokus på kommunernes opfølgning på kvalitetsrapporterne samt en analyse af i hvilket omfang kvalitetsrapporterne anvendes som et redskab til udvikling.
  
• I 2009 gennemføres en undersøgelse af effekten af arbejdet med kvalitetsrapporterne. Der sættes fokus på i hvilket omfang og på hvilken måde de kommunale kvalitetsrapporter har ændret kommunernes og skolernes praksis.

Samlet set er formålet med det treårige projekt således: 

1. at vurdere under hvilke betingelser og på hvilken måde kvalitetsrapporterne fungerer som et udviklingsredskab for kommuner og skoler
2. at belyse hvilken betydning kvalitetsrapporterne har for kommuners og skolers praksis.

I det følgende beskrives primært delprojekterne for 2007 og 2008, mens indholdet af projektets tredje del blot skitseres. Der skal således udarbejdes en særskilt projektbeskrivelse for delprojekt 3 i løbet af 2008 hvor der tages udgangspunkt i de foregående projekters resultater.

Delprojekt 1 (2007): Kortlægning af kvalitetsrapporter

Formål

I 2007 skal kommunerne for første gang udarbejde kvalitetsrapporter som der er ganske omfattende krav til. Nogle kommuner har været i gang med arbejdet et stykke tid, mens andre kommuner først lige er begyndt. Det er meget vanskeligt at forudse på hvilket niveau de første rapporter vil være med hensyn til indhold og omfang.

Formålet med delprojekt 1 er således at få et overblik over hvordan kommunerne har grebet arbejdet an det første år. Hvilke temaer er godt belyst og hvilke mindre godt? Hvordan har kommunerne prioriteret mellem kvalitative og kvantitative redegørelser? Hvilke metoder har kommunerne brugt til at indsamle data? Kan man identificere forskellige typer af tilgange til opgaven?

Undersøgelsen består af en deskriptiv analyse af rapporterne som skal belyse:

• Hvilke oplysninger kommunerne fremlægger i rapporterne under overskrifterne rammebetingelser, pædagogiske processer og resultater m.m.
• Hvilke metoder kommunerne anvender til at indsamle data i rapporterne.
• Hvordan kommunerne gør rede for hvilken vægt der er lagt på kvalitetsindikatorerne der indgår i grundlaget for vurderingen af det faglige niveau.
• Hvordan kommunerne vurderer i hvilket omfang oplysningerne er fyldestgørende.
• Hvilke planer kommunerne beskriver for opfølgning.

Der redegøres særskilt for hvordan områderne specialundervisning og tosprogede elever behandles i kvalitetsrapporten.

Den deskriptive analyse vil munde ud i en typologisering af kommunernes arbejde med kvalitetsrapporter. Dimensionerne i en sådan typologisering kan eksempelvis være:

• graden af rapporternes ”modenhed”
• metodiske tilgange
• indholdsmæssige prioriteringer.

Der gennemføres desuden interview med repræsentanter fra forvaltningen for seks udvalgte kommuner som optakt til den caseanalyse som skal gennemføres i 2008. De seks kommuner udvælges på baggrund af en screening af de første kvalitetsrapporter fra de 98 kommuner.

Dataindsamling og metode

Det er EVA’s vurdering at det er vigtigt at få et samlet overblik over rapporternes struktur og indhold i den første fase af projektet. For at få et indtryk af rapporternes niveau og forskellighed er det nødvendigt at kende hele feltet. Derfor prioriterer vi i delprojekt 1 at inddrage kvalitetsrapporter fra samtlige kommuner.

Den deskriptive analyse vil omfatte en screening af samtlige rapporter med henblik på en overordnet kategorisering af aktivitetens omfang og indhold og identifikation af særlige nøgletemaer. Bekendtgørelsens krav til indholdet i kvalitetsrapporterne vil danne udgangspunkt for denne kategorisering, men der kan være behov for også at udvikle andre kategoriseringer alt efter hvordan kommunerne har grebet opgaven an.

Endvidere vil den første screening danne baggrund for at udvikle en typologi for forskellige typer af kvalitetsrapporter. Her kan det blive nødvendigt at gennemgå udvalgte rapporter mere grundigt, herunder også at kontakte nogle kommuner for yderligere oplysninger om fx rapporternes datagrundlag, processen for udarbejdelse af rapporterne etc.

Delprojekt 2 (2008): Analyse af kommunernes arbejde med kvalitetsrapporterne

Formål

I 2008 vil det være muligt at fokusere mere på hvordan kommunerne arbejder med kvalitetsrapporterne – og navnlig hvordan de påtænker at følge op på dem. Desuden er kommunerne på det tidspunkt formentlig blevet mere afklarede om hvordan og om hvad de ønsker at rapportere således at indholdet af rapporterne i højere grad kan gøres til genstand for en analyse.

Formålet med delprojekt 2 er:

• at analysere og vurdere indholdet af rapporterne: Lever rapporternes indhold op til bekendtgørelsens krav? Er datakvaliteten i orden? Giver rapporterne et dækkende billede af skolernes og kommunernes aktivitet og kvalitet? Hvilke områder har høj henholdsvis lav prioritet i beskrivelserne og hvorfor?
• at analysere kommunernes initiativer til opfølgning på kvalitetsrapporten fra 2007 og i hvilket omfang kvalitetsrapporterne bruges som redskab til udvikling. Er det klart beskrevet hvordan der skal følges op på de indsatsområder der er identificeret i 2007-rapporterne, hvilke typer af aktiviteter der lægges op til, hvilke processer der er udviklet for arbejdet med indhold og opfølgning på rapporterne, hvilke aktører der inddrages og hvordan?

Design og metode

Desk research
Dokumentationen vil dels bestå af kommunernes opfølgningsinitiativer i handlingsplaner som er offentliggjort senest 31. december 2007, dels af kvalitetsrapporterne fra 2008.

Der gennemføres for det første en deskriptiv analyse som opfølgning af delprojekt 1. Har rapporterne udviklet sig? På hvilke områder har kommunerne ændret rapporteringspraksis? Hvilke områder er mere eller mindre belyst i 2008 i forhold til 2007? Er de anvendte nøgletal relevante? Er den typologi der blev udviklet i 2007, fortsat relevant for de nye rapporter?

For det andet analyseres sammenhængen mellem den dokumentation der fremlægges i kvalitetsrapporterne, og de initiativer til opfølgning der beskrives på baggrund af dokumentationen. Er der sammenhæng mellem de problemer der påpeges, og de initiativer der forventes gennemført? Kan der identificeres mønstre, forskelle og ligheder, i kommunernes opfølgningsinitiativer?

Spørgeskemaundersøgelse blandt kommuner om arbejdet med kvalitetsrapporter
Der gennemføres en spørgeskemaundersøgelse blandt alle kommuner om arbejdet med kvalitetsrapporterne. Undersøgelsen skal belyse temaer som:

• Hvordan arbejder kommunerne med udarbejdelsen af rapporterne? Hvem inddrages, hvilken rolle spiller skolerne selv osv.?
• Hvordan arbejder kommunen med opfølgningsinitiativerne? Hvem er aktørerne, hvordan inddrages de osv.?
• Hvor mange ressourcer bruger kommunerne på arbejdet med kvalitetsrapporter? Hvad er vanskeligt? Hvilke støtteredskaber kunne der være behov for?
• Hvilke forandringer forventer kommunerne selv at rapporterne giver anledning til? På hvilken måde vil kommunen selv monitorere effekten af opfølgningen?

Spørgeskemaet skal være kort og fokuseret og skal selvsagt kun omfatte spørgsmål som ikke kan afdækkes gennem rapporterne.

Case-undersøgelse i seks udvalgte kommuner
På baggrund af spørgeskemaundersøgelsen udvælges et antal kommuner som repræsenterer særligt relevante problemstillinger. Det kan være kommuner som har arbejdet særligt kompetent med rapporterne, eller som er særligt bemærkelsesværdige i deres opfølgningsarbejde.

Der gennemføres interview med repræsentanter fra henholdsvis kommunalbestyrelse og forvaltning og fokusgruppeinterview på skoler i de udvalgte kommuner for at belyse hvordan kommunerne har arbejdet med at skabe vilkår for at kvalitetsrapporterne bliver et redskab til udvikling.

Ekspertauditering af kvalitetsrapporternes indhold (”revisorpåtegninger”)

På baggrund af desk researchen og spørgeskemaundersøgelsen udvælger EVA et antal kvalitetsrapporter til en ”mini-auditering”. EVA udpeger fire-fem eksperter (forskere, økonomer, aktører fra skoleverdenen og den kommunale verden) som med forskellige indfaldsvinkler bliver bedt om at vurdere kvalitetsrapporternes indhold: I hvilket omfang beskriver rapporterne de væsentligste aktiviteter og problemstillinger i folkeskolen? I hvilket omfang er rapporterne egnet som tilsynsredskab? Får man fat i de svageste skoler? Er de påtænkte initiativer relevante? Ekspertvurderingerne kan have karakter af en slags kommentarer (”revisorpåtegninger”) som kan bidrage med et mere overordnet helikopterperspektiv på rapporterne.