Projektbeskrivelse 2008

Danmarks Evalueringsinstitut (EVA) besluttede med sin handlingsplan for 2007 at evaluere en række udviklingsprojekter inden for dagtilbudsområdet. Evalueringen strækker sig i alt over tre år. Det første års aktiviteter indgik som led i og genererede grundlaget for det samlede evalueringsforløb. Denne projektbeskrivelse præsenterer evalueringens aktiviteter i perioden 2008-10.

Baggrund for evalueringen

Ministeriet for Familie- og Forbrugeranliggender udmøntede i 2006 ”Ansøgningspuljen til bedre kvalitet i dagtilbud”, der nu administreres af Velfærdsministeriet. Kommuner og foreninger der organiserer dagtilbud, har kunnet søge om midler inden for fire temaer: 

• Udsatte børn
• Styrket ledelseskompetence
• Kost, ernæring og bevægelse
• Skov-, natur- og idrætstilbud.

I alt er der bevilget midler til 84 udviklingsprojekter via puljen. Projekterne løber over kortere eller længere tid inden for perioden 2006-09 og rummer mange forskellige initiativer og hensigter og varierer med hensyn til omfang og organisering. Hovedparten af midlerne er prioriteret til projekter der fokuserer på at udvikle indsatser for udsatte børn.

Evalueringens formål

Formålet med det samlede treårige evalueringsforløb er at opsamle og formidle positive og negative erfaringer fra projekterne og vurdere projekternes processer og resultater. På den baggrund skal evalueringen fremhæve bæredygtige metoder og eksempler på god praksis inden for hvert af puljens fire temaer.

I det treårige evalueringsforløb er der fire overordnede projektmål: 

• At kortlægge de faglige hypoteser om hvordan kvaliteten i dagtilbud kan forbedres, i puljen af bevilgede projekter
• At gennemføre dybtgående case-evalueringer af 21 udvalgte projekter
• At indsamle viden om pædagogiske metoder og indsatser fra den samlede projektpulje bredt set
• At formidle erfaringerne med den metodiske tilgang i evalueringen.

Overordnet evalueringsdesign

Evalueringens metodiske design er bygget op omkring den programteoretiske tilgang der stiller skarpt på de antagelser der ligger i projekterne om hvordan bestemte indsatser vil føre til bestemte resultater. Et andet vigtigt element i evalueringsdesignet er evalueringsgrundlaget der indeholder de kriterier – både tværgående og projektspecifikke – som ligger til grund for arbejdet med case-evalueringerne i 2008-10.

Den programteoretiske tilgang

Den programteoretiske tilgang er anvendelig fordi den sætter fokus på de forskellige projekters faglige hypoteser og giver mulighed for at analysere om den forventede sammenhæng i projekterne mellem formål, aktiviteter og resultater på kort og på lang sigt holder og er blevet realiseret ved projekternes afslutning. I den programteoretiske tilgang er det relevant at følge projekternes udvikling og læring fra start til slut. På den måde kan vi på længere sigt få noget at vide om projekterne har opfyldt de mål de har sat sig, og om effekten af projekterne sådan som den opleves af dem der er involveret i projekterne.

Evalueringsgrundlag: projektgenerelle og projektspecifikke kriterier

I 2007 har den programteoretiske tilgang desuden været et nyttigt redskab til arbejdet med at udvikle det evalueringsgrundlag som ligger til grund for de planlagte aktiviteter i perioden 2008-10. Evalueringsgrundlaget består af to forskellige typer af kriterier: de projektgenerelle og de projektspecifikke kriterier. De projektgenerelle kriterier gælder på tværs af alle 21 projekter der er udvalgt til caseevaluering, mens de projektspecifikke kriterier knytter sig til det enkelte projekt.

I forbindelse med en række seminarer som EVA afholdt i juni 2007 har de 21 udvalgte projekter haft mulighed for at bidrage til arbejdet med at udvikle både de projektgenerelle og specifikke kriterier i evalueringsgrundlaget. På seminarerne opridsede projekterne hvilke generelle udfordringer og barrierer der typisk er forbundet med at gennemføre et udviklingsprojekt, og dette har indgået som grundlag for at udvikle de projektgenerelle kriterier. Desuden har projekterne ved hjælp af et programteoriskema formuleret og tydeliggjort programteorien for deres projekt og derved leveret input til EVA’s arbejde med at udvikle de projektspecifikke kriterier. Projekterne har haft mulighed for at kommentere de projektspecifikke kriterier der er relevante for deres projekt.

Datamateriale og aktiviteter

I 2007 identificerede vi projekternes fællestræk og kortlagde projekternes faglige hypoteser om hvordan kvaliteten i dagtilbud kan forbedres. De faglige hypoteser blev gjort til genstand for en forskningsmæssig perspektivering gennem to forskeres sammenligninger med de hypoteser der i øjeblikket præger forskningen inden for de pågældende områder. Desuden blev evalueringsgrundlaget for de kommende år etableret.

I 2008-10 vil case-evalueringerne af de 21 udvalgte projekter være i fokus for arbejdet med evalueringen. Samlet set vil evalueringen bestå af følgende aktiviteter:

Case-evaluering
En vigtig del af formålet med evalueringen er at opsamle og formidle positive og negative erfaringer og at finde bæredygtige metoder og eksempler på god praksis. Vi har valgt at gennemføre case-evalueringer af et udsnit af projekterne i puljen for derved at gå i dybden og identificere eksempler på god praksis. Case-evalueringer er den mest nyttige metode fordi den giver mulighed for at få et grundigt indblik i praksis og indsamle viden der er relevant – ikke bare for evalueringen, men også for kommuner og dagtilbud på længere sigt.

På baggrund af kortlægningen har vi i 2007 udvalgt 21 projekter til case-evaluering. Antallet af cases udgør således en fjerdedel af det samlede antal projekter i puljen. I alt er der udvalgt 12 projekter inden for temaet ”Udsatte børn” og tre projekter inden for hvert af de tre øvrige temaer i puljen. Vi har valgt at over halvdelen af de udvalgte projekter skulle befinde sig inden for temaet ”Udsatte børn” fordi der i puljegrundlaget er lagt særlig vægt på temaet som et indsatsområde. I udvælgelsen er der desuden sikret en vis spredning i forhold til projekternes indhold, rammer, størrelse og geografiske placering.

Case-evalueringerne gennemføres over to år, dvs. fra 2008 og frem til projekternes afslutning, dog senest i 2010 hvor puljen ophører. EVA’s projektgruppe vil besøge projekterne en til to gange afhængigt af deres størrelse og analytiske kompleksitet. Projekterne vil hver især blive evalueret på baggrund af de kriterier der indgår i evalueringsgrundlaget, dvs. på baggrund af de projektgenerelle kriterier der er fælles for alle projekterne, og de projektspecifikke kriterier der er individuelt tilpassede og derfor forskellige fra case til case. Dataindsamlingen i forbindelse med case-evalueringerne vil blive tilrettelagt efter og tilpasset hvert enkelt projekt.

Analyse af statusrapporter (selvevaluering)
Hvert projekt er forpligtet til at udarbejde statusrapporter over projektforløbet til Velfærdsministeriet. Statusrapporterne kan indsendes på forskellige tidspunkter afhængigt af det enkelte projekts tilrettelæggelse og varighed og skal som minimum indsendes en gang om året. Rapporterne har en selvevaluerende form hvor de projektansvarlige skal reflektere over og dokumentere projekternes udvikling, implementering og foreløbige resultater.

I 2007 brugte vi statusrapporterne til at kvalificere og videreudvikle både de projektgenerelle og -specifikke evalueringskriterier, og rapporterne vil på længere sigt også indgå i evalueringen af de udvalgte cases. I 2008 har vi i samarbejde med Velfærdsministeriet desuden haft mulighed for at revidere og videreudvikle den skabelon der ligger til grund for projekternes statusrapporter. Skabelonen er således blevet justeret og tilpasset efter den programteoretiske tilgang i evalueringen så de oplysninger om projekternes processer og udvikling der indsamles gennem statusrapporterne, bliver endnu mere anvendelige i EVA’s arbejde med case-evalueringerne. Arbejdet med statusrapporterne fortsætter i 2008-10.

Nedsættelse af et forskerpanel
I løbet af 2008 vil EVA nedsætte et panel bestående af forskere på dagtilbudsområdet. Forskerpanelet bliver sammensat så de faglige profiler i panelet samlet set dækker de fire temaer i puljen. Forskerne skal kvalificere case-evalueringerne og evalueringens faglige vurderinger i 2008-10.

Camp/seminarer om pædagogiske metoder og indsatser
I forbindelse med evalueringens afslutning vil EVA samle op på og indhente viden fra den samlede pulje ved at afholde en camp/seminarer. Her vil repræsentanter fra alle puljens projekter få mulighed for at udveksle erfaringer og indhente inspiration til afrunding og videreførelse af deres projekt. Projekterne vil kunne deltage på frivillig basis og EVA vil på baggrund af camp/seminarerne udarbejde et idé- og erfaringskatalog om hvilke pædagogiske metoder og indsatser på dagtilbudsområdet der giver mening set et praksisperspektiv (dvs. fra projekternes perspektiv).

Projektorganisation
Evalueringen er forankret i enheden for dagtilbud for børn (DAB) med områdechef Camilla Wang som projektejer.

En projektgruppe fra EVA har det organisatoriske ansvar for evalueringen og sikrer at de metoder der anvendes, er hensigtsmæssige og pålidelige og stemmer overens med evalueringens formål. Derudover udarbejder projektgruppen rapporter og andre udgivelser i forbindelse med evalueringen.

Projektgruppens medlemmer er: 

• Evalueringskonsulent Frederik Kiørboe (projektleder)
• Evalueringskonsulent Persille Schwartz
• Evalueringskonsulent Andreas Hougaard
• Evalueringsmedarbejder Cecilie Fog-Pedersen.

Desuden indgår chef for metodeenheden Tue Vinther-Jørgensen som metodekonsulent, kommunikationskonsulent Marie Nielsen som ansvarlig for formidling og pressehåndtering og overassistent Anette Lindberg som administrativ medarbejder i forbindelse med evalueringen.

Formidling af evalueringen

I januar 2008 offentliggjorde vi den første delrapport i forbindelse med evalueringen. Delrapporten identificerer fællestræk ved de 84 projekter i ansøgningspuljen og kortlægger projekternes faglige hypoteser om hvordan kvaliteten i dagtilbud kan forbedres. Desuden indeholder rapporten en forskningsmæssig perspektivering af de rationaler og hypoteser der præger projekterne, og den skitserer evalueringsgrundlaget for de kommende år.

Det firårige evalueringsforløb afsluttes i 2010 med en samlet rapport der sammenfatter kortlægningen og case-evalueringerne. Rapporten vil give eksempler på god praksis og bæredygtige metoder og vurdere virkningen af forskellige tilgange til udvikling af dagtilbud inden for hvert af puljens fire temaer. Rapporten offentliggøres i andet kvartal 2010 og vil være målrettet Velfærdsministeriet og de pædagogiske konsulenter i kommunerne.

Den viden som EVA indsamler ved hjælp af camp/seminarerne med den samlede pulje af projekter vil blive formidlet via et idé- og erfaringskatalog der offentliggøres i løbet af 2010. Idé- og erfaringskataloget vil være målrettet de pædagogiske konsulenter og dagtilbudspersonalet i kommunerne bredt set og vil præsentere de pædagogiske metoder og indsatser på dagtilbudsområdet der giver mening set et praksisperspektiv (dvs. fra projekternes perspektiv). Desuden vil de samlede resultater af evalueringen blive formidlet gennem andre former for produkter som inspiration til kommuner og dagtilbud på landsplan og andre centrale målgrupper på dagtilbudsområdet.

Da arbejdet med projekterne fortsætter frem til evalueringens afslutning i 2010, vil vi ikke afrapportere case-evalueringerne i 2008. I 2008 vil vi i stedet udarbejde en håndbog til evaluering af kommunale udviklingsprojekter og puljeadministration i kommuner ved hjælp af den programteoretiske tilgang. Håndbogen vil basere sig på projektgruppens foreløbige erfaringer med den metodiske tilgang i evalueringen, særlig erfaringerne med at anvende en programteoretisk tilgang som evalueringsdesign i case-evalueringerne. Håndbogen vil være målrettet fuldmægtige, konsulenter og andre relevante medarbejdere på det kommunale område.