Store forventninger til lille hæfte – om projektevaluering i Kunststyrelsen
Da EVA i februar på et fællesmøde for Kunststyrelsens medarbejdere præsenterede hæftet God evaluering i Kunststyrelsen, var det resultatet af en længere samarbejdsproces mellem styrelsen og EVA. Det håndgribelige produkt er en udførlig beskrivelse af hvordan Kunststyrelsens medarbejdere skal gribe arbejdet med at evaluere deres projekter an.
Vicedirektør Vagn Jelsøe fortæller her om baggrunden for at Kunststyrelsen har bedt EVA om at udvikle en skræddersyet evalueringshåndbog, om processen og om de udfordringer man er stødt på undervejs.
Hvorfor skal Kunststyrelsens projekter evalueres?
”I Kunststyrelsen forvalter vi en frygtelig masse penge til specielt international kulturudveksling, og vi bliver stillet over for et helt rimeligt krav fra Kunstrådet og dets udvalg om at der også ligger nogle vurderinger af hvad der kommer ud af de penge.
Vi kunne jo godt hyre nogle eksterne evaluatorer til at evaluere de enkelte projekter, men problemet med den løsning er at en del af vores projekter befinder sig på det lidt ubekvemme niveau at de er så dyre at de er nødvendige at evaluere, men alligevel så billige at en professionel, ekstern evaluering ville sluge uforholdsmæssig mange penge.
Derfor har vi været nødt til at tage stilling til hvordan vi kan klæde vores egne medarbejdere på til at evaluere. Vores medarbejdere er typisk akademikere med en kunstfaglig baggrund og dermed jo ikke specielt evalueringsuddannede, og det med at evaluere et projekt er måske noget de kun bliver udsat for en gang imellem. De skal med andre ord ikke være evalueringseksperter, men de skal på den anden side kunne evaluere projektet når de fx har arrangeret en bogmesse eller en billedkunstbiennale eller har lavet et fremstød for dansk kunst i New York.”
Men er det nyt for jer at skulle evaluere?
”Nej, det er ikke nyt, men vi må se i øjnene at kvaliteten af de evalueringer vi lavede tidligere, var meget svingende, og det er så det vi vil gøre noget ved. Vi skal groft sagt væk fra de subjektive vurderinger af at vinen smagte godt, snacks’ene var gode, og alle var glade. Vi skal i stedet have en indarbejdet systematik med at måle på nogle givne parametre og dermed kunne sige noget objektivt om hvorvidt vi har fået det ud af projekterne som vi ville.
Vi har faktisk én gang tidligere forsøgt at få udarbejdet en håndbog som medarbejderne kunne bruge i forbindelse med projektevalueringer. Men det materiale vi fik fra vores leverandør, var for svært at arbejde med for vores medarbejdere.
Denne gang lå det os derfor meget på sinde at give vores medarbejdere et mere simpelt redskab der var skåret til efter hvad de kunne magte uden at de skulle blive alt for forskrækkede. Men det er også en diskussion vi har haft med EVA - i virkeligheden har den vanskeligste del af denne proces nok været at finde en balance hvor vi synes at hæftet var noget vi kunne håndtere og vores medarbejdere forstå, og EVA synes at det levede op til god evalueringsskik”.
Hvor stor en indsats har processen krævet internt i Kunststyrelsen?
”Større end vi havde troet! Fra vi startede i eftersommeren 2006 og til produktet lå klart i februar 2007 har det været en forholdsvis omfattende proces. Der har været mange møder med EVA som jeg også selv har deltaget i, men der blev også afholdt et fokusgruppemøde med nogle af de medarbejdere der bliver udsat for at arbejde med projekter. De har løbende været i dialog med EVA’s konsulenter. Dels for at få opkvalificeret produktet, altså hæftet, men også som en del af et efteruddannelsesforløb for vores medarbejdere. Og det har været ressourcer der er godt givet ud”.
Hvordan har jeres medarbejdere reageret på projektet?
”Det er ikke ligefrem sådan at der har været et bredt formuleret behov fra folkedybet i Kunststyrelsen om at nu skulle vi bruge flere kræfter på at evaluere! Men det generelle billede er heller ikke at der har været modstand. Nogle har sagt til os i direktionen: Jeg forstår jo at I synes vi skal evaluere, så må I også give mig nogle værktøjer til det. Og den kommentar er jo sådan set positiv nok”.
Der er jo tale om et skræddersyet produkt. Hvordan synes du EVA’s konsulenter har formået at sætte sig ind i jeres genstandsfelt og tilpasse produktet til jer?
”Vi har jo talt rigtig meget med EVA i gennem hele processen, og selvfølgelig har der da ind imellem været ting hvor vi var nødt til at komme ind over en ekstra gang, men det synes jeg ikke kan være anderledes. Omvendt har vi jo ikke forstand på evaluering, så vi havde jo brug for nogle evalueringseksperter. Og der er altså ikke særlig mange med forstand på vores genstandsfelt som samtidig er evalueringseksperter. Jeg tror ikke man kommer uden om de her møder mellem to kulturer, og så må man jo forsøge at få det bedste ud af det.”
Bliver evalueringshæftet så brugt?
”Det skal det! I vores mål- og resultataftale med Kulturministeriet har vi faktisk skrevet ind at mindst fem navngive projekter skal evalueres efter det koncept som ligger i EVA’s hæfte. Så det er der en klar bestilling på.
Hæftet ligger allerede på vores intranet, og vi har lagt os fast på nogle minimumskrav til hvad en evaluering i Kunststyrelsen skal omfatte, og hvad der blot kan læses som gode råd. Næste udfordring bliver så at få forankret arbejdet med evaluering centralt, så vi er sikre på at materialet bliver brugt på den rigtige måde.
Som en forlængelse af projektet med at styrke evalueringspraksis, har Kunststyrelsen også bedt EVA om at gennemføre såkaldte metaevalueringer, altså at vurdere kvaliteten af jeres evalueringer. Hvorfor det?
”Vi har erkendt at hvis vores evalueringer skal være troværdige, så skal der et eksternt element ind over. Og vi fik så den tanke at få det som vi kaldte en valideringspåtegning. Altså en ekstern part der siger god for at evalueringen basalt set giver et troværdigt billede af hvordan det hænger sammen. Da var det vi begyndte at tale med EVA om det var en rolle instituttet kunne påtage sig. Og det er så det der er blevet til de såkaldte metaevalueringer.”
Har du nogen gode råd til andre institutioner der vil kaste sig ud i et lignende projekt?
”For det første kan sådan en proces godt tage lang tid, og her er mit råd at hvis man entrerer med eksterne konsulenter, så må man også selv forpligte sig til at sikre en fremdrift i projektet og i aftalerne, fx ved at udnævne en intern tovholder og prioritere projektet selv om man har travlt med andre ting.
Mit andet råd er at man tidligt i processen skal forsøge at blive klar på ambitionsniveauet – altså, hvad er det egentlig man vil have? I starten tænkte vi at vi skulle have noget meget rugbrødsagtigt, mens EVA mente at vi skulle have noget meget mere avanceret, og så er vi vel havnet et sted midt imellem”.
