Koncept til studentermålinger

EVA løser gerne opgaver på konsulentbasis – især når opgaverne er med til at opbygge kapacitet på fx en uddannelsesinstitution til selv at bruge evaluering som redskab til udvikling. Det var netop tilfældet da Rytmisk Musikkonservatorium (RMC) i efteråret 2005 kontaktede EVA.

RMC ville gerne vide mere om hvad deres studerende mente om den uddannelse de var i gang med. Derfor bad konservatoriet EVA om at udvikle et koncept som løbende kunne bruges til at undersøge hvordan de studerende oplever undervisningen på de fem bacheloruddannelser som RMC udbyder. Et af formålene var mere præcist at finde ud af hvordan de studerende oplever at undervisningen opfylder målsætningerne i RMC’s nye kompetenceorienterede studieordninger.

I dybden med udvalgte temaer
EVA udformede i et nært samarbejde med RMC et koncept med et elektronisk spørgeskema der skulle belyse kvaliteten af RMC’s uddannelser fra de studerende synsvinkel. Det skulle kunne måle de studerendes tilfredshed med undervisningen og deres oplevelse af de nye studieordningers gennemslag i undervisningen. Bl.a. på musiker-, lydtekniker- og music management-uddannelserne.

RMC indsamlede selv de besvarede spørgeskemaer fra de studerende. Derefter analyserede EVA svarene i spørgeskemaundersøgelsen og udarbejdede en rapport der fremhæver de væsentligste resultater. Spørgeskemaundersøgelsen pegede på en række temaer som EVA foreslog RCM at kigge nærmere på for at finde årsagen til fx en lavere tilfredshed med et fag eller tiltag end forventet, og for at kunne forbedre tiltaget eller undervisningen i faget. Og det har RMC så gjort i det forløbne år:

Beslutninger på sikkert grundlag
”På baggrund af konklusionerne i EVA’s rapport udformede vi en plan for hvordan vi ville følge op på resultaterne af undersøgelsen. Planen gav os et overblik over hvordan vi ville bruge den gennemførte undersøgelse,” fortæller Henrik Sveidahl, rektor for Rytmisk Musikkonservatorium.

”Havde vi oppefra, altså ledelse og undervisere i fællesskab, gennemført en selvanalyse af hvordan de studerende har det, så havde billedet nok set anderledes ud,” vurderer han og fortsætter om RMC’s brug af undersøgelsesresultaterne.

”Med undersøgelsen har vi fået en klar feedback på hvor vi skal sætte ind. Det betyder at vi i ledelsen kan agere ud fra et sikkert grundlag, og at organisationen samlet set kan beslutte ud fra en fælles viden. På et operativt plan har det givet anledning til at vi i Studienævnet kan drøfte studieordningen og eventuelle revideringer af den – i stedet for at vi gætter os frem,” uddyber Henrik Sveidahl.

Formidling af mål i uddannelsen
Et af de elementer som RMC har sat ind på, handler om styrke informationen og dialogen om uddannelsernes mål og kompetencer, sådan som RMC har formuleret dem i studieordningerne for de forskellige uddannelser. For selvom langt størstedelen af de studerende på første år kendte de mål og kompetencer de skal opnå, var der stadig næsten en tredjedel af de studerende som mente at de ikke var formidlet tydeligt nok til dem.

Et andet område som de studerendes svar indikerede at RMC skulle arbejde videre med, drejede sig om uddannelsernes intro-uge. Næsten halvdelen af de studerende mente at intro-ugen ikke var tilstrækkelig faglig.

Intro-uge med større fokus på mål i uddannelsen
De to problemstillinger valgte RMC at løse ved at revidere intro-ugen så en væsentlig del af introduktionen for nye studerende i efterårssemesteret 2006 rummer netop dialog og debat om kvalitet, kompetencer og uddannelsesmål for de studerende. Samtidig har undervisere og administration løbende været opmærksomme på at gøre de studerende bevidste om at det er i studieordningerne at de finder grundlaget for deres uddannelse.

Bekræftelser og overraskelser
På nogle områder bekræftede undersøgelsen hvad ledelse og undervisere vidste på forhånd. Det gjaldt bl.a. at nogle reflekterende, teoretiske fag, som fx Kunst og kultur og Pædagogik, psykologi og studieteknik, ikke står stærkt blandt de studerende – hvoraf godt 20 % ikke synes at undervisningen i fagene bidrager til deres kompetenceudvikling.

Derimod overraskede det Henrik Sveidahl at bl.a. faget Hovedinstrument ikke fik så positive vurderinger af de studerende som de havde forventet i forhold til den særlige status og vægt som faget har i forhold til de andre fag på RMC:

”Det er jo vores spidskompetencer der er i spil i det fag, så det kom mere bag på mig,” indrømmer Henrik Sveidahl og fortsætter: ”Her har vi endnu ikke sat ind med konkrete ændringer. Netop det år havde flere af vores dygtigste undervisere orlov, så jeg regner med at det har givet sig udslag i svarene. Vi kender ikke forklaringerne på det, men er fx opmærksomme på at målene med undervisningen er klare.”

Spørgeskema i brug igen
Spørgeskemaet som blev brugt til at måle de studerendes tilfredshed, blev i første omgang tilpasset RMC’s førsteårsstuderende. Men idéen var også at konservatoriet selv skulle kunne udbygge og videreudvikle spørgeskemaet og bruge det på andre årgange end hos de førsteårsstuderende. EVA’s rapport beskriver derfor konceptet og giver en vejledning i hvordan RMC kan genanvende spørgeskemaet. Og det er netop hvad RMC har gjort her i efteråret.

Henrik Sveidahl forklarer: ”I år har vi udbredt spørgeskemaundersøgelsen til både at rette sig til 1.- og 2.-årsstuderende. Og ud fra data har vi skrevet en intern rapport efter samme model som den EVA skrev den sidste år. Den peger på områder som vi skal se nærmere på og finde forklaringer og tiltag for. Nogle af problemstillingerne er de samme som sidste år, men samtidig kan vi se at vi har flyttet os på andre områder.”

Flere tilfredse med formidling af mål
I anden runde af undersøgelsen spurgte RMC bl.a. igen til de studerendes kendskab til mål for uddannelserne og informationen om dem for at se om deres indsats havde betydning. Det viser spørgeskemaundersøgelsen: Et stort flertal af de studerende mener at målene med uddannelsen er tydeligt formidlet, mens kun 13 % af de studerende mener at målene ikke er formidlet tydeligt nok.

”På den måde har vi haft utrolig meget glæde af konceptet. Vi agter at folde det ud så det i 2010 er fuldt udbygget på alle årgange. Det skal altså på længere sigt kunne give os et samlet overblik over undervisningen på uddannelserne,” siger Henrik Sveidahl.

Viden om evaluering
På RMC havde selve forløbet med at udvikle konceptet for undervisningsevaluering også et mål om at konservatoriet fik viden om at udforme spørgeskemaundersøgelser og anvende data i en evaluerings- og udviklingssammenhæng. Hvilket er i tråd med EVA’s mål om at være med til at opbygge kapacitet og kompetencer inden for uddannelsesverdenen – så den enkelte uddannelsesinstitution selv kan bruge evaluering som et redskab til at blive klogere på praksis og til at forbedre uddannelser og undervisning.

”På evalueringsfronten har vi lært meget og fået et solidt fagligt løft. Og det har været vigtigt for os. Legitimiteten skal jo være høj hvis resultaterne af sådan en undersøgelse skal bruges af hele huset. Havde der været tvivl om kvaliteten af den, ville vi ikke kunne bruge data som grundlag for indsatser og ændringer.”

EVA-konsulent-opgaver
Andre opgaver der ligger ud over EVA’s egne evalueringsprojekter i den årlige handlingsplan, tæller blandt andet: 

• Kunstakademiets Arkitektskole: Konsulentstøtte til at udforme kompetencebeskrivelser for Arkitektskolens uddannelser og bygge kompetencebeskrivelserne ind i nye studieordninger og undervisningsplaner. 
• Friluftsrådet: Udvikling af konkrete redskaber og forslag til hvordan den enkelte naturvejleder kan evaluere aktiviteter, og hvordan man kan måle effekter af konkrete naturvejledningsinitiativer. 
• Kunststyrelsen: Et hæfte der beskriver hvordan projektledere i Kunststyrelsen skal gribe arbejdet med at evaluere deres projekter an. Hæftets indhold er udarbejdet så det hænger sammen med styrelsens skabelon for projektledelse.