Den resultatinriktade utvärdering av högre utbildning som Universitetskanslersämbetet (UKÄ) genomför på utbildningsdepartementets uppdrag har kritiserats hårt. Kritiken har bland annat gällt vad det är som utvärderas, utbildningens kvalitet – eller studenternas förmåga att nå målen i högskoleförordningens examensbeskrivningar.
Hur går då bedömningsarbetet till?
Under 2013 deltog jag i en utvärdering av nio utbildningar. Bedömargruppens fem lärare läste ett antal examensarbeten (uppsatser) samt skriftliga självvärderingar från lärosätena. Dessutom intervjuades studenter och lärare över nätet. I gruppen fanns också en student och en arbetslivsrepresentant.
Arbetet var väl förberett av UKÄ:s tjänstemän. Bedömarna gick seriöst in för uppgiften. Likafullt väcks tvivel om granskningens tillförlitlighet.
Det finns ingen anledning att tro att den här utvärderingen är ett undantag. Mallarna för hur den ska gå till är enhetliga.
Tre problem utkristalliserades: 1) tolkningen och tillämpningen av examensmålen, 2) självvärderingarnas och intervjuernas betydelse samt 3) återkopplingen till lärosätena.
Tolkning och tillämpning
Gruppen valde ut fyra till fem examensmål för granskningen. Några av målen är svårbegripliga. Andra är mångordiga. De flesta är förvisso välkända inom akademin som "förväntade studieresultat", men vanligtvis använder lärarna tydligare kriterier för att bedöma uppsatsers kvalitet. Här finns alltså en besvärande diskrepans mellan oklara mål och de krav som brukar ställas på studenternas examensarbeten.
Uppsatserna, liksom utbildningarna i sin helhet, ska ges betyget "hög", "mycket hög" eller "bristande" måluppfyllelse. I det här fallet blev det aldrig riktigt klart var ribban mellan betygen skulle ligga. Dessutom fanns en risk för att bedömningarna skiftade beroende på hur målen tolkades. De skriftliga yttrandena om uppsatserna var för det mesta kortfattade och gav föga information om deras kvalitet.
Examensmålen blev svårhanterliga verktyg. Ibland kunde kriteriet "hög måluppfyllelse" uppfattas som en orimlig bedömning av en uppsats som nog med möda hade godkänts av lärosätet. Å andra sidan var det alltför strängt med "bristande måluppfyllelse" – om uppsatsen inte var rakt igenom dålig.
I utvärderingen ska studentuppsatserna ha en avgörande betydelse. Men vad säger till exempel en kandidatuppsats om en utbildning? Den kan vara skriven av en illa motiverad student eller av en målmedveten student som siktar på forskarutbildningen. Båda har gått samma kurser, men tillgodogjort sig dem på olika sätt. Detta skapar osäkerhet om vad det är som faktiskt bedöms, utbildningen eller studenternas förutsättningar.
Självvärderingar och intervjuer
En fråga är vilken betydelse lärosätenas självvärderingar bör tillmätas. I de flesta fall innehöll de som väntat genomtänkta mål och planer, men inte mycket av självrannsakan. Samtidigt saknade de information om att studenterna faktiskt hade uppnått examensmålen. De sa alltså inte mycket om utbildningens resultat. Det gjorde inte heller intervjuerna, men de gav en del upplysningar om lärosätenas arbetssätt och om studenternas erfarenheter.
Dessa båda underlag är naturligtvis otillräckliga som "bevis" för en utbildnings kvalitet. Ändå avgjorde de i ett par fall slutbetyget.
Återkoppling
Hur bör då resultaten av utvärderingen förmedlas till lärosätena? De slutliga yttrandena ges enligt UKÄ:s direktiv en likartad form. Det innebär små möjligheter till konkreta värdeomdömen. I praktiken upprepar yttrandena examensmålens formuleringar. Det medför att lärosätena inte får närmare kännedom om vilka brister (och förtjänster) utbildningarna har.
Utvärderingarna bidrar därför knappast till att höja utbildningskvaliteten. Det räcker med att en utbildning får betyget "bristande måluppfyllelse" på ett mål för att den ska riskera att bli av med examinationsrätten. Det är visserligen ett tydligt besked. Men om vad?
Som ordförande i gruppen skulle jag skriva en sammanfattning av bedömningsprocessen. Den text jag föreslog godkändes dock inte. Man tyckte att den var för kritisk. I stället blev det en neutral redogörelse.
Borde jag då, som en av mina medbedömare sa, ha "hoppat av"? Redan under det första mötet framförde jag kritiska synpunkter och det fortsatte jag med. Tjänstemännen var förstås lojala mot utvärderingssystemet. De övriga i gruppen hade inte några allvarliga anmärkningar.
Kritik är ett grundläggande inslag i akademin. Därför såg jag inga hinder mot att delta i det här arbetet, lika litet som jag gjort under tidigare utvärderingsuppdrag. Som bekant framhåller högskoleförordningen att studenterna ska tillägna sig ett kritiskt tänkande. Jag utgick från att detta skulle gälla även oss.
Slutsatsen är att i fortsättningen av detta gigantiska och dyra projekt bör tillfrågade lärare noga tänka sig för innan de ställer upp som bedömare. De kan mycket väl bli en gisslan i utbildningsdepartementets opålitliga utvärderingssystem.
BILLY EHN,
professor i etnologi
Umeå universitet
