Vid University of Southern California insåg man att studenternas utvärderingar av lärare inte utgjorde några bra underlag för att fatta beslut om vem som ska få fast anställning eller utses till professor. Det finns bevis för att studenters utvärderingar av kurser ofta innehåller inslag av partiskhet gentemot kön och minoriteter. Dessutom korrelerar höga siffror i kursutvärderingar ofta dåligt med hur mycket studenterna faktiskt lärt sig. Universitetet bestämde sig i stället för att använda sig av peer review för att bedöma forskarnas och universitetslärarnas pedagogiska färdigheter, som underlag för vem som ska anställas och inte.
Nu sitter kollegorna med i klassrummen på varandras föreläsningar, utvärderar kursmaterial och studieuppgifter. De utvärderar också varandras reflektioner kring undervisningen och hur de arbetar med att anpassa sitt kursinnehåll till mångfalden av studenter.
Det här är bara ett exempel på hur man använder peer review mer och mer i universitetsvärlden.
Don Westerheijden har ägnat många år till att studera balansen mellan peer review och andra mått på prestationer, så kallade performance indicators. Han är forskare vid the Center of Higher Education Policy Studies vid University of Twente i Nederländerna.
Don Westerheijden var en av huvudtalarna på konferensen Scientific Communication & Gatekeeping in Academia in the 21st Century i Uppsala i våras. Han ser både problem och positiva effekter när peer review införlivas i arbetet med att kvalitetssäkra akademiska verksamheter, det vill säga verksamheter utöver de klassiska att granska manuskript åt tidskrifter och utvärdera ansökningar om forskningsbidrag.
Vad är kvalitet?
Själva synen på vad kvalitet är, gör att utvärderingarna blir komplicerade.
– Vad är kvalitet? Vi behöver prata om kvaliteter, i plural, eftersom olika intressenter eller grupper av människor, som studenter, arbetsgivare, regeringar, forskningsråd och universitetsadministratörer, har olika syn på vad vi gör inom den högre utbildningen och forskningen, förklarar Don Westerheijden.
Och de är ju inte så konstigt eftersom forskare också gör olika saker: undervisar, forskar och försöker påverka och samverka med samhället på olika sätt.
– Den viktigaste styrkan med peer review är att det ger en mänsklig, holistisk syn på kvalitet, åstadkommen med mänsklig intelligens.
Man brukar säga att vi kan känna igen kvalitet när vi ser det.
– Det ligger någonting i det. Peers har en djup insyn i akademin, de känner sina universitet och den akademiska världen. De känner också till hur det fungerar inom olika discipliner. På så sätt är peer review-systemet anpassningsbart till olika omständigheter och det blir lättare att till exempel ta reda på om en institution gör just det som den vill göra, säger Don Westerheijden.
Slumpvisa fel och missförstånd
Han upplever att de största svagheterna med peer review ligger i de slumpvisa fel och missförstånd som kan uppstå, att personliga erfarenheter kan ta överhand. Det finns också partiskhet. Dels i förhållande till kön och nationalitet etcetera, dels för (eller emot) vissa inriktningar, eller ”skolor”, speciellt inom humaniora och samhällsvetenskaperna.
Peer review bäddar inte heller för innovationer i och med att peers ofta delar en gemensam konventionell syn på sin disciplin.
– Och när det gäller formella processer och juridiska sammanhang, kan peer review vara svårt att rättfärdiga. Hur kan man försvara ”jag tycker inte att det är bra forskning” inför en domare?
Performance indicators
Lösningen är att komplettera peer review med andra kvalitetsmått, performance indicators, och det är här Don Westerheijdens specialkompetens kommer in i bilden, i sökandet efter balans mellan de två angreppsätten i kvalitetsutvärderingar.
– Man kan säga att styrkorna och svagheterna med performance indicators speglar styrkorna och svagheterna med peer reviews.
Performance indicators är objektiva, lätta att försvara i byråkratiska och juridiska sammanhang. De är siffror på papper som går att jämföra från en verksamhet till en annan. Administrativ personal kan ta hand om arbetet med dessa prestationsmått och på så sätt avlasta forskarna.
– Då kan vi fokusera på att forska och undervisa i stället. Å andra sidan ger det administratörer mer makt, och som akademiker tenderar vi ju att tycka att vi vet bäst hur man sköter ett universitet och att administratörer inte bör få för mycket makt, säger Don Westerheijden.
Tre åsikter
Vad ser du för fördelar eller nackdelar med peer review?
Björn Hammarfelt, docent i biblioteks- och informationsvetenskap, Högskolan i Borås:
– Väl genomförd peer review höjer forskningens kvalitet. Studier visar att artiklar som genomgått flera rundor av granskning får större genomslag, och det stämmer väl med mina egna erfarenheter. Ett problem är att vi tenderar att belöna den forskning som liknar vår egen, vilket hämmar nytänkande och interdisciplinaritet. Peer review är också resurskrävande då en allt större del av arbetstiden ägnas åt att granska andras arbete.
Daniel Pettersson, docent i pedagogik, Högskolan i Gävle:
– Traditionen för tidskrifter är att peer review ska avgöra om studier bidrar med ny kunskap, eller granska hur en studie bidrar till att vända på perspektiven så att man upptäcker nya sätt att se på saker och ting. Där är peer review det bästa vi har. Inom mitt fält har vi blind reviews, vi vet inte vem som skrivit en artikel. Där open reviews tillämpas, kanske det sämsta man kan göra för sin karriär är att ifrågasätta stjärnforskarnas slutsatser.
Sverker Lindblad, seniorprofessor i pedagogik, Göteborgs universitet:
– Peer review vilar på tillgången till goda och kunniga peers som är beredda att sätta av tid för – ofta obetald – granskning och bedömning i en konkurrensutsatt och förtätad akademi. Peer review är nödvändigt för att granska forskningskvalitet genom att bedöma frågor om kunskapsbidrag och dess betydelse. Det finns risker med att peers i strävan efter konsensus och säkerhet i bedömningar mer tittar i backspegeln och lyssnar på andra i den egna gruppen.
