Om rankningarna hade varit vetenskapliga rapporter skulle de aldrig ha publicerats.
– Nej, de skulle inte ha passerat ens som C-uppsats, säger Magnus MacHale-Gunnarsson, utredare vid Göteborgs universitet.
Men vetenskaplighet är ju inte meningen med rankningarna.
– Shanghai-rankningen har ett annat syfte än vad den används till. Den skapades för att kineserna ville se om deras satsning på att skapa stora universitet kunde konkurrera med de amerikanska och brittiska flaggskeppen.
Men i dag används den för att exempelvis mäta rangordningen mellan lärosäten som ligger på plats 150 eller 200. Till det duger den inte, menar Magnus MacHale-Gunnarsson.
– Från början var inte Shanghai-rankningen kommersiell men nu ligger den i ett eget bolag, så jag gissar att de kommer att börja sälja kringtjänster.
De andra stora internationella rankningarna har en mer utvecklad affärsmodell.
– QS är helt affärsdrivande och deras rankning är bara en del av deras produktflora. Times Higher Education, THE, är ju en tidskrift och deras rankning ska väcka uppmärksamhet och sälja tidningar. De säljer en del kringtjänster också men det är inte lika utvecklat som hos QS.
”Notoriskt opålitliga”
Magnus MacHale-Gunnarsson betraktar rankningslistorna som notoriskt opålitliga. Frågan är vad som gör dem så dåliga.
– En sak är den låga validiteten i metoden, de säger sig mäta universitetskvalitet, men vad är det de egentligen mäter? Det är något annat, som delvis är korrelerat med kvalitet. Men i allmänhet har de kalibrerat sina metoder så att resultaten ska stämma ungefär med vår förförståelse om vilka lärosäten som är bra.
Ett annat problem är reliabiliteten, om de mäter på samma sätt flera gånger så får de olika resultat.
– Det finns en grundläggande instabilitet. Ta anseendemätningarna, det är elektroniska enkätundersökningar med väldigt låg svarsfrekvens. För att det inte ska bli uppenbart otillförlitliga resultat aggregerar man svar från de senaste sex åren.
Shanghailistan använder inte anseendemätningar men har ett liknande problem med instabilitet.
– Man har indikatorer som är väldigt glesa, som exempelvis Nobelpris. Det medför att många lärosäten har noll pristagare. Råkar man få en pristagare åker man upp i tabellen. Men vad säger det om lärosätet? Det blir väldigt skakigt.
Ett liknande problem har indikatorn med de högst citerade forskarna.
– Det är väldigt få forskare som placerar sig på den listan. Och får ett lärosäte in ytterligare en forskare där så skickas lärosätet upp 20 placeringar på rankningen.
Ändrar ofta metod
Nästa problem är att två av rankningarna ofta ändrar metod. THE ändrar metod nästan varje år. QS ändrar inte lika ofta. Shanghai har egentligen bara gjort en ändring, fördelad på två år.
– Om det blir en större förändring på listan beror det nästan alltid på en metodförändring, universiteten är tröga kolosser där det inte händer mycket från år till år. För THE är förändringar ett självändamål. Varje gång de ändrar blir det stora rubriker och mer uppmärksamhet och de säljer fler tidningar.
Av samma skäl skickar både THE och QS ut nya varianter på listan med olika indelningar av ämnen.
– Då är det nya lärosäten som kommer upp eller ned på listorna och det skapar nya rubriker. THE och QS vill ju ha volatilitet, de vill ha förändring för då får de uppmärksamhet.
Trots att rankningarna redan från början mötts av kraftig kritik får de regelbundet uppmärksamhet varje år.
– Jag tror att det beror på två faktorer. Dels enkelheten i en rankningslista – en topplista är alltid lätt att relatera till, dels tävlingsmomentet. Man blir lite lokalpatriotisk, som ett slags landskamp. Det svider en aning när man förlorar mot dem man brukar mäta sig med.
Magnus MacHale-Gunnarsson menar att eftersom lärosätena drabbats av ”rankningseländet” får de försöka dra nytta av det.
– Vi har haft rankningar i 15 år och de är här för att stanna. Det är inte så meningsfullt att vara tjurig. Utan det gäller att hitta ett sätt att stå ut med dem och utnyttja dem för marknadsföring.
