– Det är inte lätt att avgöra vad som är betydelsefull (läs viktig/bra) forskning och forskare är mycket sämre än man kan tro på det, säger en av författarna till forskningsrapporten, biologiprofessorn Adam Eyre-Walker från Sussex universitet i Storbritannien.
Adam Eyre-Walker och kollegan Nina Stoletzki studerade mer än 6 000 publicerade artiklar som experter bedömt efter publicering. Artiklarna kom från två databaser. Den ena, Wellcome Trust, är en forskningsfinansierande organisation som använder sig av experter för att bedöma den forskning de finansierat efter publikation. Den andra, Faculty of 1000, är en webbplats där biologer lägger upp artiklar de gillar, ger betyg och diskuterar dem. I dessa två databaser, visar Eyre-Walker och Stoletzki att forskare som bedömer samma artikel inte ger dem samma betyg oftare än vad de skulle gjort rent slumpmässigt.
Eyre-Walker och Stoletzki har jämfört tre sätt att bedöma forskning; peer-review-granskning efter publikation, antal citeringar och tidskriftens impact factor. Deras resultat visar att forskare är dåliga på att uppskatta betydelsen av en vetenskaplig publikation, bedömningarna innehåller många felkällor och styrs bland annat lätt av yttre faktorer som i vilken tidskrift artikeln är publicerad. Dessutom är subjektiva bedömningar både dyra och tidskrävande. Forskare är också dåliga på att förutsäga vilken framtida betydelse en artikel kommer att ha i form av antal citeringar. Det sistnämnda, menar Eyre-Walker och Stoletzki, beror både på att forskare är dåliga på att bedöma men också att antalet citeringar till stor del är en stokastisk process där två artiklar av liknande kvalitet rent slumpmässigt kan erhålla olika antal citeringar.
Författarna visar att granskarnas betyg på en artikel är mycket beroende av i vilken tidskrift den är publicerad. Forskare ger generellt högre betyg till artiklar publicerade i prestigefulla tidskrifter med hög impact factor. Det gäller även artiklar som är jämförbara i antalet citeringar men publicerade i tidskrifter med olika impact factor. Även om impact factor också har sina problem är det ändå det mått som författarna menar kanske är det effektivaste och bästa måttet för att bedöma betydelsen hos en redan publicerad artikel. Först och främst så är det ett mått som är tydligt och lätt att förstå. Dessutom suddar det ut problemet med att välja vilka artiklar som ska väljas ut för bedömning; det vill säga är det bäst att välja artiklar publicerade i tidskrifter med hög impact factor, artiklar som har blivit citerade många gånger eller artiklar man tycker representerar den bästa forskningen man gjort. Billigt att använda och ger ett direkt mått på hur betydelsefull forskningen är, menar Eyre-Walker och Stoletzki.
Ett problem med tidskrifters impact factor är att de varierar stort mellan olika vetenskapsgrenar. Ett annat är att mycket forskning publiceras i monografier och andra kanaler som inte omfattas av impact factor.
– Man måste absolut korrigera för olika vetenskapsgrenar. Det är inte trivialt men heller inte omöjligt. I Australien har man ett sådant system. Ett ännu bättre system vore att forskare inom respektive fält rangordnar tidskrifterna inom sitt fält. För forskning som publiceras i monografier och liknande format är vi nog dessvärre hänvisade till peer-review-bedömning eller antal citeringar, säger Adam Eyre-Walker.
När nu peer-review-bedömning efter publikation visat sig innehålla många felkällor och ibland vara nästan slumpmässig måste man ju också ställa sig frågan om inte den traditionella peer-review-bedömningen innan publikation som är så central i forskarvärlden är lika problematisk.
– Så är det nog. Men det är också värt att poängtera att det är två delar i en sådan bedömning. Dels att avgöra om vetenskapen är korrekt, dels hur betydelsefull den är. Jag skulle gissa att forskare är bättre på det första och, som sagt, ganska dåliga på det andra.
Ett alternativ till traditionell peer-review-granskning innan publikation skulle, enligt Eyre-Walker, kunna vara en modell liknande den som används av Faculty of 1000 med endast en onlinetidskrift (med olika ämnessektioner) dit forskare kan skicka sina artiklar (helst anonymt).
– Då kan andra forskare kommentera och artiklar med bra kommentarer får vara kvar. Då undviker man också slumpmässigheten som ibland styr huruvida en artikel publiceras i en tidskrift med hög impact eller inte. Men även ett sådant system kan missbrukas genom att låta vänner och kollegor skriva positiva saker om ens artikel. Ett system där all forskning som bedöms vara korrekt publiceras är ändå att föredra, säger Adam Eyre-Walker.
Svårigheten med att bedöma kvalitet på forskning och att avgöra hur betydelsefull den är leder Eyre-Walker till en kanske oundviklig slutsats.
– Jag tycker att vår studie pekar på att vi borde satsa på att finansiera en stor variation, ett brett spektrum, av forskning snarare än att följa den trend som är så vanlig idag att investera stort i några få individer eller forskningsgrupperingar. Jag säger så eftersom ingen av oss verkar veta vad som är betydelsefull och viktig forskning, avslutar Adam Eyre-Walker.
Mikael Härlin
