Tidigare i år publicerade en rad forskare, däribland professor Anna Dreber vid Handelshögskolan i Stockholm, en artikel i Nature som visade att 70 forskargrupper som utgått från samma data och samma nio hypoteser inte kom till samma slutsats rörande någon av hypoteserna. Detta eftersom de gjort olika val i analysskedet.
Dessutom hade forskarna överskattat i vilken grad de skulle nå likartade resultat.
– Detta var i linje med vad vi trodde att vi skulle hitta, men för neurovetarna som deltog i studien var resultaten mer överraskande. De flesta forskare tror att sådana här problem finns inom andra fält, men mindre inom ens eget, säger Anna Dreber.
Vad bidrar studien med till diskussionen om vad som är objektiv forskning och om det finns en sådan?
– Vi belyser att det även i den positivistiska forskningen och i dess hypotesprövning görs subjektiva val, säger Anna Dreber.
Resultaten visar både på en risk att forskare medvetet eller omedvetet snedvrider resultaten för att de ska bli statistiskt signifikanta resultat och på att de överskattar objektiviteten och generaliserbarheten i sin forskning.
Studien gjordes inom det tvärvetenskapliga fältet neuroekonomi, men med tyngdpunkten inom neurovetenskap. Anna Dreber, som är nationalekonom men också forskar inom metavetenskap, tror att studiens problembild är applicerbar även på andra ämnesområden.
– Det behöver inte betyda att forskaren gör något dåligt, jag tror att de flesta är sanningssökare, men man gör olika val i analysen och det är inte alltid uppenbart vilka val som är de bästa. Det är därför det är så viktigt att man är transparent med hur man hanterar och analyserar data, säger hon.
Förregistrera analysplanen
En konkret åtgärd som Anna Dreber förespråkar är att forskaren inte bara ska tillgängliggöra sina data utan också förregistrera sin analysplan, i de fall där det är tillämpligt. På så sätt motverkar man till exempel att en explorativ studie, där syftet är att analysera data i ett öppet sökande, senare presenteras som en bekräftande studie där hypotesen först ska ha specificerats och datan testats mot den.
– Man ska inte utesluta explorativa analyser, men man ska göra tydligt vad som är explorativt och vad som är bekräftande analyser, säger Anna Dreber.
Fishing kallas det när en forskare utan hypotes fiskar efter signifikanta resultat och ”glömmer bort” att rapportera de insignifikanta. P-hacking är också ett avsiktligt mixtrande med den statistiska analysen i syfte att få fram ett signifikant resultat. Forking är en process där forskaren inte själv är lika medveten om att val som hen gör under analysprocessen systematiskt snedvrider resultaten.
Psykologiforskningen i framkant
Anna Dreber har haft flera vägar in i forskningsfältet, och en var insikten att en artikel hon själv publicerat tidigare säkerligen var ett falskt positivt resultat, där problemet i hennes analys hade varit en för svag statistisk styrka.
Psykologiforskningen var ett av de första fälten att hamna i fokus för replikerbarhetsproblemen, och där menar Anna Dreber att man nu ligger i framkant med att hantera dem.
– Jag är positiv till utvecklingen, det blir bättre.
Utöver ökad kunskap och transparens krävs incitamentsstrukturer för att främja den mer öppna forskningen, och där spelar lärosäten, forskningsfinansiärer och tidskrifter en stor roll, menar Anna Dreber.
En av de neurovetare som deltog i studien i Nature är Gustav Nilsonne vid Karolinska institutet, som också han forskar inom metavetenskap.
Han berättar att studien skapade en bra inomvetenskaplig debatt och att det pågår projekt inom neurovetenskap där man försöker ta fram standarder för vissa grundanalyser av data med syfte att minska variationerna i resultaten.
Men han möter också en viss tröghet i arbetet med att jobba för mer öppen forskning.
– Det finns en del personer som försöker bevara status quo och ser det som en inskränkning i forskarens frihet att inte få bestämma själv vad man ska göra med sin data. Men jag tycker det strider mot vetenskapens grundläggande värderingar om att kunskapen ska tillhöra alla och att man ska kunna kritiskt granska vad som har gjorts.
