Det här innehållet kommer från vår tidigare hemsida och kan därför se annorlunda ut. Vi ber om överseende med detta.

Olika testresultat trots samma data och hypotes

Även när forskare använder samma data och hypoteser får de olika resultat på grund av analysvalen de gör. Det visar en studie som belyser behovet av mer transparens.

17 november, 2020
Kajsa Skarsgård
Anna Dreber

Tidigare i år publicerade en rad forskare, däribland professor Anna Dreber vid Handelshögskolan i Stockholm, en artikel i Nature som visade att 70 forskargrupper som utgått från samma data och samma nio hypoteser inte kom till samma slutsats rörande någon av hypoteserna. Detta eftersom de gjort olika val i analysskedet.

Anna Dreber

Dessutom hade forskarna överskattat i vilken grad de skulle nå likartade resultat.
– Detta var i linje med vad vi trodde att vi skulle hitta, men för neurovetarna som deltog i studien var resultaten mer överraskande. De flesta forskare tror att sådana här problem finns inom andra fält, men mindre inom ens eget, säger Anna Dreber.

Vad bidrar studien med till diskussionen om vad som är objektiv forskning och om det finns en sådan?
– Vi belyser att det även i den positivistiska forskningen och i dess hypotesprövning görs subjektiva val, säger Anna Dreber.

Resultaten visar både på en risk att forskare medvetet eller omedvetet snedvrider resultaten för att de ska bli statistiskt signifikanta resultat och på att de överskattar objektiviteten och generaliserbarheten i sin forskning.

Studien gjordes inom det tvärvetenskapliga fältet neuroekonomi, men med tyngdpunkten inom neurovetenskap. Anna Dreber, som är nationalekonom men också forskar inom metavetenskap, tror att studiens problembild är applicerbar även på andra ämnesområden.
– Det behöver inte betyda att forskaren gör något dåligt, jag tror att de flesta är sanningssökare, men man gör olika val i analysen och det är inte alltid uppenbart vilka val som är de bästa. Det är därför det är så viktigt att man är transparent med hur man hanterar och analyserar data, säger hon.

Förregistrera analysplanen
En konkret åtgärd som Anna Dreber förespråkar är att forskaren inte bara ska tillgängliggöra sina data utan också för­registrera sin analysplan, i de fall där det är tillämpligt. På så sätt motverkar man till exempel att en explorativ studie, där syftet är att analysera data i ett öppet sökande, senare presenteras som en bekräftande studie där hypotesen först ska ha specificerats och datan testats mot den.
– Man ska inte utesluta explorativa analyser, men man ska göra tydligt vad som är explorativt och vad som är bekräftande analyser, säger Anna Dreber.

Fishing kallas det när en forskare utan hypotes fiskar efter signifikanta resultat och ”glömmer bort” att rapportera de insignifikanta. P-hacking är också ett avsiktligt mixtrande med den statistiska analysen i syfte att få fram ett signifikant resultat. Forking är en process där forskaren inte själv är lika medveten om att val som hen gör under analysprocessen systematiskt snedvrider resultaten.

Psykologiforskningen i framkant 
Anna Dreber har haft flera vägar in i forskningsfältet, och en var insikten att en artikel hon själv publicerat tidigare säkerligen var ett falskt positivt resultat, där problemet i hennes analys hade varit en för svag statistisk styrka.
Psykologiforskningen var ett av de första fälten att hamna i fokus för replikerbarhetsproblemen, och där menar Anna Dreber att man nu ligger i framkant med att hantera dem.
– Jag är positiv till utvecklingen, det blir bättre.

Utöver ökad kunskap och transparens krävs incitamentsstrukturer för att främja den mer öppna forskningen, och där spelar lärosäten, forsknings­finansiärer och tidskrifter en stor roll, menar Anna Dreber.

Gustav Nilsonne

En av de neurovetare som deltog i studien i Nature är Gustav Nilsonne vid Karolinska institutet, som också han forskar inom metavetenskap.
Han berättar att studien skapade en bra inomvetenskaplig debatt och att det pågår projekt inom neurovetenskap där man försöker ta fram standarder för vissa grundanalyser av data med syfte att minska variationerna i resultaten.

Men han möter också en viss tröghet i arbetet med att jobba för mer öppen forskning.
– Det finns en del personer som försöker bevara status quo och ser det som en inskränkning i forskarens frihet att inte få bestämma själv vad man ska göra med sin data. Men jag tycker det strider mot vetenskapens grundläggande värderingar om att kunskapen ska tillhöra alla och att man ska kunna kritiskt granska vad som har gjorts.

Kajsa Skarsgård
Universitetsläraren utformas enligt journalistiska principer och följer mediebranschens publicitets- och yrkesetiska regler. Tidningen har en fri och självständig ställning gentemot sin ägare, fackförbundet SULF.
Ämnen i artikeln:
Dela:
Debatt och krönikor

MarieLouise Samuelsson

MarieLouise Samuelsson-kronika

Skicka din debattartikel till redaktionen@universitetslararen.se

Senaste numret
Tidningsarkiv
Nummer 4, 2024
Nummer 3, 2024
Nummer 2, 2024
Nummer 1, 2024
Nummer 6, 2023
Nummer 5, 2023
Nummer 4, 2023