Forskares vägval påverkar studiernas resultat

70 forskargrupper inom hjärnavbildning har deltagit i en studie på initiativ av bland annat Handelshögskolan i Stockholm. De fick utgå från samma data och hypoteser – ändå blev resultaten olika för alla grupper, visar en ny artikel som publicerats i tidskriften Nature. Det beror på att forskarna var långt ifrån överens om hur analyserna skulle göras.

1) Varför blir det så stora skillnader när ni forskar på samma data?

–  Man har ett stort spelrum och många val som måste göras mellan olika rimliga strategier. Studien bekräftar att det finns ett stort antal sätt att analysera samma data på.

2) Är det här speciellt för neurovetenskapen som du forskar inom, eller gäller det även andra forskningsområden?

– Det har gjorts några liknande studier på andra områden också. I allmänhet gäller att ju mer komplexa dataanalyser man gör, desto större blir rymden av möjliga analyser. Dataintensiv forskning, som delar av neurovetenskapen, kan därför vara mer påverkade av detta.

3) Kan olikheterna handla om forskningskulturer i olika länder och lärosäten?

– Stora kulturella skillnader tror jag inte förklarar detta. Möjligen kan man säga att vissa mjukvaror används på vissa ställen och det kan leda till en viss lokal tradition kring hur man gör, vilket kan påverkar resultatet lite grann. Men jag tror inte att det är en viktig förklaring.

4) Om ni kommer fram till olika resultat av samma data – hur ska vi då kunna lita på forskningen?

– I det stora hela har forskningen kommit fram till många pålitliga resultat. Man kan kanske skilja mellan forskning på en aggregerad nivå som har levererat oerhört många värdefulla resultat, och ett enskilt rapporterat fynd, som ofta inte kan betraktas som pålitligt, åtminstone inte innan det har upprepats av någon annan.

5) I artikeln diskuteras även risken att forskare medvetet kan använda data och analysmetod utifrån vilket resultat de vill komma fram till. Finns det ingen forskaretik som skyddar mot sådant?

– Jo, det är klart att det finns forskaretik. Men det finns också en press på forskare att leverera publicerade artiklar med resultat, annars har man ingen framtid inom akademin.

6) Hur kommer vi då åt problemet?

– Det är viktigt för forskare att publicera sina data och sin kod öppet – så det blir rimligt att se vilken metod som använts. Man kan också förhandsregistrera sin analysplan. Om jag som forskare har gjort det kan jag sedan lättare försvara mina val om det skulle misstänkas att jag har prövat mig fram och sedan rapporterat de resultat som jag gillar.

7) Kommer du att göra det?

– Jag har hållit på med den här typen av ”metaforskning” förut och jobbar redan sedan flera år tillbaka med att så långt möjligt publicera öppna data och kod.

8) Tror du att det leder till att fler gör det?

– Jag tycker man kan se en rörelse åt det hållet och jag hoppas att den här studien ger en ytterligare knuff i den riktningen.

Fakta om projektet

• Anna Dreber och Magnus Johannesson, båda professorer i nationalekonomi vid Handelshögskolan i Stockholm, var med och initierade projektet och satt i ledningsgruppen tillsammans med forskare från Dartmouth College, Stanford University, Tel Aviv University och University of Innsbruck.

• Gustav Nilsonne, forskare vid Karolinska Institutet, deltog som en av de 70 forskargrupper som analyserade data.