Forskares vägval påverkar studiernas resultat

Samma data och samma hypoteser – ändå kan resultatet bli olika. Forskare måste bli tydligare på att redovisa sina metoder, tycker Gustav Nilsonne, forskare på KI som deltagit i en ny internationell studie om forskares arbetsmetoder.

Publicerad
Ju mer data som analyseras, desto större blir utrymmet för möjliga val.
Bild: Getty Images

70 forskargrupper inom hjärnavbildning har deltagit i en studie på initiativ av bland annat Handelshögskolan i Stockholm. De fick utgå från samma data och hypoteser – ändå blev resultaten olika för alla grupper, visar en ny artikel som publicerats i tidskriften Nature. Det beror på att forskarna var långt ifrån överens om hur analyserna skulle göras.

1) Varför blir det så stora skillnader när ni forskar på samma data?

–  Man har ett stort spelrum och många val som måste göras mellan olika rimliga strategier. Studien bekräftar att det finns ett stort antal sätt att analysera samma data på.

2) Är det här speciellt för neurovetenskapen som du forskar inom, eller gäller det även andra forskningsområden?

– Det har gjorts några liknande studier på andra områden också. I allmänhet gäller att ju mer komplexa dataanalyser man gör, desto större blir rymden av möjliga analyser. Dataintensiv forskning, som delar av neurovetenskapen, kan därför vara mer påverkade av detta.

3) Kan olikheterna handla om forskningskulturer i olika länder och lärosäten?

– Stora kulturella skillnader tror jag inte förklarar detta. Möjligen kan man säga att vissa mjukvaror används på vissa ställen och det kan leda till en viss lokal tradition kring hur man gör, vilket kan påverkar resultatet lite grann. Men jag tror inte att det är en viktig förklaring.

4) Om ni kommer fram till olika resultat av samma data – hur ska vi då kunna lita på forskningen?

– I det stora hela har forskningen kommit fram till många pålitliga resultat. Man kan kanske skilja mellan forskning på en aggregerad nivå som har levererat oerhört många värdefulla resultat, och ett enskilt rapporterat fynd, som ofta inte kan betraktas som pålitligt, åtminstone inte innan det har upprepats av någon annan.

5) I artikeln diskuteras även risken att forskare medvetet kan använda data och analysmetod utifrån vilket resultat de vill komma fram till. Finns det ingen forskaretik som skyddar mot sådant?

– Jo, det är klart att det finns forskaretik. Men det finns också en press på forskare att leverera publicerade artiklar med resultat, annars har man ingen framtid inom akademin.

6) Hur kommer vi då åt problemet?

– Det är viktigt för forskare att publicera sina data och sin kod öppet – så det blir rimligt att se vilken metod som använts. Man kan också förhandsregistrera sin analysplan. Om jag som forskare har gjort det kan jag sedan lättare försvara mina val om det skulle misstänkas att jag har prövat mig fram och sedan rapporterat de resultat som jag gillar.

7) Kommer du att göra det?

– Jag har hållit på med den här typen av ”metaforskning” förut och jobbar redan sedan flera år tillbaka med att så långt möjligt publicera öppna data och kod.

8) Tror du att det leder till att fler gör det?

– Jag tycker man kan se en rörelse åt det hållet och jag hoppas att den här studien ger en ytterligare knuff i den riktningen.

Fakta om projektet

• Anna Dreber och Magnus Johannesson, båda professorer i nationalekonomi vid Handelshögskolan i Stockholm, var med och initierade projektet och satt i ledningsgruppen tillsammans med forskare från Dartmouth College, Stanford University, Tel Aviv University och University of Innsbruck.

Gustav Nilsonne, forskare vid Karolinska Institutet, deltog som en av de 70 forskargrupper som analyserade data.

Gustav Nilsonne.
Bild: Matilda Lindmark

Så gjordes studien

  • Forskarna samlade först in data från 108 deltagare som i en magnetkamera fick säga ja eller nej till att slumpmässigt vinna eller förlora pengar med olika sannolikheter.
  • De 70 forskargruppernas uppgift: Att testa nio specifika hypoteser om aktivitet i olika delar av hjärnan vid beslutsfattande, rapportera ifall de hittade stöd för varje hypotes, samt beskriva hur de analyserade data.
  • Denna studie i ”crowd science” visar på stor variation i analysstrategier och resultat – forskargrupperna är långt ifrån överens om hur analysen ska göras och vad resultaten är.
  • För fem av nio hypoteser rapporterar 20–40 procent av forskarna ett statistiskt signifikant resultat. För de andra fyra hypoteserna är det mer enhetliga resultat, men ingen av de 70 forskargrupperna kom till samma slutsats för någon av de nio hypoteserna.
Publicerad

Upptäck F&F:s arkiv!

Se alla utgåvor