Det bråkar psykologiforskarna om

Färre än 40 av 100. Det var siffrorna som satte psykologiforskningen i gungning förra året. Då publicerade The open science collaboration nämligen The reproducibility project: psychology, där de upprepat 100 studier publicerade i tre etablerade vetenskapliga tidskrifter. Att knappt två femtedelar av de nya studierna visade liknande resultat som ursprungsstudien togs som intäkt för hur skakig den vetenskapliga grund som psykologiforskningen vilar på är. Sedan dess har ”the reproducibility crisis” varit ett begrepp inom psykologiforskningen.

Men hur stod de egentligen till med kvaliteten på replikeringsprojektet? Nyligen gick fyra psykologiforskare till motangrepp i Science, samma tidskrift som publicerade the reproducibility projects resultat förra året.

Under ledning av Harvardpsykologen Daniel Gilbert sammanfattar de en rad svagheter i upprepningen av studierna med orden: ”Metavetenskap är inte undantagen från vetenskapens regler.”

Till att börja med pekar de på att många av de nya studierna avvikit på avgörande sätt från de studier de varit ämnade att replikera. Till exempel gjordes en amerikansk studie av inställningar till afroamerikaner om i Italien, och en studie där israeler föreställt sig att göra militärtjänst upprepades med amerikaner som fantiserade om att åka på smekmånad.  

Dessutom: De studier där den ursprungliga forskaren godkänt utformningen av den nya studien har gett nära fyra gånger bättre replikeringsresultat än de studier där något sådant godkännande inte inkommit. Det skulle kunna tyda på att dessa studiers utformning avviker för mycket från det ursprungliga studiedesignen för att få grönt ljus.

Inte helt oväntat så försvarar sig forskarna bakom The reproducibility project och slår tillbaka mot vad de ser som felaktigheter i hur Gilbert och hans kolleger gjort sina jämförelser rent statistiskt. Vidare påpekar de att de skillnader i experimentdesign som kritikerna förfärats över inte nödvändigtvis är så allvarliga. Till exempel så var tre av de sex exempel på avvikelser som de kritiserat godkända av forskarna bakom ursprungsstudierna. Och en fjärde (den där amerikanska attityder till afroamerikaner skulle upprepas med italienska testpersoner) är en av de studier som faktiskt replikerats framgångsrikt.

Att studier som inte godkänts av ursprungsforskarna generellt skulle avvika för mycket avvisar de dessutom med argumentet att 18 av de forskare som kontaktats inte svarat på förfrågan. Att ytterligare 11 valde att inte ge sitt medgivande på grund av invändningar mot studiedesignen tolkar replikeringsprojektets företrädare däremot som att ”forskare som var mindre säkra på sina studiers styrka kan ha varit mindre benägna att godkänna replikeringarna”.

2015 skrev Modern Psykologi om psykologiforskningens utmaningar och The reproducibility project.