Många studier faller isär när de upprepas
Debatten om att vetenskapliga studier inte klarar att upprepas har nu nått nationalekonomin. En ny genomgång underkänner drygt hälften av de granskade studierna.
En grundbult inom vetenskaplig metodik är att en studie ska ge samma resultat om den upprepas med samma metod och likvärdigt källmaterial. Men på den punkten finns det anledning att vara orolig för nationalekonomisk forskning, skriver två professorer i Ekonomisk debatt. Inom vissa av nationalekonomins fält har det visat sig att majoriteten av de publicerade resultaten inte går att upprepa.
– Detta har diskuterats inom flera discipliner rätt länge, och på senare år har frågan även nått samhällsvetenskaperna, säger Anna Dreber Almenberg, professor i nationalekonomi vid Handelshögskolan i Stockholm och en av författarna till artikeln.
Det finns flera orsaker till problemet, som kallas för replikationskrisen. En kan vara att ribban för vad som anses statistiskt signifikant, det vill säga vad som inte beror på slumpen, har sänkts i vissa studier.
En annan anledning är att studier med nollresultat – vilket också är vetenskapligt relevant – kan vara svårare att publicera. Starka och förvånande resultat har blivit lättare att få in i tidskrifter. Ytterligare ett fenomen är att forskare medvetet eller omedvetet vill stärka en hypotes eller teori, och då låter analysen påverkas av förväntade resultat.
– Medvetenheten om problemet har ökat, och det är en första början till lösningen, säger Anna Dreber Almenberg. Det är därför vi har skrivit denna artikel.
– Men visst riskerar vi allmänhetens förtroende för forskningen när detta blir allt mera känt, fortsätter hon.
Sedan några år sysslar allt fler forskare med att upprepa tidigare studier.
Anna Dreber Almenberg har tillsammans med sina kolleger upprepat 18 nationalekonomiska studier som publicerats i topptidskrifter. Det visade sig att bara 11 av de 18 studierna (61 procent) gick att upprepa.
– Det är inte så mycket, nej – och jag tror att det ser värre ut i andra delar av nationalekonomin, eftersom vi analyserade experiment där kausaliteten är klarare och det finns färre variabler att studera, säger Anna Dreber Almenberg.
Författarna efterfrågar nu bland annat högre statistisk styrka och större urval för att få mer tillförlitliga resultat. Dessutom anser de att upprepningar bör genomföras oftare. Medvetenheten om att sådant sker kan göra forskare noggrannare och mer försiktiga.
Kommer replikationskrisen att lösas?
– Nja, det verkar gå trögt inom nationalekonomin, säger Anna Dreber Almenberg. Men vi måste ju lösa detta.
