Svenska forskare kritiserar corona-modeller

Under år 2020 togs flera matematiska modeller fram för att förutspå smittspridning, dödsfall och vårdbelastning i Sverige till följd av covid-19. Dessa prediktioner hjälpte beslutsfattare i deras planeringsarbete till viss del, men hade samtidigt ett flertal brister.

Det konstaterar en oberoende forskargrupp efter att på uppdrag av Folkhälsomyndigheten ha granskat covid-19-modeller från år 2020.

Otydlighet kring begrepp

Rapporten omfattar modeller framtagna av Folkhälsomyndigheten, samt av svenska och internationella forskare. Ett vanligt problem var att författarna var otydliga i sin terminologi, specifikt kring om det var en prognos eller ett scenario som de visade upp.

Ett scenario målar upp ett förlopp som i grunden bygger på ett eller flera antaganden: C kan inträffa om A och B inträffar. En prognos utgår till större del från data som redan är kända, till exempel statistik över smittspridning i ett visst område och vad som är ett sannolikt förlopp baserat på den informationen.

Scenarier är nödvändiga i situationer då det råder brist på data – till exempel i början av en pandemi när det enda som finns att gå på är data från andra länder. Det behöver då göras klart att modellen gäller om spridningen sker på samma sätt som i de andra länderna, vilket är långt ifrån säkert.

Framgår inte detta tydligt riskerar det att skapa förvirring, både när myndigheter kommunicerar vad modellerna visar gentemot regionerna som sköter sjukvården – men även hos allmänheten. Det säger Anna Jöud, docent i epidemiologi vid Lunds universitet och en av rapportens författare.

– När siffror från modeller stämmer dåligt med hur det faktiskt blir, kan vanliga medborgare tro att ingen vet vad de håller på med. Men så behöver det ju inte vara. Just därför är det viktigt att man förstår om det rör sig om en prognos eller någonting annat.

Många modeller kritiserades även för bristfällig dokumentation kring vilka data de faktiskt byggde på och vilka antaganden som forskarna gjorde, både vid scenarier och prognoser.

Brist på validering

Innan en modell skickas ut bör den ”testköras” på en tidigare period där data kring smittspridningen redan är kända, till exempel de senaste veckorna. Genom att ställa frågan: ”Hur rätt hade vår modell haft, om vi hade haft tillgång till den redan då?” kan forskarna få en bild av hur träffsäker modellen är.

I de flesta fall hade ingen sådan validering gjorts. Modellernas projektioner följdes heller inte upp i efterhand. Som en del av uppdraget från Folkhälsomyndigheten utvärderade Anna Jöud och hennes kollegor själva hur väl modellerna stämde och fann att precisionen på det stora hela var låg.

Toomas Timpka är professor i socialmedicin och docent i medicinsk informatik vid Linköpings universitet, och en annan av rapportens författare. Han jobbar själv med tillämpad modellering av smittsamma sjukdomar.

– Artiklarna där modellerna presenteras borde ha avslutats med: ”Detta är ett första steg, och vi avser att utvärdera vår prediktion i en kommande artikel som vi nu arbetar med.”

Han pekar på en tendens att utvärderingar av det slaget lätt hamnar i skuggan när det gäller modelleringar.

– En bra modell kräver matematisk och teknisk kompetens, men den måste även vara bra i empirisk bemärkelse – det vill säga att den stämmer mot verkligheten. Det vi stötte på i granskningen var till viss del en kultur där det var okej att presentera en modell, och sedan släppa den. Att säga ”Här är en prediktion – live with it.” ungefär.

Inte minst är utvärderingarna viktiga för att samla kunskap om vad som behöver förbättras till nästa pandemi. Till exempel byggde flera av de nationella modellerna under år 2020 på regionala modeller som skalades upp, under antagandet att omständigheterna i en region var desamma som i resten av landet.

– I själva verket såg vi att det var stor skillnad mellan regionerna sett till smittspridning, vilket kan ha gjort de nationella modellerna mindre precisa, säger Anna Jöud.

Rapporten ”Sammanställning och utvärdering av modeller för pandemiprediktion i Sverige under 2020” finns tillgänglig här.