Så vet du om du kan lita på opinionsmätningen

Opinionsmätningar spelar en stor roll i det offentliga samtalet. När ett parti plötsligt ser ut att stiga, tappa eller närma sig spärren får det snabbt politiska och mediala följder. Men bakom den dagliga rapporteringen finns en mer grundläggande fråga: Vad är det egentligen en opinionsmätning mäter och vilka slutsatser går det att dra av den?

Den senaste tidens debatt om opinionsmätningar har ofta låst sig i två motsatta positioner. På ena sidan hävdas att endast slumpmässiga urval kan tas på vetenskapligt allvar. På den andra försvaras självrekryterade paneler som en modern och legitim metod i en tid då allt färre svarar på traditionella undersökningar.

Båda sidor sätter fingret på något viktigt men båda missar också delvis kärnfrågan: olika typer av mätningar lämpar sig olika väl för olika typer av frågeställningar. Inom surveyforskningen har man länge arbetat med många olika typer av urval och datainsamlingsmetoder. Poängen är inte att en metod alltid är bäst utan att olika verktyg lämpar sig för olika uppgifter.

Ett datamaterial kan vara fullt användbart för att analysera samband mellan variabler, men ändå betydligt sämre lämpat för att säga exakt hur opinionen ser ut i en befolkning. Att undersöka hur politiskt intresse hänger samman med partival eller politiskt förtroende är en sak. Att uppskatta hur stort stöd ett parti faktiskt har i befolkningen är en annan. Rörelser över tid i en självrekryterad panel kan också vara informativa men de kan inte utan vidare likställas med förändringar i väljarkåren som helhet.

Just här är forskningsläget tydligare än vad den offentliga debatten ofta ger intryck av. Som Carina Cornesse och kollegor sammanfattar forskningsläget är ”precisionen i undersökningar baserade på sannolikhetsurval i allmänhet högre än i undersökningar med icke-sannolikhetsurval”.

Jämförande forskning visar återkommande att sannolikhetsurval ger mer träffsäkra skattningar än självrekryterade urval när resultaten prövas mot oberoende jämförelsemått. Självrekryterade paneler kan vara användbara i flera sammanhang men de lämpar sig i allmänhet sämre för nivåskattningar, alltså för att säga hur opinionen faktiskt ser ut inom befolkningen som helhet.

En viktig del av diskussionen handlar om viktning. När ett urval inte riktigt liknar befolkningen försöker man ofta väga materialet i efterhand, till exempel efter kön, ålder, utbildning eller bostadsort. Tanken är att kompensera för kända skevheter i urvalet.

Men även här är forskningsläget relativt tydligt. Det ger inget starkt stöd för att viktning i sig löser de grundläggande selektionsproblem som präglar självrekryterade paneler. Tvärtom tycks sådan viktning fungera bättre för sannolikhetsurval, medan självrekryterade urval ofta förblir svagare när det gäller att uppskatta opinionens nivåer, trots viktning och andra justeringar.

Som forskare vid Stanford university sammanfattar saken i en artikel från 2018: ”Resultaten förändrades inte när man genomförde poststratifiering utifrån demografiska variabler.” I vissa fall kan sådan viktning till och med förvärra fel snarare än minska dem.

Skälet är i grunden enkelt. I ett självrekryterat urval väljer människor själva att delta. Då uppstår nästan alltid systematiska skevheter: Vissa grupper blir överrepresenterade, andra underrepresenterade. Om vissa grupper nästan inte finns med alls i materialet hjälper det inte mycket att väga i efterhand, det finns helt enkelt för få observationer att korrigera med. Problemet handlar alltså inte bara om hur många svar man får in utan om vilka som faktiskt finns med från början. Att sannolikhetsurval i dag ofta har problem med bortfall innebär inte att skillnaden mellan slumpmässigt dragna och självrekryterade urval försvinner. Det är en kvalitativ skillnad mellan att slumpmässigt välja ut personer ur en målpopulation och att i efterhand hantera vilka som valt att delta.

Det är också viktigt att skilja mellan olika användningsområden. När medier rapporterar om hur stort stöd ett parti har i opinionen handlar det om nivåskattningar och just där står sannolikhetsurval enligt forskningen starkare än självrekryterade paneler. Självrekryterade paneler kan möjligen vara bättre lämpade för att fånga rörelser inom den egna panelen över tid men sådana rörelser kan inte utan vidare tolkas som förändringar i väljarkåren som helhet, särskilt inte när utgångsnivån är osäker och skattningarna vilar på modellantaganden och efterhandsjusteringar.

Samtidigt betyder detta inte att självrekryterade paneler saknar värde. Tvärtom kan de vara användbara för experiment, frågetestning, metodutveckling och vissa typer av analyser där syftet inte är att göra precisa populationsskattningar. Forskning om surveyexperiment visar också att icke-representativa urval i vissa fall kan fungera väl när fokus ligger på behandlingseffekter snarare än på exakta nivåer i befolkningen. Men det är ett annat kunskapsanspråk än att uttala sig om partistödets nivå eller förändringar i väljarkåren som helhet.

En annan viktig poäng är att hålla isär anekdoter och systematisk evidens. Enskilda träffar eller missar avgör inte metodfrågan. Ett institut kan exempelvis ligga nära ett valresultat vid ett tillfälle utan att det löser den principiella frågan om vilka slutsatser metoden långsiktigt tillåter. På samma sätt innebär problem med bortfall i sannolikhetsurval inte att alla metoder därmed blivit likvärdiga. Detta var också huvudslutsatsen i den brittiska utredningen efter parlamentsvalet 2015. Mätningarna hade visat ett jämnt lopp, men valet gav en tydlig konservativ seger. När olika tänkbara förklaringar granskades var slutsatsen att grundproblemet låg i felskattningar från just icke-sannolikhetsbaserade urval och att de statistiska justeringarna inte hade rättat till detta.

Här kommer också frågan om transparens in. Om opinionsinstitut använder självrekryterade paneler för att göra nivåskattningar blir det särskilt viktigt att redovisa hur panelen rekryteras, vilka grupper som faller bort, hur viktningen görs och varför man anser att slutsatserna är tillförlitliga trots att urvalet inte är slumpmässigt. ”Transparens är helt avgörande”, som en arbetsgrupp inom American association for public opinion research (AAPOR) uttrycker det. Detta gäller särskilt eftersom ”icke-sannolikhetsurval är en samling metoder snarare än en enskild metod”. Det betyder att kvaliteten inte kan bedömas enbart utifrån etiketten ”självrekryterad panel”, man måste också veta hur den faktiskt är uppbyggd och hur resultaten bearbetas.

Detta gäller i ännu högre grad i dag när onlineundersökningar också ställs inför nya kvalitetsproblem. Ny forskning pekar på att både automatiserade AI-respondenter och vanliga deltagare som använder generativ AI kan påverka kvaliteten i webbundersökningar. Det gör inte alla webbpaneler oanvändbara men det gör kontrollfrågor, validering och metodredovisning ännu viktigare.

Mot den bakgrunden blir frågan om opinionsmätningar mindre svartvit än den ofta framstår i offentligheten. Problemet är inte mätningarna i sig. Problemet uppstår när vi ställer frågor till dem som de inte är byggda för att besvara och när vi drar starkare slutsatser än underlaget tillåter. Självrekryterade paneler kan vara användbara för vissa syften. Men det samlade forskningsläget pekar ändå på att de inte är den mest lämpliga metoden för att göra nivåskattningar av exempelvis partiers stöd i opinionen. Den viktiga frågan är därför inte bara vad en mätning visar utan också vad dess metod tillåter oss att säga.