Vad tycker de som inte svarar?

Stefan Lundén arbetar på Norstat i Linköping. Flera kvällar i veckan ringer han slumpvis utvalda svenskar och frågar om allt mellan himmel och jord.

Under ett arbetspass på fem timmar brukar han nå ett femtontal personer, efter att ha ringt ett hundratal nummer.

– Men det varierar – vissa uppdrag medför långa frågeformulär som kan ta uppåt en kvart att ta sig igenom, säger han. Men ibland tar det mindre än en minut.

Stefan Lundén ringer både mobilnummer och hemnummer, med viss övervikt för mobilnummer.

– Vi får nog lika ofta svar på hemnummer som på mobilnummer, det är min bild, säger han.

I en stor lokal i Linköping sitter ett femtiotal personer framför var sin dator och ringer.

– Mitt intryck är att många vill svara på frågan om partisympatier. Det är sällan några problem. Mer förvånande är att vissa inte vill uppge postnummer, vilket vi alltid frågar efter för att kunna placera personen som svarar geografiskt.

Stefan Lundén är i frontlinjen för opinionsinstituten, en verksamhet som på senare tid fått utstå en hel del kritik. Bland annat påstås de gravt ha missat Brexitkampanjens övertag och Donald Trumps väljarstöd. En del förknippar detta med att allt färre svarar på opinionsinstitutens frågor.

När de svenska väljarundersökningarna drog i gång för ett halvsekel sedan så blev det ett väldigt ståhej när det var fem procents bortfall. Det berättar Richard Öhrvall, som är tjänstledig från Statistiska centralbyrån, SCB, för att doktorera i statsvetenskap vid Linköpings universitet. Hans ämne är ungas valdeltagande.

När Donald Trump vann valet i höstas ringde massor av journalister till Richard Öhrvall för att få veta varför opinionsinstituten inte hade förutsett detta.

Han menar att det finns en växande grupp som undersökningsföretagen inte når. Bortfallet leder till två olika problem. Färre svar innebär mer osäkra analyser. Detta kan motverkas med större urval. Men framför allt handlar det om att de som inte svarar troligen avviker från gruppen i övrigt. Då blir svaren skeva och speglar inte opinionen i stort.

– Kurvan över bortfallets storlek har stigit brant i exempelvis SCB:s partisympatiundersökningar, säger han. Och man ser liknande tendenser i flera andra undersökningar.

I European Social Survey har svarsfrekvensen sjunkit från omkring 70 procent i början av 2000-talet till 50 procent 2014. Brottsförebyggande rådets Nationella trygghetsundersökning hade då den inleddes 2006 en svarsfrekvens på 78 procent men har nu fallit till 60 procent. Det större bortfallet handlar till stor del om att de som skulle tillfrågas inte svarade i telefon.

– Bortfallet varierar beroende på insamlingsmetod. Vi ser nya beteenden, framför allt vad gäller telefon, säger Richard Öhrvall.

– Många svarar helt enkelt inte när de ser okända nummer som ringer på mobiltelefonen. Sedan finns det en växande grupp vägrare, som inte vill vara med över huvud taget.

Svårast att nå är unga, storstadsbor, lågutbildade och utrikes födda. Om man tillhör flera av dessa kategorier blir det ännu färre svar. Men internationellt sett har Sverige en bra svarsfrekvens, trots att den generella tendensen i hela västvärlden är en minskad svarsfrekvens.

– För inte så länge sedan var den fasta telefonen i hemmet kontakten till omvärlden, säger han. Det skulle mycket till för att inte svara, och i flerpersonshushåll krävdes ett kollektivt beslut för att inte svara. Så är det inte längre.

Richard Öhrvall säger att opinionsundersökningsbranschen är delad mellan dem som jobbar mer vetenskapligt och dem som menar att det är en form av hantverk. Denna skillnad visar sig bland annat i hur man hanterar det ökade bortfallet. För att få bättre träffsäkerhet i undersökningarna måste resultatet viktas.

– Viktningen kan göras på olika sätt, säger han. Ett kan vara efter vad man röstade på i det senaste valet. Men många kommer inte ihåg vad de röstade på.

Viktningen går till så att om till exempel unga och högutbildade kvinnor i långt mindre grad svarar än andra grupper, så vägs rösterna för dem som trots allt svarar upp och får större vikt.

– Men det kan vara problematiskt – kan den unga tvåbarnsmamman som är hemma och svarar i telefon representera en lika ung singeltjej som är ute och festar? De har sannolikt rätt olika världsbild, säger Richard Öhrvall.

SOM-institutet vid Göteborgs universitet har undersökt samhälle, opinion och medier i Sverige via opinionsundersökningar sedan 1986. De viktar normalt inte sina siffror.

– Bortfall är inget nytt fenomen, och många har tittat på oss i Sverige med avund, eftersom vi fortfarande har mycket högre svarsfrekvenser än i många andra länder, säger Henrik Oscarsson, professor i statsvetenskap vid Göteborgs universitet, och föreståndare för SOM-institutet.

– Här har folk svarat på enkätfrågor i stor utsträckning, och jag tror att det har med vår höga tillit att göra. Många känner en plikt att svara, till skillnad från hur det är i till exempel USA, där man har väldigt svårt att få folk att ställa upp.

Henrik Oscarsson säger att vårt folkbokföringsregister är förutsättningen för god metodik. Man kan tack vare registret få tillgång till hela befolkningen och därifrån göra ett slumpmässigt urval. Om man har rätt utgångspunkt och gör ett sannolikhetsurval så går det att tackla andra problem.

– Då blir bortfallet hanterbart, säger han. Men vi befinner oss under press och det pågår mycket forskning om metodutvecklingen.

– Det spelar faktiskt inte så stor roll om det är 58 eller 48 procent som svarar. Men många verkar betrakta 50 procent som ett slags magisk gräns, fortsätter han.

SOM-institutet har i nuläget en svarsfrekvens på runt 50 procent, men hade runt 70 procent när man började på 1980-talet. Även Henrik Oscarsson vittnar om ett mer rörligt samhälle, där folk är svårare att nå.

– Det är faktiskt inte så många fler som vägrar, men det är fler vi inte får tag i. Kontaktgraden minskar. Det är folk som inte svarar i telefon eller inte bor där de är skrivna, säger han.

Den svåraste gruppen är 20–24-åringarna. Så länge de bor hos föräldrarna svarar de, men sedan är de svåra att nå, och svarar bara till omkring 30 procent. Bland pensionärerna har däremot svarsfrekvensen i SOM-undersökningen ökat något. Sjuttioplussare svarar till nästan 80 procent.

– Så vår bild av samhället är i lägre grad representativ för unga människor, säger Henrik Oscarsson.

De mest pålitliga är äldre kvinnor som bor i hus på landet.

Även utrikesfödda som är mindre integrerade och har svårt med svenskan är svåra att nå. I Göteborgs utanförskapsområden svarar 20–25 procent.

– Bortfallsgruppen består av en rätt brokig skara människor, och det glöms bort ibland. Bortfallsgruppen har visserligen ökat, men är i dag mer lik den stora gruppen än för 25 år sedan. Då var bortfallet mindre, men gruppen som inte svarade var mer avvikande, säger Henrik Oscarsson.

Ändå vore det givetvis bra att minska bortfallet.

– Vi gör numera enkäterna kortare, och använder ibland incitament, trisslotter, till dem som svarar, säger Henrik Oscarsson.

– Det ska inte kännas som en börda, utan uppfattas som meningsfullt att medverka.

Henrik Oscarsson menar att viktning inte löser problemet med stora bortfall.

– Det som händer om man ska vikta är att man ger tyngre röst åt de avvikande unga vuxna som är så ”konstiga” att de svarat på vår undersökning. Då får de representera unga vuxna, fastän de inte är några typiska unga vuxna.

– Många andra säger ”vi har viktat” och så tycks allt vara allt frid och fröjd, men jag är inte nöjd med detta. Viktning är ingen universallösning. Det kan i stället ge mer problem. Det beror även på vad som undersöks. Det är främst när det gäller vanor, attityder och beteenden som är hårt knutna till generation och ålder som vi ibland viktar resultaten.

Henrik Oscarsson är bekymrad över att många andra opinionsundersökningsföretag som viktar sina resultat inte bygger på befolkningsdata. Telefonföretagen kan bara sätta telefonnummer på 75 procent av befolkningen. En fjärdedel saknar fast telefon, eller byter mellan olika kontantkort. Och de webbaserade företagen sorterar bort de två miljoner svenskar som inte är tillräckligt aktiva internetanvändare.

– De missar ju direkt en stor andel av Sveriges vuxna befolkning, säger han. Att definiera bort stora grupper ur befolkningen redan i urvalet går inte att försvara.

SOM-institutet använder befolkningsregistret för sina urval.

– Grundprincipen är att utgå från hela befolkningen och göra ett sannolikhetsurval. Jag kan räkna ut den exakta sannolikheten för att just du kommer med i våra undersökningar, eftersom vi utgår ifrån hela befolkningen och inte bara de människor som finns på webben eller i telefonregister, säger han.

Ingen av de forskare som F&F har varit i kontakt med fäster någon vikt vid självrekryterade webbpaneler.

– Den centrala metodfrågan är om man har sannolikhetsbaserade rekryteringar eller inte, säger Henrik Oscarsson.

Han menar att den viktiga frågan är att skilja på urvalsprocesser och datainsamlingsmetoder.

– När det gäller insamlingsmetoderna ser vi stora utvecklingsmöjligheter. Vi försöker använda så många sätt som möjligt. Post, webb, surfplattor, telefon, face-to-face, kanske en enkät som man kan svara på pö om pö … Vi behöver anpassa oss till respondenterna för att hålla kvar dem. Men urvalsprocessen kan vi inte kompromissa med. För detta är en grundläggande vetenskaplig metod – att ställa frågor till människor. Så vi kan inte ge upp.

Henrik Oscarsson får medhåll av Dan Hedlin. Han är professor i statistik med inriktning mot allmän statistikproduktion vid Stockholms universitet och är inte involverad i någon särskild undersökning.

– Ett större problem än bortfallet är dåliga urvalsmetoder, säger han. Det är inte alls säkert att en undersökning med 60 procents svarande är bättre än en med 30 procents svarande. Det hänger helt på hur man har samlat in och sedan analyserat siffrorna.

En bra studie måste bygga på ett representativt urval av hela befolkningen, och sedan justeras – viktas – för bortfallet. Femtioplussare svarar oftare än yngre, högutbildade oftare än lågutbildade, inrikes födda oftare än utrikes födda och så vidare.

– Det ökande bortfallet behöver inte påverka kvaliteten, om man bara vet hur man ska kalibrera siffrorna. Det är viktigare att ha ett så bra urval som möjligt än att ha så många svarande som möjligt.

Det finns många som tycker att opinionsundersökningarna har misslyckats i flera val på senare tid, till exempel i det amerikanska presidentvalet. Men Dan Hedlin håller inte med:

– Det var snarare massmediernas fel än opinionsundersökningarnas, säger han. Donald Trump vann med oerhört liten marginal. Och alla opinionsundersökningar har ju felmarginaler. Det är omöjligt att göra opinionsundersökningar som fångar in så små marginaler som de han vann med.

I de amerikanska studierna skattas sannolikheter för de olika kandidaterna. Nate Silver, en av USA:s ledande opinionsanalytiker, menade att sannolikheten för en Trumpvinst var omkring 30 procent.

– Det skulle jag kalla en hyfsat stor sannolikhet, säger Dan Hedlin. Man bör inte bli förvånad om en sådan sannolikhet slår in – slå en tärning och fundera på chansen att få en etta eller tvåa. Den är inte jätteliten.

Dan Hedlin betonar att många glömmer bort att det finns en stor osäkerhet i statistik.

Richard Öhrvall håller med.

– Opinionsmätningar är svår materia. Det handlar om osäkerhet och fördelningar, men presenteras ändå i exakta siffror, säger Richard Öhrvall.

– Till att börja med, på 1970-talet, presenterade SCB bara intervall i partisympatiundersökningarna, fortsätter han. Typ, Moderaterna har mellan si och så många procents stöd i opinionen. Någon journalist tyckte att det var otympligt och tog i stället mittpunkten på intervallet och, ja … Där är vi i dag.

SCB:s stora väljarundersökning publiceras två gånger om året – i november och i maj. Vid majmätningarna inför de tre senaste valåren har Sverigedemokraterna (SD) kraftigt underskattats. I exempelvis maj 2014 fick SD 8,1 procents stöd enligt SCB:s partisympatiundersökning – men i valet några månader senare fick de 12,9 procents stöd.

– Vi gör inte prognoser av ett framtida valresultat, utan det är en spegling av opinionsläget vid en viss tidpunkt. Väljarna bestämmer sig ofta sent numera, så mycket kan hända mellan vår majundersökning ett valår och själva riksdagsvalet, säger Regina Vilkenas, som är ansvarig för partisympatiundersökningarna vid SCB.

– Bortfallet har ökat i merparten av SCB:s undersökningar, fortsätter hon. Det är en fråga vi jobbar hårt med.

SCB gör bortfallsanalyser för att se vilka som inte svarar. Även där handlar det framför allt om unga människor och dem med utländsk bakgrund. SCB kalibrerar, viktar, sina siffror för de grupper som inte svarar eller inte går att nå.

– Vi vill förstås stoppa bortfallsökningen, och vi hoppas det sker nu, säger Regina Vilkenas.

De ger sina respondenter flera chanser att svara, både via telefon och webb. Och de gör många kontaktförsök.

– Vi är bekymrade och tar detta på stort allvar, säger hon.

– Rörmokare svarar inte i telefon, vem som än ringer – så är det, säger Torbjörn Sjöström, som är vd på opinionsundersökningsföretaget Novus. Vissa yrkesgrupper är jättesvåra att nå, och andra svarar nästan alltid.

Men han menar att oron för bortfall är överdriven. Branschen har lärt sig att hantera detta.

– Bortfallet kollar vi alltid på – men tyvärr har debatten kommit att fastna på bortfallet, när det är urvalet som är det viktiga. Så länge urvalet är bra så spelar inte bortfallet så stor roll. Men sen har vi rörmokarna.

Han menar att vi har blivit bortskämda i Sverige av bra studier tidigare. De flesta andra länder har lärt sig att hantera stora bortfall sedan länge. Han håller dock med om att det har varit svårt att mäta stödet för SD.

I Novus mätningar har man, enligt Torbjörn Sjöström, en grupp osäkra väljare. Den gruppen består i sin tur av två undergrupper: dels de genuint osäkra, dels SD-sympatisörer som inte vill svara på frågan om partisympatier. (”De är övertygade om att vi är en del av den stora konspirationen.”) Genom att ställa några följdfrågor till dessa osäkra kan man skilja ut SD:arna via frågor om synen på FI, invandring och rädslan för terrorism.

– Sådant samvarierar med SD-sympatier, säger Torbjörn Sjöström. Så till nästa val bör vi ha bra siffror på dem.

Alla som F&F har varit i kontakt med är överens om att opinionsundersökningarnas kvalitet och framtid inte är hotad av den fallande svarsfrekvensen, även de som inte arbetar med undersökningarna själva, som Dan Hedlin.

– Opinionsundersökningarna kommer att fortsätta leva och frodas, säger Dan Hedlin. Det är en global industri som omsätter enorma belopp. Och själv läser jag alltid gärna de senaste siffrorna. Undersökningarna är här för att stanna.

Richard Öhrvall påtalar att flera amerikanska institut är nere på 10–20 procents svarsfrekvens, men de kan ändå leverera användbara analyser.

Och Stefan Lundén och hans kolleger, som troligen sitter och ringer även i kväll, kan fortsätta många år till. Stefan Lundéns erfarenhet är att folk han når oftast är trevliga.

– Ibland får man förstås svaret att ”detta vill jag inte uppge”, men sällan har någon slängt luren i örat på mig, säger han.