Att mäta opinionen i olika frågor har varit, och är avgörande inte bara för politiska partier utan även för olika former av särintressen. Och med detta följer de stora ekonomiska vinster som ligger gömda i att kunna antingen förutse en viss utveckling eller kunna påverka ett utfall. 

Den nyligen genomförda opinionsundersökningen inför det amerikanska presidentvalet i Iowa, som genomförts av företaget Ann Selzer har skakat om valspurten. Ann Selzer, tidigare anställd vid Des Moines, har i flera val agerat självständigt med vetenskapligt bekräftade metoder som stöd och därmed kunnat mäta opinionen korrekt. I svensk media tecknas bilden av en trollkarl medans hon egentligen bara gör det som allt fler opinionsföretag kommit att överge.

Valet 1936 – startpunkten för vetenskapliga undersökningar av opinionen

Opinionsmätningarnas moderna historia kan sägas börja i USA. Veckomagasinet The Literary Digest var en amerikansk veckotidning med en miljonupplaga som löpande mätte, och kunde förutse vinnaren i flera presidentval med stor precision av tidningen sedan 1916. Och fram till 1936 när bristerna i metoden till slut knäckte företaget.

I valet 1936 missade tidskriften The Literary Digest det  slutliga resultatet med stor marginal, den var inte ens nära. Tidningen hade förutspått en säker seger för den republikanske kandidaten Alf Landon mot den demokratiska sittande presidenten Franklin D. Roosevelt. På valdagen besegrade Roosevelt överraskande Landon i en jordskredsseger. Mätningens felaktigheter i opinionsmätningarna var förödande för tidningens rykte och den upphörde att publiceras 1938.

Literary Digest storhet byggde på sina opinionsmätningar, efter fiaskot var det inget kvar av värde.

Roosevelt vann alla delstater utom Maine och Vermont samtidigt som han vann folkomröstningen med 24,26 procentenheter. Storleken på tidningens fel – 19,54 % för  antalet lagda röster för Roosevelt gjorde att mätfelen blev uppenbara.

The Literary Digest misslyckades med att fånga ett representativt urval av väljarna och tillfrågade istället oproportionerligt högt antal höginkomstväljare som var mer benägna att stödja Landon. 

Även om tidningen hade tillfrågat tio miljoner individer (av vilka 2,27 miljoner svarade), hade den först och främst undersökt sina egna läsare, en grupp med disponibla inkomster långt över dåtidens nationella genomsnitt och två andra lättillgängliga listor; de över registrerade bilägare och den för telefonanvändare, som båda också var rikare än den genomsnittliga amerikanske väljaren vid den tiden. Den stora depressionen hade lett till att genomsnittsamerikanen vare sig prenumererade på The Literary Digest, ägde en bil eller hade telefon.

Efterföljande forskning drog slutsatsen att som förväntat var denna provtagningsbias en faktor, men utebliven svarsbias var den primära källan till felet: människor som starkt ogillade Roosevelt var mer benägna att svara med sin avsikt att rösta på Landon och urvalet var lika skevt som det saknade möjligheter att kontrollera eller kompensera för.

Detta redogörs för bland annat i studien “President” Landon and the 1936 Literary Digest Poll – Were Automobile and Telephone Owners to Blame”? utgiven av Cambridge University Press 2016 men även “Roosevelt Predicted to Win: Revisiting the 1936 Literary DigestPoll” av  Sharon L. Lohr  och J. Michael Brick I den vetenskapliga tidskriften  Statistics, Politics and Policy från samma år.

Detta fiasko ledde till en avsevärd förfining av opinionsundersökningstekniker byggda på sociologiska och matematiska studier och kom senare att betraktas som ett inledande av modern vetenskaplig opinionsforskning.

Men en undersökning stack ut vid det amerikanska presidentvalet 1936 och har idag blivit basen för modern mätning av opinion.

George Gallup – Den seriösa opinionsmätningens fader

Sociologen George Gallups American Institute of Public Opinion uppnådde ett  nationellt erkännande genom att samtidigt korrekt förutsäga resultatet av valet 1936. Gallup förutspådde valresultatet mycket mindre urvalsstorlek än The Literary Digest på bara 50 000. Gallups sista undersökning före valet förutspådde att Roosevelt skulle få 56 % av rösterna och 481 elektorsröster: den officiella sammanräkningen såg att Roosevelt fick 60,8 % och 523. 

Vid presidentvaleet 1936 var detta sensationell precision. Och hemligheten, om det idag kan räknas som en hemlighet, byggde på ett slumpmässigt statistiskt säkerställt urval ur befolkningsregistret. Det är idag Gallups grundläggande modeller som ligger till grund för alla vetenskapligt belagda metoder för att mäta opinion.

De vetenskapligt belagda metoder som myndigheter och lärosäten, t.ex SCB och SOM-institutet eller företag som Indikator, Ipsos, Kantar och Novus tillämpar. Tjänster som lever upp till de höga krav på precision och inte minst datasäkerhet som myndigheter som Försvarsmakten ställer. 

I de självrekryterade panelerna är det inte ens säkert att det sitter en fysisk person och svarar. Tester som Ledarsidorna genomfört har visat att samtliga idag dominerande självrekryterade paneler som används i Sverige går att manipulera både på manuell väg men även genom AI. Vilket slår igenom när myndigheter med höga krav på datasäkerhet gör upphandlingar.

Demoskops analyschef och SvD:s valexpert Johan Martinsson har själv skrivit vetenskapliga artiklar när han var verksam vid SOM-institutet där han menar att de självrekryterade panelerna inte är att föredra före de vetenskapligt framtagna om de senare finns att tillgå. Företaget Verian medger idag stora problem med de självrekryterade panelerna och investerar idag lika mycket som Demoskop omsätter för att städa upp i dessa för att nå en rimlig kvalitet.

Demoskop använder sig sedan sammanslagningen av Demoskop med Inizio endast av självrekryterade paneler. Trots att Martinsson själv i sin forskning kommit fram till att motsatsen är att föredra.

Demoskops Iniziopanel, som används till bland annat SEB:s Boprisindikatorn innehåller till exempel ett systemfel, bias, om mellan tre och åtta procentenheter då de inte viktar resultaten mot verifierbara data som fastighetsregistret. Detta vitsordas av SEB:s ansvarige för indikatorn. Ett sådant demografiskt fel kan fortplanta sig i beräkningarna och göra hela undersökningar oanvändbara.

De självrekryterande panelerna får i regel låga poäng i utvärderingarna om de ens uppfyller skall-kraven för att kunna utvärderas med den låga datasäkerhet som följer. Det är ingen slump att Försvarsmakten i sin senaste upphandling gav Demoskop låga poäng. Försvarmakten har i uppdrag att ansvara för att mäta det försvarsviljan hos befolkningen, en konsekvens av Sveriges NATO-medlemskap.

Kantar vann nyligen Försvarsmaktens upphandling av opinionsmätningar inom sitt ansvarsområde. Kantar är även det företag som har fått förtroendet att hantera Eurobarometern åt EU-kommissionen. 

De sekunda undersökningarnas återkomst

Den metod som The Literary Digest använde sig av vill ingen seriös aktör närma sig igen. Felkällorna är för många och urvalet löper en uppenbar att spegla endast ett särintresse eller en viss inkomstgrupp.

Men likväl är den metod som The Literary Digest på väg tillbaka i en annan form. Genom de självrekryterade panelerna på internet. 

Där vem som helst, oavsett om personen existerar på riktigt eller ej, kan registrera sig som respondent. Eller som i vissa fall, att föreningars medlemmar rekryteras ”i klump” mot en ekonomisk ersättning till föreningen. Det senare leder till ännu större skevheter i svarsunderlaget. 

Ett tredje alternativ för dessa svarspaneler är att de rekryteras av tidningar och genom artiklar om opinion eller specifika ämnen. Panelerna byggs då upp endast med tidningarnas läsare och prenumeranter  som bas. 

Idag når inte de självrekryterade panelerna hela befolkningen. Det eftersom hela befolkningen inte befinner sig på internet och det är inte bara de äldre som dessa paneler missar. En ännu mer växande del visar sig vara låginkomsttagare och i synnerhet de yngre väljarna. 

Precis som i fallet The Literary Digest.