Striden om opinionsmätningar blottlägger metodklyftan
Debatten om opinionsmätningars tillförlitlighet har på senare tid hårdnat. Men bakom motsättningarna mellan olika metoder finns ett forskningsläge som i flera avseenden är tydligare än vad som ofta framkommer i den offentliga diskussionen samtidigt som SOM-institutets tidigare föreståndare faller in i kritiken mot institutets metoder. Som han själv bar ett tydligt ansvar för under exakt den period som granskats av Kvartal.
Den senaste tidens diskussion om opinionsmätningar har enligt statsvetarna Stefan Dahlberg och Mikael Persson kommit att låsa sig i två motsatta positioner. I en artikel i Forskning och Framsteg beskriver de hur den ena sidan hävdar att endast slumpmässiga urval kan tas på vetenskapligt allvar, medan den andra försvarar självrekryterade paneler som en nödvändig anpassning till en tid då svarsfrekvenserna i traditionella undersökningar sjunker.
Samtidigt är forskningsläget mindre oklart än debatten ger sken av. Som Dr Carina Cornesse vid institutionen för opinionsundersökningar och design vid universitetet i Mannheim och hennes forskningskolleogr konstaterar i en sammanställning av forskningen är precisionen i undersökningar baserade på sannolikhetsurval i regel högre än i undersökningar med icke-sannolikhetsurval.
Cornesses forskning anses av branschen vara världsledande.
Jämförande studier visar återkommande att sannolikhetsurval ger mer träffsäkra skattningar när resultaten prövas mot oberoende mått. Självrekryterade paneler kan vara användbara i vissa sammanhang, men lämpar sig generellt sämre för nivåskattningar – det vill säga för att fastställa hur opinionen faktiskt ser ut i befolkningen.
Demoskop faller in i Kvartals kritik
Frågan har aktualiserats ytterligare genom tidskriften Kvartals kritiska granskning av SOM-institutets mätningar av allmänhetens förtroende för medier. SOM-institutet använder sannolikhetsurval, där respondenter hämtas från folkbokföringsregistret, och bygger sina analyser på långa, sammanhängande tidsserier.
Institutet har kritiserats för att inte vikta sina resultat efter partisympatier. Detta är dock ett medvetet metodval och ingenting som institutet dolt. En sådan justering skulle bryta jämförbarheten bakåt i tiden, eftersom äldre mätningar genomförts utan denna viktning. Att förändra centrala metodkomponenter i långa tidsserier görs sällan utan starka skäl, och att avstå kan vara forskningsetiskt motiverat – förutsatt att metoden redovisas öppet, vilket SOM-institutet också gör.
Professor Henrik Ekengren Oscarsson menar dock att i just det aktuella fallet påverkar inte frånvaron av viktning slutresultatet efter att ha viktat siffrorna själv. Ekengren Oscarsson är forskningsledare vid valforskningsprogrammet vid Göteborgs universitet.
En av de kritiska rösterna i Kvartals granskning är Johan Martinsson, tidigare föreståndare för SOM-institutet mellan 2017 och 2023. I dag är han analyschef på Demoskop. Han menar att SOM-institutets metodval sannolikt påverkar resultaten i en riktning som inte speglar verkligheten korrekt.
Kritiken, där Martinsson faller in och förstärker Kvartals kritik och därmed i praktiken explicit ifrågasätter Ekengren Oscarssons kompetens innebär samtidigt att Martinsson ifrågasätter samtliga resultat från exakt den period då han själv bar det yttersta ansvaret för institutets undersökningar (2017-2023).
Demoskop bryter mot branschstandard
Demoskop arbetar uteslutande med självrekryterade paneler och ägs av Peje Emilsson, ägare till Kreab. Bolaget har nyligen uppmärksammats för att i sina mätningar avvika markant från andra institut. I en väljarsympatiundersökning publicerad den 25 mars angavs exempelvis att Liberalerna skulle ha ökat till 4,5 procent – en nivå som inte bekräftats av andra mätningar, där stödet i stället legat mellan 2,1 och 2,9 procent.
Sedan dess har bolaget inte publicerat någon ny motsvarande mätning.
Demoskop uppger att man har 35 års obruten branscherfarenhet. Samtidigt genomfördes 2019 ett förvärv av Inizio som innebar både metodbyte och nytt organisationsnummer. Det innebär att möjligheten att göra jämförbara långtidsanalyser är begränsad, och att bolaget i praktiken endast har två val – riksdagsvalet 2022 och EU-valet 2024 – att kalibrera sina modeller mot.
Det kan heller inte uteslutas att bolaget står inför ytterligare metodförändringar. För närvarande genomför Demoskop en undersökning via Kivra, där respondenter slumpas fram ur folkbokföringsregistret – en metod som ligger nära den som används av konkurrenter och som Demoskop avfärdat som otidsenlig samt behäftad med stora fel.
En möjlig förklaring är behovet av att kalibrera den egna panelen. Ett sådant tillvägagångssätt ligger nära det som internationellt benämns ”herding”, där mätinstitut justerar sina resultat i riktning mot andras. Metoden är omdiskuterad och har tidigare avfärdats som förekommande i Sverige. Av ett inlägg på Linked In framgår dock att Martinsson tar avstånd från metoden.
Om inlägget på Linked In stämmer så är syftet med att använda sig av slumpmässigt urval inte att kalibrera den egna metoden.
Vilka slutsatser Demoskop drar av sina pågående metodförsök återstår att se. Bolaget uppger att man följer branschens krav på transparens, men har ännu inte besvarat de 37 frågor som den europeiska branschorganisationen ESOMAR använder för att granska metod och urval. Motivet till att använda sig av det slumpmässiga urvalet på Kivra kan annars komma i någon av de kommande publiceringarna av opinionsundersökningar under förutsättning att bolaget följer de etiska riktlinjerna från branschen.
Ledarsidorna har under veckan sökt Johan Martinsson för kommentarer och svar men utan resultat.
Johan Westerholm
