Opinionsbildning och marknadsmanipulation genom olika former av starkt vinklade nyheter eller falska rapporter bedöms av flera säkerhetstjänster bli ett allt större problem under det internationella supervalåret 2024. Nyligen publicerad forskning inom opinionsmätning pekar nu tydligt på de stora risker som de självrekryterade paneler, som bland annat CINT, Demoskop, Sentio och Yougov representerar och levererar innebär.

Opinionsbildning och marknadsmanipulation genom olika former av starkt vinklade nyheter eller falska rapporter bedöms av flera säkerhetstjänster bli ett allt större problem under det internationella supervalåret 2024. Och med AI, artificiell intelligens, kommer dessa företeelser att öka i omfattning.

Ett av de opinionsföretag som idag menar att de satsar stort på AI för att kunna göra bättre och snabbare opinionsanalyser är Demoskop. Demoskop arbetar idag endast med självrekryterade paneler, främst Inizio-panelen, som grundades på initiativ av Lena Mellin och Jan Helin under deras tid på Aftonbladet. Panelen byggs idag upp av Aftonbladets och SvD läsare på nätet som rekryteras genom artiklar.

Demoskop ägs och kontrolleras av Kreabs och Kunskapsskolans huvudägare Peje Emilsson. Vice ordförande i Kreab är den tidigare stats- och utrikesministern Carl Bildt (M).

Omfattande demografiska systemfel

Inizio-panelen saknar säkerhetsmekanismer och står helt öppen för vem som helst att anmäla sig till oavsett om det är en svensk väljare eller ett ryskt troll. Eller en bot. Inizio-panelen används av främst Svenskt Näringsliv, SEB och tidningarna Aftonbladet och SvD för samhällspolitiska analyser som till exempel Boprisindikatorn.

I Inizio-panelen finns redan idag en upp till åtta procent demografisk felrekrytering. När Americo Fernandez, ansvarig för Boprisindikatorn på SEB får frågan om hur många svenska hushåll som enligt denna indikator säger sig äga sin bostad menar Fernandez att denna nivå är konstant och pendlar mellan 65 och 70 procent enligt panelen (Inizio) mätningar.

Korrekt siffra är 62 procent och kan dras ur SCB olika register, som till exempel fastighetsregistret.  Ett fel som AI inte rimligen kommer att kunna kompensera för eftersom grundfelet följer med i alla andra frågeställningar. Även om Demoskop hävdar som argument för sina produkter att de kom närmast valresultatet 2022 så är det ett svagt argument för att arbeta med de undermåliga grundmaterial en självrekryterad panel innebär.

Ännu allvarligare är det för de tidningar och tidskrifter som hänvisar till dessa paneler och panelanalyser då de hänvisar till en icke verifierbar källa. En självrekryterad panel utan säkerhetsfunktioner är inte verifierbar.

De brister som kringgärdar paneler som Inizio, den norska Sentio eller de större aktörerna Yougov och CINT är väl kända, men trots att de är väl kända av branschen så finns det inte tillräckligt mycket forskning på detta område. Förutom en studie som om den skulle bli mer känd än den är idag som skulle göra det omöjligt för aktörer som SEB och Svenskt näringsliv att fortsätta använda sig av Demoskops Inizio-panel. Med eller utan AI.

Svensk empiri får stöd i internationell forskning

I den vetenskapliga studien ”Comparing Probability-Based Surveys and Nonprobability Online Panel Surveys in Australia: A Total Survey Error Perspective” från 2022 och som publicerades I den ansedda vetenskapliga tidskriften  Journal of the European Research Association samt vid Social Research Centre i Washington DC, USA året efter konstaterar fyra forskare inte bara att det grundläggande mätfel som SEB:s Americo Fernandez i praktiken medger återfinns i den övervägande majoriteten av alla opinionspaneler som består av självrekryterade paneldeltagare.

Relaterat: Svenska opinonsföretag hopplöst efter spetsforskningen

Studien syftade till att undersöka om tidigare undersökningar som tangerat problemet såsom Chang och Krosnick (2009), Cornesse et al. (2020), Erens et al. (2014), MacInnis, Krosnick, Ho och Cho (2018), Yeager et al. (2011) kunde replikeras i Australien. 

Sammantaget visade resultaten från de fem studerade självrekryterade panelerna på mätfel  som grupp vara mer partiska och hade större avvikelse från riktvärdena, jämfört med de paneler som byggts upp med statistiskt och vetenskapligt kvalitetssäkrade metoder.

Forskarnas slutsatser är, om än i försiktiga termer, dock glasklara.

Samtliga självrekryterade paneler och undersökningar i studien hade sannolikt en icke ignorerbar mängd täckningsfel, en okänt mängd samplingsfel, en icke-ignorerbar mängd icke-svarsfel, en okänd mängd justeringsfel och en liten till blygsam mängd men i slutändan en okänd mängd mätfel. 

Relaterat: Opinionsmätningar: Billigt är ofta billigt av ett skäl

Stora och ej kvantifierbara risker i de självrekryterade underlagen

Det vill säga, mängden fel blir aggregerat så pass stort att ingen AI, eller människa, i längden kan kompensera för dessa. Kompensationsmodellerna blir för omfattande och sliter till slut sönder den icke verifierbara data som trots allt samlats in.

Forskarna menar i sin slutanalys att nyttjandet av data och analyser från självrekryterade paneler alltid innebär en stor risk för beställaren. Att eftersom panelerna, i detta fall, har ett demografiskt fel i spannet 4-5 procent så är felet för stort för att kunna dra några slutsatser av resultaten som de självrekryterade panelerna kommer fram till.

Inizios Boprisindikator som de gör åt SEB har ett demografiskt fel på upp till åtta procent.

Och det kan därmed nu anses styrkt att Johan Martinsson, idag Demoskops analyschefs insikter från hans tid som chef för SOM-institutet vid Göteborgs universitet stämmer.

När Demoskop ska ta fram de vetenskapliga studier de baserar sitt arbete på pekar de själva på Martinssons egen artikel i Journal of Elections, Public Opinion and Parties från 2017 som konstaterar att 

“Baserat på 110 förvalsundersökningar gjorda i Sverige, ett flerpartisystem, finner vi att sannolikhetsbaserade urval ger mer exakta undersökningar jämfört med opt-in interneturval. Därför pekar våra resultat på en avvägning mellan billiga onlineundersökningar och noggrannhet.“

Att självrekryterade paneler håller en lägre kvalitet men till en lägre kostnad än de paneler som håller sig till de av Georg Gallup framtagna metoderna med verifierbara underlag.

Relaterat: Bellingcat får årets Palmepris – Men begriper svensk media vad det innebär?

Extramaterial:

Studien Comparing Probability-Based Surveys and Nonprobability Online Panel