Den internationella forskningen kring opinionsundersökningar och allmänna val ligger idag mellan fem och tio år före den svenska. Erfarenheterna från 2016 och 2020 års amerikanska presidentval kastar en mörk skugga över opinionsföretagen som kritiseras allt hårdare av forskningen. Där flera opinionsföretag hela tiden ligger ett steg efter de som av olika skäl har något att vinna på en manipulerad bild av opinionen.

Värdet av en opinionsmätning på nyhetsplats kan inte överskattas nog. En opinionsundersökning ligger inte sällan till grund för olika företags produktutveckling och inte minst de politiska partiernas politiska vägval. Det är inte fel att påstå att de huvudsakliga eller prioriterade mottagarna av en opinionsundersökning är främst beslutsfattare, inte konsumenter.

En allt vanligare metod för att mäta opinionen är de självrekryterade panelerna. Dessa har, per automatik, ett inbyggt systemfel beroende på var och hur paneldeltagarna rekryteras. Rekryteras de ur ett befintligt kundregister får beställaren bara svar på frågor om hur dagens kunder ser på framtida produkter, rekryteras paneldeltagare ur ett mediaflöde på internet tillkommer andra felkällor och skevheter i rekryteringen.

Att rekrytera från sociala medier är i praktiken direkt skadligt då algoritmer som undersökningsföretagen skulle behöva kunskap om är väl förborgade hemligheter som förvaras bakom lås och bom i Silicon Valley och Beijing.

Men även om denna bias, eller systemfel, skulle kunna gå att beräkna för att på olika sätt skapa en någorlunda sanningsenlig bild av vad en nationell population anser, en så kallad populationsuppskattning, så finns det ännu större inbyggda problem i företagens databaser och paneler.

Relaterat: Opinionsfiaskot 2022 en läxa för framtiden

Datasäkerheten kan helt enkelt inte garanteras. Den enkelhet som det går att korrumpera, eller manipulera, en panel är uppenbar vilket det svenska företaget CINT tvingades inse 2022.

Marknadens dom mot CINT blev hård

Efter att ha upptäckt att bolagets paneler utsatts för undersökningsbedrägerier påverkades bolaget intäkter avsevärt under 2022.  Cint Group, som är noterat på Stockholmsbörsen, fick se sin aktiekurs rasa med 88 procent efter avslöjandet.

Bolaget kommenterade undersökningsbedrägeriet i bokslutsrapporten:

”Bedrägligt beteende ökade avsevärt under årets sista kvartal. Detta har varit ett branschproblem under en tid men har förvärrats på senare tid. Som med alla bedrägerier utvecklar förövarna sina metoder kontinuerligt, vilket gör tidigare tekniska stopp mindre effektiva.

Som branschledare ligger Cint i framkant av kvalitet i vår bransch. För det ändamålet samlar vi relevanta parter i branschen för att ta itu med denna fråga. Vi förbättrar också aktivt våra tekniska lösningar och partnerlösningar för att bättre identifiera och förhindra bedrägerier, vilket kommer att få oss tillbaka till normaliserade nivåer av återföringar.”

Cint har efter detta implementerat  flera av de verktyg som utvecklats av främst amerikanska forskare. Forskare inom ett helt annat fält än opinionsundersökningar.

Relaterat: Opinionsmätningarnas historia förskräcker

Dyrt skydd för att garantera datasäkerheten

Den forskning som finns för bedrägerihantering inom undersökningar innehåller många metoder att inkludera i undersökningsförfaranden för att ta itu med bedrägerier. Dessa kan sammanfattas baserat på när de inträffar i undersökningsprocessen: före datainsamling, under datainsamling och efter datainsamling. De kan delas upp ytterligare i preventionsfokuserade metoder och uteslutningsfokuserade metoder. Konceptet introducerades 2021 och kallas för REAL; Reflect, Expect, Analyze, Label Framework.

Ingen enskild metod kan dock helt skydda mot bedrägliga eller misstänkta inlämningar och det finns ingen enskild uppsättning metoder som alltid fungerar för alla undersökningar med självrekryterade paneler är forskningen idag eniga om.

I Sverige finns inte någon motsvarande forskning för närvarande. Den mesta forskningen genomförs vid främst amerikanska och brittiska lärosäten.

I USA upptäckte en grupp forskare en onormalt stor deltagartillväxt i en undersökning som syftade till att prioritera en delstats investeringar i hälso- och sjukvården.

Vid djupanalyser av deltagarprofilerna upptäcktes att 38 procent av deltagarna uppvisade ”fraudulent behaviour” eller ett uppträdande som gjorde vissa paneldeltagare misstänkta som falska deltagare. Ogiltiga e-postadresser, ip-nummer som låg utanför upptagningsområdet eller visade tecken på att ha manipulerats var några av de avvikande beteendena.

Andra anomalier som upptäcktes var att undersökningen, som normalt skulle ta mellan 15-20 minuter genomfördes på avsevärt kortare tid och med ”monotona” svar.

En annan studie kunde konstatera att ett stort antal ”proffstyckare” dominerar de amerikanska sjålvrekryterade panelerna. Av sju granskade paneler kunde det konstateras att 25 procent av deltagarna återfanns i minst två ytterligare paneler. En osäkerhet, eller bias, som Cint med erfarenheterna från aktiemarknadens förtroendetapp 2022 är tydliga med. De nämner att antalet deltagare i Lucid-plattformen (nya och aktiva under de senaste 12 månaderna) var 266 miljoner användare men att siffran inkluderar även inaktiva medlemmar och de som egentligen tillhör tredje part.

Forskarnas slutsater var att uppmärksamhet för att upptäcka bedrägerier måste börja med undersökningsdesign och implementering, och fortsätta med pågående, rigorösa kontroller av datakvaliteten under datainsamlingen. Tid och resurser måste ägnas åt detta arbete för att säkerställa att data inte kontamineras av falska användare eller externa aktörer som vill korrumpera eller manipulera resultaten.

De konstaterar att webbaserade självrekryterade undersökningar erbjuder en snabb, kostnadseffektiv strategi för att samla in data och informera om policyer som potentiellt kan påverka livet för miljontals människor. Men det finns ett antal nackdelar, inklusive lägre svarsfrekvens (jämfört med undersökningar som samlats in med traditionella metoder), urvalsbias, urvalsrepresentativitet och hot mot dataintegriteten som inte kan negligeras. 

En forskare som önskar vara anonym menar att kostnaderna för att kunna garantera datasäkerheten i självrrekryterade paneler sannolikt överstiger kostnaderna för om undersökningen hade genomförts med traditionella vetenskapligt bekräftade metoder.

Korruption som leder fel

Falska, eller felaktigt genomförda undersökningar har potential att vända en studie helt och hållet, och oupptäckt kan det resultera i insamling och spridning av felaktiga data med skadliga sociala och hälsomässiga konsekvenser. Inte minst kan dessa korrupta paneler leda till felaktiga investeringar och felaktiga politiska beslut. Det amerikanska exemplet, där flera amerikanska städer stod inför mångmiljonbelopp räknat i dollar riskerade att hamna i fel fickor, fick ett annat avslut. Mest beroende på forskare som trots annan expertis reagerade på anomalierna.

Amerikansk forskning, som ligger mellan fem och tio år före den svenska är idag i praktiken eniga om att enda sättet att skydda sig mot den bias som finns inbyggd i självrekryterade paneler är att använda sig av andra metoder. Som de slumpmässiga statistiskt säkerställda och kontrollerbara urval som befolkningsregister och folkbokföring utgör.

Relaterat: Opinionsföretagens roll i informationssamhället ogranskad

I en tid av desinformation och politisk polarisering är det viktigare än någonsin att vetenskapen förblir orubblig i sin trovärdighet. Och lever inte undersökningsföretagen upp till forskningens krav och rekommendationer och inte minst kan ge garantier för datasäkerheten bakom underlagen hotas större värden än bara det enskilda bolaget.

Dessa brister, och inte minst den låga datasäkerheten i de självrekryterade panelerna är huvudorsakerna till varför bland annat försvarsalliansen NATO inte tolererar eller godkänner självrekryterade paneler när försvarsviljan i de olika medlemmarna i försvarsalliansen skall mätas.