Skillnaderna i de olika opinionsinstitutens grundläggande metoder slår igenom på prognossäkerheten. Det finns idag en samstämmighet bland forskare om att det som är billigt ofta har ett lågt pris av ett skäl. De metoderna visar upp de största bristerna, systemfelen och riskerna.

Den grundläggande affärsmässiga logiken för de självrekryterade panelernas etablering är strikt ekonomisk. Etableringen av en panel bygger på en av två modeller varav den ena vilar på forskning, Georg Gallups modell från 1930-talet som bygger på statistiskt säkerställda slumpmässiga utdrag ur till exempel folkbokföringsregister eller annan opåverkbar databas där paneldetagarna kontaktas. Den andra metoden bygger på självrekrytering där paneldeltagarna själva söker sig till en panel.

Den förstnämnda panelen, den som vilar på forskning och dokumenterad empiri, är av lätt insedda skäl dyrare men ger ett statistiskt säkerställt urval redan från starten. I den andra versionen byggs det redan från början in en bias, eller ett systemfel beroende på i vilken eller vilka kanaler som de självrekryterade panelerna rekryteras ur. 

Relaterat: Opinionsföretagens roll i informationssamhället ogranskad

Systemfel inbyggda från början

För närvarande genomför Demoskop en bred rekryteringskampanj i tillsammans med sin främsta mediepartner Schibsted, genom Aftonbladets samt SvD:s nyhetssidor på internet. Och redan i denna fas uppstår systemfelen om det är en panel som har ambitioner att kunna göra populationsuppskattningar. Det vill säga resultat som kan vara representativa för hela befolkningen.

En annan variant på detta, som är vanligen förekommande i USA är att undersökningsföretag köper hela kund- eller medlemsregister för att skicka ut riktade utskick. Även i dessa fall följer systemfel i form av likriktning inom urvalet med om det till exempel är en idrottsförening som mot ersättning ställer upp på olika former av undersökningar.

Systemfelen som uppstår är såpass allvarliga att vare sig Nato, Försvarsmakten eller andra samhällsvitala funktioner kan använda sig av denna metod för sin planering när de till exempel mäter försvarsviljan.

För det första så når Demoskop genom att använda sig av Aftonbladet eller SvD inte hela befolkningen. Dels för att väljarnas nyhetskonsumtion inte är begränsad till Aftonbladet och SvD. Tvärtom visar en intern studie som TU, Tidningsutgivarna, tog fram för några år sedan att utanför storstadsregionerna är det lokaltidningar som är de mest tongivande nyhetskällorna vid sidan av Public Service och TV4. Dessa plattformar ägs eller kontrollras inte av Schibsted i någon större utsträckning i detta fall samtidigt som rekrytering från lokal media i praktiken är utesluten.

Men även för att alla nyhetskonsumenter konsumerar inte heller nyheter på nätet. Urvalet missar inte bara de äldsta kohorterna (åldersgrupperna) som främst läser papperstidningen utan även de unga väljare som ändå befinner sig på nätet. Hur konstigt det än kan låta. Av den enkla anledningen att denna grupp befinner sig inte där opinionsföretagen rekryterar till panelerna.

Internetpaneler missar de unga

Den yngre gruppen väljare konsumerar nyheter på nätet men inte via Aftonbladets och SvD:s nyhetsartiklar utan via sociala medier. Läser denna grupp överhuvud taget de större mediehusens artiklar så läser de främst nöjes- och sportsektionerna. Inte de artiklar som Demoskop nu rekryterar från.

Myndigheten för press, radio och tv (MPRT) har sammanställt olika källor i rapporten Mediekonsumtion 2020. Det framgår i rapporten att yngre nästan fullständigt blivit digitala i sin nyhetsbevakning. De yngre, 15–24 år, använder företrädesvis Instagram (43 procent), Facebook (37 procent) och Youtube (31 procent) för att få tillgång till nyheter. Det och mycket mer om våra medievanor kan man läsa om i MPRT:s rapport Mediekonsumtion 2020.

Idag har plattformarna kompletterats med bland annat den kinesiskt kontrollerade TicToc.

SOM-institutet fastställde dessutom att nyhetskonsumtion, tidningsprenumerationer och kommenterande av artiklar idag sker i huvudsak digitalt. Bland unga, 16–29 år, läser ytterst få morgontidningen i print regelbundet, medan cirka var fjärde ung regelbundet läser den digitalt, och 40 procent regelbundet läser kvällstidningen digitalt. Hos den yngre åldersgruppen är det via sociala medier unga vuxna i stor utsträckning tar del av nyheterna. Hela 69 procent angav 2020 att de regelbundet tar del av nyheter via olika sociala medier enligt rapporten Svenska Medietrender 1995-2019.

Det är av den anledningen som Demoskop inte kan uppskatta till exempel väljarsympatier nedbrutet på åldersklass vilket annars är möjligt med de vetenskapligt beprövade metoderna. Som till exempel de stora SOM- och SCB-undersökningarna. Inte bara måste de självrekryterade panelerna vikta mätningen som helhet, de måste i sådana fall göra sådana antaganden att det till slut trasar sönder hela modellen.

Den fördel som de självrekryterade panelerna dock har före de traditionella är att de är billiga, i praktiken gratis.

Där de statistiskt säkerställda panelerna kostar mellan 150 och 250 kronor per deltagare att bygga upp och underhålla är de självrekryterade i praktiken gratis. Men, som bland annat demoskops analyschef professor Johan Martinsson konstaterar i en av sina studier sedan hans tid på SOM-institutet där han haft sin professur är att det som är billigt eller gratis oftast billigt eller gratis av goda skäl. 

Det saknar egentligt värde.

Relaterat: Opinionsfiaskot 2022 en läxa för framtiden

Värdet på de självrekryterade panelerna ifrågasätts

När Demoskop ska ta fram de vetenskapliga studier de baserar sitt arbete på pekar de själva på professor Johan Martinssons egen artikel i Journal of Elections, Public Opinion and Parties från 2017 som konstaterar att 

“Baserat på 110 förvalsundersökningar gjorda i Sverige, ett flerpartisystem, finner vi att sannolikhetsbaserade urval ger mer exakta undersökningar jämfört med opt-in interneturval. Därför pekar våra resultat på en avvägning mellan billiga onlineundersökningar och noggrannhet.“

(Reds fetmarkering)

Det vill säga, det är de traditionella och dyrbarare metoderna, inte Demoskops egna, billigare, som är att föredra om kostnaden inte är en parameter. 

De självrekryterade panelerna som dominerar den svenska marknaden, Demoskops Inizio-, ungdoms- samt Alkompispanel har ingen kontroll alls om det finns en fysisk person bakom varje registrerad individ. Detta vitsordas av Demoskops analyschef Johan Martinsson som till Ledarsidorna menar att 

Demoskop har ingen sådan kontroll i Iniziopanelen. Vi ser tvärtom en poäng i att de som vill ska kunna svara så anonymt som möjligt utan att behöva identifiera sig säkert. I nuläget nöjer vi oss därför med en captcha-kontroll för att en människa svara och med en så kallad double opt-in där de behöver bekräfta sin e-postadress innan de kan bli medlemmar.

(Reds fetmarkering)

Det vill säga, en form av ”Open Door-policy.” Alla är välkomna. Oavsett om det är en fysisk person eller inte. 

Men inte på det sätt som försvarsalliansen Nato menar med sin och där försvarsalliansen dessutom inte tolererar den form av metoder som Demoskop använder när försvarsviljan i medlemsländerna skall mätas.

Sårbarhet ett internationellt problem – Men inte i Sverige?

Eftersom säkerhetsnivån för Demoskops paneler stannar vid en grafisk captcha-kontroll  och med en så kallad double opt-in och inte sorterar bort användare på IP-nummernivå finns inga geografiska begränsningar alls. Det vill säga Demoskops Alkompis-panel, som ska vara en spegel av Inizio men som riktar sig mot arabisktalande svenskar kan den i praktiken bestå av uteslutande syriska, irakiska, egyptiska och jordanska deltagare som inte ens bor i Sverige då panelen riktar sig mot arabisktalande. 

Relaterat: Samhällsfarliga opinionsundersökningar

Det vill säga, de självrekryterade panelerna ligger även öppna för de delar av populationen som inte ska mätas och riskerar att korrumpera hela databaser.

Skulle en geografisk IP-spärr ändå läggas in går den att komma runt med hjälp av en VPN-tunnel. Som med viss lätthet kan automatiseras med hjälp av AI.

Generellt baseras informationen i de självrekryterade panelerna på vad deltagarna själva uppger om ålder, kön, civilstånd med mera vilket ligger till grund för urvalet av deltagare istället för tvärtom. Att det är panelen själv som rekryterar utifrån ålder, kön, civilstånd med mera.

En ärligare redovisning skulle vara att resultaten från i detta fall Demoskops mätningar bygger på vad paneldeltagarna uppgivit som grundförutsättningar. Inte göras som allmängiltigt och representativt för en hel population.

På frågan om hur riskerna för bias på grund av korrupta paneldeltagare skall värderas menar Demoskop och Martinsson att

Vår bedömning är att risken för skevheter i resultaten på grund av respondenter som inte har ärliga avsikter med sina svar är mycket liten. Det sammanlagda knippe metoder för att motverka att inaktiva, slarviga eller oärliga respondenter påverkar datakvaliteten negativt bedöms i dagsläget som tillräckligt, och våra metoder utvecklas kontinuerligt.

Demoskop är idag helt ensamma om denna optimistiska syn på riskerna med de självrekryterade panelerna. 

Det branschledande opinionsföretaget CINT, med mer än 250 miljoner unika deltagare i olika paneler i flera länder bedömer risken som stor och överhängande. CINT fick se sin börskurs rasa 2022 med 88 procent efter att ha avslöjats ha omfattande extern manipulation av bolagets självrekryterade paneler. CINT investerar idag mångmiljonbelopp i dollar och euro för att försöka återställa förtroendet och panelerna. 

Det är okänt varför Demoskop, med sin låga inbyggda säkerhetsnivå som de själva vitsordar från början, skulle vara undantagna den trend alla andra bolag verksamma inom branschen och som använder sig av självrekryterade paneler upplever av ökad manipulation.

Samhällsuppdrag med risker

I vilket fall som helst har Demoskop idag ett uppdrag av SVT att genomföra mätningar för SVT:s programutveckling. En programutveckling som främst ska göra Public Service attraktivt för yngre mediekonsumenter. SVT har tidigare underkänt självrekryterade paneler i nyhetsformatet och istället valt vetenskapligt beprövade metoder som i dag levereras av Kantar/Verian.

Unga mediekonsumenter är en grupp som Demoskop med sina rekryteringsmodeller har svårt att nå. Även ungdomspanelen är lika lätt att kapa för utomstående då den bygger på vad användaren uppger för egen ålder. Inte nödvändigtvis vad den är. Om det nu ens finns en riktig människa bakom den registrerade användaren och paneldeltagaren.

SVT har utöver sitt publicistiska uppdrag även ett beredskapsuppdrag för att kunna nå hela befolkningen i händelse av kris eller krig.

Även de delar av populationens framtida medievanor och som Demoskop inte når med säkerhet med sina metoder idag ska ligga till grund för SVT:s strategiska utvecklingsbeslut.