AAPOR: Självrekryterade paneler mäter inte verkligheten
Vid AAPOR:s årliga konferens 2026 i Los Angeles levererade två av forskarvärldens mest respekterade röster en gemensam dom: självrekryterade webbpaneler håller inte måttet. Jon Krosnick från Stanford och Gary Langer från Langer Research Associates angrep frågan från varsitt håll men slutsatsen var densamma. Att välja bort slumpmässigt urval för att spara pengar är inte ett metodval, det är ett aktivt beslut att sluta mäta verkligheten.
Opinionsinstitutet Demoskop har mött hård kritik från experter för sin metod med självrekryterande paneler, vilket av vissa bedömare anses ovetenskapligt. Nyhetstjänsten Omni har uppmärksammat denna kritik.
Även om inte Demoskop nämndes explicit var bolagets metodval och Inizio-panel i allra högste grad aktuell vid den årliga AAPOR-konferensen, American Association for Public Opinion Research som i år genomfördes i Los Angeles, USA. Temat var bland annat att ställa paneler baserade på slumpmässiga urval mot självrekreyterade paneler likt Aftonbladets och SvD:s opinionsundersökningar som baseras på Demoskops självrekryterade Inizio-panel. Key-note föreläsningen hölls av professor Jon Krosnick vid Stanford University. Även om han är okänd i Sverige så är hans forskning kring opinionsundersökningar att beteckna som världsledande.
Historien upprepar sig
Krosnick inledde med en påminnelse om att den här debatten om självrekryterade paneler i opinionssammanhang inte är ny. Inför det amerikanska presidentvalet 1948 spådde de ledande opinionsundersökarna – Roper, Crosby och Gallup – samtliga fel vinnare. Skälet var att de förlitade sig på självselekterade urval. En forskargrupp vid University of Michigan, som istället använde sannolikhetsbaserat urval, fick rätt.
Historien upprepade sig 2016, när opinionsmätningar som i stor utsträckning byggde på s.k. river sampling – att slumpmässigt fånga upp internetanvändare medan de surfar – missade det faktiska valutfallet med upp till 17–18 procentenheter, medan sannolikhetsbaserade mätningar hade mycket liten felmarginal.
Krosnicks budskap var rakt:
“Ljug inte och upprepa inte historiens misstag.”
Tre procent mot 39 procent
Den empiriska skillnaden mot självrekryterade paneler är tydligt. En studie av David Yeager från 2011 jämförde olika urvalsmetoder mot kända referensvärden från officiell statistik. Sannolikhetsurval visade en genomsnittlig felmarginal på cirka tre procentenheter. Opt-in-paneler, eller självrekryterade, uppvisade fel på upp till 39 procentenheter – och felen var dessutom oförutsägbara till sin riktning.
Det vanligaste motargumentet från panelbolagen är att statistisk viktning kan kompensera för skillnaderna i urval. Krosnick tillbakavisar detta med eftertryck: viktning förbättrar marginellt ett redan bra sannolikhetsurval, men misslyckas konsekvent med att reparera ett fundamentalt felaktigt sådant.
Att vikta bort problemen i en opt-in-panel (självrekryterad) är som att rätta till ett felaktigt recept när man redan har gått fel i butiken. Grundingredienserna är fel från start.
En annan vanlig invändning är att sjunkande svarsfrekvenser urholkar sannolikhetsbaserade undersökningar. Krosnick visar att detta empiriskt är en myt: historiska data från valundersökningar 1936–2004 visar att felmarginalerna faktiskt minskade över tid, trots att svarsfrekvenserna sjönk. Det avgörande är inte hur många som svarar, utan att de som tillfrågas är slumpmässigt utvalda.
Bedrägeri och botar – ett akut problem
Gary Langer vid det respekterade analysföretaget Langer Research förflyttade perspektivet från metodfrågor till det han beskriver som en akut dataintegritetskris. Problemet med självrekryterade paneler handlar inte längre bara om representativitet. Det handlar om att en växande andel av svaren är fabricerade.
Langer redogör för hur det amerikanska justitiedepartementet åtalat chefer vid marknadsundersökningsföretaget Slice för att systematiskt ha rekryterat “click-farmers” för att tillverka enkätsvar mot betalning. Datafabrikation har blivit en kommersiell bransch.
Därtill kommer AI-bottar. Oberoende granskningar har funnit verifierade AI-genererade svar i 6 till nästan 20 procent av typiska onlinepaneler, med ett extremfall på 41 procents kontaminering. En kontamineringsgrad på 4,4 procent hos en enskild leverantör klassificeras av forskare som tillräckligt för att undergräva normala vetenskapliga felmarginaler.
Den osynliga sorteringen
Bortom bedrägeri finns ett strukturellt problem som är svårare att se men minst lika allvarligt: de automatiska routrar som styr respondenter mellan enkäter i realtid. En person som svarar nej på om de dricker öl och nej på om de tuggar tuggummi hamnar automatiskt i en politisk opinionsundersökning. Resultatet är att enkätens sample systematiskt saknar ölkonsumenter och tuggummituggare – och forskaren har ingen möjlighet att veta om det, eftersom sorteringsreglerna är dolda.
Konsekvensen syns i konkreta exempel. En brittisk undersökning om kraftigt ökad kyrkonärvaro bland unga fick dras tillbaka efter granskning. En studie om ortodoxa kristna visade att en fjärdedel av de svarande inte tillhörde den aktuella befolkningsgruppen alls.
Langer kategoriserar även uppmärksammade rubriker om stöd för politiskt våld eller utbredd förintelseförnekelse bland unga inte som reella samhällsförändringar – utan som statistiska artefakter från ovaliderade paneler.
Langer är tydlig med att ansvaret vilar på den som beställer och genomför undersökningen. Hans ramverk för kvalitetskontroll innefattar att driva enkäter på egna servrar, använda tekniska spärrar mot botar, tidsstämpla svar på frågenivå och bygga in kognitiva fällor som är enkla för människor men omöjliga för automatiserade skript.
Krosnick å sin sida framför allvarlig kritik efter har granskat den vetenskapliga litteratur som hävdar att opt-in-paneler kan prestera lika bra som sannolikhetsurval. Den litteratur som finns menar Krosnick är genomsyrad av metodfel: felaktiga referensvärden, frågor som inte är jämförbara, matematiska felskrivningar samt bristande transparens.
Slutsatsen är enkel
Budskapet från Krosnick och Langer sammanfaller i ett:
Självrekryterade webbpaneler är inte ett billigare alternativ till sannolikhetsurval – de är något fundamentalt annorlunda. De mäter inte den population man tror sig mäta, de kan inte räddas av viktning och de är i ökande utsträckning kontaminerade av fabricerade svar.
Sannolikhetsbaserade metoder, med sin historiskt dokumenterade träffsäkerhet, förblir den enda vetenskapligt försvarbara grunden för forskning och mätning av opinion.
Att välja bort slumpmässigt urval för att spara pengar är inte ett metodval – det är ett beslut att sluta mäta verkligheten.
Johan Westerholm
