En nyhet om att bara en av fyra brittiska muslimer tror att Hamas begått mord slogs upp stort i Storbritannien tidigare i veckan. Men efter att den publicerats av Daily Mail och The Telegraph fick den inte någon vidare spridning. Orsaken var att undersökningen utförts med en metod som är enkel att manipulera samt har omfattande felkällor och därmed sannolikt föll bort i andra redaktioners nyhetsvärdering.

Bara en av fyra brittiska muslimer tror att Hamas begått mord och våldtäkt i Israel blåstes upp som en stor nyhet av de brittiska tidningarna Daily Mail och The Telegraph tidigare i veckan. Tidningarna refererar till Henry Jackson Institute som tillsammans med undersökningsföretaget JL Partners ska ha genomfört en undersökning som de menar är ett nationellt representativt urval av den brittiska befolkningen under februari/mars.

Metoden som JL Partners har använt sig av är det som kallas ”River sampling” vilket de själva anger i studien.

“The sample was collected online using river sampling between 14th February and 12th March 2024, with a 3.1% margin of error”.

Inledningsvis medger inte metoden “River sampling” att det går att skatta felmarginaler. Men det finns ännu fler systemfel i den aktuella mätningen.

River sampling är den tidigaste och enklaste av online-mätningar i sitt slag. Inbjudan till denna metod för icke-sannolikhetsurval av opinionsmätningar får undersökningsrespondenterna genom att be onlinebesökare att göra en undersökning genom att klicka på en länk som leder dem till undersökningen. Det vill säga, respondenten bjuds in när den utför någon annan aktivitet  online. Inbjudan att genomföra en undersökning kan vara genom onlinebanners, annonser, kampanjer, erbjudanden, pushnotiser och inbjudningar som placeras på olika webbplatser.

Metoden, som är framtagen för att främst göra konsumentundersökningar kopplade till vissa hemsidor eller individuella sökningar är en form av självrekryterad panel med ofta lägre datasäkerhet än självrekryterade paneler som Inizio-panelen som drivs av Demoskop.

Relaterat: Så stora är riskerna med självrekryterade opinionspaneler

I likhet med självrekryterade paneler så präglas River sampling av att de data som samlas in slumpmässigt inte kan verifieras, det vill säga att en användare kan klicka på bannern, annonsen eller erbjudandet ett obegränsat antal gånger och på så sätt manipulera resultaten. På samma sätt som de självrekryterade panelerna inte heller vet om det är en riktig person som svarar är det inte heller det något som River sampling klarar av.

Fördelarna med River sampling är, menar förespråkarna att den är billig, går att tillämpa med andra erbjudanden. att respondenten är redan i sin miljö online samt att metoden att använda reklamplats för andra varor når nya respondenter.

Nackdelarna är dock fler än fördelarna vilket redogörs för av företaget Pollfish.

Bedragare kan göra samma undersökning två gånger eller fler för att öka sina chanser att vinna ett pris om sådant erbjuds. Det finns inte heller några möjligheter att verifiera demografisk, geografisk eller individuell data utan hela undersökningen vilar på vad respondenten själv uppger. 

Relaterat: Opinionsmätningar: Billigt är ofta billigt av ett skäl

Bannerannonser har i allmänhet otillräckliga svarsfrekvenser, endast promillen eller enstaka procent klickar sig vidare. Detta skall jämföras med traditionella undersökningar som ligger mellan 35 och 50 procent. Banners och annonser styrs av annonsnätverk som har okända algoritmer för sitt urval. 

Henry Jackson Institute svarar inte på frågor om valet av metod. En metod som annars inte används i studier som denna som måste kunna leda till populationsuppskattningar, dvs giltiga för att kunna sägas vara riksrepresentativa.

Relaterat: Samhällsfarliga opinionsundersökningar

Metoder som baseras på självrekryterade paneler, såsom River sampling, möter inte Natos kvalitetskrav på datasäkerhet med verifierbara källor.

Ett exempel på undersökningar som kan användas i studier som Henry Jackson Institute försöker göra är den som det svenska opinionsföretaget Novus genomförde tillsammans med det iranska IIACSS  inom ramen för sambarbetet i Gallup International.