Geen eenvoudige oplossing voor frauduleuze respondenten in online opt-in polls

In een test van drie screeningsmethoden bleek dat koppeling aan kiezersbestanden de foutmarge verhoogde door geldige respondenten te verwijderen.

Over dit onderzoek

Deze studie is ontworpen om de impact van frauduleuze respondenten op opt-in enquêtes te meten. Daarnaast vergelijkt het drie methoden voor het identificeren en verwijderen van deze respondenten:

1. Het gebruik van valkuilenvragen (ook wel "attention checks" genoemd).
2. Het Sentry-voorbehandelingssysteem, eigendom van CloudResearch.
3. Het koppelen van respondenten aan een nationaal kiezersbestand.

Waarom is dit onderzoek gedaan?

Pew Research Center voert hoogwaardig onderzoek uit om het publiek, de media en beleidsmakers te helpen belangrijke onderwerpen te begrijpen. Ons methodologisch onderzoek onderzoekt de huidige uitdagingen waar de polling-industrie voor staat, waaronder eerder werk over de impact van frauduleuze respondenten in opt-in enquêtes.

Hoe is dit onderzoek uitgevoerd?

Tussen 14 en 19 november 2024 is een grote online opt-in enquête afgenomen onder 11.114 Amerikaanse volwassenen. Respondenten die ermee instemden hun naam en contactgegevens te verstrekken, werden na afloop van de enquête gekoppeld aan een register van geregistreerde kiezers.

We hebben geëvalueerd hoe elke methode voor het verwijderen van frauduleuze gevallen presteerde op basis van drie datakwaliteitsmetrieken:

1. "Ja-zeggen" (het overal mee eens zijn, ongeacht de vraag).
2. De kwaliteit van open tekstantwoorden.
3. Effecten van de volgorde van antwoordopties (response order effects).

Daarnaast hebben we onderzocht hoe screeningsmethoden substantieel invloed hadden op schattingen van de opkomst en stemkeuze bij de presidentsverkiezingen van 2024.

---

Wat zijn frauduleuze respondenten?

Een van de meest urgente problemen bij online opt-in polling zijn frauduleuze (of malafide) respondenten. Dit zijn enquêteurs die geen enkele moeite doen om vragen eerlijk te beantwoorden, maar enkel proberen de enquête zo snel mogelijk af te ronden om beloningen te verzamelen.

Om deze dreiging te bestrijden hebben onderzoekers verschillende manieren ontwikkeld om frauduleuze gevallen te identificeren en te zuiveren uit enquêtepanels. De benaderingen omvatten valkuilenvragen, geautomatiseerde screeningsdiensten en koppeling aan kiezersbestanden.

Belangrijkste conclusies van de studie:

• Over het algemeen verlaagt het zuiveren van frauduleuze gevallen de foutmarge op de meeste metrieken, maar een waterdichte oplossing blijft uitblijven.
• Het koppelen van een opt-in steekproef aan kiezersbestanden verhoogde de foutmarge licht, omdat er voornamelijk goede respondenten werden verwijderd (bijv. mensen die simpelweg weigerden hun naam of adres op te geven).
• Valkuilenvragen en een geautomatiseerde screeningsdienst presteerden vergelijkbaar en verbeterden de datakwaliteit enigszins.
• Alle drie de benaderingen verhoogden bescheiden de overschatting van de steun voor de Democraten in de verkiezingen van 2024. Dit lijkt niet te komen door een systematische partijdige bias, maar door de neiging van frauduleuze respondenten om te beweren dat ze op de winnende kandidaat hebben gestemd – in dit geval Donald Trump (Republikein).
• Koppeling aan kiezersbestanden kan andere doelen dienen, zoals het verschaffen van gegevens over het stemgedrag van respondenten, maar deze studie richt zich enkel op de effectiviteit hiervan als instrument voor het zuiveren van frauduleuze gevallen.

Hebben alle polls last van frauduleuze respondenten?

Nee. Frauduleuze respondenten zijn primair een bedreiging voor online opt-in polls, die worden geworven via methoden zoals online advertenties, zelfinschrijving en e-maillijsten. Polls die offline worden geworven via aselecte steekproeven (zoals het American Trends Panel van Pew Research Center) zijn over het algemeen immuun voor deze dreiging, hoewel zij voor andere uitdagingen staan.

---

Methoden voor het verwijderen van frauduleuze respondenten

Onderzoek heeft uitgewezen dat standaard controles op datakwaliteit – zoals het zoeken naar "speeders" (die enquêtes te snel invullen) of "straightliners" (die consistent dezelfde antwoordoptie kiezen) – de meeste frauduleuze respondenten niet detecteren. Hetzelfde geldt voor veel valkuilenvragen, die niet alleen falen in detectie, maar ook legitieme respondenten in verwarring kunnen brengen, wat leidt tot fout-positieven.

In deze studie evalueren we drie alternatieve benaderingen:

1. Valkuilenvragen over onwaarschijnlijk gedrag

Omdat we bij de meeste vragen niet kunnen weten of een antwoord waar is, stelden we respondenten vragen over vier activiteiten waarvan we vrijwel zeker weten dat het ware antwoord "Nee" is. Respondenten die op één of meer van deze vragen "Ja" antwoordden, werden als frauduleus gecodeerd.

De vragen waren zo ontworpen dat zorgvuldige respondenten niet in verwarring zouden raken, terwijl frauduleuze respondenten (die randomly antwoorden of zich proberen voor te doen als een specifieke doelgroep) eerder "Ja" zouden zeggen:

• Sociale media: We vroegen of ze gebruikmaakten van zes verschillende platforms, waarvan één een verzonnen platform genaamd Fizzypress.
• Overheidsuitkeringen: We vroegen of ze in 2023 uitkeringen hadden ontvangen van zes instanties, waaronder de United States Railroad Administration (USRA) – een echte instantie, maar een die al in 1920 is opgeheven.
• Internationaal Ruimtestation: We vroegen of ze ooit het International Space Station hadden bezocht.
• IJsbrekers: We vroegen of ze ooit dienst hadden gedaan op een Polar-class ijsbreker (er zijn er slechts twee gebouwd, waarvan er slechts één nog in gebruik is door de U.S. Coast Guard).

In totaal beantwoordde 18% van de gevallen (1.963 personen) "Ja" op één of meer van deze vragen en werden zij als frauduleus aangemerkt.

2. Geautomatiseerde voorafscreening

Het Sentry-systeem van CloudResearch identificeert problematische respondenten voordat ze aan de enquête beginnen. Bij het klikken op de link worden ze naar het Sentry-platform geleid voor een korte reeks vragen die problematisch gedrag (zoals ja-zeggen en onoplettendheid) opsporen. Open antwoorden worden gecontroleerd op relevantie en om te voorkomen dat teksten via automatisering zijn geplakt. Daarnaast voert het systeem passieve controles uit op metadata van het apparaat, locatie en browser.

In deze studie werden respondenten niet direct uitgesloten, maar we gebruikten de metadata om te simuleren wat het effect zou zijn als ze waren verwijderd. Bijna de helft van alle respondenten (5.369 gevallen) faalde voor minstens één screeningscontrole. De meest voorkomende redenen waren:

• Problematische open antwoorden (70%)
• Ja-zeggen (47%)
• Onoplettendheid (12%)
• Dubbele IP-adressen (10%)
• Frauduleus gedrag (7%)
• Overige passieve technische controles (1%)

3. Koppeling aan kiezersbestanden

Hierbij wordt gevraagd naar naam en adres, waarna gezocht wordt naar een overeenkomst in een commercieel kiezersbestand (een nationale database van bijna alle geregistreerde kiezers in de VS). Als er een match is, wordt het geval als geldig beschouwd; zo niet, dan wordt het verwijderd.

Dit gaat ervan uit dat mensen die eerlijk zijn over hun identiteit en contactgegevens ook zorgvuldiger de rest van de enquête invullen. Een nadeel is echter dat een aanzienlijk deel van de bevolking niet geregistreerd staat als kiezer. Dit kan leiden tot het verwijderen van valide respondenten, wat bias kan veroorzaken in algemene bevolkingsonderzoeken.

Van alle respondenten stemde 49% ermee in hun contactgegevens te verstrekken; van deze groep werd 73% succesvol gekoppeld. In totaal werden 3.977 gevallen (36% van de volledige steekproef) succesvol gekoppeld, terwijl 64% werd uitgesloten.

---

Demografische patronen in gemarkeerde gevallen

Respondenten die claimden tot bepaalde demografische groepen te behoren, werden consistent vaker gemarkeerd als frauduleus. Valkuilenvragen en voorafscreening markeerden vooral mensen tussen de 18 en 29 jaar en Hispanic respondenten.

Dit betekent niet dat leden van deze groepen slechte enquêteurs zijn; eerder is het zo dat onoprechte respondenten vaak onterecht claimen tot deze groepen te behoren.

Bij koppeling aan kiezersbestanden was het profiel anders. Hier werden gevallen verwijderd om onschuldige redenen (bijv. privacyzorgen of niet geregistreerd zijn als kiezer). Er was nauwelijks verschil in uitsluitingspercentages tussen etnische groepen of geslacht.

Wat betreft opleiding:

• Valkuilenvragen: Hoogopgeleiden (+11) en mensen met alleen een middelbare schoolopleiding of minder (+7) werden vaker gemarkeerd dan mensen met een gedeeltelijke universitaire opleiding.
• Voorafscreening: Mensen met een middelbare schoolopleiding of minder (+13) werden het vaakst gemarkeerd.
• Kiezersbestanden: Hier was nauwelijks differentiatie tussen opleidingsniveaus (maximaal 4 procentpunt verschil).

---

Effect van screening op datakwaliteit

Om de effectiviteit te meten, vergeleken we drie datakwaliteitsmetrieken voor en na de screening.

Ja-zeggen (Yea-saying)

Dit is de neiging om ja/nee-vragen altijd bevestigend te beantwoorden. In de ongescreende steekproef beantwoordde 7% van alle volwassenen (en 13% van de Hispanic respondenten) minstens 10 van de 15 ja/nee-vragen met "Ja".

• Valkuilenvragen: Elimineerden dit gedrag vrijwel volledig (slechts 1% bleef over).
• Voorafscreening: Reduceerde dit effect aanzienlijk (naar 2% voor alle volwassenen).
• Kiezersbestanden: Maakten het probleem juist erger. Het aandeel steeg naar 9% voor alle volwassenen, en naar 15% en 17% voor jongeren en Hispanic respondenten.

Dit komt waarschijnlijk doordat mensen die weigerden hun contactgegevens te geven (een grote groep valide respondenten) veel minder geneigd waren tot ja-zeggen dan degenen die hun gegevens wel gaven. Bovendien konden sommige frauduleuze respondenten accurate contactgegevens verstrekken, waardoor ze toch door de screening kwamen.

Kwaliteit van open antwoorden

Respondenten kregen de vraag: "Wat is één ding dat u politici in Washington, D.C. zou willen laten weten over uw eigen situatie wanneer zij wetten schrijven en beleid bepalen? Deel alstublieft zoveel mogelijk details."

Vóór screening waren 88% van de antwoorden onproblematisch. Problematische antwoorden waren onder meer onzin (gibberish), generieke positieve beoordelingen of waarschijnlijk door AI gegenereerde teksten.

• Valkuilenvragen en voorafscreening: brachten het aandeel problematische antwoorden terug naar respectievelijk 7% en 5%.
• Kiezersbestanden: hadden vrijwel geen effect op het aandeel problematische antwoorden.

Effecten van de volgorde van antwoorden (Response order effects)

Onoplettende respondenten kiezen vaker de optie die bovenaan de lijst staat (het "primacy-effect"). We testten dit met een vraag over ongedocumenteerde immigranten.

Zonder screening was er een substantieel primacy-effect van +9 procentpunt. Dit effect was nog groter bij jongeren (+15) en Hispanic respondenten (+17).

• Valkuilenvragen: reduceerden het effect tot ongeveer de helft (+4 procentpunt).
• Voorafscreening: presteerde vergelijkbaar (tussen +5 en +10 procentpunt).
• Kiezersbestanden: resulteerden in grotere primacy-effecten dan zonder screening (+14 voor alle volwassenen, en tot +29 voor jongeren).

---

Effect op vragen over opkomst en stemkeuze

De studie onderzocht of screeningsmethoden de schattingen van de opkomst en stemkeuze bij de Amerikaanse presidentsverkiezingen van 2024 beïnvloedden.

Opkomst

Zonder screening zei 84% van de zelfgerapporteerde geregistreerde kiezers dat ze hadden gestemd.

• Valkuilenvragen en voorafscreening: verhoogden dit naar 87%.
• Kiezersbestanden: verhoogden dit licht naar 85%.

Het feit dat de opkomst stijgt na screening met valkuilenvragen suggereert dat frauduleuze respondenten (die vaker de bovenste opties kiezen) werden verwijderd, aangezien de optie "heb gestemd" als laatste werd gepresenteerd.

Stemkeuze

In de ongescreende steekproef waren Donald Trump en Kamala Harris in een gelijkspel (beiden 48%).

• Valkuilenvragen: verschoven het resultaat naar een voordeel van 3 punten voor Harris.
• Voorafscreening: verschoof de marge naar +6 voor Harris.
• Kiezersbestanden: verschoof de marge naar +7 voor Harris.

Dit suggereert dat Harris-aanhangers oververtegenwoordigd zijn onder de valide respondenten, maar dat deze bias in de ongescreende data werd geneutraliseerd door frauduleuze respondenten die onevenredig vaak beweerden op Trump te hebben gestemd.

Frauduleuze respondenten lijken niet simpelweg random te kiezen, maar neigen naar de winnende kandidaat. In een eerdere studie over de verkiezingen van 2020 claimden frauduleuze respondenten juist massaal te hebben gestemd op Joe Biden.

---

CORRECTIE (28 augustus 2026): De volgende zin is bijgewerkt om de juiste percentages weer te geven voor alle Amerikaanse volwassenen, jongvolwassenen (18-29 jaar) en Hispanic volwassenen: "Het aandeel onder alle volwassenen steeg licht naar 9%, en de aandelen onder jongeren en Hispanic volwassenen stegen naar respectievelijk 15% en 17%." De cijfers in de bijbehorende grafiek waren correct; deze wijziging heeft geen invloed op de overige gerapporteerde bevindingen.

***

¹ Een opkomstpercentage van 77% is gebaseerd op een analyse van de gevalideerde kiezersdataset van de post-election survey 2024 van Pew Research Center.