Op vrijdag 16 oktober melden diverse media (o.a. NOS, AD en PowNed) dat de gemeente Steenbergen een peiling heeft georganiseerd om het draagvlak voor de opvang van vluchtelingen in de gemeente te meten. De peiling zit echter slecht in elkaar en laat ruimte voor manipulatie van de uitslagen. Je kunt je afvragen of een peiling als deze nu wel zo’n goed idee is, zeker als je bedenkt dat de gemeente een veel betrouwbaardere peiling had kunnen opzetten.
Niet representatief
Het grote probleem met deze peiling is dat hij niet is gebaseerd op een aselecte (gelote) steekproef uit de bevolking. Daarom zijn de uitkomsten niet representatief. En daarom zullen ook de schattingen voor het aantal voor- en tegenstanders van opvang niet juist zijn.
De peiling van de gemeente Steenbergen bestaat uit twee onderdelen: een vragenlijst op het internet en interviews op straat. Het idee achter de interviews op straat is dat ook mensen zonder internet zo de mogelijkheid krijgen hun mening te geven.
De vragenlijst voor de internetpeiling staat ‘open en bloot’ op het internet. Iedereen kan de vragenlijst invullen. Zelfselectie noemen we dat. In de vragenlijst wordt om je postcode en je e-mailadres gevraagd. Na het invullen krijg je dan nog een e-mailtje waarmee je bevestigt dat je de vragenlijst hebt ingevuld (een verificatie-e-mail). Daarmee willen de peilers voorkomen dat iemand de vragenlijst meer dan één keer invult. Dat is goed, maar natuurlijk niet voldoende.
Een eerste probleem is dat ook personen van buiten Steenbergen de vragenlijst kunnen invullen. Het was voor mij geen enkel probleem dat de doen, ook al woon ik ver buiten Steenbergen.
Een tweede probleem is dat het toch niet zo moeilijk is om de vragenlijst meer dan één keer in te vullen. Voor elk e-mailadres dat je hebt, kun je de vragenlijst invullen. Veel mensen hebben meer dan één e-mailadres (bijvoorbeeld een privéadres en een werkadres). Bovendien is het niet zo moeilijk om nieuwe e-mailadressen aan te maken. Verder houdt niemand je tegen om ook nog eens een paar keer de vragenlijst op straat in te vullen. Het was voor mij dan ook niet zo moeilijk de vragenlijst twee keer in te vullen.
Actiegroepen kunnen dus relatief eenvoudig de resultaten van de peiling manipuleren om zo de steun voor de eigen standpunten, wat die ook moge zijn, te vergroten. Het is het hoe dan ook duidelijk dat dit geen representatief beeld oplevert van wat er leeft onder de bevolking. (Er zijn voldoende voorbeelden van andere peilingen waarin de uitkomsten op deze manier werden gemanipuleerd, zie hier, hier en hier).
In de verificatie-e-mail wordt nog gevraagd naar geslacht en leeftijd. Die twee variabelen zouden kunnen worden gebruikt om voor het gebrek aan representativiteit corrigeren. Een dergelijke correctie is echter alleen effectief als deze variabelen sterk correleren met het al of niet meedoen aan de peiling en met de mening over de opvang van vluchtelingen. Dit is niet erg waarschijnlijk. De verbanden zullen te zwak zijn en het effect van de correctie dus gering.
Het kan zoveel beter
Je vraagt je af waarom de gemeente Steenbergen gebruik maakt van zo’n flutenquête, terwijl het toch zoveel beter kan. Het ligt veel meer de hand een procedure te hanteren die wel wat lijkt op verkiezingen. Je trekt een aselecte steekproef uit het bevolkingsregister en stuurt de geselecteerde mensen een brief met daarin een link naar de vragenlijst op het internet en een unieke inlogcode. Per inlogcode kan maar één keer worden gestemd. En als het gemeentebestuur echt iedereen de mogelijkheid wil bieden om een mening te geven, dan kun je ook iedereen in het bevolkingsregister uitnodigen om mee te doen.
Mensen die de vragenlijst niet op het internet willen of kunnen invullen, kunnen een papieren versie van de vragenlijst krijgen. Die kan dan bijvoorbeeld op het gemeentehuis in een stembus worden gedaan. Uiteraard moet dan wel worden gecontroleerd (via de inlogcode) of mensen niet zowel de vragenlijst op het internet als de papieren vragenlijst invullen. (Uiteindelijk is het niet per se nodig om zo’n schriftelijke enquête toe te voegen omdat 96% van de Nederlandse huishoudens toegang heeft tot internet).
Hoe dan ook, het is bijzonder onverstandig om via zo’n flutenquête als in Steenbergen de mening van de bevolking over zo’n gevoelig thema te meten.
Fijn dat jullie aandacht geven aan het onderzoek dat wij onder andere in Steenbergen uitvoeren. De kritiek zien wij als opbouwend… maar wel wat makkelijk en uit de losse pols.
Een belangrijke reden om niet met brieven en een steekproef vooraf te werken is dat het – zeker met een onderwerp als dit – voor de burgers die hun mening willen geven ook belangrijk is dat ze die kunnen geven. Door zelf in te vullen ontstaat ook draagvlak voor de uitkomst. En… hoe stellig durf je te stellen dat de methode met brieven en een code niet een zelfselectie tot gevolg heeft? Persoonlijk kom er altijd pas achter dat ik een brief heb gekregen als de responstermijn voorbij is…
Techniek ontwikkelt zich, en dat geeft nieuwe mogelijkheden. De valkuilen die geschetst worden en de voorbeelden van manipulatie zijn natuurlijk bij ons bekend. We hebben daar dus passende maatregelen op. Die leggen we graag uit. Dus kom gerust langs voor een kop koffie, dan geven we met alle plezier inzicht in wat er tegenwoordig technisch mogelijk is.
Representativiteit is een absolute vereiste als je besluitvorming wilt laten aansluiten bij de voorkeuren van het electoraat. Je kunt veel moeite steken in het stadium van dataverzameling (door bijvoorbeeld een random steekproef te trekken; is intensief) of in de data-analyses (door achteraf te corrigeren voor onder/overtegenwoordigde groepen op relevante variabelen). Welke route bewandelt Steenbergen.
(Ik maak me minder zorgen om de ‘manipulatie’ of de dubbele inschrijvingen dan Jelke, want ik neem aan dat je alle responsen zult verifieren.)
Het probleem van representativiteit bestaat uit twee onderdelen. Het hangt niet eens zozeer af van de methode (brieven, internet), maar van het steekproefkader. Een scheve (zelf)selectie van deelnemers aan je onderzoek ten opzichte van je bevolking los je niet op door te wegen op een paar algemene achtergrondkenmerken (geslacht, leeftijd, postcode) die tamelijk weinig van dergelijke houdingen verklaren.
Fijn dat jullie aandacht geven aan het onderzoek dat wij onder andere in Steenbergen uitvoeren. De kritiek zien wij als opbouwend… maar wel wat makkelijk en uit de losse pols.
Een belangrijke reden om niet met brieven en een steekproef vooraf te werken is dat het – zeker met een onderwerp als dit – voor de burgers die hun mening willen geven ook belangrijk is dat ze die kunnen geven. Door zelf in te vullen ontstaat ook draagvlak voor de uitkomst. En… hoe stellig durf je te stellen dat de methode met brieven en een code niet een zelfselectie tot gevolg heeft? Persoonlijk kom er altijd pas achter dat ik een brief heb gekregen als de responstermijn voorbij is…
Techniek ontwikkelt zich, en dat geeft nieuwe mogelijkheden. De valkuilen die geschetst worden en de voorbeelden van manipulatie zijn natuurlijk bij ons bekend. We hebben daar dus passende maatregelen op. Die leggen we graag uit. Dus kom gerust langs voor een kop koffie, dan geven we met alle plezier inzicht in wat er tegenwoordig technisch mogelijk is.
Kennelijk gaat het niet alleen om het krijgen van een goed representatief beeld van de mening van de inwoners van Steenbergen maar ook om het creëren van draagvlak voor de uitkomst ervan. Dat kan ook uitstekend, en misschien nog wel beter, door alle inwoners (in plaats van een aselecte steekproef) vanuit het bevolkingsregister te benaderen met een brief. De steekproef bestaat dan uit de hele bevolking. Net zoals bij verkiezingen. Je weet dan zeker dat iedereen hooguit één keer mee kan doen en dat alleen inwoners van Steenbergen mee kunnen doen.
Inderdaad, ook een aselecte steekproef kan tot een vertekening leiden. Dat kan gebeuren als uitgenodigde mensen toch niet meedoen. Non-respons noemen we dat. Je kunt echter aantonen dat de vertekening ten gevolge van zelfselectie vele malen groter kan zijn dan de vertekening door non-respons.
Het is niet voor niets dat de AAPOR (the American Association for Public Opinion Research) peilingen op basis van zelfselectie afwijst: Only when a Web-based survey adheres to established principles of scientific data collection can it be characterized as representing the population from which the sample was drawn. But if it uses volunteer respondents, allows respondents to participate in the survey more than once, or excludes portions of the population from participation, it must be characterized as unscientific and is unrepresentative of any population.
Zoals ook al door Ton van der Meer is aangegeven, zou je kunnen proberen via een weging te corrigeren voor de vertekening in de uitkomsten. Daarvoor moet je een aantal weegvariabelen meten in je peiling. Geslacht, leeftijd en postcode zijn onvoldoende voor een effectieve weging. Daarvoor heb je meer variabelen nodig. Ik denk bijvoorbeeld aan een variabelen als opleidingsniveau of sociaaleconomische status.
Er zijn kennelijk passende maatregelen genomen tegen manipulatie. Ik ben wel nieuwsgierig hoe je bijvoorbeeld voorkomt dat een willekeurig persoon van buiten Steenbergen de enquête invult (door een willekeurige postcode in Steenbergen op te gegeven).
Klopt. Die andere variabelen nemen we ook mee in de weging. Hoe we dat doen, en hoe we de manipulatie voorkomen willen we graag toelichten, maar niet hier. Wellicht is het toch geen ‘flut’ ;-).