• Spring naar de hoofdnavigatie
  • Door naar de hoofd inhoud
  • Spring naar de eerste sidebar
StukRoodVlees

Politicologie en actualiteit

  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

Hoe representatief was de Motivaction-peiling onder jonge Turken en Marokkanen?

door Jelke Bethlehem 12/11/2014 18 Reacties

Op 11 november 2014 voerde onderzoeksbureau Motivaction een peiling uit onder Turkse en Marokkaans Nederlanders tussen de 18 en 35 jaar.  Het onderzoek werd gedaan in opdracht van het multiculturele instituut Forum. Uit de peiling bleek dat verreweg de meeste jonge Turkse Nederlanders Syrië-gangers zien als helden. 90% procent van de jonge Turkse Nederlanders vindt Syrië-gangers helden en 72% staat achter de opmars van IS.

De politiek reageerde geschokt op deze uitkomsten. Minister Asscher van Sociale Zaken noemde de uitkomsten ‘zeer verontrustend’.

 

Quota-steekproef

Als de uitkomsten van een peiling zo de aandacht trekken is het altijd goed om eerst even te kijken naar de manier waarop die peiling is uitgevoerd. Gelukkig is er een rapport waarin dit redelijk goed staat beschreven. Het blijkt dat Motivaction voor de peiling geen nette aselecte steekproef heeft geloot uit de populatie van alle Moslimjongeren, maar gebruik heeft gemaakt van een quota-steekproef. In het rapport wordt dit als volgt omschreven:

Voor het face-to-face-veldwerk is met quotalijsten gewerkt. Voor het face-to-face-veldwerk zijn verschillende wervingsmethodes ingezet: bij moskeeën, bij supermarkten, in winkelstraten, bij theehuizen, bij onderwijsinstellingen, bij sportverenigingen, bij buurthuizen en bij de respondenten thuis. Alle interviews hebben op een rustige plek plaatsgevonden, waarbij respondenten niet door anderen konden worden beïnvloed. Daar waar nodig, is het interview in het Turks, het Marokkaans-Arabisch of het Berbers uitgevoerd.

 

Bij quota-steekproeven wordt dus niet geloot, maar wordt ervoor gezorgd dat bepaalde quota mensen in de juiste verhouding aanwezig zijn in de steekproef. Voor de peiling onder Moslimjongeren heeft Motivaction quota gemaakt op basis van de variabelen leeftijd, opleiding, geslacht en etniciteit. Dat zorgt ervoor dat de steekproef representatief is met betrekking tot deze variabelen. Helaas is het bij quota-steekproeven zo dat dit geen enkele garantie geeft dat de steekproef ook representatief is met betrekking tot de belangrijke onderzoeksvariabelen.

 

Superieure loting

Al in 1934 toonde de bekende Poolse wetenschapper Jerzy Neyman aan dat een steekproef op basis van loting superieur is boven een quota-steekproef. Hij noemde dat toen nog niet quota sampling, maar purposive sampling.

De quota-steekproef doet het wel beter dan een totaal verkeerde steekproef trekken. Dat bleek tijdens de campagne voor de Amerikaanse presidentsverkiezingen in 1936 tussen de Democraat Franklin Roosevelt  en de Republikein Alf Landon. Het tijdschrift Literary Digest deed een peiling op basis van een steekproef van maar liefst 2,4 miljoen Amerikanen. Maar aangezien de adressen allemaal afkomstig waren uit lijsten van auto-eigenaren en telefoonboeken, waren dit allemaal mensen die het wat beter hadden, en die stemden overwegend Republikeins. De Republikeinen waren dus zwaar oververtegenwoordigd. En dus kwam Alf Landon als winnaar uit de peiling.

Een andere peiler, George Gallup, trok een quota-steekproef van ‘slechts’ 50.000 Amerikanen. De quota waren gevorm op basis van sociaal-economische klasse, geslacht, en stad/platteland. Deze peiling voorspelde dat Franklin Roosevelt zou winnen. En het werd Roosevelt. Daarbij moet worden aangetekend, dat de voorspelling van Gallup er toch nog 5% naast zat (56% in plaats van 61%), maar het verschil tussen Roosevelt en Landon was zo groot dat Gallup toch nog met de goede winnaar kwam.

 

Truman vs Dewey

In 1948 ging het mis met de quota-steekproeven van Gallup. Toen voorspelde deze peiler dat Thomas Dewey de presidentsverkiezingen zou winnen en niet Harry Truman. De krant waren zo overtuigd van de kwaliteit van de voorspelling van Gallup dat ze al in vroege edities meldden dat Dewey de verkiezingen had gewonnen. Maar het werd Truman. De quota-steekproeven van Gallup bleken een vertekend beeld te schetsen. Nadere analyses achteraf toonden aan dat de Republikeinen voortduren oververtegenwoordigd waren in deze steekproeven. (Meer over deze opiniepeilingen is bijvoorbeeld te vinden in ‘Deugdelijke peilingen’.)

Een ander, simpel, voorbeeld uit de praktijk laat nog eens zien wat er mis kan gaan met quota-steekproeven. Een lokale omroep wilde weten of de inwoners van de gemeente wel luisterden naar de omroep, en naar welke programma’s. Daarvoor werd een peiling opgezet. Interviewers gingen op zaterdagmiddag naar het plaatselijke winkelcentrum en legden het winkelende publiek een vragenlijst voor. Zo had men binnen korte tijd lekker veel gegevens verzameld.

Maar wat bleek bij de analyse van de verzamelde gegevens? Niemand luisterde naar het sportprogramma dat op zaterdagmiddag werd uitgezonden. Nog wiedes natuurlijk, want er werden alleen personen ondervraagd die op zaterdagmiddag aan het winkelen waren. Ook een quota-steekproef helpt dan niet. Ook al maak je quota van mannen en vrouwen, jonge mensen en oude mensen, enz., dan nog blijven het mensen die op zaterdag aan het winkelen zijn. De vertekening in de uitkomsten blijft.

 

Non-respons

En dan is er ook nog de non-respons. Die lijkt bij quota-steekproeven onder het tapijt te zijn verdwenen. Er zijn natuurlijk mensen die niet aan de peiling mee willen doen. Heel vaak is het zo dat non-respondenten in peilingen afwijken van respondenten. Ze hebben een andere mening over allerlei zaken en willen die niet kenbaar maken. Hoe zit het met de peiling van Motivaction. Hoe groot was de non-respons? En is uitgezocht hoe selectief de respons was?

Samenvattend lijkt de conclusie gerechtvaardigd dat een quota-steekproef niet de beste manier is om een steekproef uit een populatie te trekken. Waar dat mogelijk is moet toch de voorkeur worden gegevens aan een aselecte steekproef (een steekproef die is geloot uit de populatie). Het is bijvoorbeeld denkbaar om een steekproef te loten uit het bevolkingsregister (GBA). Daaruit kunnen allochtonen worden geselecteerd omdat van iedereen het geboorteland (van de persoon zelf en van de ouders) vermeld staat. Aangezien de geboortedatum ook beschikbaar is, kan zo een nette steekproef van jonge Turkse en Marokkaans Nederlanders worden getrokken.

 

Dit stuk verscheen eerder op PeilingPraktijken.

Categorie: Kiezers en publieke opinie Tags: Marokkanen, motivaction, quota-steekproef, steekproeftrekking, Turken

Over de auteur

Jelke Bethlehem
Jelke Bethlehem is bijzonder hoogleraar in de survey-methodologie aan de Universiteit Leiden.
  • Sociale media links 

Lees Interacties

Reacties

  1. Armen Hakhverdian zegt

    12/11/2014 om 11:06

    Helder verhaal, Jelke. De crux zit hem in het slot, waar je schrijft: “Waar dat mogelijk is moet toch de voorkeur worden gegevens aan een aselecte steekproef (een steekproef die is geloot uit de populatie). Het is bijvoorbeeld denkbaar om een steekproef te loten uit het bevolkingsregister (GBA).” Het trekken van een aselecte steekproef uit bevolkingsregisters is is misschien ‘denkbaar’, maar in de praktijk voor velen niet weggelegd, al is het maar omdat de GBA om terechte redenen niet publiek toegankelijk is. Vind je dat commerciële en academische peilers die die mogelijkheden niet hebben, zich niet moeten laten verleiden om dergelijk onderzoek te doen?

    Login om te reageren
    • Jelke Bethlehem zegt

      12/11/2014 om 12:54

      Die peilers zouden op zijn minst transparant moeten zijn over hun methode, en melden dat het geen aselecte steekproef is. En ze zouden ook geen onzekerheidsmarges moeten geven, want die kun je alleen uitrekenen als de steekproef hebt geloot. Maar wel melden dat er onbekende afwijking kunnen zitten in de schattingen.

      Login om te reageren
      • Armen Hakhverdian zegt

        12/11/2014 om 13:05

        Dat van die betrouwbaarheidsintervallen is een goed punt ja 🙂

        Login om te reageren
    • Gyurka Jansen zegt

      13/11/2014 om 09:54

      Sterker nog; als je naar de praktijk kijkt zul je zien dat de meeste, zo niet alle, steekproeftrekkingen ‘non-probability’ zijn. (Of dit erg is, is een ander verhaal) En eens met “dat is wellicht denkbaar”, ja, dat is wel heeeel theoretisch. (Zelfs als het kan hè, uit GBA, zit je nog met je respons.)

      Either way, Jelke heeft natuurlijk wel gelijk dat de hier gebruikte methode dan niet daarmee maar goed is. Ik zou zelfs niet durven zeggen “the next best thing”, zeker bij dit soort onderzoeken zou je veel verder moeten gaan om eea uit te sluiten qua effecten van selectie en vraagstelling.

      Login om te reageren
  2. Jaap Dronkers zegt

    12/11/2014 om 11:29

    Hangt het voor- en nadeel van een aselecte steekproef of een quota steekproef ook niet samen met de vraagstelling? Als je op migranten jongeren wilt selecteren, is het GBA (bevolkingsregister) niet altijd het juiste steekproef kader (want gevaar oververtegenwoordiging van thuiswonende, goed ingeschreven jongeren), maar kan de werkwijze van Motivaction tot meer valide data leiden.

    Login om te reageren
    • Jelke Bethlehem zegt

      12/11/2014 om 12:58

      Misschien is het GBA niet optimaal voor migrantenjongeren. Maar er is geen enkele garantie of indicatie dat een quotasteekproef beter is. Het zou ook best nog eens veel slechter kunnen zijn. Je zou dit dan eerst moeten uitzoeken voordat je verder gaat met je peiling.

      Login om te reageren
      • Gyurka Jansen zegt

        13/11/2014 om 10:09

        En dat is het probleem natuurlijk. Sowieso met onderzoeken. Wij willen iets weten, maar als je het wetenschappelijk benadert, dan kun je dat en dat eigenlijk niet zo zeggen. Wordt een onderzoek veel omvangrijker, en houd je altijd een slag om de arm.

        En in de tussentijd is je populatie veranderd. 😉

        Soms denk je “Waar doen we het voor!”.

        Login om te reageren
        • Tom van der Meer zegt

          13/11/2014 om 12:28

          Belangrijkste tip zou zijn met dit soort ‘one shot’ toetsen onder moeilijk bereikbare groepen: wees voorzichtig. Zeker losse percentages zijn al snel betekenisloos. Inderdaad, door vraagstelling maar ook door steekproef: je hebt geen goed ijkpunt.
          Je kan wegen tot je een ons weegt (pni), maar dat lost je probleem niet op.
          Vandaar dat je moet inzetten op verschillen (tussen groepen) of veranderingen (door de tijd). Maar ja, dan zit je weer met significantie-toetsen, waar journalisten al helemaal blind voor blijken te zijn.

          Login om te reageren
  3. n.h.mulder zegt

    12/11/2014 om 11:31

    Maar het gaat bij deze vraagstelling niet om de bepaling van een winnaar met een subtiel verschil. Of er nu 60, 70 90 of 100 % aanhangers zijn is niet zo belangrijk, het is een ruime meerderheid.

    Login om te reageren
    • Jelke Bethlehem zegt

      12/11/2014 om 13:00

      In dit geval heeft u misschien wel gelijk. Maar daarmee kun je het gebruik van quotasteekproeven niet goedpraten. Er zijn ook voorbeelden waar je ermee behoorlijk de mist in kunt gaan (zoals in 1948 bij de presidentsverkiezing).

      Login om te reageren
  4. Gerard Cats zegt

    12/11/2014 om 11:38

    1. Motivaction past nog eem RIM weging toe. Waarom is die nodig na gebruik van quota lijsten op precies dezelfde kenmerken? Is dat omdat het Mixxitpanel niet daarop past? Dat panel draagt weinig bij, en dus zou effect van de RIM weging klein moeten zijn. Als die weging de moeite van het vermelden waard is, zegt dat iets over de representativiteit van dat panel, of juist van de steekproef?

    Login om te reageren
    • Simon zegt

      23/11/2014 om 13:13

      Dat heb ik mij ook afgevraagd. Het lijkt alsof ze de quota niet gevuld kregen. De mate van herweging is dan natuurlijk ook van belang en ook de gewenste en behaalde quota.

      Login om te reageren
  5. Gerard Cats zegt

    12/11/2014 om 11:45

    2. Hoewel de steekproef niet aselect is is het niet uitgesloten dat ook een aselecte steekproef dezelfde uitkomsten zou geven. Die uitkomsten verontrusten sommige politici danig. Het volstaat mijns inziens dan ook niet om de representativiteit van het onderzoek ter discussie te stellen; zeker niet nu het antwoord op sommige vragen een overweldigende meerderheid voor of tegen toont. Je zou ook aannemelijk moeten maken dat een representatieve steekproef andere resultaten zou laten zien. Dat wordt aannemelijk als er een correlatie is tussen de quota-selectie en de mening van de respondenten. Bestaat er een vermoeden van een dergelijke correlatie?

    Login om te reageren
    • Simon zegt

      21/11/2014 om 15:33

      http://wijblijvenhier.nl/27430/turkse-jongeren-voor/
      Er is naar aanleiding van de uitkomsten wel een mini-enquête gedaan onder Turkse jongeren met name omdat de stelling van Motivaction dat de doelgroep (2e generatie Turken) tussen de 18 – 35 jaar een probleem heeft met de Nederlandse taal niet onderbouwd wordt door gegevens van het CBS. Die laat op de stelling “Het geweld dat de strijdgroepen zoals IS gebruiken tegen niet gelovigen of anders gelovigen vind ik verkeerd” een totaal onder beeld zien.

      Login om te reageren
  6. Kristof Jacobs zegt

    12/11/2014 om 16:50

    Is op zich wel een belangrijk punt. Hebben we enig idee wat de richting van de mogelijke bias zou kunnen zijn? Verwacht je dat het werkelijke aantal eerder hoger of lager dan die 90% is? Welk soort mensen vindt men minder vaak (of net vaker) in de quota-steekproef? Verder interessant stuk, overigens.

    Login om te reageren
  7. Anthony Coolen zegt

    13/11/2014 om 03:09

    Dit is een voorspelling op basis van statistiek. Er is altijd een kans dat de werkelijke waarde afwijken van de waargenomen waarden. Je hebt tenslotte een steekproef van de populatie genomen en niet werkelijk de hele populatie gesproken. Maar hoe groter het aantal respondenten hoe groter de kans dat de uitkomsten lijken op de meningen van de hele populatie die je onderzoekt.

    De werkelijke waarde kunnen dus lager maar ook nog hoger zijn dan dat het onderzoek schetst. Dit neemt niet weg dat de uitkomsten van dit onderzoek iets zeggen. De werkelijk waarden kunnen dan wel een paar procent hoger of lager liggen, de gevonden waarden zijn van dien aard dat je kan stellen dat er een grote steun/sympathie bestaat voor IS. Je kunt de methode aanvallen van het onderzoek (en dat is deels gerechtvaardigd) maar dat maakt de conclusies niet het tegenovergestelde. Zelfs in het beste geval dat de waarden een paar procent lager uitvallen spreek je nog altijd over een hoog percentage.

    Login om te reageren
    • Armen Hakhverdian zegt

      13/11/2014 om 09:03

      De logica die je schetst berust op de aanname van een gelote steekproef en dat was hier dus niet het geval.

      Login om te reageren
  8. Jan van Rongen zegt

    13/11/2014 om 13:54

    “Op 11 november … voerde … peiling uit. ” Dat zal wel moeten zijn dat-ie werd gepubliceerd. Maar het zet me wel aan het denken: wanneer voerde men die peiling dan wel uit? De meest voor de hand liggende plek: het werk wordt niet genoemd. De moskee wel: hoeveel Turkse jongeren gaan regelmatig naar de moskee? Naar een buurt- of theehuis? Als dat klopt, dan was er al selectie aan de poort.

    Login om te reageren

Geef een reactie Reactie annuleren

Je moet ingelogd zijn op om een reactie te plaatsen.

Primaire Sidebar

Volg ons

  • Facebook
  • Twitter
  • RSS Feed

Populaire berichten

De ideologie van Forum voor Democratie

De ongemakkelijke realiteit van de antivaccinatie-beweging

Wat als… Nederland het Britse kiesstelsel zou hebben?

Willekeurige berichten

Motivering voor afschaffen referendum rammelt aan alle kanten

Profiteren partijen van lijsttrekkersverkiezingen?

Vinden studenten wokisme een gevaar voor de democratie?

Podcast

Aflevering 133 – Wilders blaast het kabinet op, met Henk van der Kolk en Simon Otjes

Geert Wilders heeft zijn steun aan het kabinet ingetrokken. En zoals het een extraparlementair … [Lees verder...]

Episode 132 – The 2025 German elections, with Tarik Abou-Chadi

We are joined by Tarik Abou-Chadi (Oxford) to discuss the dystopian reality of the 2025 German … [Lees verder...]

Aflevering 131 – Het regionale kiesstelsel van Pieter Omtzigt, met Henk van der Kolk en Simon Otjes

De Stuk Rood Vlees podcast is terug, en wel met een gortdroge aflevering over kiesstelsels! In het … [Lees verder...]

Populisme

Wie is er bang van ‘het volk’? Politiek elitisme in vier Europese landen

Het succes van populisme leidde de afgelopen jaren tot een omvangrijke literatuur rond de vraag wie … [Lees verder...]

Aflevering 127 – Waardenloze politiek (en een stukje formatie), met Tom van der Meer

Tom van der Meer (UvA) schuift aan om te vertellen over zijn nieuwste boek 'Waardenloze politiek: … [Lees verder...]

Plaatjes van de electoraatjes 2023: de PVV

Op 22 november zijn er verkiezingen voor de Tweede Kamer. In deze serie gaan wij aan de hand van een … [Lees verder...]

Blogroll

  • Andrew Gelman
  • Ballots & Bullets
  • Fight Entropy
  • FiveThirtyEight
  • The Monkey Cage
  • The Upshot
  • Wonkblog
  • OVER SRV
  • AUTEURS
  • CATEGORIEËN
  • ARCHIEF
  • CONTACT

© 2025 StukRoodVlees

Copyright © 2025 · SRV Theme op Genesis Framework · WordPress · Log in