Google Experiment

Het internet biedt de sociale wetenschappen verschillende mogelijkheden om op nieuwe manieren gegevens te verzamelen. Zo wordt Facebook gebruikt voor experimenten (hier, hier en hier) en biedt Amazon met Mechanical Turk een methode aan om zeer goedkoop en eenvoudig survey onderzoek te doen. Met dank aan een gulle gever hebben Bert Bakker en ik laatst een klein experimentje gedaan waarbij we Google Ads gebruikten. In dit experiment gebruikten we verschillende politieke boodschappen (een positieve, een negatieve en een neutrale) om te evalueren welke van deze politieke boodschappen populairder is. Ook wilden we weten of mensen met sommige eigenschappen eerder geneigd zijn op een van de drie boodschappen te klikken. Populairiteit is eenvoudig te meten in de Google Ads software, dat is namelijk het aantal clicks op de ad gedeeld door het aantal keer dat de boodschap geplaatst is (C/I ratio). Om verschillen in eigenschappen te testen werden mensen die op de ad klikten doorverwezen naar een survey. De drie boodschappen staan in de tabel hieronder.

Vonden wij een verschil in populariteit? Zeker. Niet geheel onverwachts is de negatieve ad het populairst met een C/I ratio van 0.176. Dit betekent dat er 46 keer op de ad geklikt is en deze 26180 keer bij een zoekopdracht geplaatst is (wij hadden politiek, politici, enkele namen van politici en partijen als zoektermen ingevuld). De positieve ad was het minst populair (16 clicks op 47452 views, C/I ratio van 0.034). De neutrale ad eindigde in het midden en alle verschillen zijn significant. De respons op de survey was extreem laag, dus daar hadden we niks aan.

Het ging ons niet om de resultaten – die zijn nogal voorspelbaar. Het ging ons om een evaluatie van Google Ads als methode voor dataverzameling. Het voordeel is dat het extreem goedkoop is, het experiment kostte namelijk 60 euro. Zo zou je een hele reeks boodschappen kunnen testen en evalueren, wat interessant is voor studenten of onderzoekers met een interesse in (de effectiviteit van) politieke communicatie. Het probleem is dat je geen achtergrond data verkrijgt door de (verwachte) minieme survey respons. Bij Facebook krijg je wel de achtergrond data (hoewel dat ook beperkt is).

Ik weet zeker dat bedrijven en politiek strategen Google Ads of Facebook gebruiken om bepaalde boodschappen te testen, maar wat mij het meest heeft verbaasd is hoe weinig ik hierover aan literatuur vond. Laat het dus weten als je iets goeds weet.