In een artikel dat gisteren in de categorie ‘Wetenschap’ verscheen op The Post Online, bespreekt Chris Aalberts onder de sprekende titel ‘Hoe UvA-onderzoekers sociale media-onzin reproduceren’ een onderzoek dat we hebben gedaan naar online communicatie door politieke partijen en politici en naar de gevolgen van deze communicatie op politieke betrokkenheid van burgers. Een interessant en relevant onderwerp, waar nog veel onduidelijkheid en (wetenschappelijk) debat over is.
Het internet wordt beschouwd als een nieuwe mogelijkheid voor politici om het contact met de burger te versterken en daarmee de betrokkenheid van die burger bij de politiek te vergroten. Het afgelopen decennium hebben politici zich dan ook massaal op het internet gestort en zijn aan het bloggen, facebooken, hyven en twitteren geslagen. De gevolgen van al deze activiteiten zijn echter nog weinig onderzocht, zoals bijvoorbeeld uit dit rapport blijkt. Vanuit de politicologische en communicatiewetenschappelijke literatuur kan men verwachten dat de manier waarop een online politieke boodschap wordt gebracht een verschil kan maken.
Het onderzoek
In het experimentele onderzoek vinden we dat als er gekozen wordt voor de presentatie van een politieke boodschap in een gepersonaliseerde en interactieve vorm, dat dit zorgt voor een hogere politieke betrokkenheid onder de bezoekers van politieke websites. Dit is een interessante bevinding, maar zeker niet het laatste woord dat over dit onderwerp gezegd is. Wij discussiëren dan ook graag verder over dit onderwerp, zowel over de inhoudelijke kant als over de manier waarop wij onze studie hebben vormgegeven. Wat Aalberts in zijn artikel doet, is echter een karikatuur maken van ons en ons onderzoek, die op geen enkele manier recht doet aan de studie en de lezer volledig op het verkeerde been zet. Niet echt een goede basis voor een inhoudelijke discussie, lijkt ons.
De kritiek
De kritiek van Aalberts richt zich op twee punten. Het eerste punt gaat over interactiviteit en personalisering. De manier waarop hij in zijn blog de operationalisering van beiden concepten beschrijft is feitelijk onjuist en is niet zoals wij dat hebben gedaan. Interactiviteit bestaat volgens Aalberts in ons artikel uit ‘mobiliseringsfeatures’ (zoals ‘doneer geld’). Dat klopt niet: interactiviteit wordt door meerdere andere elementen gemanipuleerd, namelijk door het toevoegen van hyperlinks, comments van Alexander Pechtold of D66, verwijzingen naar social media, opties om content te delen, contact opties enzovoorts. Duidelijk een andere en meer realistische manier dan die Aalberts beschrijft.
Daarnaast schetst Aalberts het beeld dat participanten in ons onderzoek naar een plaatje keken, terwijl zij in het onderzoek een daadwerkelijke website hebben bezocht en gebruikt. Het ging dus om feitelijk interacteren met een website en niet om het kijken naar een plaatje. Voor personalisering geldt hetzelfde: Aalberts beweert dat personalisering is geoperationaliseerd door enkel een plaatje te veranderen. Dat is ook onjuist. Personalisering operationaliseren we conform de theorie: de website in de niet gepersonaliseerde experimentele groep is gericht op de politieke partij (D66) en in de gepersonaliseerde groep is staat de politicus (Alexander Pechtold) centraal, zijn professionele leven en zijn privéleven. Dit laatste doen we door bijvoorbeeld een korte biografie toe te voegen, plaatjes in te voegen van de vrouw van Alexander Pechtold, reacties op de website in te voegen van Alexander Pechtold en een Twitteraccount in te voegen van Alexander Pechtold. Dat Aalberts het geheel illustreert met een knullig plaatje van Pechtold, dat werkelijk helemaal niets met ons onderzoek te maken heeft, is ronduit flauw en zet de lezer compleet op het verkeerde spoor.
Het tweede punt gaat over studentensamples: door het gebruik van studenten communicatiewetenschap is ons onderzoek per definitie waardeloos, aldus Aalberts. Deze hebben we in één van de twee deelstudies die we in het artikel bespreken gebruikt. De discussie of studentensamples in experimenteel onderzoek (on)wenselijk zijn, is een interessante, die we graag nog eens elders voeren en waar ook sterke andere meningen over bestaan dan de mening die door Aalberts wordt gepresenteerd.
Wat in dit geval vooral opvalt is dat Aalberts alleen de tweede deelstudie van ons onderzoek bespreekt. Hij noemt niet de eerst studie, waarin we juist onderzoek gedaan hebben onder een representatieve steekproef van de Nederlandse bevolking. Die deelstudie is minder uitgebreid van opzet, maar de belangrijkste resultaten zijn nagenoeg dezelfde. Dit laat volgens ons zien dat de gevonden effecten staan als een huis. En zelfs als Aalberts in het geheel niet gelooft in experimenteel onderzoek, dan had het hem gesierd de grotere context van het onderzoekproject te noemen (waarmee hij meer dan bekend is), waarin middels diverse andere methoden (surveys, inhoudsanalyses, analyse van voorkeursstemmen) dezelfde relaties worden onderzocht en vergelijkbare resultaten worden gevonden.
Inhoudelijk debat
Ons onderzoek laat zien dat de manier waarop politieke actoren zich online presenteren een verschil kan maken. We praten hier niet over enorme effecten, zoals vaker in mediaonderzoek. Zowel in het wetenschappelijke als in het maatschappelijke debat laten wij ons uitermate genuanceerd (en kritisch) uit over al te hooggespannen verwachtingen over online politieke communicatie (zoals hier). Ons wegzetten als naïeve volgelingen van sociale media goeroes is volledig bezijden de waarheid.
In een tijd waarin sociale wetenschappers met argwaan door het grote publiek worden bekeken past het niet zo’n karikatuur van onderzoekers en hun onderzoek te maken. Dat The Post Online dit soort onzin publiceert geeft te denken. Het debat is er in ieder geval niet bij gebaat: aan een inhoudelijke gedachtenwisseling komen we op deze manier in ieder geval niet toe. En dat is misschien nog wel het meest teleurstellend.
Jullie reactie is kort samen te vatten: jullie vinden dat mijn beschrijving te weinig details bevat en dus te algemeen is om een goed beeld te geven. Dat kun je vinden, maar het gaat voorbij aan de werkelijkheid dat als onderzoek wordt samengevat, allerlei details weggelaten zullen worden en de grote lijn overblijft. Ik beschreef de grote lijn. Voor een breed publiek zul je moeten samenvatten.
Dat jullie operationalisering uitgebreider is dan ik beschrijf, is juist. Maar het doet aan de kern niets af: het is onzinnig te denken dat mensen politiek betrokkener zullen zijn na het bezoeken van een enkele website. Dat gaat niet alleen over een afkeer van experimenteel onderzoek op zich. Mijn vraag was: bij welke enquêtevragen ontstaan er in jullie artikel grote veranderingen in de scores? Dat is bij de algemene vragen het geval die niet direct betrekking hebben op de respondenten zelf. Daarbij is in dit specifieke geval de achtergrond van de respondenten (studenten CW) zeer relevant. Jullie gaan precies op dit punt niet in, en ik denk dat dat niet toevallig is.
Mooi dat jullie een geïnformeerd debat willen. Ik wil dat ook. Ik kies daarom voor een medium dat breed wordt gelezen. Dat doen jullie niet. De vraag is: waarom eigenlijk niet? Mijn stelling is: jullie repliek maakt alleen indruk als je erg geïnteresseerd bent in methodologie. Alleen wetenschappers vinden die repliek interessant en daarom staat jullie reactie hier en niet bij TPOnl. Een breed publiek denkt bij het lezen van jullie repliek: Aalberts heeft details weggelaten om het leesbaar te houden, maar zijn punt blijft staan.
Ik ken de context van jullie onderzoek niet goed, al weet ik dat het onderdeel zal zijn van een proefschrift. Ik schrijf zelf heel bewust geen artikelen. Ik geloof niet in die manier van kennisproductie. Jullie werken aan een instituut wat daar wel in gelooft. Die context ken ik wel. Het is prima om daar anders over te denken dan ik, maar verdedig die UvA-praktijk dan ook. Dat betekent in dit geval: accepteer dat mensen zullen kijken naar wat afzonderlijke artikelen opleveren.
Chris, bedankt voor je reactie. Maar je laat details weg die de kern van het onderzoek vormen! Dat je dat doet om een breed publiek te bereiken maakt het alleen nog maar kwalijker. Er blijft van je twee kritiekpunten niets overeind als je wél recht had gedaan aan het onderzoek, zoals de auteurs hierboven ook aangeven. En daar had je echt geen 1500 woorden voor nodig gehad. Alsof de lezers van TPO randdebielen zijn voor wie je het onderzoek maar in hapklare (en eenzijdige en foutieve) brokken moet voorschotelen.
Daarnaast is er wel degelijk een besef aan de UvA (zeker bij politicologie) dat kennisproductie op verschillende manieren kan worden verspreid. Ja, via artikelen in internationale vakbladen, maar ook Nederlandstalige vakbladen en boeken, boekhoofdstukken, rapporten, blogs, kranten, radio, noem maar op. Dat je dit punt maakt op een blogje dat juist probeert om dit in de praktijk te brengen vind ik niet overtuigend.
@Armen
Jouw reactie, en ook die van de auteurs, is een pleidooi tegen bredere bekendmaking van wetenschappelijke resultaten. Het is ook een pleidooi tegen bredere discussie over dit soort werk. De cultuur bij de politicologen is op dit punt ook echt anders dan die bij CW, dat is vandaag echt wel bewezen.
Ik heb in mijn ogen de kern weergegeven. Op mijn vraag kwam geen antwoord. Ik denk dat ik een voor velen herkenbaar argument heb gemaakt over dit onderzoek. Dit was geen punt over details van het onderzoek, maar over de meest belangrijke keuzes die werden gemaakt.
Chris, als je in mijn reactie ‘een pleidooi tegen bredere bekendmaking van wetenschappelijke resultaten’ ziet heb je me echt verkeerd begrepen. De expliciete mission statement van dit blog is nota bene het toegankelijk maken van politiek-wetenschappelijk onderzoek voor een breder publiek…
Armen: het punt is: als resultaten breder bekend worden gemaakt, kun je dat niet alleen doen op je eigen voorwaarden. Dit zal plaatsvinden op verschillende manieren en dus ook op manieren die de onderzoekers minder goed uitkomen.
Chris, iedereen die iets van zichzelf plaatst in de publieke ruimte weet dat je dat niet op eigen voorwaarden kunt doen. Ook in die internationale vakbladen die jij zo minacht komt eigen werk terug in citaten en verwijzingen die je misschien niet zo had bedoeld. Mijn punt (en dat van de auteurs) is dat je onder het mom van ‘breed publiek’ het onderzoek onrecht aandoet. Jij vindt duidelijk van niet, maar we draaien inmiddels in rondjes. Dank in ieder geval voor je uitgebreide reacties hier (en elders).