Posts Tagged ‘vragenlijst’

Onderzoek is leuk

Ik wist het bij de start van het bedrijf natuurlijk al ‘onderzoek is leuk’, maar het blijft een missie om uit te blijven dragen. Onderzoek moet leuk zijn voor de opdrachtgever, voor ons als onderzoekers maar vooral voor de deelnemers. Zonder deelnemers kunnen we wel inpakken natuurlijk. Dit is deel negen in de serie 25 jaar Ruigrok NetPanel.

Participant engagement

Twintig jaar geleden was ‘participant engagement’al leidend voor ons toen we met NetPanel begonnen (al noemden we dat natuurlijk toen niet zo ;-). We noemden het eerste webpanel in de branche niet voor niks ‘het leukste panel van Nederland’.  We verkozen het panellid van het kwartaal, verlootten passende prijzen (een vrieskist vol ijsjes bijvoorbeeld), stuurden nieuwsbrieven en t-shirts met een klein NetPanel-logo op de mouw en gaven regelmatig terugkoppeling van de resultaten.

De acht geboden

We geloven in leuk onderzoek.’Participant engagement’ of ‘Respondent experience’ moet leidend zijn in het ontwerpen van je onderzoeksaanpak. We schreven er járen geleden al over:

  1. Bekijk het onderzoek vanuit het oogpunt van de deelnemer: niets zo irritant als je als deelnemer aan een onderzoek je antwoord niet kwijt kan, de vragenlijst super lang is of niet serieus genomen wordt. Gebod 1 is dan ook om altijd door de ogen van de deelnemer naar je onderzoeksopzet te kijken. Is dit interessant, leuk, te doen en realistisch?
  2. Houd je aan de regels van het vak: zorg voor anonimiteit, vragen die objectief en op één manier te interpreteren zijn, antwoorden die uitsluitend en uitputtend zijn, et cetera.
  3. Zorg voor afwisseling: niet alleen in de vragenlijst of de topic list, maar ook in de uitnodiging. Geen tritsen stellingen en in groepsdiscussies geen standaard rondjes. Zorg voor betrokkenheid vooraf, laat deelnemers creatief zijn en durf eens wat uit te proberen.
  4. Maak het visueel aantrekkelijk: er zijn manieren genoeg om op een eenvoudige manier iets toe te voegen aan een online vragenlijst. Gebruik afbeeldingen, video, aardige iconen of symbolen of zet de swipe-methode in.
  5. Zorg voor onfeilbare techniek: filmpjes die niet laden, webcams die niet aangaan, doorklikknoppen die niet werken, vragenlijsten die er op een smartphone niet uitzien… allemaal redenen om snel af te haken. Zorg dus dat het werkt op verschillende devices en browsers.
  6. Wees scherp op de invulduur: een Vine duurt zes seconden, dus als dat de norm is voor de aandachtsboog van een jongere, dan hebben we nog wel een uitdaging te gaan. Maar als deelnemers betrokken zijn en hun ei kwijt kunnen, dan is een vragenlijst van 10 minuten nog best te doen. Als we dit vergelijken met landen in de rest van de wereld, is dat al best kort. Maar wij geloven in een betere kwaliteit van de resultaten als de vragenlijst niet te lang is.
  7. Geef feedback aan de deelnemers: een korte terugkoppeling van de resultaten is altijd goed voor de betrokkenheid van de deelnemer. Hoe leuk is het niet als je mee hebt gedaan aan een onderzoek voor chipsverpakking en je krijgt te horen dat het verpakking B is geworden en dat die in december in de schappen ligt. Helaas is het niet altijd mogelijk zo concreet terug te koppelen, maar een ‘bedankt en we gaan er mee aan de slag’ is toch wel het minste wat je kan doen?
  8. Zorg voor fun (gamification): als het mogelijk is een spelelement toe te voegen aan je vragenlijst, verhoog je de betrokkenheid. Een quiz, een directe terugkoppeling van een antwoord (jij zei dit, de anderen zeiden dat), het ‘draggen en droppen’ van kleine afbeeldingen op een bord, een tijdlijn, een volgorde-lijn of iets anders maakt deelname meteen al leuk.

De cirkel is rond

Want hoe beter de participant engagement, hoe beter je respons, hoe minder afhakers en hoe beter je resultaten. En dat is dan niet alleen leuk voor de deelnemer, maar ook leuk voor de opdrachtgever en dus ook voor ons. En zo is de cirkel maar weer rond!

fun

De waarde van pretesten

Het pretesten van een vragenlijst is een typisch voorbeeld van iets dat we absoluut vaker zouden moeten doen. Een pretest is een relatief kleine en goedkope inspanning, bedoeld om een vragenlijst te realiseren die optimaal aansluit bij de doelgroep. Niet elke vragenlijst heeft een pretest nodig, dit is vooral aan te raden als:

  • Je verwacht dat je doelgroep vanwege de cognitieve vermogens in de knel kan komen met de vragenlijst. Bijvoorbeeld kinderen van 6 tot 12 jaar, lager opgeleiden, laag geletterden, bejaarden, respondenten met een (zeer) slechte beheersing van de Nederlandse taal, et cetera.
  • Er nog weinig bekend is over het onderwerp of als het om een relatief complex onderwerp gaat.
  • Het onderwerp gevoelig kan liggen bij de doelgroep, denk bijvoorbeeld aan ouderenmishandeling.

Wat levert een pretest op?

Concreet gesproken komt het erop neer dat we in een pretest zien:

  • hoe de onderzoeksdoelgroep de vragen en de antwoordcategorieën interpreteert;
  • of sprake is van knelpunten;
  • of de antwoordcategorieën logisch en compleet zijn;
  • of we aansluiten bij de taal van de doelgroep;
  • hoeveel tijd het invullen kost.

Zaken waar zelfs de meest ervaren onderzoeker en inhoudsdeskundige niet altijd de beste inschatting van kunnen maken. Een waardevolle bijvangst is het contact met de doelgroep. Doordat we deze spreken, krijgen we ook al inzicht in gedachten rondom bepaalde onderwerpen. Voor opdrachtgevers is het zeer leerzaam om dichtbij de doelgroep te staan en zelf interpretaties en beleving te horen.

Praktijkvoorbeelden

Voor de VU deden wij recent een pretest voor een vragenlijst in het kader van een peiling onder studenten en medewerkers. In deze pretest stond ook de objectiviteit centraal; werden per thema de verschillende voors en tegens op een duidelijke en volledige manier naar voren gebracht

Bij een pretest onder kinderen kwamen we erachter dat sommigen een vragenlijst als een proefwerk ervaren; vragen we naar ‘twee of drie voorbeelden’, dan blijven zij net zo lang nadenken over en zoeken naar drie voorbeelden ‘omdat dat nou eenmaal gevraagd wordt’. Bij een opdracht het ontbijt te laten zien door zaken als boterhammen en beleg naar een bord te slepen, bleek dat niet iedereen op deze wereld vanaf een bord ontbijt. Deze kinderen wisten dan ook niet wat te doen bij deze vraag.

Deze voorbeelden tonen het nut van een pretest goed aan; een goede vragenlijst leidt tot kwalitatief goede respons en dus goede onderzoeksresultaten.

FacebookTwitterLinkedIn