Working PaperPDF Available

Figures

Content may be subject to copyright.
16
STAtOR oktober 2017|3 17
STAtOR oktober 2017|3
projecten: 1. het ontwikkelen van vragenlijsten zodat die
optimaal via smartphones kunnen worden ingevuld,
2. het modulair ontwerpen van vragenlijsten en 3. het
gebruik van sensordata die met smartphones kunnen
worden verzameld. Dit artikel biedt inzicht in de grote
veranderingen die er gaande zijn binnen de methoden
van dataverzameling.
Gebruiksvriendelijkheid en lay-out
Het eerste thema waaraan wordt gewerkt is het ont-
wikkelen van een infrastructuur waarmee vragenlijsten
gemakkelijk via smartphones kunnen worden ingevuld.
Wat betreft de lay-out en gebruiksvriendelijkheid moe-
ten vragenlijsten geschikt worden gemaakt voor smart-
phones omdat er aannemelijke risico’s bestaan voor
vertekeningen van statistieken. Ten eerste verschillen
respondenten die ervoor kiezen om hun smartphone te
gebruiken voor enquête-participatie van respondenten
die andere apparaten gebruiken zoals een laptop (An-
toun & Couper, 2013). Wanneer deze groep niet goed
kan deelnemen aan enquêtes kan dit leiden tot dekkings-
fouten. Ten tweede kan een smartphone-onvriendelijke
vragenlijst ervoor zorgen dat de respons daalt. Ten derde
kunnen er meet- en nonresponsfouten optreden wan-
neer een smartphone-gebruiker de vragenlijst niet goed
kan invullen omdat deze niet geschikt is gemaakt voor
dit apparaat.
Het WIN is recentelijk gestart met het testen van vra-
genlijsten op gebruiksvriendelijkheid met verschillende
apparaten: desktop/laptop, tablet, en smartphone. De
Gezondheidsenquête is hiervan een voorbeeld. Naast
het vaststellen en oplossen van mogelijke problemen
die zich kunnen voordoen bij het invullen van een vra-
genlijst op meerdere apparaten, willen we met dit on-
derzoek ook een verkenning doen van mogelijke appa-
raateffecten: zien we een ander invulgedrag bij invullers
op de desktop/laptop, tablet en smartphone. Tijdens de
eerste testen is het invulgedrag van respondenten met
verschillende camera’s vastgelegd. Zowel het klikgedrag
met de muis als het invullen van de vragenlijst met vin-
gers is geanalyseerd en er zijn interviews geweest met de
respondenten om het invulgedrag en de gebruiksvrien-
delijkheid van de vragenlijst te bespreken. De resultaten
van deze testen lieten zien dat teksten op een smartpho-
ne soms lastig te lezen zijn en dat het invullen van de
vragenlijst op een smartphone langer duurde dan op de
andere apparaten.
Deze inzichten hebben geleid tot de opzet van een
experiment waarin twee designaspecten getest zullen
worden: de grootte van de knoppen en het gebruik van
een autoforwardtechniek in de smartphone vragenlijst.
Ten eerste zullen we met dit experiment kunnen evalu-
eren of de grootte van de knoppen het invulgedrag van
de smartphone-respondent beïnvloedt. Het is mogelijk
dat grotere knoppen leiden tot een kortere invultijd en
minder uitval omdat responsmogelijkheden duidelijker
leesbaar zijn. Ten tweede kunnen we onderzoeken wat
het effect is van een autoforwardtechniek, waarbij res-
pondenten automatisch naar een volgende vraag gaan
na het invullen van een antwoord. We kijken daarbij naar
het invulgedrag en het navigatiegedrag van de respon-
dent. In de huidige versie van de Gezondheidsmonitor
wordt genavigeerd met ‘volgende’ en ‘vorige’ knoppen.
Deze knoppen nemen op smartphones erg veel ruimte
in wat consequenties heeft voor de lay-out. ‘Volgende’ en
‘vorige’ knoppen vragen ook om een extra handeling van
smartphone-respondenten bij het navigeren waardoor
de invultijd langer wordt. Door het gebruik van een au-
toforwardtechniek zijn deze knoppen niet langer nodig.
Met dit experiment zullen we bestuderen hoe respon-
denten navigeren door de vragenlijsten binnen de ver-
schillende condities, waarbij we ook letten op mogelijke
tussentijdse nonrespons en uitval.
Modulair ontwerp
Zelfs wanneer vragenlijsten goed in te vullen zijn via
smartphones, is het de vraag of mensen bereid zijn om
lange vragenlijsten in te vullen. De meeste onderzoeken
In oktober 2016 zijn het Centraal Bureau voor de Sta-
tistiek en de afdeling Methodologie & Statistiek van de
Universiteit Utrecht een intensieve samenwerking be-
gonnen. In de komende jaren werken zij samen aan het
integreren van smartphones binnen dataverzamelings-
methoden, zowel voor de interactie met respondenten
als voor metingen via de sensoren in de smartphones
van respondenten. Smartphones zijn wijd verspreid (Fi-
guur 1) en de mogelijkheden van sensoren zijn einde-
loos, maar hoe en onder welke condities zorg je ervoor
dat nieuwe vormen van data officiële statistieken kunnen
verbeteren of aanvullen?
Thema’s
Het Waarneem Innovatie Netwerk (WIN) startte in ok-
tober 2016 en omvat voor de komende jaren drie grote
WIN
Peter Lugtig, Vera Toepoel, Marieke Haan & Barry Schouten
HET WAARNEEM INNOVATIE NETWERK
18
STAtOR oktober 2017|3 19
STAtOR oktober 2017|3
rijken of te vervangen met sensordata. Uit brainstorm
sessies zijn zes onderwerpen naar voren gekomen die
zijn gescoord op relevantie en uitvoerbaarheid: Verplaat-
singen en tijdbesteding, Internetgebruik en -gedrag, Uit-
gaven en koopgedrag, Gezondheid en conditie, Leef- en
werkomstandigheden, en Mentale en emotionele ge-
steldheid. Onder alle ontwikkeling van sensordata ligt
vanzelfsprekend IT, methodologie voor het design van
vragenlijsten die sensordata inzetten en methodologie
voor benaderstrategieën.
Een basale set metingen via mobiele apparaten die
voor de hand ligt is tijd-locatie metingen met een combi-
natie van GPS, WiFi, GSM en accelerometers. Dergelijke
metingen geven verplaatsingen weer van personen en
kunnen verrijkt worden met waarschijnlijk transportmid-
del en geografische informatie. De metingen zijn een in-
teressant startpunt voor veel statistieken. Hoewel de er-
varingen met technische prestaties in het verleden hierin
negatief waren, zien we mogelijkheid om die hindernis-
sen te overwinnen. Daarom hebben we een app ontwik-
keld die in staat is om een reeks tijdlocatiemetingen te
produceren, het gebruik van batterijen te beperken door
stopdetectie te gebruiken en een volledige reis op een
geografische kaart te plaatsen. Daarnaast biedt de app
twee extra functies: het clustert reizen op basis van stop-
detectie criteria en het stelt de wijze van vervoer voor
(geen activiteit, lopen, rennen, fietsen, auto, onbekend).
De app kan relatief makkelijk toegepast worden binnen
andere surveys, en biedt functionaliteit om vragen te in-
tegreren in de app.
Om sensorgegevens te kunnen vastleggen (in plaats
van of naast vragenlijstgegevens) is het van essentieel
belang dat respondenten bereid zijn een app te down-
loaden en de gegevens te uploaden. Uit recent onder-
zoek naar technologie door website Tweakers (Direct
Research, 2016) bleek dat meer dan 75% van de respon-
denten zich ongemakkelijk voelde met het delen van
metadata over communicatie, zoals met wie ze commu-
niceren en wanneer. Ook het delen van andere informa-
tie, zoals winkelgedrag, surfgedrag en locatie, was on-
gemakkelijk voor meer dan 50% van de respondenten.
Couper & Singer (2013) vroegen respondenten in een
web-enquête of ze toestemming gaven om gebruik te
maken van de paradata die werden gegenereerd tijdens
het voltooien van de enquête. In een reeks van drie expe-
rimenten onderzochten zij alternatieve manieren om de
respondenten te informeren over het vastleggen van pa-
radata en om toestemming te vragen voor het gebruik.
In alle drie de experimenten verlaagde elke vermelding
van paradata de bereidheid om deel te nemen aan de
hypothetische enquêtes. Het is van cruciaal belang om
een idee te hebben van de bereidheid van het publiek
om (verschillende) sensorgegevens te meten en te de-
len. Daarbij is niet alleen de theoretische bereidheid van
belang, maar ook het daadwerkelijke gedrag.
Aan WIN werken vanuit het CBS: Annemieke Luiten, Barry
Schouten, Deirdre Giesen, Jeldrik Bakker, Myra Wieling, Ole
Mussmann, Victor Verstappen en Vivian Meertens; vanuit
Universiteit Utrecht: Bella Struminskaya, Marieke Haan, Peter
Lugtig en Vera Toepoel.
Literatuur
Antoun, C., & Couper, M.P. (2013). Mobile-mostly internet
users and selection bias in traditional web surveys. Paper
presented at the annual meeting of the Midwest Associa-
tion for Public Opinion Research, Chicago, IL, November
22–23.
Couper, M.P., & Singer, E. (2013). Informed Consent for Web
Paradata Use. Survey Research Methods, 7, 57–67.
Couper, M.P., Antoun, C., & Mavletova, A. (2017). Mobile
Web Surveys: A Total Survey Error Perspective. In Biemer,
P. et al. Total Survey Error in Practice (pp. 133–154). New
York: Wiley.
Direct Research (2016). Geraadpleegd op <http://www.
directresearch.nl/nederlander-ongemakkelijk-bij-afgeven-
metadata-telefoongesprekken-en-chatberichten>.
Mavletova, A., & Couper, M.P. (2015). A meta-analysis of
breakoff rates in mobile web surveys. Mobile research
methods. In D. Toninelli, R. Pinter & P. de Pedraza (Eds.),
Mobile research methods: Opportunities and challenges of
mobile research technology (pp. 81–98). London: Ubiquity
Press.
Peter Lugtig is associate professor aan de Universiteit
Utrecht en geïnteresseerd in survey methodologie en analyse
van longitudinale survey data.
E-mail: p.lugtig@uu.nl
Vera Toepoel is assistant professor aan de Universiteit Utrecht
en geeft onderwijs over en doet onderzoek naar survey metho-
dologie.
E-mail: v.toepoel@uu.nl
Marieke Haan is postdoctoraal onderzoeker aan de
Universiteit Utrecht en onderzoekt het communicatieproces
van het survey-interview zowel online als offline.
E-mail: m.haan@uu.nl
Barry Schouten is senior methodoloog bij het Centraal
Bureau voor de Statistiek, bijzonder hoogleraar aan de
Universiteit Utrecht en geïnteresseerd in mixed-mode survey
designs.
E-mail: jg.schouten@cbs.nl
die bijvoorbeeld het CBS doet kosten tussen de 10 en
60 minuten om in te vullen. Uit een recente overzichts-
studie van Couper et al. (2017) blijkt dat respondenten
niet bereid zijn om zoveel tijd te besteden aan het invul-
len van vragenlijsten. Mobiele telefoons worden gebruikt
voor korte interacties: iemand een bericht sturen, even
sociale media bekijken zoals Facebook of Instagram, of
het doen van financiële transacties. Niemand verstuurt
een lange tekst of e-mail via een smartphone. Wanneer
vragenlijsten langer zijn dan 10 minuten, resulteert dit in
een hoge uitval op smartphones (Mavletova & Couper,
2015). Vermoed wordt dat nauwkeurige metingen via
smartphones alleen mogelijk zijn als vragenlijsten korter
worden. Dat inkorten komt met een prijs voor zowel da-
taverzamelaars als gebruikers en een belangrijke vraag is
daarom onder welke condities dit acceptabel is.
Een van de manieren om vragenlijsten in te korten
zonder al teveel informatie te verliezen is door het ge-
bruik van matrix sampling, of een planned missingness
design. Enquêtevragen worden ingedeeld in modules,
en een willekeurig deel van die modules wordt aan een
respondent voorgelegd. Door middel van imputaties of
andere technieken kunnen vervolgens de ontbrekende
data per persoon worden teruggeschat. Planned missing-
ness designs bestaan al lang en worden bijvoorbeeld al
toegepast in toetsing (Computerized Adaptive Testing), of
in ontwikkelingspsychologie. Nieuw is dat dit soort de-
signs wordt toegepast binnen de officiële statistiek.
Binnen WIN wordt een aantal simulaties en verken-
nende analyses gedaan naar modulaire ontwerpen van
vragenlijsten. Vragen die daarbij aan bod komen zijn:
hoe bepaal je welke enquêtevraag in welke module moet
staan? Wat is de beste manier om ontbrekende waardes
te schatten? En waar treden er mogelijk contexteffecten
op? Doordat de vraagvolgorde voor verschillende res-
pondenten anders wordt bestaat er een risico dat corre-
laties binnen de vragenlijsten veranderen. De simulaties
zijn het startpunt voor verdere tests.
Een voorbeeld is de Veiligheidsmonitor, een vra-
genlijst waarin gevoelens van onveiligheid en slachtof-
ferschap worden gemeten. In deze vragenlijst krijgen
respondenten eerst een set vragen die gaan over hun
tevredenheid met de woning en woonomgeving. Daarna
volgen vragen over gevoelens van onveiligheid en ver-
volgens worden vragen over slachtofferschap gesteld.
Als respondenten de vragen over tevredenheid met hun
woonomgeving overslaan, leidt dit dan tot andere ant-
woorden op de vragen over onveiligheidsgevoelens? Uit
eerder onderzoek weten we dat dit soort contexteffecten
soms groot is. Voor het CBS is het echter belangrijk om
op lange termijn veranderingen in bijvoorbeeld onvei-
ligheidsgevoelens in kaart te brengen. Als blijkt dat die
door een modulair ontwerp ineens hoger of lager wor-
den, dan kan dat reden zijn af te zien van een modulair
design dan wel om te zoeken naar methoden om trend-
schattingen te corrigeren.
Sensordata
Het thema Sensordata onderzoekt en implementeert
mogelijkheden om vragenlijstdata aan te vullen, te ver-
2012 2013 2014 2015
desktop
laptop
smartphone
game device
smart tv
tablet
%
80
60
40
20
0
Figuur 1. Dekkingsgraad van online devices in Nederlandse huishoudens
ResearchGate has not been able to resolve any citations for this publication.
ResearchGate has not been able to resolve any references for this publication.