DataPDF Available

Abstract

Protocol for Comparing Voice Assistant Risks and Potential with Technology-Based Users: A Study from Germany and Spain. Version 3.0 / 2021.
Protocol for Comparing Voice Assistant Risks
and Potential with Technology-Based Users: A
Study from Germany and Spain
Version 3.0 / 2021
Andreas M. Klein
Department of Computer Languages and Systems,
University of Seville, Spain
Maria Rauschenberger
Faculty of Technology,
University of Applied Sciences Emden/Leer, Germany
Jörg Thomaschewski
Faculty of Technology,
University of Applied Sciences Emden/Leer, Germany
Maria José Escalona
Department of Computer Languages and Systems,
University of Seville, Spain
18th July 2021
Department of Computer Languages and Systems
University of Seville
Contents
1.!Research Goal .......................................................................................................................... 3!
2.!Questionnaire ............................................................................................................................ 3!
3.!Data ............................................................................................................................................ 3!
3.1.!Results RQ2, RQ3, RQ4 ......................................................................................................... 3!
RQ2: In which contexts do the target groups use VAs? .................................................................. 3!
RQ3: What are the target groups’ VA concerns regarding data protection and privacy? .............. 4!
RQ4: What VA improvements do the target groups propose? ....................................................... 4!
3.2.!Free text entries ........................................................................................................................ 5!
3.2.1.!German study .................................................................................................................... 5!
3.2.2.!Spanish study .................................................................................................................... 7!
4.!Summary ................................................................................................................................... 8!
Bibliography ....................................................................................................................................... 8!
Appendix – Questionnaires ............................................................................................................. 9!
A 1.!German questionnaire ................................................................................................................ 9!
A 2.!English Questionnaire ............................................................................................................... 13!
A 3.!Online questionnaire in English ................................................................................................ 17!
1. Research Goal
We aimed to explore the view of concrete technology-based user groups from Germany and Spain
to find opportunities for improving voice assistants (VAs) [1]. The focus is on the interaction behavior,
frequency of use, and concerns of the target groups because they express a wider variety of
interaction and deep privacy concerns while using VAs [2].
This research report gives detailed information about the designed questionnaire in the original
German language and English translation, as well as, the collected data and further results of the
research question RQ2, RQ3 and RQ4.
2. Questionnaire
We designed a questionnaire, which contains qualitative and quantitative elements to explore voice
user interfaces (VUI) and their parameters, usability, and user experience. Questions about
availability and usage, frequency of use, the context of use, and the potential to improve VAs are
essential aspects. The German paper-pencil questionnaire was evaluated in two pre-tests and is
available in the original German language and English translation. The Spanish online questionnaire
realized with Google Forms was pre-tested with 15 participants and is available in the English
language. Further information and a detailed description are included in the publication.
3. Data
3.1. Results RQ2, RQ3, RQ4
We present here detail results for the research question RQ2, RQ3 and RQ4.
RQ2: In which contexts do the target groups use VAs?
We compare the mean (M), standard deviation (SD) and confidence (C) of the Likert scale results in
the numeric range between 3 (never) and +3 (often):
Germany
Spain
M
SD
C
M
SD
C
At home
Smart home
-0.9
2.8
0.8
-0.2
2.6
0.7
Selection of media
0.6
2.5
0.7
0.9
2.3
0.6
Communication
-1.5
2.0
0.6
0.0
2.3
0.6
Web searches
-1.4
1.9
0.5
-0.3
2.1
0.6
On the
road
Smart home
-2.4
1.5
0.4
-1.4
2.2
0.6
Selection of media
-1.2
2.4
0.6
-0.5
2.3
0.6
Communication
-0.7
2.4
0.7
0.1
2.3
0.6
Web searches
-1.8
1.8
0.5
-1.3
2.0
0.5
Dictation function
-1.6
2.1
0.6
-1.7
1.9
0.5
Voice transmission
0.3
2.4
0.7
0.3
2.2
0.6
Table
Mean (M), standard deviation (SD) and confidence (C) for VA Context of use of German
users (n = 52) compared to Spanish users (n = 56).
RQ3: What are the target groups’ VA concerns regarding data protection
and privacy?
We compare the mean (M), standard deviation (SD) and confidence (C) of the Likert scale results in
the numeric range between 3 (completely irrelevant) and +3 (highly relevant):
Users
Non-Users
Germany
Spain
Germany
Spain
M
SD
C
M
SD
C
M
SD
C
M
SD
C
The assistant does not
understand me.
0.1
2.3
0.6
-0.1
1.9
0.5
0.1
2.2
0.6
-0.8
1.6
0.8
The assistant reacts
differently than expected.
0.4
2.1
0.6
-0.2
1.7
0.5
0.6
2.0
0.6
-0.2
1.9
0.9
Talking to the assistant is
unfamiliar.
-0.9
2.2
0.6
-1.5
1.6
0.4
0.5
2.4
0.7
0.8
2.3
1.1
My data could be used
improperly.
0.6
2.0
0.5
0.0
2.2
0.6
1.3
2.0
0.5
1.1
2.1
1.0
The devices can monitor
me.
0.9
1.8
0.5
0.1
2.1
0.6
1.2
1.9
0.5
0.6
2.2
1.1
The devices are too
expensive.
-0.8
1.8
0.5
-0.7
1.8
0.5
-1.5
1.9
0.5
-0.6
2.1
1.0
The devices are still not
fully developed.
0.2
1.9
0.5
0.0
1.7
0.4
0.7
2.1
0.6
0.5
2.0
1.0
I prefer classic input
devices.
0.6
2.2
0.6
-0.3
1.8
0.5
2.0
1.7
0.5
1.6
2.1
1.0
Table
Mean (M), standard deviation (SD) and confidence (C) for Reasons for VA non-use of
German users (n = 52) and Spanish users (n = 56) compared to German non-users (n = 49) and
Spanish non-users (n = 17).
RQ4: What VA improvements do the target groups propose?
We compare the mean (M), standard deviation (SD) and confidence (C) of the Likert scale results in
the numeric range between 3 (completely irrelevant) and +3 (highly relevant):
Users
Non-Users
Germany
Spain
Germany
Spain
M
SD
C
M
SD
C
M
SD
C
M
SD
C
Speech recognition in
general
1.6
1.4
0.4
1.4
1.6
0.4
1.8
1.6
0.5
0.9
1.8
0.8
Recognize fast speech
1.4
1.6
0.4
1.5
1.5
0.4
1.8
1.7
0.5
1.1
1.7
0.8
Recognize unclear speech
1.5
1.5
0.4
1.4
1.5
0.4
1.9
1.7
0.5
0.9
1.7
0.8
Ability to answer quicker
0.6
1.7
0.5
0.8
1.5
0.4
0.2
1.8
0.5
0.7
1.8
0.9
Sound more natural
0.2
2.0
0.5
0.4
1.9
0.5
0.4
2.2
0.6
0.1
2.2
1.0
Ability to distinguish
between users
1.5
1.8
0.5
1.1
1.6
0.4
1.3
1.9
0.5
0.6
2.0
1.0
Ability to recognize
feelings
- 0.7
1.9
0.5
0.6
1.8
0.5
- 0.7
2.2
0.6
- 0.4
2.1
1.0
Increase learning ability
1.7
1.7
0.5
1.8
1.4
0.4
0.9
2.2
0.6
1.1
1.6
0.8
Additional interaction (e.g.
GUI)
0.5
2.2
0.6
1.0
1.6
0.4
0.8
1.9
0.5
0.9
1.8
0.8
Better integration with
other devices
1.1
1.9
0.5
1.1
1.6
0.4
1.2
1.7
0.5
0.7
1.7
0.8
Better protection of privacy
2.0
1.8
0.5
1.8
1.8
0.5
2.6
0.8
0.2
1.9
1.4
0.7
Table
Mean (M), standard deviation (SD) and confidence (C) for VA improvement proposals of
German users (n = 52) and Spanish users (n = 56) compared to German non-users (n = 49) and
Spanish non-users (n = 17)
3.2. Free text entries
We present here all free text entries of the following questions:
Questions
3) Which voice assistants do you have? (Others, please name)
4) Which voice assistants do you use? (Others, please name)
5) Are there reasons why you have certain voice assistants, but do not use them?
6) How often do you use voice assistants in total? (It depends. Sometimes more, sometimes less, depending on)
7) Why do you use voice assistants? (Further uses)
8) In what environment do you use voice assistants? (Further uses)
9) In your opinion, what are the reasons for not using voice assistants? (Further uses)
10) What should be improved about voice assistants? (Further improvement suggestions)
11) General feelings (Further feelings):
Table
Free text questions 3 to 11
In the following tables 5 and 6, the color marked rows represent:
White: Users VA
Orange: Non-users VA
Dark orange: Non-user VA, no VA availability
3.2.1. German study
No
3) Which
voice
assistants
do you
have?
(Others,
please
name)
4) Which
voice
assistants
do you use?
(Others,
please
name)
5) Are there reasons why you have certain voice
assistants, but do not use them?
6) How often do
you use voice
assistants in
total? (It
depends.
Sometimes
more,
sometimes
less, depending
on)
7) Why do you
use voice
assistants?
(Further uses:)
8) In what
environme
nt do you
use voice
assistants?
(Further
uses)
9) In your
opinion, what
are the reasons
for not using
voice
assistants?
(Further uses)
10) What should be
improved about voice
assistants? (Further
improvement
suggestions)
11) General feelings
(Further feelings)
1
Weil sie im System integriert sind und ich keinen Bedarf an
Sprachassistenten habe und vieles falsch verstanden wird
vom Sprachassistent
2
Es ergibt sich nicht
3
Aufgrund der Abhörgerüchte
4
Sie sind als Standard dabei, ich jedoch komme ohne gut
klar. Ich will nicht, dass jemand anderes z.B. etwas bestellt
oder fernsteuert
5
Weil sie vorinstalliert sind
kein Nutzen
6
besitze ein Iphone, aber die benutzung ist
gewöhnungsbedürftg. Durch die Stadt laufen und ins Handy
reden. Die Benutzeroberfläche lässt eine schnellere
Bedienung zu.
wenn ich
morgens nach
dem Aufstehen
nach der Uhrzeit
frag. Manchmal
7
Sie funktionieren leider nur sehr beschränkt und nicht
zuverlässig.
8
wenig nützlich, schlechte Verständlichkeit
9
Habe es allgemein nie benutzt
10
11
12
13
14
Keinen Nutzen
15
Samsung
Sprachassiste
nt
Auf dem Smartphone an sich empfinde ich es eher als lästig
16
Kein Bedarf
Kein Bedarf /
Interesse
17
Cortana: am PC geht es meistens per Tastatur und Maus
schneller. Ich möchte die Mikrofon Aktivierung manuell
schalten können
Funktionsumfang;
Verstehen ohne
bestimmte Codewörter
18
Ich verwende meine Geräte am liebsten lautlos, ich komme
mir blöd vor mit Geräten zu sprechen, Tippen erfolgt meist
schneller als zu sprechen/ist weniger Fehleranfällig
Weil klassische
Eingabegeräte
effektiver sind
19
Bixbi
Anwendung an Computern meist umständlicher und dauert
länger als direkte Eingabe, schlechte Umsetzung (Bixbi)
20
Siri habe ich mal benutzt, da ich jetzt ein neues Handy habe
nutze ich das Iphone samt Siri nicht! Alle anderen
Sprachassistenten gefallen mir nicht so wirklich, Siri war am
einfachsten zu bedienen
21
Nicht von nöten, da zu wenig Routine in der Handhabung
22
Sie sind vorinstalliert, daher besitze ich sie; ich habe einfach
kein Verlangen mit Geräten zu reden
23
Bei Windows finde ich Cortana etwas zu umständlich und
suche lieber so auf dem Rechner
Musik,
Bundesliga
Ergebnisse
24
Tippe lieber
25
Cortana aktiviert sich oft unerwünscht und stellt dabei
andere Programme in den Hintergrund
26
Sie bringen mir keinen erkennbaren Vorteil
27
BMW
Navigationsas
sistent
BMW
Navigationsas
sistent
Ich möchte nicht mit Maschinen sprechen; hören ggf.
ständig mit
nur beim
Autofahren, um
nicht tippen zu
müssen
28
noch nicht ausprobiert
29
möchte nicht das alles von den Geräten aufgenommen wird
30
halte sie für unnötig
31
32
Die Sprachassistenten benötigen rechte bzw. müssen
eingerichtet werden, dafür bin ich zu faul / möchte meine
Daten nicht preis geben
33
34
35
Ford Sync
36
37
Google Assistent: unterwegs unpraktisch
38
Ich habe ein Androidsmartphone und einen Windows PC
das ist da halt standartmäßig drin aber ich sehe den
Mehrwert nicht
39
Ich werde nicht gerne abgehört; es geht auch ohne
40
Bsp.: Siri, standartgemäß auf jedem Apple Gerät installiert,
aber z.B. auf dem Iphone nicht nötig
41
wenig Sprache viel
ermöglichen
42
eigene
eigene
Cortana arbeitet nicht gut. Ein SA der sich selbst
programmieren lässt, eignet sich gut am Rechner
Automatisierung
Genauigkeit
43
Windows 10 hat standardmäßig Cortana, benötige ich aber
nicht
44
Zu teuer; keine Nutzen zu erkennen
45
Praktikabilität und mangelnder Datenschutz
keine
transparente
Lösung, die
quelloffene
Software benutzt
46
Cortana wird nicht verwendet, da ich alles was ich brauche
schneller und einfacher mit Maus und Tastatur erledige
47
Sprachmitschnitte => Datenschutz
48
Einer reicht
49
Von Werk aus mit Sprachassistent gekommen
50
51
Beim Smartphone mitgeliefert
52
Oftmals kein Bedürfnis, einen Sprachassistenten zu nutzen.
53
Bixby
Bixby
54
Cortana gehört zu Windows 10, möchte ich nicht nutzen
55
56
zu viele
57
58
59
60
Sind default am Betriebssystem
Ich komme mit den
bisherigen
Möglichkeiten gut
zurecht und hatte noch
keine Notwendigkeit,
mich mit der
Spracheingabe(z.B.
Google) zu
beschäftigen
61
zu umständlich
62
Timer +
Wecker
stellen
63
Cortana ist standardmäßig bei Windows 10 dabei, da ich
aber an meinem Computer nicht immer mit Headset oder
Mikrofon sitze, benutze ich es auch nicht
64
bequemlich und erfolgreich
65
Cortana: Komme nicht dazu, da es nicht besonders relevant
für meine Nutzungszwecke ist/scheint.(Gaming)
66
67
keine Lust
komplett abschaffen
68
Amazon Fire
TV Stick
69
Ich habe zwei funktionierende Daumen; Selbstgespräche
70
Möchte ich nicht nutzen, sind aber bei den Systemen
vorinstalliert
71
Eigenentwickl
ung
Eigenentwickl
ung
kommt vorinstalliert
72
Ich will sie einfach nicht verwenden. Die sind aber immer
Vorinstalliert.
73
74
Ich verwende Alexa selten, weil ich mein Android immer
dabei habe.
75
76
Schlechte Erkennung des Befehls; Reagiert auf Befehle, die
nicht vorhanden sind
77
Vorinstalliert bei Mac OS/ Windows /Android
78
Kein Mehrwert erkennbar
79
keine Notwendigkeit
80
81
Zu wenige nützliche Funktionen, um sich die Verwendng
umzugewöhnen
82
Meistens bei Geräten dabei
83
Keine Verwendung; Oft Fehlfunktionen bei der
Spracherkennung
84
Ich rede nicht mit Maschinen
85
XiaoAitongxu
e
keine speziellen Gründe
86
87
Google Assistent ist vorinstalliert gewesen; wird selten bis
garnicht genutzt.
88
Medien, Sprachassistenten auf dem Handy sind meines
erachtens weniger nützlich
89
90
91
92
Google Assistent ist nicht mit dem Smarthome gekoppelt,
daher kein nutzen
93
Handy hat Siri => Verwendung zu aufwändig
94
Ich benutze sie nicht, weil mir das oft zu umständlich ist.
95
Es werden so oder so schon genug Daten von mir erfasst
(digitaler Fußabdruck), da möchte ich keinen SA, der quasi
immer abhört, ob ich ihn aktiviere
Unbehagen =>
Datenschutz
96
schneller mit Hand; ungenau
97
unnötig
98
Systeme noch nicht ausgereift; umständlich
99
Dauert länger, als es direkt selbst zu machen.
100
brauch ich nicht
101
102
103
Sind auf den Geräten vorinstalliert und lassen sich nur über
Umwege entfernen
104
Cortana: Ich brauche am Computer keinen SA, da ich
schneller bin
Welche Funktionen hat
mein Assistent? =>
Aufzeigen
105
Zu geringer Funktionsumfang; Bessere alternativen
vorhaden
106
Kassettedeck
& Sekretärin
zu teuer
Privatsphäre; kein Bock
100% überwacht zu
werden
107
sind auf einigen Geräten bereits vorinstalliert
108
Die Eingabe per Hand geht meist schneller. In Bus / Bahn
störend.
109
110
Anrufe im Auto
111
In der Öffentlichkeit
nicht verwendbar
112
Ich will dem Leuten in meiner Umgebung nicht auf den Sack
gehen; Jedes maö "OK Google" sagen klinkt bescheuert
und ist sehr undynamisch; Wozu?! Wieso nicht alles mit
max. 4 Klicks erledigen?
113
114
115
vorinstalliert
Table
Free text entries question 3 to 11 of the German participants (n=115).
3.2.2. Spanish study
No
3)
4)
5) Are there reasons why you have certain voice assistants, but do not use
them?
6)
7) Why do you use voice
assistants? (Further
uses:)
8) In what
environment do
you use voice
assistants?
(Further uses)
9) In your opinion,
what are the
reasons for not
using voice
assistants?
(Further uses)
10) What should be
improved about
voice assistants?
(Further
improvement
suggestions)
11) General
feelings
(Further
feelings)
1
YES, THEY FRECUENTLY DO NOT UNDERSTAND MY SPANISH ACENT
(andalusian) at first time.
ANSWERS MAILS!!
2
Is more efficient use line commnand than Cortana e.g.
Domotic
Becuase is more slow
3
Because personal data will be stored and could be used.
4
I use a single voice assistant because it is tedious to use different technological
devices for each voice assistant
5
No, simplemente no me resultan necesario ning√∫n asistente para el uso que le
doy al móvil
6
I don't like making noise when doing my everyday matters
7
I do not use Cortana, which comes with the PC, because I do not really need to
use it for any specific reason
8
privacy
9
No
10
11
Encuentro poca utilidad en Cortana.
12
13
Because I prefer typping instead of talking to a voice assistant. It makes me feel
weird.
14
i dont trust the privacy laws about them
15
I only use VA in my mobile phone
16
17
Because they doesn't have useful features for me
18
Porque est°n en el ordenador por defecto
19
it's easier to use manually
20
Not so good.
21
I don't like using voice assistants on my laptop.
22
Because I don't need them
23
No tengo necesidad
24
I don't have any voice assistance.
25
no
26
no
27
No hay motivo para usar m°s
28
No
29
No
30
31
No, i use every one i have (in this case google assistant)
32
33
I only use Siri because I that's the voice assistant my phone has and it's what I
use the most, however I tend to use it very little since I'm used to just looking up
whatever I need myself.
34
no
35
no
36
37
Because it's the voice assistant i have.
38
I think it is slower than typing
39
Cortana lo tengo en windows, y no siempre dispongo de micrófono para usarlo
en el pc
40
I don't feel incentivized to use it
41
I do not particularly like the idea of using voice to control devices, maybe because
i am a quiet person.
42
43
For example, I can use Cortana in my pc but i decide not to use it because for me
is faster use the keyboard
44
No, there aren't
45
46
I actually don't need them.
47
I don't find them useful
48
I use all the voice assistants that I have.
Calls, music, timer...
49
No, I think I use all
50
Ninguna en particular, creo que es por falta de costumbre.
51
No consigo darle mucho partido
52
it's not useful for me
53
Because they arent useful for me
54
Yes. I only use Alexa because it's the only one that requires me to use voice
commands. The other ones are not very useful since I can do everything by
myself.
55
I think Google Assistant isn't as useful as I want, but it is auto installated
56
Not really, Cortana is included on Windows 10 by default but i dont make much
use of it.
57
There is no specific reason. I use Alexa in the TV. Since Cortana is in my
computer, I don't use it because I look what I need on the Internet
58
no reasons
on the bed: to know
what time is it
59
I just have one and i use it
60
They are by default in my movile/computer/OS... and disableing theme is tedious
and complex.
61
No, there aren't. I use it somtimes.
Some kind of searches are
easier to "write" them
speaking
62
Because we use one in specific.
63
No, I only have Google Assistant and I found it very useful
Change a song while i'm
having a shower
64
No, i would like to have alexa assistants, i have used this assitants and it very
useful
when i cant touch my phone
and i said, okey google, go
to other video
65
No
66
No
Music
67
I just feel that they are a bit useless. The media told us that this kind of tech will
be the future, however, I can do everything these voice assistants are suposed to
do for improving my life with just a few taps on the screen.
68
Not familiar with them
69
sloth
70
I don't want them listening to me so I disable them as much as I can.
71
i have them because they alredy come with my pc and phone
72
They come with the OS but I prefer to look stuff up manually
73
Being Cortana in a computer, it is not as useful as Siri in iPhone
74
No, I only have/use 1 voice assistant
75
Son √∫tiles en ciertas circunstancias.
76
I'm not used to using voice assistants and I prefer using the keyboard on my
smartphone or my laptop computer. It's more comfortable for me.
77
Because there are useless and have few functions like Cortana
78
I mainly use them when driving, phone calls and google maps
none
none
none
user privacy
none
79
differents devices have all their own voice assistants
80
because they come preinstalled in the device
81
Cortana because I don't like it
82
no
Table
Free text entries question 3 to 11 of the Spanish participants (n=82).
4. Summary
This research protocol gives more details about the questionnaires, and data results and would be
published alongside the article.
Bibliography
[1] Andreas M. Klein, Maria Rauschenberger, Jörg Thomaschewski, and Maria José Escalona.
Comparing Voice Assistant Risks and Potential with Technology-Based Users: A Study from
Germany and Spain. Journal of Web Engineering (JWE). To be published.
[2] BVDW e.V., “Digital Trends Survey on Digital Voice Assistants,” 2017. [Online]. Available:
https://www.bvdw.org/fileadmin/user_upload/BVDW_Digital_Trends_Sprachassistenten.pdf.
Appendix – Questionnaires
A 1. German questionnaire
The following pages show the used paper-pencil questionnaires in German.
Fragebogen zum Thema „Nutzung von Sprachassistenten und Geräten mit
Sprachsteuerung“
Dem Einsatz von Sprachassistenten und Geräten mit Sprachsteuerung wird laut Medien,
wissenschaftlicher Studien und Geräteherstellern eine große Zukunft prognostiziert.
Demgegenüber stehen die tatsächliche Nutzung und die häufig medial thematisierte Skepsis
der Nutzer bei der Verwendung solcher Systeme.
Der Fragebogen wird im Rahmen eines wissenschaftlichen Projektes durchgeführt und soll
den Umfang der aktuellen Nutzung zeigen, die Vor- und Nachteile sowie
Verbesserungsvorschläge liefern.
Die Umfrage findet anonym statt und die Bearbeitungszeit beträgt ca. 5-10 Min.
Vielen Dank für Ihre Bereitschaft zur Teilnahme
Andreas Klein
Fragebogen zu Sprachassistenten
1) Wie alt sind Sie? _________
2) Geschlecht: ¡ männlich ¡ weiblich ¡ keine Angabe
3) Welche Sprachassistenten haben Sie? (Mehrfachnennung möglich)
o Siri
o Alexa
o Cortana
o Google Assistent
o Sonstige und zwar: ___________________________
o Keine
4) Welche Sprachassistenten nutzen Sie? (Mehrfachnennung möglich)
o Siri
o Alexa
o Cortana
o Google Assistent
o Sonstige und zwar: ___________________________
o Keine
5) Gibt es Gründe, warum Sie bestimmte Sprachassistenten besitzen, aber nicht
verwenden?
_______________________________________________________________
_______________________________________________________________
_______________________________________________________________
_______________________________________________________________
6) Wie oft nutzen Sie Sprachassistenten insgesamt?
¡ mehrmals täglich
¡ ungefähr täglich
¡ mehrmals wöchentlich
¡ ungefähr wöchentlich
¡ mehrmals monatlich
¡ ungefähr monatlich oder seltener
¡ nie (weiter mit Frage 9)
¡ kommt ganz darauf an. Mal mehr, mal weniger, je nach ______________________
___________________________________________________________________
7) Warum nutzen Sie Sprachassistenten?
1 (trifft zu)
2
3
4
5
6
7 (trifft
nicht zu)
Keine
Aussage
möglich
Für mehr Zeitersparnis im Alltag
O
O
O
O
O
O
O
O
Für mehr Bequemlichkeit im Alltag
O
O
O
O
O
O
O
O
Für mehr Sicherheit im Alltag (Beispiel im Auto)
O
O
O
O
O
O
O
O
Für mehr Spaß im Alltag
O
O
O
O
O
O
O
O
Weil ich meine Smart-Geräte steuern möchte
O
O
O
O
O
O
O
O
Weil ich mehrere Dinge gleichzeitig tun möchte
O
O
O
O
O
O
O
O
Weil ich gerne neue Techniken ausprobiere
O
O
O
O
O
O
O
O
Weil ich mit „jemandem“ reden möchte
O
O
O
O
O
O
O
O
Weitere Nutzungen:________________________________________________________
8) In welchem Umfeld nutzen Sie Sprachassistenten?
1 (oft)
2
3
4
5
6
7 (nie)
Keine
Aussage
möglich
Zu Hause
zur Haussteuerung (Licht-, Heizungssteuerung, Smart Home etc.)
O
O
O
O
O
O
O
O
Zu Hause
zur Auswahl von Medien (Musik abspielen, TV etc.)
O
O
O
O
O
O
O
O
Zu Hause
zur Kommunikation (Anrufe tätigen etc.)
O
O
O
O
O
O
O
O
Zu Hause
zur Suche von Unterlagen, Materialien oder im Web
O
O
O
O
O
O
O
O
Unterwegs
zur Haussteuerung (Licht-, Heizungssteuerung, Smart Home etc.)
O
O
O
O
O
O
O
O
Unterwegs
zur Auswahl von Medien (Musik abspielen, TV etc.)
O
O
O
O
O
O
O
O
Unterwegs
zur Kommunikation (Anrufe tätigen etc.)
O
O
O
O
O
O
O
O
Unterwegs
zur Suche von Unterlagen, Materialien oder im Web
O
O
O
O
O
O
O
O
Nutzen Sie Diktierfunktionen (z.B. für Texte, E-Mails oder
Textnachrichten)?
O
O
O
O
O
O
O
O
Nutzen Sie Sprachübermittlung (z.B. via WhatsApp?)
O
O
O
O
O
O
O
O
Weitere Nutzungen: _______________________________________________________
9) Welche Gründe gibt es Ihrer Meinung nach, keine Sprachassistenten zu nutzen?
1 (trifft zu)
2
3
4
5
6
7 (trifft
nicht zu)
Keine
Aussage
möglich
Weil der Assistent mich nicht versteht
O
O
O
O
O
O
O
O
Weil der Assistent anders als erwartet reagiert
O
O
O
O
O
O
O
O
Weil das Reden mit dem Assistenten ungewohnt ist
O
O
O
O
O
O
O
O
Weil meine Daten missbraucht werden könnten
O
O
O
O
O
O
O
O
Weil die Geräte mich überwachen können
O
O
O
O
O
O
O
O
Weil die Geräte zu teuer sind
O
O
O
O
O
O
O
O
Weil die Geräte noch nicht ausgereift sind
O
O
O
O
O
O
O
O
Weil ich klassische Eingabegeräte bevorzuge
O
O
O
O
O
O
O
O
Weitere Gründe: _________________________________________________________
10) Was sollte an Sprachassistenten verbessert werden?
1 (trifft zu)
2
3
4
5
6
7 (trifft
nicht zu)
Keine
Aussage
möglich
Das Erkennen von Sprache im allgemeinen
O
O
O
O
O
O
O
O
Das Erkennen von schnellem Sprechen
O
O
O
O
O
O
O
O
Das Erkennen von undeutlichem Sprechen
O
O
O
O
O
O
O
O
Der Assistent sollte schneller antworten
O
O
O
O
O
O
O
O
Der Assistent sollte natürlicher klingen
O
O
O
O
O
O
O
O
Der Assistent sollte Nutzer unterscheiden können
O
O
O
O
O
O
O
O
Der Assistent sollte Stimmungen und Gefühle erkennen und
darauf reagieren können
O
O
O
O
O
O
O
O
Die Lernfähigkeit sollte verbessert werden
O
O
O
O
O
O
O
O
Der Assistent sollte sich besser bedienen lassen
(Beispiel: Touchscreen als Korrekturhilfe)
O
O
O
O
O
O
O
O
Der Assistent sollte sich mit Geräten, die Sprach-steuerung
unterstützen, besser verbinden lassen
O
O
O
O
O
O
O
O
Die Privatsphäre sollte besser geschützt werden
O
O
O
O
O
O
O
O
Weitere Verbesserungsvorschläge: ___________________________________________
11) Generelle Empfindungen
1 (trifft zu)
2
3
4
5
6
7 (trifft
nicht zu)
Keine
Aussage
möglich
Es ist irgendwie unnatürlich mit Maschinen zu reden
O
O
O
O
O
O
O
O
Ich empfinde Unbehagen, wenn Maschinen „menschlich“ reden
O
O
O
O
O
O
O
O
Ich empfinde Unbehagen, wenn Maschinen „künstlich“ reden
O
O
O
O
O
O
O
O
Weitere Empfindungen: ____________________________________________________
A 2. English Questionnaire
The following pages show the used paper-pencil questionnaires in English.
Questionnaire on the topic "The Use of Voice Assistants and Devices with Voice
Control."
According to the media, to scientific studies and to device manufacturers, the use of digital
voice assistants (VAs) and devices with voice control has been predicted to have a great
future. In contrast to these predictions stands the actual use of these systems and the
skepticism of users – a topic often addressed in the media.
This questionnaire is being carried out as part of a research project and is intended to
demonstrate the extent of current use, the advantages and disadvantages of the systems
and to make suggestions for improvement.
This survey is anonymous and the time to take it is only 5-10 minutes.
Thank you very much for your willingness to participate!
Andreas Klein
Questionnaire for voice assistants
1) How old are you? _________
2) Gender: ¡ male ¡ female ¡ No information
3) Which voice assistants do you have? (multiple answers possible)
o Siri
o Alexa
o Cortana
o Google Assistant
o Others (please name): ___________________________
o None
4) Which voice assistants do you use? (multiple answers possible)
o Siri
o Alexa
o Cortana
o Google Assistant
o Others (please name): ___________________________
o None
5) Are there reasons why you have certain voice assistants, but do not use them?
_______________________________________________________________
_______________________________________________________________
_______________________________________________________________
_______________________________________________________________
6) How often do you use voice assistants in total?
¡ several times a day
¡ approximately once a day
¡ several times a week
¡ approximately once a week
¡ several times a month
¡ approximately once a month or less
¡ never (continue with question 9)
¡ It depends. Sometimes more, sometimes less, depending on ________________
___________________________________________________________________
7) Why do you use voice assistants?
1 (highly
relevant)
2
3
4
5
6
7 (completely
irrelevant)
No statement
possible
To save time in everyday life
O
O
O
O
O
O
O
O
For more convenience in everyday life
O
O
O
O
O
O
O
O
For more security in everyday life (e.g., in a car)
O
O
O
O
O
O
O
O
For more fun in everyday life
O
O
O
O
O
O
O
O
Because I want to control my smart devices
O
O
O
O
O
O
O
O
Because I want to do several things at once
O
O
O
O
O
O
O
O
Because I like trying out new technologies
O
O
O
O
O
O
O
O
Because I want to talk to ‘someone’
O
O
O
O
O
O
O
O
Further uses: ________________________________________________________________
8) In what environment do you use voice assistants?
1 (often)
2
3
4
5
6
7 (never)
No statement
possible
At home
Smart home
O
O
O
O
O
O
O
O
At home
Selection of media (music, TV etc.)
O
O
O
O
O
O
O
O
At home
Communication (make phone calls)
O
O
O
O
O
O
O
O
At home
Search for files, materials or web searches
O
O
O
O
O
O
O
O
On the road
Smart home
O
O
O
O
O
O
O
O
On the road
Selection of media (music, TV etc.)
O
O
O
O
O
O
O
O
On the road
Communication (make phone calls)
O
O
O
O
O
O
O
O
On the road
Search for files, materials or web searches
O
O
O
O
O
O
O
O
Do you use dictation functions? (e.g., for emails)
O
O
O
O
O
O
O
O
Do you use voice transmission? (e.g., WhatsApp)
O
O
O
O
O
O
O
O
Further uses: ________________________________________________________________
9) In your opinion, what are the reasons for not using VAs?
1 (highly
relevant)
2
3
4
5
6
7 (completely
irrelevant)
No statement
possible
Because the assistant does not understand me
O
O
O
O
O
O
O
O
Because the assistant reacts differently than expected
O
O
O
O
O
O
O
O
Because talking to the assistant is unfamiliar
O
O
O
O
O
O
O
O
Because my data could be used improperly
O
O
O
O
O
O
O
O
Because the devices can monitor me
O
O
O
O
O
O
O
O
Because the devices are too expensive
O
O
O
O
O
O
O
O
Because the devices are still not fully developed
O
O
O
O
O
O
O
O
Because I prefer classic input devices
O
O
O
O
O
O
O
O
Further uses: ________________________________________________________________
10) What should be improved about voice assistants?
1 (highly
relevant)
2
3
4
5
6
7 (completely
irrelevant)
No statement
possible
Speech recognition in general
O
O
O
O
O
O
O
O
Recognize fast speech
O
O
O
O
O
O
O
O
Recognize unclear speech
O
O
O
O
O
O
O
O
Ability to answer quicker
O
O
O
O
O
O
O
O
Sound more natural
O
O
O
O
O
O
O
O
Ability to distinguish between users
O
O
O
O
O
O
O
O
Ability to recognise feelings and take them into account
O
O
O
O
O
O
O
O
Increase learning ability
O
O
O
O
O
O
O
O
Additional interaction (e.g., touchscreen for corrections)
O
O
O
O
O
O
O
O
Better integration with other speech-controlled devices
O
O
O
O
O
O
O
O
Better protection of privacy
O
O
O
O
O
O
O
O
Further improvement suggestions: _______________________________________________
11) General feelings
1 (highly
relevant)
2
3
4
5
6
7 (completely
irrelevant)
No statement
possible
It is somehow unnatural to talk to machines.
O
O
O
O
O
O
O
O
I feel uneasy when machines speak like humans.
O
O
O
O
O
O
O
O
I feel uneasy when machines speak ‘artificially’.
O
O
O
O
O
O
O
O
Further feelings: ______________________________________________________________
A 3. Online questionnaire in English
The following pages show the used online questionnaire in the English language for the data
collection. Screenshots of pages 1 to 12 of the online questionnaire for VAs:
... Adaptations such as new VUI parameters being turned into, e.g., the UEQ or UEQ+, are costly in terms of time and personnel. Hence, we designed a questionnaire [15,18] for our research questions, which contains both qualitative and quantitative elements to explore VUIs and their parameters as well as usability and UX. Its essential aspects are questions about availability and usage, frequency of use, context of use, and potential for improvement. ...
... The questionnaire starts on the first side with an introduction to the topic and purpose, followed by information about the approximate time required (about 5-10 minutes), and concludes with a note that participation is anonymous and voluntary. The paper-pencil questionnaire is available in German and English [18]. ...
... The questionnaire starts on the first side with an introduction to the topic and purpose, followed by information about the approximate time required (about 5-10 minutes), continues with a note that participation is anonymous and voluntary, and concludes by stating that data storage and processing will be confidential. The online questionnaire is available in English [18]. ...
Article
Currently, voice assistants (VAs) are trendy and highly available. The VA adoption rate of internet users differs among European countries and also in the global view. Due to speech intelligibility and privacy concerns, using VAs is challenging. Additionally, user experience (UX) assessment methods and VA improvement possibilities are still missing, but are urgently needed to overcome users’ concerns and increase the adoption rate. Therefore, we conducted an intercultural study of technology-based users from Germany and Spain, expecting that higher improvement potential would outweigh concerns about VAs. We investigated VA use in terms of availability versus actual use, usage patterns, concerns, and improvement proposals. Comparing Germany and Spain, our findings show that nearly the same amount of intensive VA use is found in both technology-based user groups. Despite cultural differences, further results show very similar tendencies, e.g., frequency of use, privacy concerns, and demand for VA improvements.
ResearchGate has not been able to resolve any references for this publication.