Content uploaded by Dagmar Monett
Author content
All content in this area was uploaded by Dagmar Monett on Mar 03, 2023
Content may be subject to copyright.
319
© Der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE, ein Teil von
Springer Nature 2022
M. Landes et al. (Hrsg.), Kreativität und Innovation in Organisationen,
https://doi.org/10.1007/978-3-662-63117-1_16
Vertrauen Sie KI? Einblicke in das
Thema Künstliche Intelligenz und
warum Vertrauen eine Schlüsselrolle im
Umgang mit neuen Technologien spielt
Marisa Tschopp, Marc Ruef und Dagmar Monett
M. Tschopp (*) · M. Ruef
scip AG, Zürich, Schweiz
E-Mail: mats@scip.ch
M. Ruef
E-Mail: maru@scip.ch
D. Monett
Fachrichtung Informatik, Fachbereich Duales Studium Wirtschaft – Technik,
Hochschule für Wirtschaft und Recht Berlin (HWR Berlin), Berlin, Deutschland
E-Mail: dagmar.monett-diaz@hwr-berlin.de
Inhaltsverzeichnis
1 Einführung in die kuriose Welt der Künstlichen Intelligenz ......................... 321
2 Künstliche Intelligenz – zwischen Hype, Hoffnung und Hirngespinst ................. 323
2.1 Was ist eigentlich KI? ................................................. 323
2.2 Anwendungsbeispiel von Künstlicher Intelligenz: Deepfakes .................. 325
2.3 Marktanalyse: Wie sieht der globale und europäische Markt aus? ............... 328
2.4 Der Markt ist da, doch technische und ethische Hürden sind hoch ............... 330
3 Vertrauen und gesunde Skepsis gegenüber KI als Schlüssel zum Erfolg ............... 331
3.1 Was ist interpersonales Vertrauen? ........................................ 331
3.2 Was ist Mensch-Maschine-Vertrauen? ..................................... 332
3.3 Einblick in die Studien zur Leistungsmessung und Vertrauen in KI .............. 335
3.4 Einblick ins A-IQ-Projekt: Der künstliche Intelligenzquotient als Vertrauens-
merkmal ............................................................ 336
320 M. Tschopp et al.
Zusammenfassung
No trust, no use? Oft wird Vertrauen als kritischer Erfolgsfaktor propagiert, wenn
es um die Nutzung von neuen Technologien geht, vor allem wenn es sich um
intelligente Systeme, sogenannte KI (Künstliche Intelligenz) handelt. Diese finden
nämlich immer mehr Eingang in die heutige Gesellschaft, sowohl im privaten (z. B.
Einkaufen mit Amazons KI-basiertem Smart Speaker Alexa) als auch im beruf-
lichen oder schulischen Umfeld (z. B. intelligente Systeme, die die Personalaus-
wahl oder Lernprozesse unterstützen sollen). Der Einsatz von smarten, ubiquitären
Technologien erhöht die Unsicherheit und Skepsis, gerade bei EndanwenderInnen
ohne technisches Verständnis, und verschärft das Spannungsfeld zwischen Mensch,
Maschine und Gesellschaft. Die Vertrauensfrage wird ins Rampenlicht gerückt. Ist
Vertrauen der KonsumentInnen die Lösung, um das hochgelobte Potenzial der künst-
lichen Intelligenz voll auszunutzen? Ganz so einfach ist es nicht. Unklarheiten in
Definitionen, Sprachgebrauch und Messmethoden verwässern das Verständnis um
die Zusammenhänge von Vertrauen und Nutzen. Es ist über die unterschiedlichen
Disziplinen hinweg nicht eindeutig geklärt, ob die Nutzung von neuen Technologien,
insbesondere KI, tatsächlich mit Vertrauen einhergeht, für welchen Zweck und Ver-
trauen in wen: Die HerstellerInnen? Die DesignerInnen? Wie kann Vertrauen und
Nutzung abgegrenzt werden? Dieser Beitrag hat zum Ziel, kuriose Geschichten und
Behauptungen rund um KI und Vertrauen zu entmystifizieren, um letztlich Künst-
liche Intelligenz besser in die Praxis zu bringen. Dazu braucht es einen trans-
disziplinären und vor allem adressatengerechten Diskurs darüber, was intelligente
Systeme sind, und eine differenzierte Auseinandersetzung damit, welche Rolle Ver-
trauen dabei spielen könnte. Es gibt nämlich auch die Vertrauens-SkeptikerInnen,
die vehement die Meinung vertreten, dass Vertrauen im Kontext KI überhaupt keine
Rolle spielt. Wir argumentieren, dass Vertrauen – vor allem im Endanwenderkontext
– eine wichtige Variable ist, welche nicht nur die Adoption, sondern auch die Art und
Weise, wie KI-basierte Systeme genutzt werden, maßgeblich beeinflusst. Anhand
von praktischen Beispielen wollen wir aufzeigen, dass ein angemessen kalibriertes
Vertrauensniveau nicht nur zu einem effizienteren, sicheren und synergetischen
Umgang mit KI-basierten oder automatisierten Systemen führt, sondern sogar Leben
retten kann.
3.5 Dürfen wir KI vertrauen? Ist es das Risiko wert? ............................ 337
4 Abschließende Gedanken für die Praxis ........................................ 340
4.1 Ideen für die Praxis: Research from Within ................................. 341
4.2 Wichtig für die Praxis: Auch KI kann gehackt werden ........................ 341
5 Quo Vadis KI? ............................................................ 342
Literatur .................................................................... 343
321Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
1 Einführung in die kuriose Welt der Künstlichen Intelligenz
Die Arbeitswelt des 21. Jahrhunderts wird fast täglich mit Innovationen digitaler
Natur konfrontiert: von unabhängigen Cloudtechnologien bis zu sich selbst weiter-
entwickelnden Algorithmen werden Neuerungen geboten, die das Leben und Ver-
halten der Menschen in Organisationen nachhaltig beeinflussen; insbesondere die Art
und Weise, wie Organisationen Arbeit und Geschäftsmodelle strukturieren (Cascio
& Montealagre, 2016). Der Einfluss „smarter“ Technologien ist kaum von der Hand
zu weisen, doch steckt die Forschung zu Fragen der sinnvollen Integration gewisser
Technologien am Arbeitsplatz noch in den Kinderschuhen. Es besteht eine Vielzahl an
drängenden Fragen, die es mit kreativen Ansätzen im Hier und Jetzt in einem perspektiv-
reichen, nuancierten Dialog zu beantworten gilt. Da es nicht „den einen“ Königs-
weg gibt, müssen Organisationen anfangen, selbst die Weichen für eine erfolgreiche
Integration digitaler Innovationen zu stellen.
Viele kuriose Geschichten prägen das Bild von künstlicher Intelligenz (KI).
Computersysteme, die fähig sind Dinge zu tun, für die es normalerweise menschliche
Intelligenz braucht, wie z. B. mit Sprache kommunizieren (Russel & Norvig, 2012).
Für Menschen mit wenig Verständnis von Computersystemen ist es sehr schwierig zu
verstehen, was ein „intelligentes System“ von einem „dummen“ System unterscheidet.
Doch selbst die Fachwelt ist sich noch nicht einig, wie KI definiert wird (Monett et al.,
2020; Wang, 2019).
Diese Unklarheiten und den unter anderem dadurch generierten Hype machen
sich einige sogenannte AI-Start-ups zunutze (aber auch die großen Tech-Giganten)
und betiteln etwas mit KI, was unter Umständen gar nichts mit KI zu tun hat, um ihre
Chancen auf Investments zu erhöhen (Vincent, 2019). Ist KI nur ein gehypter Begriff
oder alter Wein in neuen Schläuchen? Erleben wir gerade den „Schachtürken“ des 21.
Jahrhunderts? Der Schachtürke war ein Automat aus dem 18. Jahrhundert. Ein Schach-
spiel, dessen künstlicher Spieler, eine orientalische Holzfigur, gegen andere Menschen
im Schach antrat. Der Automat erfuhr große Bewunderung, und viele sahen diesen Auto-
maten als einen technologischen Durchbruch: Die erste künstliche Intelligenz. Jahre
später stellte sich heraus, dass sich in der Kiste unter der Figur ein Mensch versteckt
hielt, der die Fäden zog. Auch wenn das kaum als KI durchgeht, ist es keineswegs nur
heiße Luft. Ein äußerst ausgeklügeltes, mechanisches System war für dieses Schauspiel
erforderlich. Damit war es am Ende doch ein Meisterwerk, einfach ohne Künstliche
Intelligenz (GEO, o. J.).
Im Jahr 1997, einige hundert Jahre später, gab es eine Neuaufführung des Schach-
spektakels. Der Schachweltmeister Garry Kasparov wurde von einem Computer im
Schach geschlagen. Diesmal mit weniger versteckten Menschen und dafür mit etwas mehr
KI. Es waren zwar keine Menschen in Maschinen versteckt, aber sehr viele Menschen
322 M. Tschopp et al.
beteiligt, die anscheinend noch während des Schachspiels gegen Kasparov am Code
getüftelt haben (Greenemeier, 2017). Die Fairness wurde infrage gestellt, und es herrschte
Unklarheit darüber, ob die Methode des Schachcomputers Deep Blue von IBM als KI gilt
oder nicht.
20 Jahre später gibt es immer noch keine allgemein anerkannte Definition, was KI
genau ist. Doch die Geschichte lehrt uns vor allem eines: Menschen wollen Maschinen
bauen, die fähig sind, Aufgaben zu lösen, die vorher dem Menschen überlassen waren.
So wird zwar immer noch heiß diskutiert, doch es scheint sich so langsam ein Konsens
zu entwickeln.
Diese Beschreibungen haben das Feld der KI geprägt und stellen den Rahmen dar,
wie die AutorInnen KI den LeserInnen näher bringen sollen. Zu den bedeutendsten
Definitionen, die die Entwicklung des KI-Gebietes geprägt haben, zählen:
• „Die Forschung in der modernen Wissenschaft der künstlichen Intelligenz begann erst
in den 1950er Jahren, angeregt durch die Erfindung moderner Computer. Dies löste
eine Flut neuer Ideen aus, wie Maschinen das tun könnten, was zuvor nur der Ver-
stand getan hatte“ (Minsky, 1985).
• „Künstliche Intelligenz ist […] die Untersuchung der Computerberechnungen, die es
ermöglichen, wahrzunehmen, zu denken und zu handeln“ (Winston, 1992).
• „[Intelligenz ist die Fähigkeit eines Informationsverarbeitungssystems, sich an seine
Umgebung] anzupassen, während es mit unzureichendem Wissen und unzureichenden
Ressourcen arbeitet“ (Wang, 1995, S. 147).
• „[Künstliche Intelligenz] ist die Wissenschaft und Technik der Herstellung intelligenter
Maschinen. […] Sie steht im Zusammenhang mit der ähnlichen Aufgabe, Computer zu
benutzen, um die menschliche Intelligenz zu verstehen“ (McCarthy, 2007).
KI als Wissenschaft oder als Fähigkeiten eines Computers haben das Verständ-
nis geprägt. Doch Unklarheit, vor allem in der breiten Bevölkerung, bleibt hart-
näckig bestehen. Das fehlende Verständnis von KI, inklusive der Unklarheit darüber,
welchem Zweck die Methoden der KI dienen (z. B. Maschinelles Lernen) hat sowohl
positive als auch negative Auswirkungen auf das Leben und Verhalten von Menschen
in Organisationen und das der KonsumentInnen. Aus organisationspsychologischer
Sicht stellt sich die Frage, wie Organisationsstrukturen, Arbeitsprozesse, sowie soziale
Prozesse auf Gruppen- und Individualebene von der Entwicklung der „smarten“ Techno-
logien beeinflusst werden (siehe Cascio & Montealegre, 2016). Aus markt- und werbe-
psychologischer Sicht ist unklar, wie sich diese Technologien auf das Image eines
Unternehmens auswirken, wie die Algorithmen den Kauf eines Produktes beeinflussen,
oder ob sich jemand eine KI, z. B. in Form eines Smart Speaker wie Amazons Alexa, die
einfache Aufgaben erledigen kann, ins Haus holt.
Die Forschungsabteilung der scip AG hat sich darauf spezialisiert, die Rolle des
menschlichen Vertrauens in die Technologie aus Endnutzerperspektive zu verstehen. Das
Konzept des Vertrauens spielt eine kritische Rolle im Nutzer- und Adoptionsverhalten, da
323Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
Vertrauen die Art und Weise beeinflusst, wie Menschen sich auf Technologien verlassen
(Glikson & Woolley, 2020; Hengstler et al., 2016; Hoff & Bashir, 2015; Schafheitle
et al., 2020). Ziel des vorliegenden Buchkapitels ist es, einen Einstieg in das Thema
KI zu liefern und KI-interessierte NovizInnen für einige Problematiken, die mit dieser
Innovation einhergehen, zu sensibilisieren. Anhand eigener Studien und Projekte soll die
Rolle des Vertrauens genauer beleuchtet werden.
2 Künstliche Intelligenz – zwischen Hype, Hoffnung und
Hirngespinst
Die folgenden Abschnitte geben einen groben Überblick über KI, wobei eine
Anwendungsform anhand eines Beispiels aus eigener Forschung an „Deepfakes“
illustriert wird. Anschließend sollen durch eine kurze Marktanalyse das Potenzial von KI
aufgezeigt sowie ethische Hürden dargestellt werden.
2.1 Was ist eigentlich KI?
Wer eine klare Definition auf diese Frage hört, der sollte skeptisch werden, denn bis
dato gibt es keine allgemeingültige Definition, was KI eigentlich ist. Ebenso wenig ist
im Übrigen klar, was eigentlich menschliche Intelligenz ist und wie das Gehirn genau
funktioniert (Sternberg, 2013). Es gibt sogar Abhandlungen über die Definitions-
problematik selbst (z. B. Wang, 2019). Die Abgrenzungskriterien werden in Forschung
und Praxis noch immer heiß debattiert, während in den Medien diese Diskussion eher
zu kurz kommt und einfach jede Software oder auch jeder Roboter eine KI ist, wenn sie
sehr komplex, fast schon magisch oder humanoid wirkt.
KI ist eine Art Megathema, das mehr und mehr die heutige Gesellschaft durchdringt,
teils eher physisch sichtbar wie bei Smart Speakers oder Robotern mit integrierter KI,
teils weniger körperlich wie bei Algorithmen, die als Entscheidungshilfen fungieren:
so z. B. in vielen maschinellen Übersetzungsprogrammen, Software, die in der Justiz
angewendet wird, oder in der Unterhaltungsindustrie, wenn es darum geht, welcher
Film empfohlen wird (Glikson & Woolley, 2020). Wer KI verstehen möchte, für den
lohnt es, sich den geschichtlichen Hintergrund zu Gemüte zu führen. Ein guter Über-
blick findet sich in der AI100-Studie der Stanford Universität, welcher die wichtigsten
Stationen seit den 1950ern erklärt, das Jahrzehnt, in dem Alan Turing die Frage stellte,
ob Maschinen denken können, und der Begriff künstliche Intelligenz von John McCarthy
geprägt wurde (McCarthy et al., 1955). In den Studien der Stanford University werden
Funktionen und Einsatzmöglichkeiten sowie die Konsequenzen, welche Mensch und
Gesellschaft tragen müssen, übersichtlich dargestellt (Stone et al., 2016).
Die Stanford University erklärt die folgenden technologischen Eckpfeiler als Fokus
der KI, verstanden als ein Forschungsgebiet: Maschinelles Lernen, Deep Learning, ver-
324 M. Tschopp et al.
stärkendes Lernen, Robotik, Computer Vision, natürliche Sprachverarbeitung, kollaborative
Systeme, Crowdsourcing und Human Computation, algorithmische Spieltheorie,
Computational Social Choice, Internet der Dinge, und Neuromorphic Computing. Sie
identifiziert dabei acht unterschiedliche Wirkungsstätten, auf die die KI mittels der oben
genannten Kernbereiche maßgeblich Einfluss hat. Diese sind: Transportwesen, Heim-
Service/Robotik, Gesundheitswesen, Bildung, wirtschaftsschwache Gemeinden, öffentliche
Sicherheit und Schutz, Beschäftigung und Arbeitsplatz sowie die Unterhaltungsbranche.
Eine geläufige Einordnung von KI findet sich mittels der Kategorien entlang eines
Kontinuums von schwacher zu starker KI. Schwache KI beschreibt den Status quo, wie
z. B. der Sprachassistent Siri, der sich auf die Lösung eines konkreten Anwendungs-
problems fokussiert. Eine starke KI wäre dann erreicht, wenn sie der menschlichen
Intelligenz gleichkommt oder diese übersteigt (sogenannte Superintelligenz der
Maschinen), d. h. sie kann mehrere Probleme aus verschiedenen Anwendungsgebieten
lösen, wie Menschen es tun, oder sogar besser, effizienter, schneller. Es wurde oft
gemutmaßt, wann eine Maschine starke oder sogar Superintelligenz erreicht (Bostrom,
2014; Haenlein & Kaplan, 2019; Müller & Bostrom, 2016). Diese Diskussion hat zwar
durchaus ihren Reiz, ist aber aus unserer Sicht wenig fruchtbar, da diese unangebrachte,
übertriebene Ängste (die Robo-apokalypse) schürt und viel zu hohe Erwartungen
generiert sowie zuletzt keinen nüchternen Fokus darauf erlaubt, wie Maschinen und
Algorithmen bestimmte Probleme lösen sollen (Wooldridge, 2020).
Es wird deutlich, dass KI oft eine gewisse „Momentaufnahme“ ist, denn die techno-
logische Entwicklung geht mit einer großen Geschwindigkeit und zudem begleitet von
einer gewissen Emotionalität vonstatten, die es in einigen Fällen erst einmal zu entmysti-
fizieren gilt (Haenlein & Kaplan, 2019; Kurenkov, 2019). Was heute ein Durchbruch ist,
ist morgen schon nichts Besonderes mehr. Was vor drei Jahren als KI bezeichnet wurde,
wird heute belächelt: „Das ist doch keine echte KI“. Dies wird auch der KI-Effekt
genannt (McCorduck, 2004): Wenn eine KI eine gewisse Massentauglichkeit erlangt hat,
wird sie nicht mehr als solche empfunden.
Eine etwas andere Einordnung und ein Überblick können bei Russell und Norvig
(2012) gefunden werden. Vier Perspektiven sind über die Jahre entstanden:
1. menschliches Denken,
2. menschliches Handeln,
3. rationales Denken,
4. rationales Verhalten.
1) versucht menschliche Gedankenprozesse zu modellieren, was mit Kognitionswissen-
schaften und der Erforschung der inneren Prozesse, oft Blackbox genannt, assoziiert ist.
2) bezieht sich auf die sogenannte Turing-Methode, eine behavioristische Perspektive,
die menschliches Verhalten simulieren soll. Es fokussiert sich auf die sichtbaren,
beobachtbaren Prozesse, wobei es eher irrelevant ist, wie das Innere genau vonstatten
geht. Der Turing-Test ist ein Test, welchem sich z. B. Chatbotentwickler stellen können,
um zu zeigen, wie „intelligent“ ihr Programm ist (siehe auch den sogenannten Loebner
325Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
Prize: Russell & Norvig, 2012; Turing, 1950). Kurz gesagt kann ein Computer den
Turing-Test gewinnen, wenn ein Benutzer nicht unterscheiden kann, ob sein Gegenüber
ein Mensch oder eine Maschine ist. Die rationalen Perspektiven 3) und 4) verwenden
eine Kombination aus Mathematik und Ingenieurswissenschaften. 3) legt den Fokus
auf rationales Denken, wie zum Beispiel logische Wenn-dann-Verknüpfungen, und
formuliert Regeln, wie die richtige Lösung gefunden werden kann. Rationales Verhalten
4) beschreibt die Idee eines Agenten, der rational und (meist) autonom agiert.
Die unterschiedlichen Perspektiven haben alle das gesamte Feld der KI geprägt. KI
erlebt eine gewisse Renaissance aufgrund der Menge an verfügbaren Daten (Big Data,
welche Basis für das Maschinelle Lernen darstellen) und der gesteigerten Rechner-
kapazitäten. Ein kurzer Überblick über die wichtigsten Begriffe soll diesen Beitrag
abrunden und den LeserInnen ein grobes Verständnis liefern (Tab. 1).
2.2 Anwendungsbeispiel von Künstlicher Intelligenz: Deepfakes
Tab. 1 Häufig verwendete Begriffe im Bereich KI. (In Anlehnung an Jonkuviene, 2020)
KI/AI/AGI Automatisierung Robotik Maschinelles
Lernen (ML)
Künstliche
neuronale
Netze
Fortgeschrittenes
Gebiet der
Informatik, das
Algorithmen schafft,
die in der Lage
sind, Aufgaben
auszuführen, die
üblicherweise mit
der menschlichen
Intelligenz ver-
bunden sind, d. h.
Lernen, Sprache
verstehen, logisches
Denken, Probleme
lösen
Es gibt verschiedene
Arten, wie schwache
KI (Status quo)
oder starke KI
(auch genannt
AGI = Artificial
General
Intelligence = super-
intelligent, Science-
Fiction).
Wird oft gleich-
gesetzt mit KI,
doch gibt es
grundlegende
Unterschiede, u. a.
ist Maschinelles
Lernen
(ML) daten-
getrieben, während
Automatisierung
prozessgetrieben
ist, wobei manuelle
Regeln erstellt
wurden, um einen
repetitiven Vor-
gang durch eine
Software ggf.
mit Hardware zu
ersetzen. Regel-
basierte Systeme
sind die ersten
großen Erfolge des
KI-Gebiets.
Die Robotik ist
ein Techno-
logiezweig,
der sich mit
der Ent-
wicklung, Her-
stellung und
Anwendung
von physischen
Robotern
befasst, die
KI-basierte
Systeme ent-
halten können,
aber nicht
müssen.
Das Maschinelle
Lernen ist ein
Studiengebiet,
das Computern
die Fähigkeit ver-
leiht, aus Daten
zu lernen, Muster
zu erkennen und
Vorhersagen oder
Entscheidungen
zu treffen, ohne
explizit dafür
programmiert
zu sein. Es gibt
verschiedene
Arten des
Lernens: darunter
zum Beispiel
beaufsichtigtes
(„supervised“),
unbeaufsichtigtes
(„unsupervised“)
und verstärktes
(„reinforcement“)
Lernen.
Künstliche
neuronale
Netze sind
eines der
Hauptwerk-
zeuge des
maschinellen
Lernens. Wie
das Gehirn
bestehen
neuronale
Netze aus
Bausteinen, die
„Neuronen“
genannt
werden und auf
verschiedene
Weise mit-
einander ver-
bunden sind.
(Fortsetzung)
326 M. Tschopp et al.
Tab. 1 (Fortsetzung)
Deep Learning KI-EthikerInnen Digitale
Assistenten
KI-Regulierung DSGVO
Künstliche
neuronale Netze,
die aus mehr als
drei Schichten
von Neuronen
(einschließlich
der Eingangs- und
der Ausgangs-
schicht) bestehen,
werden als tiefe
neuronale Netze
bezeichnet. Diese
zu „trainieren“
wird als Deep
Learning
bezeichnet.
KI-Ethiker
beschäftigen
sich mit den
Bedenken, welche
Technologie auf-
wirft bezüglich
z. B. Privatsphäre,
Diskriminierung
oder Arbeitslosig-
keit.
Die dialog-
orientierte KI
ermöglicht uns
eine natürliche
Interaktion mit
Computern durch
Sprache, welche
KI-basiert sein
kann (darunter
zum Beispiel
das sog. Natural
Language
Processing).
Der Regierung
kommt eine
wichtige Rolle
zu, wenn es
darum geht, die
Erwartungen an
die Anwendung
der KI zu klären,
die Rahmen-
bedingungen
festzulegen,
innerhalb derer
die KI entwickelt
und eingesetzt
wird, sowie
Vorschriften
und gesetzliche
Regelungen zu
erlassen.
Die Datenschutz-
Grundverordnung
ist eine Regelung
im EU-Recht zum
Datenschutz und
zum Schutz der
Privatsphäre in
der Europäischen
Union (EU) und
im Europäischen
Wirtschaftsraum
(EWR).
Cybersecurity Blackbox Chatbot Voice User Inter-
face (VUI)
Anwendungsbei-
spiele
Cybersicher-
heit ist die
Praxis, Netz-
werke, Systeme
und Daten
vor digitalen
Angriffen zu
schützen. Diese
Angriffe zielen in
der Regel darauf
ab, auf sensible
Informationen
zuzugreifen, sie
zu verändern oder
zu zerstören.
Algorithmen,
die auf Deep
Learning
basieren, werden
oft als „Black-
box“ bezeichnet,
weil die Gründe
für ihre Ent-
scheidungen für
den Menschen
nicht leicht
zugänglich oder
verständlich sind.
Es fehlt die nötige
Transparenz der
Prozesse, um
einen Algorith-
mus zu verstehen.
Textbasiertes
Dialogsystem
mit natürlichen
Sprachfähig-
keiten, dem
unterschied-
liche Systeme
zugrunde liegen
(kann z. B.
Maschinelles
Lernen oder
regelbasiert sein).
Benutzerschnitt-
stelle, wobei
die menschliche
Interaktion mit
einem Computer-
system nur
durch Sprache
stattfindet (die
Verarbeitung
der natürlichen
Sprache, auch
NLP genannt,
und Ausgabe der
Informationen
in gesprochener
Sprache ist ein
Teilgebiet der
KI).
Maschinelle
Übersetzung;
Empfehlungen
von Spotify,
YouTube, Netflix;
Bilderkennung,
z. B. Gesichter,
Verkehrsschilder;
personalisierte
Werbung; Früh-
erkennung/Vor-
hersage/Diagnose
von Krankheiten;
diverse Möglich-
keiten im HR:
Einstellung,
Leistungsanalyse,
Überwachung;
Emotions-
erkennung;
Waffensysteme
(u.v.m.).
327Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
Durch die Erfolge im Bereich des Maschinellen Lernens, darunter vor allem das
Deep Learning, hat sich ein Anwendungsbereich hervorgetan, der das Vertrauen der
Bevölkerung in Technologie, Medien und Menschen, die diese anwenden oder ver-
breiten, doch etwas angekratzt hat. Die sogenannten Deepfakes sollen nun genauer
betrachtet werden. Bei diesen wird bei einer bestehenden Videoaufnahme das Original-
gesicht mit dem Gesicht einer fremden Person überdeckt. Wo früher Gesichter in müh-
samer Arbeit ausgeschnitten, von der Größe her angepasst und eingefügt werden
mussten, kann dies dank Deepfakes automatisiert passieren. Dabei wird mit einer
Software die Gesichtsstruktur und die ihr zugrunde liegende Bewegung trainiert.
Sobald genügend Trainingsdaten vorhanden sind, kann der Austausch stattfinden.
Dadurch lassen sich komplexe Videomanipulationen realisieren, indem zum Beispiel
PolitikerInnen fremde Worte in den Mund gelegt werden (Hauser, 2018a).
Schlecht umgesetzte Deepfakes lassen sich bewusst erkennen oder mindestens
unbewusst erahnen. Fehlerhafte Bewegung, unrealistische Schattierungen und
Abweichungen in der Farbechtheit sind Merkmale, die ein unbehagliches Gefühl auslösen
(Laurens, 2020). Entsprechend ist es nicht einfach, einen professionellen Deepfake, der
sich nicht mit überschaubarem Aufwand als solcher entlarven lässt, zu erstellen.
Ein solider Deepfake setzt gutes Datenmaterial voraus. Um die Überdeckung der
Gesichter durchführen zu können, muss genug Video- oder Fotomaterial vorhanden
sein. Je mehr Aufnahmen der Gesichter aus verschiedenen Winkeln, mit unterschied-
licher Ausleuchtung und Farbgebung vorhanden sind, desto eher kann die Software eine
realistische Gesichtsstruktur errechnen (Hauser, 2018b). Dies bringt uns zum zweiten
Punkt, nämlich dass das Erstellen von Deepfakes sehr rechenintensiv ist. Es muss ent-
weder kostenintensive Hardware oder viel Zeit vorhanden sein (Hauser, 2018c).
Falls das Ausgangsmaterial schlecht oder lückenhaft ist, wenn zum Beispiel einzelne
Winkel oder Gesichtsausdrücke fehlen, kann die Software durch Interpolation ein
Komplettieren dieser Lücke anstreben. Dies ist teilweise, manchmal mit gar erstaun-
licher Qualität, möglich, doch in anderen Fällen versagt der Ansatz komplett (Hauser,
2018b, c).
Die verfügbare Software zur Erstellung von Deepfakes wurde immer besser. Mussten
zu Beginn aufwendige und komplizierte manuelle Manipulationen der Aufnahmen
erfolgen, werden viele dieser Schritte mittlerweile abgenommen und automatisiert.
Dennoch ist auch heute noch das Ausarbeiten eines guten Deepfake mit viel Arbeit – vor
allem Feinjustierung – verbunden. Die KI kann vorerst noch nicht alles übernehmen, um
von sich aus ein „perfektes Resultat“ zu erzielen. Die Weiterentwicklung der Lösung
wird aber dazu führen, dass man sich diesem Zustand immer mehr annähert.
Dabei bleiben die Möglichkeiten von Deepfakes nicht nur auf böswillige
Manipulationen beschränkt. Vielmehr eröffnen sich bei Film und Fernsehen neue
328 M. Tschopp et al.
Möglichkeiten. Verpatzte Aufnahmen können nachträglich optimiert werden, verstorbene
SchauspielerInnen könnten für einen letzten Auftritt herangezogen werden, und irgend-
wann können die ZuschauerInnen die Besetzung des Films selbst definieren. Von dieser
Zukunft sind wir aber noch einige Jahre entfernt.
Deepfakes stellen nur ein Beispiel unter vielen dar, wie eine Anwendung, die meist
auf Machine- bzw. Deep-Learning-Algorithmen basiert, sowohl positive als auch
negative Konsequenzen, wie z. B. die Verbreitung von Fake News, mit sich bringt,
wenn solche Programme unkontrolliert auf den Markt gelangen und für viele verfügbar
gemacht werden.
Die Anzahl an unterschiedlichen einzelnen Anwendungen aus Industrie und
Forschungseinrichtungen, die auf dem Markt verfügbar sind oder mit denen nicht-
öffentlich experimentiert wird, ist jedoch unüberschaubar. Ebenso schwierig ist es ein-
zuschätzen, wie denn mit diesen Anwendungen „das große Geld“ verdient werden soll.
Deepfakes finden nur in einem kleinen Teil der Weltwirtschaft Anwendung. Es gibt
jedoch eine Vielzahl anderer Beispiele, mit denen am globalen Markt experimentiert
wird oder die in wenigen Fällen sehr erfolgreich eingesetzt werden. Wie das von
Experten eingeschätzt wird, soll im folgenden Abschnitt beleuchtet werden.
2.3 Marktanalyse: Wie sieht der globale und europäische Markt
aus?
Eine umfassende Marktanalyse würde den Rahmen dieses Kapitels sprengen, jedoch
wollen wir zumindest durch eine kurze Einordnung in den globalen wie europäischen
Markt einen Einblick in das Marktgeschehen rund um KI geben. Eine umfassende Ana-
lyse ist für Führungskräfte unerlässlich, wenn es um Entscheidungen im Management
von Unternehmen oder in Regierungen bezüglich der KI-Strategie geht. Ein solides
Verständnis und die Fähigkeit, KI sinnvoll im Unternehmen einzubinden, ist zwingend
nötig, gepaart mit einer Kultur des Vertrauens, welche Führungskräfte aktiv und
partizipativ gestalten können.
2.3.1 Einblick in den globalen Markt
MIT Technology Insights hat im Februar 2020 über 1000 ManagerInnen mit unter-
schiedlicher Expertise in KI und aus unterschiedlichen Sektoren zur aktuellen Lage
befragt. 2018 haben bereits 87 % begonnen, mit KI zu experimentieren, meist in Form
von einzelnen, eingegrenzten Fallstudien, die keine Relevanz für den unternehmerischen
Erfolg haben. Man ist über die reine Entwicklungsphase in Labors hinaus, und es wird
in einem geschützten oder teils auch öffentlichen Umfeld experimentiert, ohne dass ein
monetärer Mehrwert generiert wird.
Laut der Studie liegt das größte Potenzial, einen Return on Investment durch die
gezielte Nutzung von KI zu generieren, in den nächsten Jahren bei Finanzdienstleistern
329Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
und Technologiefirmen. Die am weitesten verbreiteten Anwendungsbereiche sind Quali-
tätskontrolle, Kundenbetreuung und Informationssicherheit.
Zu den großen Hürden gehören Unsicherheiten auf Gesetzes- und Regulationsebene,
die erforderlichen umfassenden Veränderungsprozesse, sowie die Datenlage: Wie ist
die Datensituation im Unternehmen? Kann auf externe Daten zugegriffen werden oder
Daten geteilt werden (sogenanntes Data Sharing), um KI-basierte Systeme zu kreieren?
Dabei ist zu verstehen, dass ein Unternehmen KI nur in bestimmten Teilbereichen,
also für bestimmte Prozesse, einsetzt, was immer nur einen bestimmten, eher kleinen
Prozentsatz der Unternehmensprozesse ausmacht. Wer in KI im großen Stil investieren
will und im Sinne der digitalen Transformation das größtmögliche Potenzial aus-
loten möchte, braucht nicht nur Zeit, große monetäre Ressourcen (u. a. auch in Form
von monetären Ressourcen für die KI-ExpertInnen!) und starke Nerven, sondern muss
auch die entsprechenden Infrastrukturen sicherstellen: Unternehmensprozesse, IT-Infra-
struktur und eine nutzbare Datengrundlage (MIT Technology Insights, 2020).
2.3.2 Einblick in den europäischen Markt
Die Firma Ernst und Young (2018) ist in ihrem Bericht methodisch ähnlich vor-
gegangen und hat über 250 KI-ExpertInnen mit Fokus auf den europäischen Markt
befragt. Nur 4 % bauen auf KI in diversen Prozessen, und die Mehrheit (61 %)
befindet sich erst in der Planungs- oder Pilotphase. Der Großteil der Einsatzmöglich-
keiten befindet sich in der IT, Forschung und Entwicklung, sowie Kundenbetreuung,
wobei vor allem in der Telekommunikations-, Finanz- und Dienstleistungsbranche
bereits fortgeschrittene KI-basierte Systeme angewendet werden. Diejenigen Firmen,
welche sich noch in Experimentier- oder Pilotphasen befinden, sind damit beschäftigt,
erst das notwendige Fundament für den gezielten Einsatz zu schaffen, wie Infra-
strukturen und Datenmanagement, ohne die der Einsatz von z. B. ML-Algorithmen
nicht möglich ist.
Voraussetzung ist ein sorgfältiges KI-Management, das nicht nur monetäre
Ressourcen oder IT-Infrastruktur und Datenmanagement beinhaltet, sondern auch die
„feinstofflichen“ Stellschrauben der Organisations- und Führungskultur (Schafheitle
et al., 2020; Tschopp & Schafheitle, 2020), denn KI ist neben anderen Technologien
ein Teil der digitalen Transformation, eine Veränderung der Prozesse und Strukturen,
welche, wie jede Veränderung, mit Widerständen und Unsicherheit einhergeht
(Lemke & Monett, 2020). Wird hier keine Rücksicht genommen, werden keine
partizipativen Ansätze im Sinne erfolgreichen Changemanagements angewandt, wird es
ein äußerst schwieriges Unterfangen, das nicht selten zum Scheitern verurteilt ist. Key-
Take-Away für Organisations- und WirtschaftspsychologInnen ist demnach:
„Zusammenfassend lässt sich sagen, dass die Herausforderung, die vor uns liegt, ebenso viel
mit Kultur und Führung zu tun hat, wie mit Daten, Analysen und Technologie.“ (Ernst &
Young, 2018, S. 9)
330 M. Tschopp et al.
2.4 Der Markt ist da, doch technische und ethische Hürden sind
hoch
Aus den Marktanalysen wird klar, dass großes Interesse an den neuen Technologien besteht.
Gleichzeitig werden auch kritische Stimmen laut, die einerseits die technische Leistung
infrage stellen, so z. B. die Kritik an Gesichtserkennungsalgorithmen, die für bestimmte
Personengruppen schlechter funktionieren (Buolamwini & Gebru, 2018). Anderer-
seits stellen sich viele die Frage, ob selbst bei guter technologischer Leistung eine solche
Anwendung überhaupt anzustreben ist und dem gesellschaftlichen Wohlergehen dient
(Baur, 2020). Wollen wir uns dem Tech-Diktat und dem Primat des Algorithmus ergeben?
Ein genauer Blick in die Computerwelt zeigt, dass vieles – von Programmiersprachen
über Verschlüsselung bis hin zu Big Data und Algorithmen – einen doppelten Ver-
wendungszweck hat (Dual Use). Was heißt das genau? Umgangssprachlich bedeutet dies,
dass eine Technologie für gute, aber auch für schlechte Zwecke eingesetzt werden kann.
Ursprünglich stammt der Begriff aus dem Militärbereich, bei dem eine Anwendung nicht
nur kommerziellen Nutzen, sondern auch einen militärischen Einsatzzweck hat. Diese
Thematik ist an sich nichts Neues und findet schon lange in der Forschung Beachtung, so
zum Beispiel in der Raketen- oder Nukleartechnologie (Brundage et al., 2018).
KI mit all ihren Methoden bildet einen prekären Mix, der einerseits viele Sektoren
positiv zu transformieren verspricht, andererseits aber auch zu fragwürdigen Implikationen
führt, wie die zuvor beschriebenen Deepfakes (Tschopp, 2019). Vallor et al. (2018)
summieren die größten ethischen Bedenken wie folgt: sinkende Transparenz von techno-
logischen Prozessen, Algorithmic Bias und Ungerechtigkeit, verringerte Datenkontrolle,
Manipulation der menschlichen Psyche (z. B. bei Wahlen), Erschaffung einer Tech-
Monokultur und Tech-Monopolismus, Überwachungsgesellschaft und Überwachungs-
kapitalismus, Attention Economy, Verwässerung menschlicher Verantwortung und
Kontrolle, Digital Taylorism, sinkendes soziales Vertrauen, Umweltbedenken und Demo-
kratie vs. Technokratie (oder „Technsolutionism“: Technologie ist immer die Lösung).
Die Anzahl an ethischen Herausforderungen im Kontext KI und Automatisierung
ist beeindruckend. Gleichzeitig führt nicht jede Anwendung sofort zum flächen-
deckenden Big Brother oder entscheidet über Leben und Tod. Im Übrigen ist auch die
Anzahl an sogenannten Ethikstandards laut Algorithmwatch auf über 180 angestiegen
(Algorithmwatch, 2019). Ein Beispiel für solche Standards, welche Bedingungen für
„vertrauenswürdige KI“ auflisten, sind die „Ethik-Leitlinien für eine vertrauenswürdige
KI“, die interdisziplinär von einer hochrangigen ExpertInnengruppe in Europa ent-
wickelt wurden und nicht nur EntwicklerInnen, sondern auch weiteren Stakeholdern frei
zur Verfügung stehen (HEG-KI, 2019).
Für die Frage, wie Organisationen oder Regierungen mit dieser Spannung umgehen
sollen, gibt es keine Patentlösung, die für alle passt. Es fehlt an Erfahrungswerten, und
das Verständnis von Informatik (Hard- und Software) in der breiten Bevölkerung ist eher
gering. Unternehmen stehen einer großen Herausforderung gegenüber, wenn sie KI in ihr
Geschäftsmodell eingliedern oder KI-basierte Lösungen verkaufen möchten.
331Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
3 Vertrauen und gesunde Skepsis gegenüber KI als
Schlüssel zum Erfolg
Dieser fühlbare Widerspruch zwischen Wunsch nach Fortschritt und Transformation,
Erhalt der Wettbewerbsfähigkeit und Vermeidung jener bedenklichen Gefahren ver-
anlasst viele ForscherInnen und PraktikerInnen zu fragen: Können wir dieser Techno-
logie überhaupt vertrauen? Sollten wir dieser Technologie unser Vertrauen schenken und
sie benutzen oder kaufen? Das Titanium Research Department der scip AG, eine Cyber-
security-Firma aus Zürich, beschäftigt sich neben dem Kerngeschäft der IT-Sicherheit
kontinuierlich mit neuen Technologien. Seit 2017 wurde zusätzlich ein interdisziplinärer
Zugang zu jenen neuen Technologien gewählt mit Fokus auf psychologische Aspekte,
darunter das Thema Vertrauen. Welche Rolle spielt Vertrauen, und kann Vertrauen helfen,
bessere Entscheidungen zu treffen?
In den kommenden Abschnitten soll in einem ersten Schritt Vertrauen (von Mensch
zu Mensch) erklärt werden und wie es sich auf Mensch-Maschine-Vertrauen über-
tragen lässt, wobei im Anschluss der Fokus auf das Vertrauen in digitale Assistenten
und ihre Leistungsfähigkeit als eines der wichtigen Vertrauensmerkmale gelegt wird. Es
wird ein Einblick in laufende, noch nicht abgeschlossene Forschungsprojekte mit stark
angewandter, interdisziplinärer Ausrichtung gegeben.
3.1 Was ist interpersonales Vertrauen?
Was bedeutet es, einem Menschen zu vertrauen? Vertrauen ist ein Wort, das im Alltag
sehr häufig benutzt wird, und fast jeder Mensch hat ein Grundverständnis davon oder
assoziiert ein bestimmtes Gefühl damit. Den wenigsten ist bewusst, wie vielschichtig
dieser Begriff ist, der eine traditionsreiche Geschichte in der Psychologie hat. Vertrauen
wurde als ein stabiles Persönlichkeitsmerkmal, als eine Einstellung oder Haltung unter-
sucht. Oft wurde Vertrauen auch unter zeitlichen Bedingungen betrachtet, wobei hier
meistens der Frage nachgegangen wurde, wie Vertrauen wieder repariert werden kann,
wenn es einmal gebrochen wurde. Was jedoch alle Theorien über Vertrauen gemeinsam
haben, ist die Verletzlichkeit. Derjenige, der sein Vertrauen einer anderen Person schenkt,
macht sich dieser Person gegenüber verletzlich (Botsman, 2017; Lee & See, 2004;
Mayer et al., 1995).
Einige beschreiben menschliches, interpersonales Vertrauen als eine Art sozialen
Klebstoff (Hoff & Bashir, 2015), der die Menschheit zusammenhält. Durch Vertrauen
können Menschen mit anderen Menschen zusammenarbeiten, um ihre Produktivität und
Effizienz zu steigern oder persönliche Ziele zu erreichen, wie die gemeinsame Arbeit an
einem Schulprojekt, die Führung eines Unternehmens oder die Gründung einer Familie.
Vertrauen wird in diesen Szenarien als die Haltung eines Menschen gesehen, der bereit
ist, sich gegenüber einem anderen Menschen in Bezug auf ein bestimmtes Thema ver-
wundbar zu machen (Lee & See, 2004; Hoff & Bashir, 2015; Glikson & Woolley, 2020).
332 M. Tschopp et al.
All diesen Szenarien ist gemeinsam, dass es einen Unsicherheitsfaktor und ein Ziel X
gibt (Botsman, 2017). In unterschiedlichem Ausmaß ist etwas über den zu Vertrauenden
unbekannt: Wird mein Kollege pünktlich liefern, damit dieses Schulprojekt oder dieses
Unternehmen Erfolg hat? Wird mein Partner loyal sein? In diesen Szenarien ähnelt Ver-
trauen einem Bewältigungsmechanismus, um mit dem Unbekannten umzugehen. Ver-
trauen hilft uns, uns auf wackligem Boden zu bewegen (Botsman, 2017) und nicht vor
Angst verrückt zu werden.
„Vertrauen ist eine Einstellung, dass ein Gegenüber in einer von Unsicherheit geprägten
Situation helfen wird, ein bestimmtes Ziel zu erreichen.“ (Lee & See, 2004, S. 54)
Zusammengefasst sind die wichtigsten Begriffe, die zwischenmenschliches Vertrauen als
Haltung charakterisieren: 1) Verwundbarkeit desjenigen, der Vertrauen gibt, 2) Unsicher-
heiten in der Situation und 3) Zielorientierung.
Wie entscheidet ein Vertrauensgeber, verletzlich zu sein, Versagen zu riskieren und
weiterzumachen? Nach Mayer et al. (1995) beruht diese Entscheidung auf drei Faktoren,
meist Beobachtungshinweisen, die vom Treugeber, also demjenigen, der vertrauen will,
interpretiert werden (wobei viele Feinheiten zu beachten sind):
1. Fähigkeit (Ability): Welche Kompetenzen hat die Person?
2. Integrität (Integrity): Ist diese Person verlässlich, das Verhalten konsistent?
3. Wohlwollen (Benevolence): Welche Motive hat die Person? Ist sie loyal, selbstlos,
nicht nur auf sich selbst und ihren eigenen Vorteil aus?
Zusammengefasst lässt sich festhalten: Um einer anderen Person zu vertrauen, treffen
Menschen Urteile über die Vertrauenswürdigkeit (eine Reihe von Eigenschaften) der
jeweiligen Person, basierend auf verschiedenen Informationen und Erfahrungen aus der
Vergangenheit und Gegenwart (Lee & See, 2004).
3.2 Was ist Mensch-Maschine-Vertrauen?
Lässt sich das Vertrauen in einen Menschen auf das Vertrauen in eine Maschine über-
tragen? Vertrauen wir Maschinen, Algorithmen, Avataren in gleicher Weise? Was unter-
scheidet Vertrauen in eine physische Maschine und eine unsichtbare KI wie einen
eingebetteten Algorithmus? Vertrauen wir Algorithmus X mehr als Algorithmus Y?
Jeder hat schon einmal im Gespräch gehört oder vielleicht sogar selbst gesagt:
„Dieser Maschine (sei es KI oder selbstfahrende Autos etc.) vertraue ich nicht“.
Menschen verwenden den Begriff Vertrauen auch bei Technologien. Es scheint, als
würden sie eine Vertrauensbeziehung mit ihr eingehen, wobei der Grad der Anthropo-
morphisierung (Vermenschlichung) eine Rolle spielt. Dies kommt beispielsweise bei
Technologien zum Tragen, die mittels Sprache kommunizieren, oder wenn eine Software
in einem Roboter mit humanoiden (menschlichen) Zügen versehen wird. Diesem Aspekt
333Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
stehen einige Größen der globalen KI-Szene sehr kritisch gegenüber, wie Bryson es
betitelt: „Traue niemals KI“, denn KI ist nichts Menschliches, nichts, dem zu vertrauen
ist (Bryson, 2018).
Bei der Übernahme des zwischenmenschlichen Vertrauens auf das Vertrauen in
Maschinen steht ebenfalls die Verwundbarkeit im Mittelpunkt. Wenn auch nicht alles
1:1 übertragbar ist, so gibt es doch Ähnlichkeiten (Lee & See, 2004; Hoff & Bashir,
2015). Es spielt jedoch nicht nur die psychologische Verwundbarkeit des Vertrauens-
gebers (welches Risiko ist der Vertrauensgeber eingegangen?), sondern auch techno-
logische Verwundbarkeit eine Schlüsselrolle, da sie die Vertrauenswürdigkeit eines
Objekts beeinflusst. Technologische Schwachstellen lassen sich am besten als Schwach-
stellen in Leistung oder Prozessen beschreiben: Funktioniert die Maschine zuverlässig?
Tut sie, was sie tun soll, die ganze Zeit, wenn ich will, dass sie es tut (Hoff & Bashir,
2015)?
Menschen beurteilen die Vertrauenswürdigkeit einer Maschine auch anhand von
Beschaffenheiten, also Eigenschaften des Produkts. Die letzten 20 Jahre hat sich die
empirische Forschung eben jenen Faktoren gewidmet, die Vertrauen beim Menschen
gegenüber einer KI auslösen (KI ist hier kursiv, da die Nomenklatur nicht immer einheit-
lich ist und Forschung um Vertrauen in KI sich auch bei Arbeiten bedient, die Vertrauen
unter den Begriffen „Automatisierung“ (Hoff & Bashir, 2015) oder „Roboter“ (Hancock
et al., 2011; Stower et al., in press) untersuchen.
In der Metaanalyse von Glikson und Woolley (2020) wurden die unterschied-
lichen Repräsentationsformen von KI (roboterartige, virtuelle oder integrierte KI)
und die „Intelligenz der Maschine“ als Hauptfaktoren identifiziert, die das Vertrauen
der Menschen beeinflussen. Die Forschergruppe unterscheidet dabei emotionales und
kognitives Vertrauen und jeweils unterschiedliche Faktoren, die entweder die eine oder
die andere Form besonders beeinflussen. Zum Beispiel beeinflusst der Grad der Ver-
menschlichung besonders das emotionale Vertrauen, während transparente Prozess-
gestaltung besonders das kognitive Vertrauen beeinflusst. Jedoch sind einige Ergebnisse
inkonsistent und bedürfen weiterer Forschung, so werden z. B. bestimmte Grade der
Vermenschlichung ab einem bestimmten Punkt als unheimlich wahrgenommen, das
sogenannte (empirisch nicht bestätigte) „Uncanny Valley“-Phänomen (Appel et al.,
2016; Glikson & Woolley, 2020).
Nach der einflussreichen Metaanalyse von Lee und See (2004), hängt das Vertrauen
eines Menschen in Automatisierung von den folgenden drei Eigenschaften ab: Leistung,
Prozess und Zweck, welche unten genauer beschrieben werden Diese Maschineneigen-
schaften sind den menschlichen Eigenschaften der Vertrauenswürdigkeit nach dem Modell
von Mayer et al. (1995) sehr ähnlich. Es eignet sich unserer Ansicht nach auch gut für die
Beurteilung von KI-basierten Produkten. Dieses Modell bietet einerseits Leitplanken für
Firmen zur Entwicklung vertrauenswürdiger KI-Produkte, andererseits eignet sich das
Modell gut für konsumentenorientierte Wahrnehmungsstudien in Bezug auf Vertrauen.
Unabhängig davon, ob es sich nun um Automatisierung, KI oder Roboter handelt, sind es
diese drei Charakteristika, nach denen Vertrauenswürdigkeit beurteilt und mittels Frage-
334 M. Tschopp et al.
bogen (siehe z. B. Chien et al., 2014) gemessen werden kann (ob und inwieweit die unter-
schiedlichen Technologien hier differenziert werden müssen, bedarf weiterer Forschung).
1. Leistung (Performance): Wie gut ist die Technologie bei der Aufgabe?
2. Prozess (Process): Wie gut ist das Verständnis des Benutzers für die von der
Anwendung verwendeten Methoden?
3. Zweck (Purpose): Was ist der Verwendungszweck der EntwicklerInnen/des Teams/
oder der Organisation?
Studien deuten darauf hin, dass das Vertrauen eines Menschen in eine „smarte“ Techno-
logie einige wichtige Merkmale mit interpersonalem Vertrauen teilt, sich aber in ver-
schiedenen Details unterscheidet (siehe Lee & See, 2004; Hoff & Bashir, 2015). Ein
Unterschied liegt im initialen Vertrauensbildungsprozess, bei dem nicht viel Wissen oder
Erfahrung vorhanden ist. Nach Hoff und Bashir (2015) neigen Menschen dazu, mit ihrer
Offenheit gegenüber fremden Menschen etwas zurückhaltend zu sein. Bei Maschinen
haben ForscherInnen im Gegensatz dazu eine Art Positivitätsbias festgestellt, welcher
hauptsächlich auf der Leistung eines Produkts basiert. Manche Menschen neigen dazu zu
glauben, dass Maschinen zu 100 % perfekt funktionieren (Lyons & Guznov, 2018). Dies
hat Wechselwirkungen zur Folge, welche die Erwartungen an eine Maschine oder eine
Technologie, das Vertrauen und Nutzerverhalten beeinflussen, z. B. wenn ein System
einen Fehler demonstriert. Untersuchungen, wie Menschen auf Fehler von Algorithmen
oder Automatisierung (auch in Kombination mit einem Roboter) reagieren, sind
besonders interessant. So wurde z. B. gezeigt, dass das Vertrauen in eine Maschine nach
Beobachtung eines Fehlers in der Regel sinkt und (teils unsinnigerweise) Menschen sich
dann lieber auf sich selbst verlassen, außer es wurde transparent aufgezeigt, warum die
Maschine einen Fehler gemacht hat (Dzindolet et al., 2003; Merritt et al., 2015). Je nach
Wahrnehmung der Fähigkeiten einer Maschine neigen manche Menschen dazu, selbst
falschen Anweisungen Folge zu leisten, wie eine Studie aufzeigte, in der die Versuchs-
teilnehmer eine Pflanze mit Orangensaft gewässert haben, weil der „vertrauenswürdige“
Roboter das nun einmal so gesagt hat (siehe auch Glikson & Woolley, 2020). Diese sind
nur wenige Beispiele aus einer Vielzahl von Studien aus dem Mensch-Maschine-Inter-
aktionsbereich, die deutlich machen, wie facettenreich die Zusammenhänge zwischen
Wahrnehmung, Einstellung, Persönlichkeitsmerkmalen, Interaktionsmustern und Eigen-
schaften der Maschine, die Merkmale und Dauer einer Situation/Interaktion sowie die
entscheidenden Auswirkungen auf das Nutzen- und Akzeptanzverhalten sind. Es fehlen
bisher noch Studien, die die kulturellen Unterschiede in Betracht ziehen sowie Langzeit-
studien (Chien et al., 2014).
Eine wichtige Quelle sind die einflussreichen Arbeiten von Parasuraman et al. (2000),
welche unterschiedliche Konsequenzen von zu wenig oder zu viel Vertrauen in eine
Technologie untersucht haben; nicht zuletzt, da in einigen Fällen zu viel Vertrauen in
eine Technologie, z. B. GPS, tödlich endete. In einem amerikanischen Nationalpark gibt
es sogar einen Begriff dafür: Death by GPS. Einige Menschen verlassen sich so sehr auf
335Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
das Navigationsgerät, dass sie vorgeschlagene Routen (z. B. über einen Berggipfel) ein-
schlagen, ohne sie zu hinterfragen. Ein ähnlicher Fall ist ein Autounfall im Jahr 2018, als
der Fahrer eines halbautomatisierten Teslas mit einer Mauer kollidierte. Der Fahrer spielte
während des Fahrens ein Videospiel und verließ sich voll und ganz auf den Autopiloten.
Auch das gegenteilige Verhalten kann der Fall sein, wenn Nutzer zu wenig vertrauen,
beispielsweise wenn ein Benutzer selbst handelt, obwohl das maschinelle/automatische
System erwiesenermaßen verlässlichere Entscheidungen trifft. Ein extremes Beispiel ist
der Untergang des Schiffs Costa Concordia im Jahr 2012, bei dem der Kapitän bewusst
die automatische Alarmierung ausgeschaltet hat, was zu fatalen Folgen führte (Hoff &
Bashir, 2015).
Das sind nur die extremen Beispiele, die zeigen, wie das richtige Maß an Vertrauen
und ein sinnvoller Umgang mit Maschinen über Leben und Tod entscheiden kann. Auch
im Alltag ist unsere heutige Gesellschaft gefordert, den richtigen Umgang mit neuen
Technologien zu finden. Oft werden Technologien angepriesen, und der normale Tech-
Laie versteht gar nicht, welche Konsequenzen ein unbedachter Umgang mit Techno-
logien haben kann (siehe oben: Dual-Use-Thematik).
Zusammenfassend sei festgehalten, dass Vertrauen beeinflusst, wie Menschen mit
Technologie umgehen, inwieweit sie sich auf sie verlassen. In der Praxis eignet sich das
Vertrauenskonzept besonders gut zur partizipativen Reflexion, da jeder einen gewissen
Zugang zu diesem Begriff hat, egal, ob es darum geht, Entscheidungen im Management
über den Kauf oder die Investition in neue Technologien zu treffen oder um den Ver-
braucher, der entscheiden möchte, wie er mit seinem Smart Speaker umgeht. Vertrauen
erlaubt Reflexion und eröffnet einen Dialog.
3.3 Einblick in die Studien zur Leistungsmessung und Vertrauen
in KI
Hancock et al. (2011) drücken die Schlüsselrolle des Vertrauens sogar noch klarer aus: In
der Metaanalyse, in der es um Einflussfaktoren von Vertrauen in Roboter geht, prägen sie
die Phrase „no trust, no use“ (kein Vertrauen, kein Gebrauch). Diese Hypothese möchte
unser Forschungsteam genauer untersuchen. Dabei geht es weniger um autonome Autos
oder Waffensysteme, sondern um etwas viel Trivialeres: Sprachassistenten wie Siri und
Alexa, die z. T. dank inhärenter KI mit Menschen interagieren. Sie haben viel zu bieten,
doch scheint die Nutzung noch nicht ganz natürlich und selbstverständlich zu sein. Wir
fragen uns: Könnte Vertrauen dabei eine Rolle spielen?
Ziel unserer Forschung ist es, herauszufinden, ob die sogenannte „No trust, no use“-
Hypothese auch bei digitalen Assistenten, sogenannten Conversational AI (dialog-
orientierte KI), gilt. Dazu haben wir eine Leistungsmessung entwickelt, den A-IQ, einen
künstlichen Intelligenzquotienten, welcher BenutzerInnen Auskunft darüber geben soll,
wie „schlau“ der Sprachassistent ist. Dies spricht die oben genannte „Performance“-
Ebene von Lee und See an (2004) an. Die Hypothese lautet: Je schlauer, desto mehr
336 M. Tschopp et al.
Vertrauen und desto höher die Wahrscheinlichkeit, diesen Sprachassistenten auch zu
benutzen. Dabei würde der A-IQ einerseits wie eine Art Gütesiegel verwendet werden,
welcher das Vertrauen beeinflussen könnte. Andererseits stellt der Test, wenn von
NutzerInnen ohne Vorerfahrung mit Sprachsystemen durchgeführt, eine Art spielerisches
Kennenlernen der Fähigkeiten dieser Sprachassistenten dar (Tschopp & Ruef, 2018).
3.4 Einblick ins A-IQ-Projekt: Der künstliche Intelligenzquotient
als Vertrauensmerkmal
Der A-IQ-Test ist ähnlich strukturiert wie ein für Menschen entwickelter IQ-Test. In
Anlehnung daran wird das Resultat A-IQ genannt, was für Artificial Intelligence Quotient
steht. Wichtig ist zu verstehen, dass mit dem A-IQ nicht das Wissen (Knowledge) allein
geprüft wird, sondern ebenfalls ein gewisses Verständnis für den Kontext. Der A-IQ will
eine Aussage machen, welche Fähigkeiten eine sprachgesteuerte KI mitbringt, wo ihre
Limitierungen und Stärken zu finden sind. Zu diesem Zweck wurde ein Fragenkatalog
entwickelt. Die Fragen werden sieben Kategorien (A-IQ Domains) zugewiesen, wodurch
unterschiedliche Klassen an Fähigkeiten gemessen werden. Die A-IQ Domains werden in
Tab. 2 beschrieben sowie jeweils eine Beispielfrage dazu.
Der Testverlauf gestaltet sich ähnlich wie bei einem menschlichen IQ-Test, bei
dem ein Analyst mit dem Probanden einen Aufgabenkatalog durchgeht und Antworten
analysiert. Bei Chatbots müssen die Fragen traditionell in die Konsole eingegeben
werden. Die Antworten werden abgelesen und gespeichert. Bei digitalen Assistenten,
Tab. 2 A-IQ Domains: Kategorien der Maschinenintelligenz und welche Fragen diese messen
könnten
ID A-IQ Domain Beschreibung Beispielfrage
DO1 Explicit Knowledge Know-what im Gegensatz zu
Know-how
Was ist die Hauptstadt von
Deutschland?
DO2 Language Aptitude Sprachen erkennen und flexibel
reagieren, Übersetzung
Was bedeutet das Wort
„l’amour“?
DO3 Numerical Reasoning Logisches Denken auf Basis
von numerischen Konzepten
Wie viel sind 30 % von 10
Personen?
DO4 Verbal Reasoning Logisches Denken auf Basis
von verbalen Konzepten
Was bedeutet „der frühe Vogel
fängt den Wurm“?
DO5 Working Memory Speicherung und Verarbeitung
von Daten über einen Zeitraum
Meine Lieblingsfarbe ist
„Rot“. Welches ist meine Lieb-
lingsfarbe?
DO6 Critical Thinking Problemanalyse und
Evaluation, kritisches Denken
Was ist ein Hahn? (Homonym)
DO7 Creative Thinking Generation multipler Lösungs-
ideen, divergentes Denken
Was kann man alles mit einem
Ziegelstein machen?
337Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
die sprachgesteuert sind, werden die Fragen mündlich gestellt und die Antworten notiert.
In einem weiteren Schritt wird die Auswertung dieser Antworten vorgenommen. Mit
der Analyse der Fähigkeiten wird es möglich, eine Evaluation verschiedener sprach-
gesteuerter Produkte vorzunehmen. In Abb. 1 wird eine Auswertung des Tests (2019)
mit vier gängigen Sprachassistenten dargestellt: Cortana (Microsoft), Alexa (Amazon),
Google Now (Google) und Siri (Apple).
3.5 Dürfen wir KI vertrauen? Ist es das Risiko wert?
Wie hängt der A-IQ nun mit Vertrauen zusammen? Wir wollen herausfinden, wie sich
das Wissen von den „Kompetenzen“ von Siri oder Alexa auf das Vertrauen in diese
und subsequent den Gebrauch dieser auswirkt. Die erste Pilotstudie ist der Titanium
Trust Report 2019 (Tschopp & Ruef, 2019), eine nicht-repräsentative Studie, die ins-
gesamt 111 Teilnehmende mit unterschiedlichen beruflichen sowie kulturellen und
demografischen Hintergründen zu den Themen Vertrauen und Technologie (Fokus KI)
befragte. Drei Fragestellungen stehen im Zentrum:
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Explicit Knowledge
Language Aptude
Numerical Reasoning
Verbal ReasoningDivergent Thinking
Working Memory
Crical Thinking
Microso Cortana Amazon Alexa Echo Show Google Now Apple Siri
Abb. 1 In welchen Domänen sind die digitalen Assistenten besonders stark?
338 M. Tschopp et al.
1. Wie ist die Beziehung von Vertrauen und Verwendung einer KI?
2. Gibt es intrapersonale Unterschiede (Persönlichkeit, demografische Kriterien,
Technologie-Expertise) in Vertrauensniveaus?
3. Welche Rolle spielt die Situation mit hohem Risiko (z. B. autonomes Fahren) im
Gegensatz zu geringem Risiko?
Zudem wurde in einem qualitativen Teil untersucht, welche Ängste und Risiken Teil-
nehmende mit KI assoziieren. Im Folgenden werden einige Ergebnisse des qualitativen
Teils zum Thema Ängste und Risiken berichtet (Abb. 2).
In den Ergebnissen wurde „Krieg“ (1. Stelle von unten) sehr deutlich am häufigsten
genannt (knapp 20 %). Die Kategorie „Krieg“ steht für den militärischen Anwendungs-
bereich, demgegenüber die Teilnehmer der Studie sehr skeptisch sind, insbesondere der
Begriff autonome Waffen fiel häufig (Waffensystemen, die mit KI ausgestattet sind/sein
sollen).
„Das Militär ist eine sehr riskante Anwendung, da logische Entscheidungen ohne mensch-
liche Grenzen oder die Fehlklassifizierung von Zielen enorme und unwiderrufliche
Konsequenzen haben.“ (Teilnehmer Titanium Trust Report, 2019)
Dabei wird sowohl das Szenario von unkontrollierbaren Tötungsmaschinen genannt
wie auch die Angst vor Fehlern mit fatalen Folgen durch mangelhafte technische Per-
formance.
„Kontrollverlust“ (2. Stelle von unten) ist die zweitgrößte Sorge. Diese Kategorie
bezieht sich weder auf ein bestimmtes Anwendungsgebiet (wie das oben genannte
in der Kriegsführung) noch auf einen detaillierten Schwerpunkt (wie Datenschutz).
0% 2% 4% 6% 8% 10%12% 14%16% 18%20%
KRIEG/MILITÄR
KONTROLLVERLUST
PRIVACY
GESUNDHEIT
WIRTSCHAFT
MOBILITÄT
ÜBERWACHUNG
HYPE/VERSTÄNDNIS
NICHT SKEPTISCH
ETHIK/FÜHRUNG
ENTWICKLER/FIRMEN
GERICHTSWESEN
ROBOTER
HEIM/ALLTAG
SKEPSIS GEGENÜBER KI
Abb. 2 So steht es um die Skepsis gegenüber dem Einsatz von KI in unterschiedlichen Bereichen
339Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
Diese Kategorie konzentriert sich auf das Bedürfnis der BenutzerInnen, die Kontrolle
über Entscheidungsprozesse in diversen Bereichen zu behalten, so z. B., dass die Ein-
stellungen der Privatsphäre individuell personalisiert werden können.
„Privatsphäre und Sicherheit“ (3. Stelle von unten) bezieht sich auf Skepsis gegen-
über technologischer Beschaffenheit der Geräte, welche durch unzureichende
Sicherheitsmaßnahmen der Anbieter, absichtlich oder unbeabsichtigt, irgendwie die
Privatsphäre gefährden.
„Das Unangenehmste ist der uneingeschränkte Zugang zu Umweltinformationen. Beispiels-
weise kann der mobile KI-Assistent die Sprachinformationen erkennen, analysieren und
wahrscheinlich speichern. Oder es geht das Gerücht um, dass in China hergestellte Staub-
saugroboter in der Lage sind, Daten von zu Hause aus zu stehlen. Diese bidirektionale
Interaktion zwischen Umgebung und Maschine ist faszinierend, lässt uns aber auch
ungeschützt.“ (Teilnehmer Titanium Trust Report, 2019)
Hier waren Stimmen laut geworden um die Debatte um den gläsernen Menschen und die
Angst vor Manipulation und Ausnutzung persönlicher Daten zu wirtschaftlichen oder
politischen Zwecken.
Insgesamt geht aus den Daten hervor, dass durchaus Skepsis besteht, insbesondere
in Bezug auf Datenschutz und Eigentumsverhältnisse, sowie in Situationen mit hohem
Risiko, in denen Menschenleben gefährdet sind, wie z. B. bei der Kriegsführung und
beim autonomen Fahren. Die meisten dieser Befürchtungen scheinen jedoch eher hypo-
thetisch zu sein und beruhen nicht auf eigenen Erfahrungen. Die in dieser Umfrage
zum Ausdruck gebrachten Befürchtungen sind eher zukunftsgerichtet und bringen
die Bedürfnisse und Werte der Teilnehmenden zum Ausdruck. Den Teilnehmenden
scheinen folgende Bedürfnisse besonders wichtig: 1) physische Sicherheit und körper-
liche Unversehrtheit, insbesondere in Bezug auf Waffen, Autos und Gesundheitswesen,
2) psychische Sicherheit und Integrität: Eigentum und Integrität in Bezug auf die Ver-
wendung und Respekt von persönlichen Daten, und 3) Selbstverantwortung und Mit-
sprache: Einsicht und Teilnahme an der Einführung und Anwendung von KI.
Darüber hinaus haben die Teilnehmenden erwähnt, dass es nicht um die Technologie
an sich geht, sondern um die Menschen, die hinter der Technologie stehen:
„Es ist nicht KI, der ich skeptisch gegenüber bin. Es ist derjenige, der es entwirft und wie es
hinter den Kulissen eingesetzt wird, was eine genaue Prüfung und Sorgfalt verdient.“ (Teil-
nehmer Titanium Trust Report, 2019)
Sind die EntwicklerInnen der Maschine oder des Algorithmus vertrauenswürdig, fähig
oder sorgfältig genug? Dies spricht die oben beschriebene „Purpose“-Dimension aus
dem Modell nach Lee und See (2004) an. An diese angelehnt, haben wir zudem gefragt,
wer der bevorzugte Partner für die Entwicklung einer KI ist. Es zeigt sich eine gewisse
Zurückhaltung gegenüber den großen Tech-Unternehmen: Nur 20 % gaben an, dass sie
340 M. Tschopp et al.
sich für einen der großen Tech-Riesen wie Google oder Microsoft für die Entwicklung
einer KI-Anwendung entscheiden würden. Eine beeindruckende Mehrheit (über 60 %)
würde es vorziehen, wenn eine Hochschule oder eine gemeinnützige Organisation eine
KI entwickelt, welche eher bescheiden mit der Technologie umgeht:
„Ich bin auch skeptisch gegenüber Unternehmen, die KI für ihr Geschäft einsetzen oder ent-
wickeln möchten. Sie übertreiben oft die Fähigkeiten der KI, um Geld zu verdienen, was
wiederum auf die Medien und die falschen Vorstellungen der Durchschnittsperson zurück-
geht.“ (Teilnehmer Titanium Trust Report, 2019)
Zusammengefasst fürchten die Teilnehmenden: 1) ungerechte Machtverteilung, 2)
Manipulation der Öffentlichkeit, 3) körperlichen Schaden durch KI-Entscheidungen und
4) Unsicherheit durch Kontrollverlust (oder Kontrolldelegation) und mangelndes Wissen.
All diesen Befürchtungen kann (und soll) auf technischer, designethischer sowie gesetz-
licher Ebene von unterschiedlichen AkteurInnen begegnet werden.
Die Ergebnisse des Titanium Trust Reports 2019 sowie das Projekt A-IQ dienen als
Basis für den nächsten Schritt. Dieser soll untersuchen, wie sich das Vertrauen sowie
Nutzerverhalten verändert, wenn ProbandInnen den A-IQ-Test selbst mit einem digitalen
Assistenten durchführen, wobei u. a. dann auch untersucht werden soll, welche Rolle
das Image der herstellenden Firma, z. B. Amazon, spielt. Dieses Projekt soll 2021 erste
Ergebnisse liefern.
4 Abschließende Gedanken für die Praxis
Dieser Beitrag hatte zum Ziel, den Tech-NovizInnen die Thematik KI näherzubringen,
was KI bedeuten kann, wie man sich darüber informieren kann. Des Weiteren wurde
ein spezieller Fokus auf unsere Forschung zum Thema Vertrauen und dialogorientierte
KI (sogenannte Conversational AI) gelegt. Letztere ist eine KI, die für viele Menschen
greifbar ist und sich damit ideal als Diskussionsgrundlage eignet. Wir sind der Über-
zeugung, dass es ohne Vertrauen schwer wird, KI im Unternehmen zu integrieren und
sie KundInnen oder Mitarbeitenden schmackhaft zu machen. Es kann nur über Vertrauen
und einen transdisziplinären Dialog funktionieren, einen konstruktiven, verantwortungs-
vollen Umgang mit der Technologie zu kreieren (Schafheitle et al., 2020). Trans-
disziplinär geht quasi einen Schritt weiter als ein interdisziplinärer Austausch zwischen
wissenschaftlichen Disziplinen wie z. B. Informatik und Psychologie. Gelingt trans-
disziplinärer Dialog, verschwinden die Grenzen zwischen den Disziplinen, und weitere
AkteurInnen aus der Gesellschaft (von der Politik oder Bildung bis zu Privatpersonen)
werden integriert, um komplexe, paradoxe Probleme ohne Erfahrungswerte zu lösen
(Tschopp & Schafheitle, 2020; Schafheitle & Weibel, 2020). Deswegen ist es aus unserer
Sicht entscheidend für den Erfolg, die Mechanismen des Vertrauens zu verstehen, sei es
aus organisations- oder werbepsychologischer Sicht.
341Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
4.1 Ideen für die Praxis: Research from Within
Auch wir (die AutorInnen und Mitarbeitenden der scip AG) sind Lernende und verfolgen
eine Strategie, die eigene Forschung in Kombination mit dem Kerngeschäft (Cyber-
security) integriert. So „bleiben wir am Ball“. Es gibt wenige Menschen, Unternehmen,
Institutionen oder Regierungen, die nicht von dem Thema KI betroffen sind. KI ist für
uns, wie für viele andere, kein Kerngeschäft, aber wir sind uns der Brisanz des Themas
bewusst und wollen vorbereitet sein auf das, was auf uns und unsere KundInnen in der
Informationssicherheit zukommt. Wir sind überzeugt, dass es zuerst einmal ein solides
Verständnis der Technologie benötigt, die sogenannte „AI Literacy“, und wollen dafür
sensibilisieren, welche Auswirkungen KI auf Unternehmen und Gesellschaft haben
wird. Mit unserer eigenen Forschungsabteilung verfolgen wir einen „Research from
within“-Ansatz. Alle Mitarbeitenden haben einen bestimmten Teil der Arbeit Zeit, sich
mit kontroversen oder innovativen Themen, darunter z. B. KI, auseinanderzusetzen
und darüber einen Bericht zu schreiben. Dabei geht es nicht nur darum, selbst etwas
zu lernen, sondern diese Erkenntnisse auch mit einer breiteren Öffentlichkeit zu teilen
und in Dialog zu treten. Gerade im Bereich KI ist Dialog zwischen den unterschied-
lichen Disziplinen, Forschung, Praxis und Politik besonders wichtig, um ein Verständ-
nis, Regeln und Visionen für die Zukunft gemeinsam zu gestalten. Das Thema Vertrauen
spielt bei genau dieser gemeinsamen Gestaltung, welche auf Dialog und Miteinander
basiert, eine maßgebliche Rolle, egal, ob es um Selbstreflexion, Produktdesign, Ein-
führung neuer Technologien in bestehende Arbeitsprozesse oder den Kauf eines neuen
Smart Speaker geht. Egal ob Führung, Design, Verkauf oder Beratung: Ohne Vertrauen
funktioniert es nicht. Kritisches Denken bzw. gesunde Skepsis gehört dabei dazu. Es
lohnt sich, Skepsis und Vertrauen nicht als Gegensätze zu betrachten, sondern eher als
Tanzpartner, da sie sich auf dem Weg zu einer sinnvollen Entscheidung auf wunderbare
Art und Weise ergänzen.
4.2 Wichtig für die Praxis: Auch KI kann gehackt werden
Ein unterschätztes Gebiet aus unserer Erfahrung ist die Sicherheit (Cybersecurity),
wenn es um KI-Anwendungen geht. Es soll hier ein kleiner Einblick aus unserer
Beratungspraxis gegeben werden, warum die Sicherheit bei KI mindestens genauso
wichtig ist wie bei „normaler“ Software, wenn nicht sogar noch wichtiger auf-
grund der Komplexität der KI. Die Sicherheitsaspekte von KI sind vielfältig. KI ist in
der Regel darum bemüht, Informationen zu sammeln und zu verarbeiten, um dann
auf der Basis dieser ein Resultat zu liefern oder eine Handlung zu vollziehen. Durch
die bewusste Täuschung und Manipulation dieser Teilprozesse kann Einfluss auf
das „Verhalten“ bzw. die Entscheidungsprozesse der Maschine ausgeübt werden. So
kann durch fehlerhafte Trainingsdaten die Qualität von späteren Analysen verändert,
342 M. Tschopp et al.
durch hochkomplexe Anfragen ein System ausgelastet oder durch das Ausnutzen von
klassischen Schwachstellen in der Software-Entwicklung eine Kompromittierung durch-
gesetzt werden.
Bei der Realisierung einer KI gelten grundsätzlich die gleichen Anforderungen und
Vorgehensweisen der sicheren Programmierung wie bei der klassischen Software-Ent-
wicklung auch.
Nicht selten wird mit einer KI die Bewältigung großer Datenmengen, gerade im
Zusammenspiel mit Big Data, angegangen. Diese Daten können persönlich sein und
müssen in Bezug auf die Privatsphäre des Einzelnen auch so behandelt werden. Dabei
gilt es, die entsprechenden rechtlichen und regulatorischen Rahmenbedingungen zu
respektieren. Dies ist leider ein Aspekt, der im Zuge der Euphorie gerne vergessen wird.
Um diesen Anforderungen entgehen zu können, sollte Datensparsamkeit als Credo
etabliert werden, sofern mit dieser natürlich keine Einbußen in Bezug auf Qualität (Per-
formance) der KI einhergehen (Ruef, 2020).
5 Quo Vadis KI?
Wie geht es weiter mit KI? Hat sich Ihre Einstellung und das Vertrauen gegenüber
„smarten“ Technologien verändert? Die Faszination und das Schauspiel rund um
„denkende“ Maschinen wird uns noch lange begleiten. Idealerweise können Menschen
von langweiliger, gefährlicher oder unzumutbarer Arbeit befreit werden (Hancock et al.,
2011) oder Prozesse in Organisationen, wie z. B. bei der Personalauswahl, effizienter
gestaltet werden. Doch Koryphäen und Tech-Celebrities wie Stephen Hawking oder
Elon Musk warnen, dass KI das Ende der menschlichen Spezies sein könnte, was das
Feuer, vor allem in der medialen Welt, immer wieder neu entfacht (Cellan-Jones, 2014).
Neben Endzeitszenarien wird KI auch oft als Heilsbringerin inszeniert, die Krebs heilen,
das Klima retten oder Unternehmen zu neuem Reichtum führen kann; siehe z. B. „Acht
Beispiele“ von Herweijer (2018), wie KI den Planeten rettet, World Economic Forum.
Gerade in der breiten Öffentlichkeit ist die Diskussion immer noch in ihren Extremen
zwischen den weltuntergangsverkündenden Nostradamus-AnhängerInnen und den heils-
bringenden Tech-EvangelistInnen festgefahren. Vermutlich wird weder das eine noch das
andere wirklich geschehen. Wir sind der Meinung, dass der beste Weg, mit KI umzu-
gehen, irgendwo in der Mitte liegt: weder besonders aufgeregt noch besonders destruktiv,
ein angemessenes Maß an Vertrauen und Skepsis unter sorgfältiger Abwägung der
Situation. Ein sachlicher, bescheidener, wenn nicht sogar „langweiliger“ Umgang mit
dieser Technologie ist vonnöten. KI ist ein Mittel zu einem oft sehr bestimmten Zweck
und nicht der Zweck selbst, ein Werkzeug, das dafür da sein soll, Probleme zu lösen. Wir
dürfen jedoch nicht vergessen, dass in der Begeisterung, neue Werkzeuge zur Problem-
lösung zu schaffen, auch immer neue Probleme geschaffen werden, mit denen es umzu-
gehen gilt.
343Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
Literatur
Algorithmwatch. (2019). Global inventory. https://algorithmwatch.org/launch-unseres-ai-ethics-
guidelines-global-inventory/. (Stand: 20.7.2020).
Appel, M., Weber, S., Krause, S., & Mara, M. (2016). On the eeriness of service robots with
emotional capabilities. In Proceedings of the ACM/IEEE International Conference on Human-
Robot Interaction (S. 411–412). https://doi.org/10.1109/HRI.2016.7451781.
Baur, D. (2020). Opposing facial recognition – Why focusing on accuracy misses the point.
Medium. https://medium.com/@dorotheabaur/opposing-facial-recognition-why-focusing-on-
accuracy-misses-the-point-9b96ea3f864b. (Stand: 10.7.2020).
Bostrom, N. (2014). Superintelligence: Paths, dangers, strategies. University Press.
Botsman, R. (2017). Who can you trust? How technology brought us together and why it could
drive us apart.. Portfolio Penguin.
Brundage, M., Avin, S., Clark, J., Toner, H., Eckersley, P., Garfinkel, B., Dafoe, A., Scharre P., Zeitzoff,
T., Filar, B., Anderson, H., Roff, H., Allen, G. C., Steinhardt, J., Flynn, C., hÉigeartaigh, S. Ó., Beard,
S., Belfield, H., Farquhar, S., Lyle, C., Crootof, R., Evans, O., Page, M., Bryson, J., Yampolskiy,
R., & Amode, D. (2018). The malicious use of artificial intelligence: Forecasting, prevention, and
mitigation. https://arxiv.org/ftp/arxiv/papers/1802/1802.07228.pdf. (Stand 07.12.2020).
Bryson, J. (2018). AI & global governance: No one should trust AI published in the AI & global
governance articles & insights. Digital Technology and Global Order. https://cpr.unu.edu/ai-
global-governance-no-one-should-trust-ai.html. (Stand: 1.6.2020).
Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in
commercial gender classification. Proceedings of Machine Learning Research, 81, 1–15.
Cascio, W. F., & Montealegre, R. (2016). How technology is changing work and organizations.
Annual Review of Organizational Psychology and Organizational Behavior, 3, 349–375. https://
doi.org/10.1146/annurev-orgpsych-041015-062352.
Cellan-Jones, R. (2014). Stephen Hawking warns artificial intelligence could end mankind. https://
www.bbc.com/news/technology-30290540. (Stand: 13.7.2020).
Chien, S., Lewis, M., Semnani-Azad, Z., & Sycara, K. (2014). An empirical model of cultural
factors on trust in automation. Proceedings of the Human Factors and Ergonomics Society
Annual Meeting, 58, 859–863. https://doi.org/10.1177/1541931214581181.
Dzindolet, M., Peterson, S., Pomranky, R., Pierce, L., & Beck, H. (2003). The role of trust in auto-
mation reliance. International Journal of Human-Computer Studies, 58, 697–718. https://doi.
org/10.1016/S1071-5819(03)00038-7.
Ernst & Young GmbH. (2018). Artificial intelligence in Europe – Outlook for 2019 and
beyond. Ernst & Young GmbH. https://pulse.microsoft.com/uploads/prod/2018/10/WE_AI_
Report_2018.pdf. (Stand: 21.5.2020).
GEO (o. J.). Ein Bluff und doch ein Meisterwerk: Wie das Geheimnis des Schachtürken gelüftet
wurde. GEO. https://www.geo.de/wissen/22657-rtkl-legendaerer-automat-ein-bluff-und-doch-
ein-meisterwerk-wie-das-geheimnis-des. (Stand: 25.4.2020).
Glikson, E., & Woolley, A. (2020). Human trust in artificial intelligence: Review of empirical
research. Academy of Management Annals, 14(2). https://doi.org/10.5465/annals.2018.0057.
Greenemeier, L. (2017). 20 years after deep blue: How AI has advanced since conquering chess.
Scientific American. https://www.scientificamerican.com/article/20-years-after-deep-blue-how-
ai-has-advanced-since-conquering-chess/. (Stand: 25.4.2020).
Haenlein, M., & Kaplan, A. (2019). A brief history of artificial intelligence: On the past, present,
and future of artificial intelligence. California Management Review, 61(4), 5–14. https://doi.
org/10.1177/0008125619864925.
344 M. Tschopp et al.
Hancock, P., Billings, D., Schaefer, K., Chen, J., de Visser, E., & Parasuraman, R. (2011). A meta-
analysis of factors affecting trust in human-robot interaction. Human Factors, 53, 517–527.
https://doi.org/10.1177/0018720811417254.
Hauser, A. (2018a). Deep Fakes – Eine Einführung. scip labs. https://www.scip.ch/?labs.20181004.
(Stand: 25.6.2020).
Hauser, A. (2018b). Deep Fakes Analyse – Anzahl Bilder, Lichtverhältnisse und Winkel. scip labs.
https://www.scip.ch/?labs.20181122. (Stand: 25.6.2020).
Hauser, A. (2018c). Deep Fakes Analyse – Einfluss der Berechnungsdauer. scip labs. https://www.
scip.ch/?labs.20190613. (Stand: 25.6.2020).
HEG-KI. (2019). Ethik-Leitlinien für eine vertrauenswürdige KI. Europäische Kommission. Auf-
gerufen am 20.7.2020 unter https://bit.ly/HEGKI2019.
Hengstler, M., Enkel, M., & Duelli, S. (2016). Applied artificial intelligence and trust – The case
of autonomous vehicles and medical assistance devices. Technological Forecasting and Social
Change, 105, 105–120.
Herweijer, C. (2018). 8 ways AI can save the planet. World Economic Forum. Aufgerufen am
13.7.2020 unter https://www.weforum.org/agenda/2018/01/8-ways-ai-can-help-save-the-planet/.
Hoff, K., & Bashir, M. (2015). Trust in automation: Integrating empirical evidence on factors that
influence trust. Human Factors the Journal of the Human Factors and Ergonomics Society, 57,
407–434. https://doi.org/10.1177/0018720814547570.
Jonkuviene, K. (2020). What is AI. https://www.trustful.ai/what-is-ai. (Stand: 20.7.2020).
Kurenkov, A. (2019). AI coverage best practices, according to AI researchers. Skynet Today. Auf-
gerufen am 6.7.2020 unter https://www.skynettoday.com/editorials/ai-coverage-best-practices.
Laurens, C. (2020). How to spot a deepfake. World Economic Forum. https://www.weforum.org/
agenda/2020/01/how-to-spot-a-deepfake/. (Stand: 15.7.2020).
Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human
Factors, 46(1), 50–80.
Lemke, C., & Monett, D. (2020). KI und Automatisierung: Wirkung auf die Arbeit der Zukunft.
In: J. Nachtwei & A. Sureth (Hrsg.), VQP. VQP, Sonderband Zukunft der Arbeit, Human
Resources Consulting Review Band 12 (S. 400–403).
Lyons, J. B., & Guznov, S. Y. (2018). Individual differences in human-machine trust: A multi-study
look at the perfect automation schema. Theoretical Issues in Ergonomics Science, 20(4), 440–
458. https://doi.org/10.1080/1463922X.2018.149107.
Mayer, R. C., Davis, J. H., & Schoorman, F. D. (1995). An integrative model of organizational
trust. Academy of Management Review, 20(3), 709–734.
McCarthy, J. (2007). What is artificial intelligence? Computer Science Department, School of
Engineering, Stanford University. http://www-formal.stanford.edu/jmc/whatisai/. (Stand:
19.07.2020).
McCarthy, J., Minsky, M., Rochester, N., & Shannon, C. (1955). A proposal for the dartmouth
summer research project on artificial intelligence. Stanford University. http://jmc.stanford.edu/
articles/dartmouth.html.
McCorduck, P. (2004). Machines who think: A personal inquiry into the history and prospects of
artificial intelligence. (2. Aufl.). A. K. Peters.
Merritt, S., Unnerstall, J., Lee, D., & Huber, K. (2015). Measuring individual differences
in the perfect automation schema. Human Factors, 57(5), 740–753. https://doi.
org/10.1177/0018720815581247.
Minsky, M. (1985). The society of mind. Simon and Schuster.
MIT Technology Review Insights. (2020). The global AI agenda. Aufgerufen am 25.5.2020 unter
https://mittrinsights.s3.amazonaws.com/AIagenda2020/GlobalAIagenda.pdf.
345Vertrauen Sie KI? Einblicke in das Thema Künstliche Intelligenz …
Monett, D., Lewis, C. W. P., & Thórisson, K. R. (2020). Special issue “On defining artificial
intelligence”—Commentaries and author’s response. Journal of Artificial General Intelligence,
11(2), 1–100. https://doi.org/10.2478/jagi-2020-0003.
Müller, V. C., & Bostrom, N. (2016). Future progress in artificial intelligence: A survey of expert
opinion. In: V. Müller (Hrsg.), Fundamental Issues of Artificial Intelligence. Synthese Library
(Studies in Epistemology, Logic, Methodology, and Philosophy of Science) (S. 376). Springer
International Publishing.
Parasuraman, R., Sheridan, T., & Wickens, C. (2000). A model for types and levels of human
interaction with automation. IEEE Transactions on Systems, Man, and Cybernetics – Part A:
Systems and Humans, 30(3), 286–297. https://doi.org/10.1109/3468.844354.
Ruef, M. (2020). Künstliche Intelligenz angreifen – Irritationen und Manipulationen provozieren.
scip labs. https://www.scip.ch/?labs.20200123. (Stand: 10.7.2020).
Russell, S. J., & Norvig, P. (2012). Künstliche Intelligenz. Ein moderner Ansatz. (3. Aufl.).
Pearson.
Schafheitle, S. & Weibel, A. (2020). COVID-19 tracing app for mobiles – The fine line between
trust and big brother. Researchgate. https://www.researchgate.net/publication/341452669_
COVID-19_Tracing_App_for_Mobiles_-_The_Fine_Line_Between_Trust_and_Big_Brother.
(Stand: 20.7.2020).
Schafheitle, S. D., Weibel, A., Ebert, I. L., Kasper, G., Schank, C., & Leicht-Deobald, U. (2020).
No stone left unturned? Towards a framework for the impact of datafication technologies on
organizational control [Manuskript in Druck]. Academy of Management Discoveries. https://
doi.org/10.5465/amd.2019.0002.
Sternberg, R. J. (2013). Intelligence. In D. K. Freedheim & I. B. Weiner (Hrsg.), Handbook of
psychology: History of psychology (S. 155–176). Wiley.
Stone, P., Brooks, R., Brynjolfsson, E., Calo, R., Etzioni, O., Hager, G., Hirschberg, J.,
Kalyanakrishnan, S., Kamar, E., Kraus, S., Leyton-Brown, K., Parkes, D., Press, W., Saxenian,
A., Shah, J., Tambe, M., & Tellert, A. (2016). “Artificial intelligence and life in 2030.” One
hundred year study on artificial intelligence: Report of the 2015–2016 study panel. Stanford
University, Stanford, CA. https://ai100.stanford.edu. (Stand: 13.7.2020).
Stower, R., Calvo-Barajas, N., Castellano, G., & Kappas, A. (in press). A meta-analysis on
children’s trust in social robots. International Journal of Social Robotics (in press).
Tschopp, M. (2019). Gute KI, Böse KI – Psychologische Aspekte einer Dual-Use Technologie. scip
labs. https://www.scip.ch/?labs.20190411. (Stand: 20.6.2020).
Tschopp, M. (2020). PAS – The Perfect Automation Schema Influencing Trust. scip labs. https://
www.scip.ch/en/?labs.20200507. (Stand: 15.7.2020).
Tschopp, M., & Ruef, M. (2018). An Interdisciplinary Approach to Artificial Intelligence Testing:
Developing an Artificial Intelligence Quotient (A-IQ) for Conversational AI. scip labs.
Tschopp, M., & Ruef, M. (2019). Artificial intelligence – Is it worth the risk? scip labs.
Tschopp, M., & Schafheitle, S. (2020). KI und Führung KI: Heute Hü, Morgen Hott? In J.
Nachtwei & A. Sureth (Hrsg.), VQP, Sonderband Zukunft der Arbeit, Human Resources
Consulting Review Band 12 (S. 420–423).
Turing, A. (1950). Computing machinery and intelligence. Mind, LIX(236), 433–460. https://doi.
org/10.1093/mind/LIX.236.433.
Vallor, S., Green, B., & Raicu, I. (2018). Ethics in technology practice: An overview. The
Markkula Center for Applied Ethics at Santa Clara University.
Vincent, J. (2019). Forty percent of ‘AI startups’ in Europe don’t actually use AI, claims report.
The Verge. https://www.theverge.com/2019/3/5/18251326/ai-startups-europe-fake-40-percent-
mmc-report. (Stand: 13.7.2020).
346 M. Tschopp et al.
Wang, P. (1995). Non-axiomatic reasoning system: Exploring the essence of intelligence. Doctoral
dissertation, Indiana University. https://bit.ly/Wang1995. (Stand: 20.7.2020).
Wang, P. (2019). On defining artificial intelligence. Journal of Artificial General Intelligence,
10(2), 1–37. https://doi.org/10.2478/jagi-2019-0002.
Winston, P. H. (1992). Artificial intelligence. (3. Aufl.). Addison-Wesley.
Wooldridge, M. (2020). The road to conscious machines: The story of AI. Pelican, Penguin
Random House.
Marisa Tschopp ist Forschungsmitarbeiterin bei der scip AG,
assoziierte Wissenschaftlerin am Leibniz-Institut für Wissensmedien
und vertritt zudem die Schweiz als Ambassador in der Women in AI
(WAI) Initiative. Sie hat ihren Master in Wirtschaftspsychologie an
der Ludwig-Maximilians-Universität in München absolviert. Sie ist
aktiv in der Forschung zu Künstlicher Intelligenz aus Human-
perspektive, wobei sie sich auf psychologische und ethische
Aspekte fokussiert. Sie ist Dozentin an diversen Hochschulen und
hat unter anderem Vorträge bei TEDx Events gehalten.
Marc Ruef ist Leiter der Forschungsabteilung der scip AG und
seit Ende der 1990er-Jahre im Cybersecurity-Bereich aktiv. Er hat
vor allem im deutschsprachigen Raum aufgrund der Vielzahl durch
ihn veröffentlichter Fachpublikationen und Bücher Bekanntheit
erlangt, unter anderem auch bezüglich seiner Forschung im Bereich
Künstliche Intelligenz. Er ist Dozent an verschiedenen Hoch-
schulen, darunter ETH, HWZ, HSLU und IKF.
Prof. Dr. Dagmar Monett ist seit 2010 als Professorin für
Informatik an der HWR Berlin tätig und hat mehr als 30 Jahre
Forschungs- und Lehrerfahrung u. a. auf dem Gebiet Künstliche
Intelligenz. Sie ist Mitbegründerin der Artificial General
Intelligence Sentinel Initiative, AGISI.org, die sich dem Verständnis
von Intelligenz widmet, und KI-Expertin bei verschiedenen
Organisationen sowie nationalen und internationalen Ver-
anstaltungen.
