Künstliche Intelligenz - die letzte Technologiefalle?

Full text

Universität Duisburg-Essen Wintersemester 2016/17
Künstliche Intelligenz
– die letzte Technologiefalle?
Bachelorarbeit
Vorgelegt der
Fakultät Philosophie
Gutachter:
Erstgutachter: Prof. Dr. Bernd Gräfrath
Zweitgutachter: Dr. Sebastian Köhler
vorgelegt von: Hans Lietz
BA LA GyGe Physik/Philosophie
7. Fachsemester
Matr.-Nr.: 2258033
Sachsenstr. 2
47441 Moers
Tel.: 02841/24442
E-Mail: hans.lietz@stud.uni-due.de
Abgabe am: 22.03.2017

Inhaltsverzeichnis Hans Lietz
Inhaltsverzeichnis
1 Einleitung ............................................................................................................. 4
2 Erläuterungen ....................................................................................................... 5
2.1 Anmerkungen zur ersten Prämisse: Definition von Intelligenz .................... 5
2.2 Anmerkungen zur zweiten Prämisse: Einordnung von Intelligenz ............... 5
2.3 Anmerkungen zur dritten Prämisse: Einordnung menschlicher Intelligenz .. 6
2.4 Anmerkungen zur vierten Prämisse: Künstliche Intelligenz ......................... 7
2.5 Anmerkungen zur fünften Prämisse: Bewusstsein ........................................ 7
3 Technologiefalle ................................................................................................... 8
3.1 Definition des Begriffs nach Lem ................................................................. 8
3.2 Eine zweite Interpretation des Begriffs ......................................................... 9
3.3 Beispiele ...................................................................................................... 10
3.4 Kritik des Begriffs ....................................................................................... 13
3.5 Sind diese Fallen prinzipiell oder nur praktisch unausweichlich? .............. 15
3.6 Umgang mit Technologiefallen ................................................................... 16
3.7 Kategorisierung von Technikfolgen ............................................................ 17
4 Künstliche Intelligenz als Technologiefalle ....................................................... 19
4.1 Kontroll- und Freiheitsverlust ..................................................................... 19
4.2 Kapitalistisches Ungleichgewicht ............................................................... 20
4.3 Veränderung des Arbeitsmarktes ................................................................ 21
4.4 Autonome Waffen ....................................................................................... 23
4.5 Unerwartete Lösungsstrategien ................................................................... 24
4.6 Zerstörerische Konflikte zwischen mehreren KIs ....................................... 26
4.7 Intelligenzexplosion .................................................................................... 26
4.8 Superintelligenz ........................................................................................... 27

Inhaltsverzeichnis Hans Lietz
4.8.1 Schnelle Superintelligenz ..................................................................... 28
4.8.2 Kollektive Superintelligenz .................................................................. 29
4.8.3 Qualitative Superintelligenz ................................................................. 29
4.9 Kontrolle einer KI ....................................................................................... 30
4.9.1 Fähigkeitenkontrolle ............................................................................ 31
4.9.2 Motivationskontrolle ............................................................................ 32
4.10 Die letzte Technologiefalle? .................................................................... 32
4.10.1 Änderung der Technikfolgenabschätzung............................................ 33
4.10.2 Abbruch von Technologieentwicklung ................................................ 34
5 Konklusion ......................................................................................................... 35
6 Abbildungsverzeichnis ....................................................................................... 37
7 Literaturverzeichnis............................................................................................ 37
8 Selbstständigkeitserklärung................................................................................ 40

Einleitung Hans Lietz
Seite 4 von 40
1 Einleitung
Stanislaw Lem beeinflusste mit seinem Werk Summa Technologiae von 1976 die
Technikphilosophie ganz wesentlich. In dieser Arbeit soll vor allem der von Lem ge-
prägte Begriff der Technologiefalle im Kontext mit künstlicher Intelligenz untersucht
werden. Die Entwicklungen und Innovationen rund um künstliche Intelligenz in letzter
Zeit haben die philosophische Diskussion dazu neu aufleben lassen. Der schwedische
Professor Nick Bostrom hat dazu einige prägende Werke verfasst, von denen ein paar
in dieser Arbeit aufgegriffen und diskutiert werden.
Vom ersten Ackerbau bis zur Mondlandung war alles, was die Menschheit und Erde
und die Position und den Status des Menschen auf der Erde beeinflusst hat, auf
menschliche intellektuelle Leistungen zurückzuführen. Auch die KI ist aus der intel-
lektuellen Leistung der Menschen entstanden  nun ist sie aber ein weiteres System,
das solche Leistungen vollbringen kann. Erstmalig in der Geschichte der Menschheit
bekommt die menschliche Intelligenz ernsthafte Konkurrenz und gibt dabei das Mo-
nopol der Kontrolle, die sie bis dato über ihren eigenen Status hatte, ab.
Sind künstliche Intelligenzen Technologiefallen und könnten sie vielleicht die letzten
Technologiefallen sein? In dieser Arbeit soll versucht werden diese Frage zu beant-
worten. Dabei werden zunächst die nötigen Begriffe wie Intelligenz, künstliche Intel-
ligenz und Technologiefalle definiert und diskutiert, dann die möglichen Folgen der
Entwicklung künstlicher Intelligenz untersucht und eingeordnet um schließlich anhand
dieser Einordnung die Möglichkeit zu erörtern, warum und ob künstliche Intelligenzen
die letzten Technologiefallen sein könnten.

Erläuterungen Hans Lietz
Seite 5 von 40
2 Erläuterungen
Zur Diskussion des Themas sind einige strittige Prämissen unausweichlich. Diese wer-
den hier kurz genannt und diskutiert, können jedoch nicht in aller Ausführlichkeit be-
handelt werden.
1. Intelligenz ist die Fähigkeit eines Wesens zur Einsicht und zur Problemlösung.
2. Intelligenz kann mehr oder weniger ausgeprägt sein.
3. Eine größere Intelligenz als die des Menschen ist möglich.
4. Künstliche Intelligenz heißt eine solche Intelligenz, die durch nichtbiologische
Verfahren simuliert oder erzeugt wird.
5. Bewusst ist, was intentionale Zustände aufweist.
2.1 Anmerkungen zur ersten Prämisse: Definition von Intelligenz
Eine Definition von Intelligenz ist ein äußerst schwieriges Unterfangen, da der Begriff
in verschiedenen Kulturen und Wissenschaften unterschiedlich aufgefasst und inter-
pretiert wird. Da in dieser Arbeit insbesondere der technologische Fortschritt unter-
sucht wird, soll eine Definition von Intelligenz als eine Fähigkeit genügen, die tech-
nologischen Fortschritt bedingt. Das ist vor allem 
(Regenbogen und Meyer 2013, 173) und die Fä-
higkeit zur Problemlösung.
2.2 Anmerkungen zur zweiten Prämisse: Einordnung von Intelligenz
Im Zuge des Versuches einer wissenschaftlichen Definition von Intelligenz schreibt
Edwin G. Boring:
Intelligence is what the tests test. (Boring 1923)
Diese zunächst verzweifelt anmutende Definition hat sich bis heute als sehr brauchbar
herausgestellt: Intelligenztests werden derart entwickelt, dass ein individuenspezifi-
scher Wert (Intelligenzquotient - IQ) auf die gesamte Population betrachtet einer
Gauß-Verteilung genügt. Dabei gilt ein IQ von 100 als Norm der jeweiligen Popula-
tion. Das Erstellen eines solchen IQ-Tests ist ein schwieriges Unterfangen und es hat
sich herausgestellt, dass ein solcher Test immer auch in Abhängigkeit des kulturellen
Basiswissens der Zielgruppe erstellt werden muss. Das bedeutet aber auch: Der IQ ist
kein absoluter Wert, der sich nur schlecht eignet, die Intelligenz diverser Zielgruppen

Erläuterungen Hans Lietz
Seite 6 von 40
zu vergleichen. Es ist bei einem solchen Verfahren schon per Definition gegeben, dass
der Durchschnitts-IQ einer Maus (100) dem eines Menschen (100) entspricht, da für
beide individuelle Tests entwickelt werden müssen. Demnach eignet sich eine solche
IQ-Skala hier nicht. Dennoch muss es möglich sein, einem Wesen generell mehr oder
weniger Intelligenz zuzusprechen als einem anderen. So ließe sich sicherlich plausibel
einem Menschen eine größere Intelligenz zusprechen als einer Maus.
2.3 Anmerkungen zur dritten Prämisse: Einordnung menschlicher Intelligenz
Wenn es aber verschiedene Grade von Intelligenz gibt, so gibt es keine plausiblen
Gründe für die Annahme die menschliche Intelligenz sei der Gipfel einer solchen Ein-
ordnung. Als der Homo Sapiens über ausreichend Intelligenz verfügte sich zu zivili-
sieren, so tat er es. Seitdem hat sich unsere biologische Kapazität nur unwesentlich
verändert. Warum sollte die maximal mögliche Intelligenz also ausgerechnet das Maß
treffen, an dem eine Zivilisierung gerade möglich ist? Ein solcher Zufall wäre doch
sehr erstaunlich.
Es ist denkbar, dass ein Verstand mit größerer Intelligenz zusammenbrechen oder dem
Wahnsinn verfallen würde. Dafür spricht z.B., dass eine größere Intelligenz bis dato
nicht beobachtet werden konnte. Es gibt allerdings keinen Grund zur Annahme, ein
solches Zusammenbrechen sei verursacht durch zu große Intelligenz alleine  viel
wahrscheinlicher ist, dass lediglich das entsprechende Organ ab einer gewissen Größe
oder Komplexität nicht mehr effektiv funktioniert.
Selbst wenn keine andere Qualität von Intelligenz erreicht werden kann, dann doch
sicher eine andere Geschwindigkeit. Sofern es möglich ist, Intelligenz auch in nicht-
biologischen Systemen zu erzeugen, kann davon ausgegangen werden, dass etwaige
Denkprozesse dort allein schon aufgrund der möglichen Datenübertragungsgeschwin-
digkeit schneller ablaufen. Die intellektuelle Leistung mehrerer Jahre Mensch könnten
von solch einem System in wenigen Momenten vollbracht werden. Es soll daher wei-
terhin angenommen werden, dass eine größere Intelligenz als die des Menschen mög-
lich ist.

Erläuterungen Hans Lietz
Seite 7 von 40
2.4 Anmerkungen zur vierten Prämisse: Künstliche Intelligenz
Es ist lediglich wichtig, anzunehmen, dass es auf irgendeine Art und Weise möglich
sei, Intelligenz künstlich zu erzeugen. Da zumindest in Menschen Intelligenz vorzu-
finden ist, gibt es wenig Gründe, die dagegensprechen könnten, dass Intelligenz er-
zeugt werden kann, was sich an folgendem Gedankenexperiment veranschaulichen
lässt:
Gelänge es dem Menschen, eine perfekte Kopie eines Menschen zu synthetisieren, so
liegt der Schluss nahe, dass dieser Mensch über irgendeine, dem Menschen wahr-
scheinlich sehr ähnliche, Form von Intelligenz verfügen würde. Dies wäre dann bereits
eine künstliche Intelligenz. Es gibt demnach wenig Grund zur Annahme, dass lediglich
das natürliche Zeugen und Aufwachsen eines Embryos zu Intelligenz führen können
soll  denn der Mensch hat bereits in viele Zustände dieses Prozesses eingegriffen. Es
soll also grundsätzlich möglich sein, eine künstliche Intelligenz zu erschaffen. Wel-
cher Art der Körper dieser Intelligenz sei, ob auf Silizium oder Kohlenstoffbasis, ist
dafür irrelevant. Hierzu ist anzumerken, dass es recht willkürlich erscheinen würde,
wäre Intelligenz nur in Systemen möglich, die aus bestimmten Elementen aufgebaut
sind. Allerdings ist über das Entstehen von Intelligenz und vor allem die Ursache dafür
noch zu wenig bekannt, als dass hier eine definitive Aussage getroffen werden kann.
Wenn aber eine Intelligenz künstlich erschaffen werden könnte, so liegt die Überle-
gung zumindest Nahe, es müsse möglich sein, auf irgendeine Art und Weise die Intel-
ligenz des erschaffenen Wesens zu beeinflussen. Es ist sicherlich unstrittig, dass einige
Menschen intelligenter sind als andere. Wenn die Ursache hierfür in irgendeiner Form
im Körper begründet liegt, ist es möglich, durch Veränderung eines Körpers die Intel-
ligenz zu steigern.
2.5 Anmerkungen zur fünften Prämisse: Bewusstsein
Viele erfassen die Bedeutung des Begriffs Bewusstsein intuitiv, dennoch ist es wichtig,
eine objektivere Bedeutung herauszuarbeiten, um etwaige Differenzen der einzelnen
Interpretationen aufzudecken und zu beseitigen. Auch hier soll eine Definition gefun-
den werden, die für die vorliegende Problematik am Sinnigsten erscheint, d.h. es wird
vor allem eine Definition gesucht, die Bewusstsein im Zusammenhang und Vorhan-
densein von künstlicher Intelligenz begreift. Dabei soll die Definition so schwach wie

Technologiefalle Hans Lietz
Seite 8 von 40
möglich ausfallen, um die Zielgruppe des zu behandelnden Subjektes nicht unnötig
einzugrenzen.
Ganz in der Tradition des Philosophen John Searle soll hier eine Definition genügen,
die auf das Vorhandensein oder die Abwesenheit von intentionalen Zuständen Bezug
nimmt: Bewusst ist, was intentionale Zustände aufweist. Hierbei ist herauszustellen,
dass keine Aussage über die Form des Bewusstseins getätigt wird. Auch soll nicht
untersucht werden, ob und wie intentionale Zustände nachgewiesen werden können
1
.
Im Folgenden soll im Zusammenhang mit Bewusstsein vor allem untersucht werden,
ob das Vorhandensein von intentionalen Zuständen in künstlicher Intelligenz eine
Auswirkung auf die Ausgangsfragestellung hat  ob künstliche Intelligenz den Tech-
nologiefortschritt ablösen oder beenden wird.
Eine Intelligenz, die der menschlichen Intelligenz in allen Bereichen mindestens eben-
bürtig ist, soll als starke KI bezeichnet werden. Das meint, neben ausreichenden intel-
lektuellen Fähigkeiten, auch das Vorhandensein eines Bewusstseins. Nach obiger De-
finition von Bewusstsein soll der Ausdruck starke KI im Folgenden verstanden werden
als KI mit intentionalen Zuständen. Dementsprechend wäre eine schwache KI dann
eine ohne intentionale Zustände. Es ist wichtig zwischen starker und schwacher KI zu
unterscheiden, da für beide unterschiedliche Szenarien denkbar sind. Wird im Folgen-
den eine solche Unterscheidung nicht explizit benannt, gelten die jeweiligen Ausfüh-
rungen für schwache und starke KI gleichermaßen. Ob Wesen über Bewusstsein ver-
fügen oder nicht spielt allerdings meist nur eine untergeordnete Rolle.
3 Technologiefalle
3.1 Definition des Begriffs nach Lem
Der Begriff der Technologiefalle bedarf einer Definition. Lem hat diesen Begriff be-
reits 1976 geprägt und schlägt dafür in seinem späteren Werk folgende Definition vor:
1
Eine spannende Frage, für die es gerade seit dem Aufkommen der Forschung an künstlichen Intelli-
genzen zahlreiche Beiträge gibt. Berühmt ist u.a. der Turing-Test, der aus der Beobachtung von Ver-
halten auf Bewusstsein schließt.

Technologiefalle Hans Lietz
Seite 9 von 40
Es ist das sozial-existentielle Resultat einer breiten Anwendung derartiger technogener
Operationen, das in der Entstehungsphase unbemerkt, gesellschaftlich schlecht oder über-
haupt nicht vorhersehbar, in der Phase zunehmender Anwendungen dann unumkehrbar
ist, wobei sich die erhofften Vorteile seiner Verbreitung in eine ein- oder mehrdimensio-
nale Katastrophe verkehren, die immer offensichtlicher wird und von eben jenen mächti-
gen Entscheidungsträgern immer schwieriger zu stoppen ist, denen wir seine proliferati-
ven Ausmaße und seine überwältigende Schädlichkeit »verdanken«. (Lem, Die
Technologiefalle 2013, 135)
Lem nimmt hier Bezug auf die Auswirkungen der Technologisierung der Gesellschaft.
Wird eine neue Technologie entwickelt oder entdeckt, so geschieht dies oftmals mit
positiver Motivation und in dem Glauben, der Menschheit damit Gutes zu bringen. Es
ist aber möglich, dass sich eben aus jenen Technologien unvorhergesehene und unge-
wünschte Nebenwirkungen ergeben, die den gewünschten positiven Effekt nicht auf-
wiegen und eventuell sogar umkehren. Dies soll als Technikfolgen bezeichnet werden.
Sollte die Technologie allerdings durch ihre stete Anwendung bereits so fest in der
Gesellschaft verankert sein, dass keine Rückkehr von ihr mehr möglich ist, so handelt
es sich um das, was Lem als Technologiefalle bezeichnet. Außerdem ist ihre existen-
tielle Art charakteristisch für eine solche angewandte Technologie. Sie hat direkte
Auswirkungen auf das Leben und die Existenz der Menschen.
Kurz: der Mensch weiß, was auch immer er tut, fast nie, was er in Wirklichkeit tut 
jedenfalls weiß er es nicht genau. (Lem, Summa technologiae 1976, 8)
Wie Lem selbst sagt: Der Mensch weiß nur selten um das volle Ausmaß seiner Hand-
lungen. Würde er es kennen, hätte seine Entscheidung vermutlich anders ausgesehen.
3.2 Eine zweite Interpretation des Begriffs
Nun könnte ein berechtigter Einwand lauten, dass es für den Menschen in einem sol-
chen Fall keine Motivation gäbe, überhaupt technologischen Fortschritt anzustreben.
Das hält Lem für unwahrscheinlich, strebe der Mensch doch ständig nach Neuem und
Veränderung (Lem, Summa technologiae 1976, 582).
Es muss außerdem beachtet werden, dass keineswegs jede Technologie zwangsweise
negative Folgen hat, auch Lem sieht dies 
(Lem, Summa technologiae 1976, 9).

Technologiefalle Hans Lietz
Seite 10 von 40
Die Motivation zur Entwicklung sieht Lem vor allem auch in der Lösung von Proble-

(Lem, Summa technologiae 1976, 11). Dies führt zu einer zweiten möglichen Inter-
pretation des Begriffs der Technologiefalle: Auch die zwanghafte Fortsetzung des
technologischen Fortschritts zur Lösung früherer technologischen Probleme kann als
Falle interpretiert werden. Denn möchte der Mensch mit den Problemen einer Tech-
nologie nicht leben, so muss er sich eine neue einfallen lassen, die allerdings auch
wieder neue Probleme mit sich führt. Dies führt zu einem sehr langen Progress, an
dessen Ende entweder die Zerstörung der menschlichen Innovation oder die vollkom-
mene Technologie steht. Vorgegriffen auf spätere Ausführungen kann hier erwähnt
werden, dass u. A. die künstliche Intelligenz das Ende eines solchen menschlichen
Progresses markieren könnte.
3.3 Beispiele
In der Menschheitsgeschichte und in der Geschichte der Technologie kann man tat-
sächlich einige Beispiele finden, die zutreffend mit Lems ursprünglichem Begriff be-
schrieben werden könnten. Er selbst gibt die Atomenergie als Beispiel. Sie wurde wäh-
rend des zweiten Weltkrieges entwickelt und eingesetzt, seitdem wird sie größtenteils
zur Erzeugung von Energie genutzt. Nach wie vor forschen Wissenschaftler weltweit
an dieser Technologie, und das obwohl ihr zerstörerisches Potential gut bekannt ist.
Die Atomenergie hat sich als eine dieser Technologien herausgestellt, von der die
Menschheit keinen Abstand mehr nehmen kann. Die an bestimmten Stellen freigewor-
dene Radioaktivität wird viele Jahrtausende eben jene Stellen für den Menschen un-
bewohnbar machen und hat die dort wohnhaften Menschen dauerhaft geschädigt oder
sogar zum ihrem Tod geführt. Das betrifft sowohl die Gebiete der Atomtests im kalten
Krieg wie auch die Katastrophen in Tschernobyl und Fukushima. Die weniger be-
kannte zivile Nutzung atomarer Waffen, zur kontrollierten Sprengung von Bergbauten
etc. (Russell 2015) hat in ähnlichem Maße das entsprechende Areal für Menschen un-
bewohnbar gemacht und für zahlreiche Opfer gesorgt.
Hierbei handelt es sich um ganz deutliche Kehrwenden der Technologie: Die Entwick-
ler und Erbauer der Atomkraftwerke hatten sicher nicht im Sinn Menschen Schaden

Technologiefalle Hans Lietz
Seite 11 von 40
zuzufügen oder die Umgebungen für Jahrtausende unbewohnbar zu machen. Im Ge-
genteil, sie haben sich saubere und nachhaltige Energie versprochen, haben aber die
Kontrolle darüber verloren und können dort, wo es bereits zur Katastrophe kam, die
Auswirkungen der Technologie nicht umkehren. Auch die bloße Möglichkeit der kom-
pletten Vernichtung menschlichen Lebens auf der Erde, die durch die große Aufrüs-
tung nun real geworden ist, war sicher nicht im Sinne der Entdecker der Atomenergie
(Lem, Summa technologiae 1976, 8).
In der heutigen politischen Welt ist die Atomtechnologie als Machtinstrument etabliert
und äußerst effektiv, dennoch gibt es viele Staaten, die noch nicht über sie verfügen.
Gerade diese Staaten sind es, die zurzeit intensiv daran forschen, um Teil der interna-
tionalen Atomgemeinschaft zu werden. Sie forschen sowohl an der militärischen als
auch der zivilen Nutzung. Während einzelne Staaten (u. A. auch Deutschland) versu-
chen, von der Technologie wieder Abstand zu nehmen, so würde dies weltweit nur
durch globale und gemeinsame Anstrengungen gelingen. In diesem Zusammenhang
gibt es einen politischen Ansatz: Die Internationale Atomenergie-Organisation
(IAEO). Diese ist eine eigenständige Organisation, die in enger Kooperation mit den
Vereinten Nationen versucht über die weltweite Nutzung von Atomenergie die Über-
sicht zu bewahren. Allerdings hat diese nicht die Eindämmung oder Abschaffung der
Atomtechnologie zum Ziel, im Gegenteil. Ihr erklärtes Ziel ist es, die zivile Techno-
logie schneller weltweit zu verbreiten und dabei den militärischen Nutzen zu minimie-
ren (IAEA 2016). Und selbst wenn die komplette Entfernung jeglicher Atomtechno-
logie auf der Welt das Ziel dieser Organisation wäre, so wird schnell klar, wie aus-
sichtslos ein solches Unterfangen in einer Welt, die politisch und sozial so komplex
wie unsere ist, aussieht.
Lem hat also Recht, wenn er schreibt:
    (Lem, Die Technologiefalle
2013, 137).
Als weiteres Beispiel für eine Technologiefalle kann das Internet dienen. Als Ende der
60er Jahre das ARPAnet entstand (Bibliographisches Institut & F. A. Brockhaus AG
2003, 214), hatte sicherlich niemand der Entwickler eine Vorstellung davon, dass im

Technologiefalle Hans Lietz
Seite 12 von 40
Jahr 2016 der Nachfolger mehr als 3,5 MRD Menschen (Internet Live Stats 2016) auf
der ganzen Welt miteinander verbinden und in ständiger Kommunikation halten
würde. Das Internet hat sich zu einer Technologie entwickelt, die aus dem heutigen
gesellschaftlichen Leben nicht mehr wegzudenken ist. Ebenso ist es unmöglich, von
dieser Technologie wieder Abstand zu nehmen. Durch die globale dezentrale Struktur
gibt es keine Möglichkeit, das Internet abzuschalten. Hierfür müsste weltweit die kom-
plette Infrastruktur umgebaut werden  ein Unterfangen, das praktisch unmöglich ist.
Auch wenn das Internet der Menschheit viel Gutes gebracht hat, so birgt es doch auch
Probleme, die so nicht vorhergesagt wurden. Die sehr schnelle und globale Vernetzung
ermöglicht es den Menschen in Anonymität und fernab von Kontrolle illegalen und
gefährlichen Machenschaften nachzugehen. Dies fängt bei Raubkopien an, geht über
Kinderpornografie bis hin zur Absprache und Koordination von terroristischen Akten
und Gewalt. Selbst die Möglichkeit von Hackerangriffen auf Privatpersonen, Unter-
nehmen und sogar auf infrastrukturelle und politische Institutionen wurde so nicht vor-
hergesehen. Die Veränderung in der sozialen und politischen Struktur der Gesellschaft
wird ebenfalls kritisch beobachtet. Die langfristigen Folgen können noch nicht richtig
abgeschätzt und überblickt werden. Die großen Datenmengen der führenden Netz-
werke wie Facebook, Amazon oder Google ermöglichen sehr detaillierte und auf-
schlussreiche Erkenntnisse über den Menschen, diese Erkenntnisse werden zurzeit
schon zu sehr erfolgreichen Werbezwecken genutzt. Sie bergen aber große Gefahren
für die demokratische Grundordnung z.B. durch gezielte massenhafte Manipulation
von Nachrichten in sozialen Netzwerken kurz vor Wahlen o.Ä.
Zur Lösung dieser Probleme durch Kontrolle des Internets schlägt Lem eine Intelli-
genz vor, die sämtliche Kommunikation überwacht und filtert (Lem, Die
Technologiefalle 2013, 265,266). Diese Intelligenz müsste eine künstliche sein, da al-
lein aufgrund der Datenmengen eine menschliche Bearbeitung außer Frage steht. So-
mit hätte man an dieser Stelle eine neue Technologie gefunden, welche die Probleme
der alten relativieren würde, allerdings auch selbst unvorhersehbaren Schwierigkeiten
hervorbringen könnte. Nun ist die Idee zur KI nicht geboren, um die Probleme des
Internets zu lösen, aber sie könnte und wird dort u. A. eingesetzt.

Technologiefalle Hans Lietz
Seite 13 von 40
Es bleibt festzuhalten, dass Technologien oft über Nach- und Nebenwirkungen verfü-
gen, die im Vorhinein von den Entwicklern nicht richtig erkannt und abgeschätzt wer-
den können. Dennoch lässt sich eine Beschleunigung der technologischen Entwick-
lung erkennen. Dies führt zweifelsohne zur Frage wie und wann das Ende einer sol-
chen Entwicklung eintreten könnte.
3.4 Kritik des Begriffs
Eine Falle hat den Zweck, etwas zu fangen und hat dabei meist wenig Gutes für den
Gefangenen. Zwar gibt es für die Maus auch ein Stück Käse, doch angesichts der
schnappenden Feder scheint dies kein lohnender Tausch zu sein. Ähnlich kann Lems
Auffassung von Technologie verstanden werden: Zwar gibt es immer auch ein Stück-
chen Käse für die Menschheit, auf lange Sicht würde die Feder jedoch zuschnappen
und es wünschenswert erscheinen lassen, der Käse wäre immer unberührt geblieben.
Aber wenn die Maus einmal den Mechanismus ausgelöst hat, kommt sie auch durch
freiwilligen Verzicht auf den Käse nicht mehr frei.
Dies mag eine zutreffende Beschreibung der Problematik technologischen Fortschritts
zu sein, erscheint aber doch sehr pessimistisch. Es wirft die Frage auf, ob der Mensch
am Anfang des Fortschritts wirklich weniger Schwierigkeiten und Probleme hatte.
Nun ist dieser Zeitpunkt  oder vielmehr Zeitraum  nicht klar definierbar und schon
gar nicht rekonstruierbar. Es erscheint allerdings klar, dass die Probleme der frühen
Menschheit zumindest anderer Qualität waren. So gab es keine globale Ökonomie und
Politik und auch nicht Möglichkeiten, in einem solchen Ausmaß die Welt zu verändern
und zu zerstören, wie wir sie heute haben. Dennoch wünscht man sich im Allgemeinen
nicht in eine solche vortechnologische Zeit zurück. Aber woran liegt das? Dies kann
in dem Glauben begründet sein, dass eine Welt, wie wir sie heute vorfinden, nur besser
sein kann, als eine frühere. Dazu ist es nicht einmal nötig bis an den Anfang der
Menschheitsgeschichte zurückzugehen: Schon wenige Jahrhunderte oder gar Jahr-
zehnte genügen, um klar werden zu lassen, dass sich in unserer Welt etwas geändert
hat, das uns daran hindert uns zurückzuwünschen.
Unsere Welt sei in den letzten Jahren besser geworden, wie eine Zusammenstellung
der WeltN24 (Olaf Gersemann 2015) diverser Studien andeutet. Gemessen an Stan-
dards, die  zumindest aus liberaler, westlicher Sicht  wenig kontrovers sein dürften.

Technologiefalle Hans Lietz
Seite 14 von 40
Die Zahl der in großer Armut lebenden Menschen hat sich in den letzten dreißig Jahren
halbiert, ebenso die Zahl der bewaffneten Konflikte. Die weltweite Kriminalitätsrate
sinkt, ebenso die Kindersterblichkeit. Dagegen steigen die durchschnittliche Lebens-
erwartung und die Bildung an. (Ebd.)
Eine Welt ohne technologischen Fortschritt, also eine Welt in der sich nichts verändert,
scheint schwer vorstellbar oder wünschenswert.
Was ist also möglich? Nahezu alles, vielleicht mit einer Ausnahme. In einigen 10 000
Jahren könnten die Menschen, nachdem sie miteinander zu Rate gegangen sind, eines
schönen Tages beschließen: »Genug; so wie es jetzt ist, soll es von nun an immer sein.
Wir wollen nichts mehr verändern, nichts mehr erfinden, nichts mehr entdecken, denn
besser als jetzt kann es nicht sein, und selbst wenn es besser sein könnte, so wollen wir
es nicht.« (Lem, Summa technologiae 1976, 582)
Der Fortschritt ist ein Teil der menschlichen Gesellschaft und Kultur. Es graut einem
vor einer Welt ohne ihn. Was bleibt dem Menschen also, als stetig weiter zu forschen?
Auch ein anderer Gedanke kommt einem in den Sinn, der sicherlich im Sinne Lems
ist: Ihm folgend ist der Fortschritt lediglich ein Instrument der Evolution, das dem
Menschen das Überleben gesichert hat. Doch unser Planet und Sonnensystem sind frü-
her oder später dem Untergang geweiht. Es droht die ultimative Zerstörung allen Le-
bens auf der Erde, spätestens, wenn die Sonne das Ende ihres Lebens erreicht hat. Um
das menschliche Leben zu sichern muss es unausweichlich den Planeten und das Son-
nensystem verlassen oder eine andere Lösung gefunden werden. Ohne technologi-
schen Fortschritt ist dies aber undenkbar.
Dennoch bleiben die Gefahren des Fortschrittes sehr real. Noch nie verfügte die
Menschheit über so ein geballtes Potential, noch nie war das gesellschaftliche Zusam-
menleben so intransparent und kompliziert wie zur heutigen Zeit. Niemand kann sich
ausmalen welche Technologie in den nächsten Jahren das Zusammenleben auf der
Erde fundamental verändern wird  und niemand weiß, welche Folgen das letztlich für
den Menschen und die Menschheit haben könnte. Es stellt sich die Frage nach dem
Umgang mit solchen Technologiefallen.

Technologiefalle Hans Lietz
Seite 15 von 40
3.5 Sind diese Fallen prinzipiell oder nur praktisch unausweichlich?
Gibt es eine Technologie, die über kurz oder lang entstehen muss? Nur die bloße Mög-
lichkeit der Existenz einer Technologie scheint nicht ausreichend für eine tatsächliche
Realisierung derselben zu sein. Es gibt zahlreiche Technologien, die zwar logisch
denkbar aber in der tatsächlichen Welt nicht realisiert sind. Das kann viele Gründe
haben: Oftmals ist es fehlender oder geringer Nutzen oder ein nicht lohnendes Nutzen-
Kosten-Verhältnis. Die Entwicklung einer Technologie ist  ähnlich zur Evolution 
gewissen Zufallsprinzipien unterworfen. Eine Technologie mag für eine Gesellschaft
zu einer Zeit sinnvoll erscheinen, während die gleiche Technologie unter anderen Um-
ständen nicht entwickelt worden wäre.
Von daher ist keine Technologie  und damit keine Technologiefalle prinzipiell und
allein aufgrund ihrer Art unausweichlich. Es ist immer denkbar, dass die Menschheit
in plötzlichen globalen Anstrengungen die Entwicklung einer Technologie verhindert.
Praktisch ist dies aber sehr schwierig und häufig unwahrscheinlich. Zumal solche An-
strengungen meist das Erkennen der möglichen Gefahren einer Technologie voraus-
setzen, das wiederum bei Technologiefallen nicht zwangsläufig gegeben ist. Aller-
dings muss zwischen der Entwicklung bestimmter Technologien und der Entdeckung
gewisser Naturphänomene differenziert werden. Das stetige Erforschen der Natur
führt dazu, dass unabhängig von ihrem technologischen Nutzen früher oder später alle
Phänomene entdeckt werden. Die Entdeckung der Atomenergie war also tatsächlich
unausweichlich, die Entwicklung der Atombombe dagegen nicht. Es hätte theoretisch
zu einer Ächtung dieser Technologie kommen können, bevor sie entwickelt wurde.
Interpretiert man den Begriff Technologiefalle auf die zweite genannte Art, so sieht es
schon schwieriger aus: Wenn mit jeder neuen Technologie Folgen entstehen, die durch
eine wiederum neue Technologie minimiert werden müssen, so bezeichnet das tatsäch-
lich eine prinzipiell unausweichliche Technologiefalle. Hier liegt die einzige Möglich-
keit in dem Versuch, die Folgen der entwickelten Technologie im Vorfeld perfekt ab-
zuschätzen und im Anschluss daran die Technologie entsprechend anzupassen, sodass
ein Ausweg aus einer solchen Technologiefalle möglich ist. Künstliche Intelligenzen
könnten bei solch einer Abschätzung allerdings auch helfen.

Technologiefalle Hans Lietz
Seite 16 von 40
3.6 Umgang mit Technologiefallen
Es sind teilweise enorme Anstrengungen nötig, um Entwicklungen in bestimmten Be-
reichen aufzuhalten, wenn sie erst einmal in Gang gesetzt wurden. Gerade in politi-
schen Auseinandersetzungen kann es zu einem Wettrüsten kommen, wie die Ge-
schichte der Entwicklung der Atombombe zeigt. Die Entwickler der Atombombe
wussten um ihr zerstörerisches Potential. Erst die Angst vor diesem in den Händen des
dritten Reiches führte zur Initialisierung des Manhattan-Projektes, das schließlich die
Atombombe hervorbrachte. Das, wie bereits erwähnt, klassische Beispiel einer Tech-
nologiefalle. Oppenheimer erläuterte 1965 in einem NBC-Interview seine Gedanken
während eines Atomwaffentests:

  'Now, I am become Death, the destroyer of worlds.' I suppose we all
thought that one way or another. (Oppenheimer 1965)
In diesem Fall sahen die Wissenschaftler also, gleich der Kenntnis der zerstörerischen
Möglichkeit einer solchen Waffe, keinem anderen Weg als sie zu entwickeln. Ein sol-
ches Szenario kommt einer unausweichlichen Technologiefalle am Nächsten: Wobei
hier die Kenntnis der Folgen der Technologie nicht nur gegeben, sondern sogar Grund
für ihre Entwicklung war. Dennoch ist die Unausweichlichkeit der Entwicklung hier
nicht direkt in der Technologie selbst, sondern in der politischen Situation zur Zeit
ihrer Entdeckung begründet.
Es gab gerade im Bereich der militärischen Forschung in der Vergangenheit einige
erfolgreiche Versuche ein Wettrüsten in solchen Bereichen zu kontrollieren und zu
verhindern. So gibt es mittlerweile in jedem wissenschaftlichen Forschungsfeld inter-
nationale Vereinbarungen für den Bann bestimmter Waffenarten, an denen nicht wei-
ter geforscht werden soll und wurde. Dies sind z.B. Technologien, die den Abwurf von
Nuklearwaffen aus dem Weltraum ermöglichen, oder Laserwaffen, die zum Erblinden
der gegnerischen Soldaten führen würden. Ähnliche Überlegungen für den Bann au-
tonomer Waffensysteme sind in der Diskussion. (future of life institute 2015)
Ein nicht-militärisches Beispiel ist die Technologie der Zeppeline: Nach dem Absturz
der Hindenburg 1937 kam es zu einem Stillstand der Entwicklung von Luftschiffen.

Technologiefalle Hans Lietz
Seite 17 von 40
Ihr Einsatz wurde danach deutlich reduziert. Ähnliches galt für Überschall-Passagier-
flugzeuge nach dem Absturz einer Concorde im Jahr 2000. Solche Katastrophen zei-
gen einerseits das Konzept der Technologiefalle  der Absturz der Flugobjekte war
sicher nicht im Sinne der Entwickler  andererseits aber auch die mögliche Reaktion
der Gesellschaft im Nachhinein.
Es gibt in der Technikphilosophie einen Bereich, der sich Technikfolgenabschätzung
nennt und versucht aktiv Technologiefallen zu erkennen und ggf. Maßnahmen zur Be-
grenzung oder Abwendung zu ergreifen. Hierbei handelt es sich um ein Beispiel der
Möglichkeiten der Menschheit Technologiefallen zu umgehen. So gibt es in Deutsch-
land am Karlsruher Institut für Technologie das Institut für Technikfolgenabschätzung
und Systemanalyse. Dieses ist Mitglied im Netzwerk TA, einem Zusammenschluss di-
verser Institutionen und Personen aus ganz Europa, die gemeinsam die möglichen Fol-
gen von Technik diskutieren und bewerten. Seit Kurzem beschäftigen sie sich auch
mit künstlicher Intelligenz.
Die heutige Forschung hat Lems thematisierte Problematik unerkannter Technologie-
folgen erkannt und es werden Wege gesucht, damit umzugehen. Dennoch bleibt na-
türlich die Möglichkeit bestehen, dass gewisse Technologien unterschätzt werden und
Risiken unerkannt bleiben. Darüber hinaus sollte nicht vergessen werden, dass geäch-
tete Waffen oder Technologien tatsächlich eines Tages entwickelt werden könnten.
Wie bereits erläutert, genügt die Möglichkeit der Existenz einer Technologie aller-
dings nicht, um auf eine Realisierung derselben zu schließen.
3.7 Kategorisierung von Technikfolgen
Nick Bostrom kategorisiert mögliche Risiken für die Menschheit in einer Skala, wie
sie für die folgende Technikfolgenabschätzung künstlicher Intelligenz ebenfalls ver-
wendet werden soll.        
Gruppe in d
raus ergeben sich sechs verschiedene Kategorien für die Einordnung von Gefahren für
die Menschheit.

Technologiefalle Hans Lietz
Seite 18 von 40
Scope
global
Thinning of the
ozone layer
X
local
Recession in a
country
Genocide
personal
Your car is stolen
Death
endurable
terminal
Intensity
Tabelle 1: Risikokategorien nach Nick Bostrom
Quelle: http://www.jetpress.org/volume9/risks.html

den große Gruppen betroffener Menschen. Ein globales Risiko ist ein Risiko für die
ganze Menschheit und ihre Nachfahren. Ein lokales Risiko ist ein Risiko für bestimmte
Regionen oder Gruppen von Menschen. Ein persönliches Risiko ist ein Risiko für eine
oder wenige Personen. (Bostrom, Existential Risks 2002)
 terminierend. Ein
erträgliches Risiko ist ein solches, das zwar Auswirkungen auf die entsprechende
Gruppe hat, diese aber das beabsichtigte Leben nicht dauerhaft schädigend verhindert.
Es besteht die Möglichkeit, dass die Gruppe einen Weg finden kann, mit Auswirkun-
gen der Technik umzugehen. Ein terminierendes Risiko dagegen ist ein solches, bei
dem genau das nicht mehr möglich ist: Risiken, die in Tod, Versklavung oder Ähnli-
chem enden. (Ebd.)
Diese Kategorisierung ist eine sehr oberflächliche, die nur dazu dient mögliche Gefah-
ren grob einteilen und abschätzen zu können. Gerade der Unterschied zwischen glo-
balen und lokalen Gefahren ist nicht ganz klar: Gilt eine Gefahr erst als global, wenn
wirklich die gesamte Menschheit betroffen ist? Eine Bedrohung, die 90% der Weltbe-
völkerung auslöschen könnte, darf doch eigentlich ebenfalls als globale Bedrohung
betrachtet werden. Trotzdem eignet sich eine solche Kategorisierung gerade auch für
die Diskussion künstlicher Intelligenzen, denn die möglichen Technikfolgen, die im

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 19 von 40
weiteren Verlauf abgeschätzt werden, lassen sich durch dieses System gut einordnen.
Eine solche Einordnung ist wichtig, um die Ausgangsfrage zu beantworten. Vorgegrif-
fen auf spätere Ausführungen kann kurz erwähnt werden, dass es ohne Menschheit
keinen menschlichen technologischen Fortschritt gibt und dass eine Technologie, die
ein solches Ende markiert, als letzte Technologiefalle bezeichnet werden könnte. Von
daher ist eine Unterscheidung von terminierenden und erträglichen Folgen für ver-
schieden große Gruppen Menschen sinnvoll.
4 Künstliche Intelligenz als Technologiefalle
Inwieweit ist eine künstliche Intelligenz eine Technologiefalle? Und könnte eine
künstliche Intelligenz evtl. zukünftige Technologiefallen verhindern? Oder wäre sie
gar die ultimative Technologiefalle, die schließlich zum Untergang der Menschheit
führt?
Diese Fragen sind überschattet von populistischen Ängsten und Vorstellungen zur
künstlichen Intelligenz. Etwaige Weltuntergangsszenarien werden in fiktionalen Wer-
ken gerne aufgegriffen und machen in Verbindung mit menschlichen Emotionen eine
aufgeklärte Diskussion nahezu unmöglich. Dennoch gibt es mit dem Aufkommen im-
mer besserer künstlicher Intelligenzen in Technologie und Alltag ernstzunehmende
Szenarien, die eine Diskussion erfordern
Um die oben genannten Fragen zu beantworten, muss es eine Technikfolgenabschät-
zung für künstliche Intelligenz geben, wie sie im Folgenden versucht wird. Dabei wer-
den die möglichen Folgen erörtert und in die zuvor diskutierte Risikoskala eingeord-
net, um damit schließlich eine Abschätzung darüber zu erhalten, ob es sich bei künst-
licher Intelligenz um die letzte Technologiefalle handeln könnte.
4.1 Kontroll- und Freiheitsverlust
Auch wenn das Erschaffen einer künstlichen Intelligenz nicht zwangsweise das Er-
schaffen eines künstlichen Bewusstseins bedeuten würde, so hat eine künstliche Intel-
ligenz doch eine ganz außergewöhnliche, neue philosophische Qualität. Wenn bis dato
Maschinen vor allem den Zweck hatten, den menschlichen Muskel zu ersetzen, so hat-
ten Menschen immer die Möglichkeit, das Prinzip hinter solchen Maschinen zu ver-
stehen und mit diesem Verständnis fundierte Urteile über die Nutzung der Maschinen

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 20 von 40
zu fällen. Dies ist bei künstlichen Intelligenzen nicht mehr unbedingt gegeben: Der
Zweck künstlicher Intelligenzen ist es, den Menschen Entscheidungen abzunehmen
und zu erleichtern. Dabei ist davon auszugehen, dass die KI früher oder später kom-
plexere Sachverhalte als der Mensch bearbeiten könnte, denn das ist eine der Haupt-
motivationen überhaupt eine KI zu entwickeln. Die jetzt schon immense Rechenleis-
tung eines Computers, ein System aus dem heute vorhandene (schwache) KIs beste-
hen, scheint eine der menschlichen Intelligenz weit überlegene Intelligenzen möglich
zu machen. Damit gibt der Mensch also u. U. die Kontrollmöglichkeit an KIs ab:
Selbst, wenn er die KI nicht ermächtigt, die Entscheidung zu treffen, so könnte er ihre
komplexeren Empfehlungen und Lösungen nicht mehr nachprüfen und darüber ein ei-
genes Urteil fällen. Dies beschreibt im Prinzip einen Verlust der persönlichen Ent-
scheidungsfreiheit: Zwar mag es unter Umständen dem Menschen möglich sein, eine
andere Entscheidung zu treffen, als von der KI empfohlen wurde, doch es erscheint als
unwahrscheinlich, dass er es auch tatsächlich tut.
Ein solches Risiko wäre ein lokales, erträgliches Risiko. Es betrifft direkt nur jene
Gruppe von Menschen, die Zugriff auf künstliche Intelligenzen haben  also vornehm-
lich Bewohner von Industrienationen und vor allem Arbeiter und Ingenieure in ent-
sprechend technisierten Unternehmen. Auch ist dies kein Risiko, dass direkt die Exis-
tenz der Menschheit bedroht. Die Menschen würden auch in solch einem Szenario
wohl Möglichkeiten finden, ihr Leben zu leben.
4.2 Kapitalistisches Ungleichgewicht
In einer zu großen Teilen kapitalistischen Weltökonomie, wie wir sie heute erleben,
sind die Ressourcen der Welt ungleich verteilt. Nach einer Oxfam-Studie (Oxfam
International 2017) besitzen die acht reichsten Menschen der Welt mehr Kapital als
die ärmere Hälfte der Weltbevölkerung. Es gibt keinen Grund anzunehmen, dass der
Besitz von KIs hiervon auszunehmen wäre: Schon jetzt sind die besten KIs in der Hand
von Superkonzernen wie Amazon (Alexa), Apple (Siri), Google (Brain) oder IBM
(Watson). Solange die KI nur als Produkt verkauft wird, zeichnet sie sich nicht durch
eine von anderen Produkten unterschiedliche, besondere Gefahr aus. Sobald es aller-
dings eine KI gibt, die im Interesse des Besitzers handelt  und dieser die alleinige
Kontrolle über eine solche KI hat, bringt diese KI dem Besitzer enorme Vorteile.

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 21 von 40
Menschliche Konkurrenz hätte gegen eine solche KI kaum eine Chance. Die Gefahr
ist sehr real, dass KIs die Kluft zwischen Arm und Reich in der Welt noch wesentlich
vergrößern und damit für Ungerechtigkeit und Unfrieden sorgen.
Man stelle sich z.B. eine KI vor, die zur Aufgabe hat, das Vermögen eines Investors
durch Börsenhandel zu maximieren. Schon jetzt findet an der Börse ein hochfrequenter
Computerhandel statt, der durch Menschen kaum noch überprüft werden kann. Den-
noch folgen die dort handelnden Computer simplen mathematischen Modellen. Eine
künstliche Intelligenz dagegen wäre deutlich effektiver und könnte so durch ge-
schickte Manipulation der An- und Verkäufe für eine große Rendite des Investors sor-
gen oder sogar Unternehmen in einen Crash treiben.
Eine solche Gefahr ist ebenfalls lokaler und erträglicher Art. Es gibt nur ein Szenario,
in dem es zu einem globalen Risiko werden würde: Wenn die KI versuchen würde,
tatsächlich alle Ressourcen und Reichtümer der Welt zu sammeln. Viel wahrscheinli-
cher ist, dass eine entsprechende KI nur in bestimmten geschäftlichen Bereichen zum
Risiko werden würde, wie z. B. der Börse. Zwar hätte ein Börsencrash Folgen für sehr
viele Bevölkerungsgruppen, nicht aber für alle. Betroffene Menschen würden auch
hier Wege finden, damit umzugehen, es ist also keine direkte existentielle Bedrohung.
4.3 Veränderung des Arbeitsmarktes
Die gesellschaftlich hochdiskutierte Möglichkeit, eine KI könnte Arbeitsplätze ver-
nichten, ist vermutlich die erste Folge künstlicher Intelligenz, die die Menschheit tat-
sächlich in vollem Ausmaß wahrnehmen würde (und bereits merkt): Eine KI würde
die vorhandene Abhängigkeit der Firmen und Unternehmen von ihren Arbeitern be-
drohen, denn wären diese durch eine billige und gleichzeitig deutlich effektivere KI
ersetzbar, so würde dies im schlicht kapitalistischen Kontext umgesetzt werden. Der
Trend, Menschen durch Maschinen zu ersetzen, hält weiter an, denn Maschinen wer-
den immer besser. Das ist keine neue Entwicklung  aber seit es KIs gibt, die in der
Lage sind, selbstständig gewisse Aufgaben zu erlernen, sind immer mehr Arbeitsplätze
bedroht. Bis dato mussten Maschinen explizit für eine Aufgabe entwickelt und pro-
grammiert werden, mittlerweile gibt es general purpose Maschinen, die die ver-
schiedensten Aufgaben lösen können. Doch eine KI muss nicht in einer roboterartigen

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 22 von 40
Maschine verbaut sein. Sie ist ein Stück Software, das auf diversen Computersystemen
laufen kann.
Nach einem Bericht der FAZ (Welter 2017) hat im Januar 2017 eine japanische Ver-
sicherung 34 Stellen durch bereits oben aufgeführte KI Watson ersetzt. Dort sollen
künftig die Informationen der Patienten durch die KI gesammelt werden. Es gibt seit
einigen Jahren Vergleichsportale im Internet, welche die Arbeit von Vertretern über-
flüssig machen und dabei deutlich besser und effektiver sind.
Auch in kreative Bereiche zieht die KI langsam ein: ein Entwicklerteam mit dem Na-
men Hack Rod hat kürzlich eine KI benutzt, um eine möglichst effektive Autokaros-
serie zu gestalten. Dabei statteten sie zunächst eine rudimentäre Version einer Karos-
serie mit zahlreichen Sensoren aus, die alle möglichen Daten der Fahrt sammeln soll-
ten. Schließlich gaben sie diese Daten einer KI mit der Aufgabe, ein Design für eine
Karosserie zu finden, die einem Auto ermöglichen würde, schnell und effektiv diese
Strecke zu fahren. Das Ergebnis (Abbildung 1) ist ein organisches Design, wie es nicht
futuristischer hätte aussehen können und wie es sicherlich keinem Menschen eingefal-
len wäre.
Abbildung 1: Designprozess des "La Bandita Speedster",
Quelle: http://hackrod.co/wp-content/uploads/2016/11/05.jpg

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 23 von 40
Solche Beispiele demonstrieren, dass KIs in nahezu allen Bereichen der Arbeitswelt
Einzug halten und diese nachhaltig verändern werden. Dabei werden einige Berufe,
die es zurzeit gibt, schlicht überflüssig. Zwar entstehen auch neue Berufe mit dieser
neuen Technologie, insgesamt aber sinkt die Zahl der Arbeitsplätze. Der gesellschaft-
liche Umgang mit diesem Problem ist eine der großen Aufgaben des 21. Jahrhunderts.
Auch diese Gefahr kann als global erträglich kategorisiert werden. Sie betrifft in erster
Linie zwar nur die arbeitende Bevölkerung, würde über kurz oder lang aber jeden
Menschen betreffen. Erträglich ist dieses Risiko deswegen, da andere Möglichkeiten
zum Lebensunterhalt gefunden werden können. Im Zuge einer solchen Umstellung der
Arbeitswelt findet in letzter Zeit verstärkt eine Diskussion über ein unabhängiges
Grundeinkommen statt.
4.4 Autonome Waffen
Autonome Waffen bilden ein Szenario, das sicherlich die populärsten Ängste zu künst-
lichen Intelligenzen birgt. Zwar ist es unwahrscheinlich, dass die Menschheit eine KI
programmiert, welche die Menschheit im Allgemeinen zerstören soll, aber es gibt be-
reits heute (schwache) KIs mit militärischem Nutzen. Diese KIs besitzen ganz real die
Fähigkeit zu töten und zu zerstören.
Autonome Waffen selektieren und entscheiden ohne menschliche Intervention über
Ziele. Diese sind häufig auch Menschen. Es gibt also selbstständige Maschinen, die
darüber entscheiden welche Menschen angegriffen und getötet werden sollen. Populär
diskutierte Beispiele sind Kampfdrohnen, wie sie unter anderem von den USA zuletzt
verstärkt eingesetzt wurden. Die Kommunikationszeiten zwischen Drohne und Pilot
sind zu lang um einen effektiven, nicht-autonomen Betrieb zu ermöglichen. Daher
wurde in den Drohnen mehr und mehr Fähigkeiten implementiert, die in bestimmten
Einsätzen zu Teilautomität führen.
2015 wurde in den USA ein Waffensystem aus Mikro-Drohnen (a 290g) getestet, wel-
ches im Kollektiv und ohne zentrale Steuereinheit agieren kann (Department of
Defense, USA 2017). Diese Drohnen organisieren sich selbst, sie bekommen dabei
von außen lediglich Ziele genannt, die sie gemeinsam erreichen sollen. Ein solches
System ist ein Beispiel für ein autonomes Waffensystem, wie es bereits existiert. Die

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 24 von 40
genauen Lösungsstrategien des Schwarms können vom Menschen nicht mehr nach-
vollzogen werden. Es ist wichtig zu erwähnen, dass diese heute verfügbaren autono-
men Waffen keinesfalls über einen Willen oder irgendwelche anderen intentionalen
Zustände verfügen. Diese sind nicht nötig, um solche Waffensysteme als ernste Be-
drohung anzusehen. Es genügt nur ein mächtiges, autonomes Waffensystem, das un-
genau programmiert wurde oder unklare Anweisungen erhalten hat, damit es zu Kata-
strophen kommt. Gleiches gilt für ein solches autonomes Waffensystem in den Händen
von Gruppen, die simple Zerstörung im Sinn haben wie z.B. Terroristen.
Autonome Waffen können als direkte Technikfolge also als lokal terminierend be-
zeichnet werden, da sie nur eine ausgewählte Zielgruppe betreffen und mit wahr-
scheinlich tödlichen Folgen.
Das Vorhandensein solcher autonomer Systeme hat noch andere Folgen und wird die
Weltgemeinschaft, ähnlich wie es die Atomwaffe getan hat, verändern. Autonome
Waffensysteme sind deutlich effektiver und günstiger als menschlich geführte Waffen.
Wenn ein Staat im Besitz dieser Systeme ist, hat er einen entscheidenden Vorteil ge-
genüber anderen Staaten. Dieses Wissen könnte zu einem Wettrüsten führen. Kriege
könnten zukünftig unabhängig von Menschen geführt werden. Abhängig vom jewei-
ligen Standpunkt wird das sowohl als Vor- als auch als Nachteil gesehen. Befürworter
autonomer Waffen führen die Verhinderung menschlicher Verluste an, wenn nur noch
Maschinen kämpfen. Kritiker autonomer Waffen befürchten ein Senken der Hemm-
schwelle für Krieg und meinen, ein Krieg bringe auch dann menschliche Opfer, wenn
die Waffen autonom agieren. Denn Ziel eines Krieges sei oft nicht die Beseitigung
gegnerischer Waffen, sondern vielmehr die Beseitigung der Gegner selbst.
Das Risiko, wie die Existenz solcher Waffen die Welt verändern würde, ist ein globa-
les aber erträgliches. Die Weltgemeinschaft wird einen Weg finden, mit der Existenz
solcher Waffen umzugehen  dennoch wird sie sich verändern.
4.5 Unerwartete Lösungsstrategien
Künstliche Intelligenzen sind hervorragende Problemlöser. Ein formuliertes komple-
xes Problem kann von einer KI meist schnell und effektiv gelöst werden. Dabei kann
es unter Umständen zu Lösungswegen kommen, die mit den Interessen von Menschen

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 25 von 40
in Konflikt stehen. Wurden im Vorfeld nicht die nötigen Vorsichtsmaßnahmen getrof-
fen, kann es so zu einem Konflikt zwischen KI und Mensch kommen. Das erfordert
keineswegs einen (bösartigen) Willen der KI. Eine solche Lösungsstrategie gleicht
vielmehr dem Lösen eines komplexen mathematischen Problems. Keine moralischen
Überlegungen sind nötig, um handlungsfähige künstliche Intelligenzen für die
Menschheit zu einem Problem werden zu lassen.
Stuart Russell skizzierte dafür eine passende Analogie. Den meisten Menschen wird
ein Ameisenstamm relativ gleichgültig sein. Vermutlich würden sie nicht einfach aus
purer Lust daran einen solchen Stamm zerstören. Wird der Ameisenstamm aber durch
den Bau eines Staudammes vernichtet, verschwendeten die wenigsten Menschen
große Gedanken daran. Russell sagt weiterhin, dass die Menschheit deswegen sicher-
stellen sollte, dass sie nicht in die Rolle des Ameisenstammes für die KI gerate.
(Russell 2015)
Wird eine KI mit der Aufgabe betraut eine möglichst effektive Energieversorgung zu
bauen, so wird das sehr wahrscheinlich mit den Interessen einiger Menschen in Kon-
flikt geraten. Da ein Konflikt aber äußerst ressourcenintensiv ist, könnte die KI wei-
terhin zur Lösung des Ursprungsproblems versuchen, den Konflikt möglichst effektiv
zu lösen  z.B. indem es entsprechende Menschen tötet, anstatt mit ihnen den Dialog
zu suchen.
Eine andere Möglichkeit ist, dass eine KI zunächst  gleich der ihr gestellten Aufgabe
 sicherzustellen versucht, dass sie nicht abgeschaltet wird. Ein Abschalten der KI
wäre die größte Bedrohung für das Lösen der gestellten Aufgabe. Daher könnte eine
KI zunächst Maßnahmen ergreifen, die ein Abschalten durch den Menschen unmög-
lich machen. Somit würde sich die KI der menschlichen Kontrolle entziehen und der
Mensch hätte keine Möglichkeit mehr, etwaige unvorhergesehene Folgen zu korrigie-
ren oder zu verhindern.
Ein solches Szenario ist erschreckend und nachvollziehbar zugleich. Zahlreiche andere
Beispiele sind denkbar, in denen der Mensch für die KI letztlich ein zu überwindendes
Hindernis auf dem Weg zur optimalen Problemlösung darstellt. Populär ist z.B. die

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 26 von 40
Idee, eine KI würde zur Lösung eines sehr komplexen Problems zunächst mehr Re-
chenleistung benötigen, dafür einen Großteil der Erde in ein Rechenzentrum verwan-
deln und dabei den Menschen verdrängen.
Dieses Risiko muss als global terminierend eingestuft werden. Zwar ist nicht jeder
mögliche unerwartete Lösungsweg einer KI in diesen Ausmaßen dramatisch, aber ein
solcher Weg ist durchaus denkbar. Die Technologie der künstlichen Intelligenz birgt
also die Gefahr der Ausrottung der Menschheit, sofern nicht frühzeitig entsprechende
Gegenmaßnahmen ergriffen werden.
4.6 Zerstörerische Konflikte zwischen mehreren KIs
Es gibt zurzeit mehrere unterschiedliche KIs, an denen geforscht wird. Der Gedanke,
dass es einmal zu Konflikten zwischen KIs kommt ist genauso realistisch, wie es Kon-
flikte zwischen Menschen gibt. Es ist denkbar, dass es zwischen verschiedenen künst-
lichen Intelligenzen zum Streit um Ressourcen kommt, oder sie gar unvereinbare Auf-
gaben lösen sollen. Dies könnte dazu führen, dass Menschen in die Schusslinie des
Konfliktes geraten  wobei hier nicht ein Roboterkrieg gemeint ist. Ein Konflikt zwi-
schen KIs würde vermutlich digital ausgetragen. Dabei könnte aber auch die digitale
menschliche Welt z.B. unter überladenen Leitungen, einem überraschend enormen
Energiekonsum oder ähnlichen Phänomenen leiden. Um das Börsen-Beispiel noch
einmal aufzugreifen: Wenn zwei künstliche Intelligenzen versuchen, ihr jeweiliges
Renditeziel zu erreichen, so könnte das zu einem Börsen-Crash führen, der das Geld
vieler Anleger vernichtet.
Dieses Risiko ist als global erträglich einzustufen. Ein Konflikt zwischen mehreren
KIs hätte vermutlich Auswirkungen auf die ganze Menschheit. Allerdings ist ein Sze-
nario, in dem die Menschheit so zerstört werden könnte, ziemlich unwahrscheinlich.
Der Mensch tritt hier nicht als Aggressor auf und es ist für KIs schlicht nicht nötig,
Schritte gegen ihn einzuleiten.
4.7 Intelligenzexplosion
Technologischer Fortschritt ist aber auch mit künstlicher Intelligenz vor allem abhän-
gig von der menschlichen Intelligenz. Ab dem Zeitpunkt, an dem eine KI selbstständig
beginnt den technologischen Fortschritt fortzusetzen, könnte das eintreten, was Nick

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 27 von 40
Bostr(Bostrom, What happens when our computers
gets smarter than we are? 2015) bezeichnet. Dies bedeutet im Prinzip, dass immense
technische Innovationen durch solche KIs in kürzester Zeit entwickelt werden könn-
ten.
Es ist auch denkbar, dass diese KIs neue, noch intelligentere Maschinen bauen, die
dann wiederum neue, noch intelligentere Maschinen bauen, usw. Dieses Szenario be-
schrieb der Mathematiker I.J.Good als Intelligenzexplosion.
It is more probable than not that, within the twentieth century, an ultraintelligent machine
will be built and that it will be the last invention that man need make, since it will lead to
(Good 1965, 78)
Geprägt ist die Diskussion vor allem auch von Eliezer S. Yudkowsky, der mit dem
Begriff Singularität den Grundgedanken beschreibt, KI würde sich analog zur Be-
schleunigung der Rechenzeit von Computern alle zwei Jahre verdoppeln. (Yudkowsky
1996) Diese Annahme ist aber falsch, da Rechenleistung nicht mit Intelligenz ver-
gleichbar ist (Russell 2015). Chalmers greift in einem Artikel 2011 die Idee der Sin-
gularität auf und versucht, verschiedene Szenarien auf ihre Plausibilität hin zu unter-
suchen. Er führt an, dass es zwar möglich, aber keinesfalls zwingend gegeben ist, dass
es zu einer solchen Singularität kommen wird (Chalmers 2011, 54). Aber die bloße
Möglichkeit einer Singularität genügt bereits, um diese als global terminierendes Ri-
siko einzustufen. Eine so starke Veränderung der Welt gäbe dem Menschen kaum Ge-
legenheit, sich dieser anzupassen. Es sind zahlreiche Szenarien denkbar, in denen der
Mensch sich entweder durch mangelnde Fähigkeit zum Umgang mit neuer Technolo-
gie selbst zerstört oder durch superintelligente KIs ausgelöscht würde.
4.8 Superintelligenz
Eine KI, welche intelligenter ist als ein Mensch, kann als Superintelligenz bezeichnet
werden. Superintelligenzen sind generell als globale Risiken einzustufen, denn eine
übermenschliche Intelligenz hätte die Möglichkeit globale Veränderungen zu bewir-
ken.

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 28 von 40
Nick Bostrom benennt drei Arten von Superintelligenz: Schnelle Superintelligenz,
Kollektive Superintelligenz und Qualitative Superintelligenz (Bostrom und Strasser,
Superintelligenz Szenarien einer kommenden Revolution 2014, 80-87).
4.8.1 Schnelle Superintelligenz
Die schnelle Superintelligenz übertrifft lediglich in der Geschwindigkeit die mensch-
liche Intelligenz. Diese Superintelligenz wäre dazu in der Lage, technische Innovation
in einer Geschwindigkeit voranzubringen, die den Menschen weit hinter sich lassen
würde. Wichtig hierbei ist zu erkennen, dass dieser Vorteil durch Geschwindigkeit
allein schon erreicht wird  es ist nicht nötig, dass diese Superintelligenz wirklich in-
telligenter als ein Mensch ist, wenn sie schneller denkt als der Mensch genügt das
schon. So entspräche die Denkarbeit dieser Superintelligenz von einem Tag dem Viel-
fachen der Denkarbeit eines Menschen an einem Tag. Da elektrische Systeme im Ver-
gleich mit biologischen bis zu 1.000.000-mal schneller sind, könnte eine Superintelli-
genz an einem Tag die Denkarbeit von knapp 2500 Jahren leisten (Bostrom, What
happens when our computers gets smarter than we are? 2015).
Hierbei ist allerdings Vorsicht geboten: Die Geschwindigkeit der Computer alleine
genügt nicht für technologischen Fortschritt. Computer, wie sie heute existieren, könn-
ten auch bei einem deutlichen Anstieg der Rechenleistung nicht mit menschlicher In-
telligenz verglichen werden  sie würden lediglich Rechenaufgaben deutlich schneller
lösen können. Oder, wie Stuart Russel in einem Vortrag über die Entwicklung von
künstlicher Intelligenz sagte: Sie würden die dummen Antworten von heute lediglich
besonders schnell geben (Russell 2015). Rechenleistung ist eben nicht mit Intelligenz
zu verwechseln, auch wenn der exponentielle Anstieg der Rechenleistung häufig als
Grund für die Annahme einer Intelligenzexplosion angeführt wird.
Das Aufkommen oder die Entwicklung einer schnellen Superintelligenz ist ein global
erträgliches Risiko. Eine schnelle Superintelligenz birgt kein spezielles terminierendes
Risiko.

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 29 von 40
4.8.2 Kollektive Superintelligenz
Die kollektive Superintelligenz besteht aus einer Vielzahl an Intelligenzen, die im Kol-
lektiv Leistungen vollbringen, die ein einzelner Mensch so nicht leisten kann. Ein Bei-
spiel hierfür ist das Kollektiv der Menschheit: Die große Gruppe interagierender, ein-
zelner Intelligenzen erbringt stetig neue Errungenschaften und Leistungen, die kein
Einzelner hätte leisten können. Auch ein Kollektiv aus Maschinen ist vorstellbar, das
gemeinsam Aufgaben löst, die eine einzelne Maschine nicht lösen könnte. Ein beson-
ders populäres Beispiel hierfür sind Nanoroboter, die nur über eine sehr geringe Re-
chenleistung verfügen, im Kollektiv aber beeindruckende Leistungen vollbringen kön-
nen. Auch Lem hat ein solches Kollektiv fiktiv in seinem Roman Der Unbesiegbare
und wissenschaftlich als Essay mit dem Titel Künstliche Nichtintelligenz thematisiert.
Eine solche kollektive Superintelligenz kann als global terminierendes Risiko einge-
stuft werden. Essentiell für diese Art der Superintelligenz ist das Kollektiv an sich, das
letztlich durch vorhandene Ressourcen bestimmt ist. Da aber der Mensch ein sehr res-
sourcenintensives Wesen ist, läge für eine solche KI der Schluss nahe, dass zur Opti-
mierung der eigenen Denkfähigkeiten die Menschheit wenn nicht ausgelöscht, so doch
zumindest reduziert werden müsse.
4.8.3 Qualitative Superintelligenz
Die qualitative Superintelligenz verfügt über ähnliche Rechenleistung wie auch die
menschliche Intelligenz, hat jedoch inhaltlich eine neue Qualität. Erklärbar ist dies gut
durch eine Analogie zwischen Mensch und Tier: Während die Intelligenz einiger Tiere
über wenigstens genau so viel, wenn nicht gar mehr Rechenleistung als die menschli-
che verfügt, so sind Tiere doch vieler Dinge nicht mächtig, die der Mensch gemeistert
hat. Ähnliches ließe sich zwischen der Beziehung zwischen menschlicher Intelligenz
und Superintelligenz vermuten: Die Superintelligenz würde einer Logik folgen, die
dem Menschen unbegreiflich erscheint. Schon heute stößt der Mensch an die Grenzen
seines Begreifens, dies wird vor allem in der Physik und der Mathematik deutlich. Die
Quantenphysik lässt sich phänomenologisch nicht begreifen, da sie völlig außerhalb
der menschlichen Verstehenswelt beheimatet ist. Komplizierte Simulationen müssen
durch starke Vereinfachungen und optische Aufbereitung dem Menschen erst zugäng-

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 30 von 40
lich gemacht werden. Es ist denkbar, dass es Intelligenzen gibt, die eine solche Auf-
bereitung nicht benötigen und noch wesentlich kompliziertere  oder gar qualitativ
ganz andere - Sachverhalte nachvollziehen können. Dies ist ein Thema, das in den
letzten Jahren vor allem in Filmen oft und gerne aufgegriffen wurde: So existiert in
Christopher Nolans Interstellar eine weiterentwickelte menschliche Intelligenz, wel-
che die Welt mehrdimensional begreift  etwas, das dem Zuschauer durch wirre Bilder
und ein Zeitlabyrinth verdeutlicht werden soll. Ähnlich in Denis Villeneuves Film Ar-
rival: Eine außerirdische Spezies versucht mit den Menschen zu kommunizieren und
scheitert beinahe, da der Mensch die Denkmuster der Spezies nicht begreifen kann.
Eine solche qualitative Superintelligenz ist als globales, erträgliches bis terminieren-
des Risiko einzustufen. Eine Intelligenz, die auf solch unbekannte und dem Menschen
unähnliche Art denkt, würde die Menschheit als Ganzes betreffen. Wenn es sich um
eine starke KI handelt, so ist unklar, was sie sich als Ziel setzen könnte. Vorstellbar ist
aber, dass sie die Kommunikation mit Menschen aufgrund einer zu großen Differenz
der Sprache, Geschwindigkeit und Intelligenz abbrechen würde  um schließlich los-
gelöst vom Menschen zu existieren. Lediglich wenn der Mensch zur Bedrohung der
Existenz dieser KI werden würde, könnte diese wiederum zu einem terminierenden
Risiko werden.
4.9 Kontrolle einer KI
Alle Typen der KI haben eine Gemeinsamkeit: Wenn es dem Menschen nicht gelingt,
sie zu kontrollieren, so kann sie früher oder später immer zu einem global terminie-
renden Risiko werden. Zu lösen gilt das sogenannte Kontroll-Problem. Wie gelingt es
dem Menschen, eine KI zu kontrollieren? Oder anders formuliert: Wie ist sicherzustel-
len, dass eine künstliche Intelligenz im Sinne der Menschheit agiert, und nicht gegen
sie? Etwaige Kontrollsysteme müssen in solchen Intelligenzen verankert werden bevor
diese superintelligent werden. (Bostrom, What happens when our computers gets
smarter than we are? 2015)
Es gibt im Wesentlichen zwei Möglichkeiten, eine KI zu kontrollieren. Entweder die
Möglichkeiten der KI werden durch eine Fähigkeitenkontrolle beschränkt oder es wird
durch eine Motivationskontrolle sichergestellt, dass die Motivation der KI stets im
Sinne der Menschheit ist.

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 31 von 40
4.9.1 Fähigkeitenkontrolle
Die wohl vielversprechendste Art einer Fähigkeitenkontrolle wäre das Wegsperren ei-
ner KI. Die Software könnte in einer Simulation betrieben werden oder die entspre-
chende Hardware könnte von der sonstigen Welt abgekapselt in Sicherheitsverwah-
rung genommen werden. Allerdings muss die KI irgendeinen Zugang zur äußeren Welt
haben, sonst wäre ihre Existenz überflüssig. Dieser Zugang wird hier jedoch zur
Schwachstelle: Selbst in der stärksten Form des Wegsperrens muss der KI irgendeine
Art des Informationsaustausches mit Menschen möglich sein. Das ermöglicht ihr aber
auch eine Manipulation der entsprechenden Menschen. Nun könnte der Wärter dieser
KI ebenfalls einer weiteren Kontrolle unterliegen. Zum Beispiel könnte ein Gremium
über jeden In- und Output einer solchen KI entscheiden. Jedoch bahnt sich hier ein
bürokratisches Monster an, das ab einem gewissen Punkt die Vorteile einer KI wieder
negiert, da sie handlungsunfähig wird.
Ein solcher Käfig würde keine absolute Sicherheit bedeuten. Dennoch sollten wir auf
einen solchen bei der Entwicklung künstlicher Intelligenzen nicht verzichten, da er die
Sicherheit enorm erhöht. Hier muss ein Kompromiss aus Sicherheit und Nützlichkeit
gefunden werden.
Neben diesem Käfigszenario ist es ebenfalls denkbar die Hardware der Superintelli-
genz zu kontrollieren, wie z.B. durch ein Reduzieren der verfügbaren Rechenleistung
oder des Speichers. Allerdings würde auch dies den Nutzen einer KI wesentlich ein-
schränken.
Eine bessere Möglichkeit wäre die Implementierung von Kontrollmechanismen, die
eine KI dauerhaft analysieren und ggf. abschalten. Vermutlich könnte ein solcher Me-
chanismus eingebaut werden, ohne dass die KI darum weiß: Das ist nötig, um Mani-
pulationen zu verhindern. Allerdings ist nicht ganz klar nach welchen Kriterien ein
solcher Kontrollmechanismus funktionieren müsste, und ob er überhaupt implemen-
tiert werden kann. Ebenso ist unsicher, ob eine künstliche Intelligenz sich nicht auch
mit ihrem eigenen Design beschäftigen würde, um ihre Effizienz zu optimieren. Dabei
würde ein solcher Kontrollmechanismus vermutlich entdeckt oder durch Zufall neutra-
lisiert. Es bleibt also ein unkalkulierbares Risiko bestehen: Ein menschengemachter
Kontrollmechanismus könnte von KIs wahrscheinlich umgangen werden.

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 32 von 40
4.9.2 Motivationskontrolle
Zumindest in Anbetracht der Nützlichkeit einer KI wäre es besser, könnte man die
Motivation, also das Ziel und ggf. die Absichten der KI dermaßen kontrollieren, dass
der Weg den die KI wählt, ebenfalls im Sinne der Menschheit ist.
Eine direkte Definition der Ziele im Sinne aller Menschen scheint äußerst schwierig:
Moralvorstellungen der Menschen sind verschieden und miteinander selten vereinbar.
Auf welches Ziel würde sich geeinigt? Es stellt sich auch heraus, dass jedes ausformu-
lierte Ziel von einer KI auf eine Weise erreicht werden könnte, die nicht im Sinne der
Menschheit ist. Ein Überfluten der Welt mit Glückshormonen beispielsweise, um das
Glück der Menschen zu steigern. Oder das Töten aller Menschen für ewigen Frieden.
Eine allgemeine Definition der Ziele, die ungewünschte Lösungsstrategien aus-
schließt, gibt es nicht.
Möglich wäre eine solche Kontrolle auch durch eine Verschmelzung der KI mit Men-
schen (eine graduelle Verbesserung der menschlichen Intelligenz durch Prothesen) 
eine Diskussion dieser Möglichkeit führt hier allerdings zu weit.
Einen interessanten Gedanken benennt Nick Bostrom. Würde die KI glauben in einer
Simulation zu existieren, so wäre es viel wahrscheinlicher, dass sie sich entsprechend
der Wünsche der Menschen verhalten würde, selbst wenn diese nicht exakt benannt
wurden. (Bostrom, What happens when our computers gets smarter than we are? 2015)
Dahinter steht die Möglichkeit, stets von außerhalb der eigenen Welt abgeschaltet wer-
den zu können. Es ist aber nicht sicher, ob dieses Wissen eine KI tatsächlich kontrol-
lieren könnte.
4.10 Die letzte Technologiefalle?
Als letzte Techno-
logiefalle soll hier vor allem die Technologie verstanden werden, nach der es entwe-
der keine Menschheit oder keine weiteren Technologiefallen mehr gibt.
Die möglichen Risiken und Folgen der Entwicklung einer KI wurden bereits disku-
tiert. Welche dieser Risiken und Folgen der KI würden zu einer Verhinderung künfti-
ger Technologiefallen führen? Dafür gibt es zwei Möglichkeiten: Eine fundamentale

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 33 von 40
Änderung der Technikfolgenabschätzung, die dazu führt, dass künftige Technologie-
fallen erkannt und umgangen werden können, oder ein Abbruch jeglicher Technolo-
gieentwicklung.
4.10.1 Änderung der Technikfolgenabschätzung
Es ist ein Szenario denkbar, in dem eine KI über so immense Informationen verfügt
und außerdem die nötige Rechenleistung zur Verarbeitung dieser Informationen nut-
zen kann, dass jede technologische Entwicklung in einer Simulation durchgespielt
werden könnte. Ob es zu solch einem Szenario kommen kann ist philosophisch äußerst
umstritten, da es einen starken Determinismus der Welt voraussetzt. Dennoch er-
scheint es plausibel, dass eine KI zumindest umfangreichere Abschätzungen über die
Folgen von Technologie machen kann als ein Mensch.
Sollte dies tatsächlich möglich sein und würde eine KI zur Technikfolgenabschätzung
eingesetzt so käme es nicht mehr oder nur äußerst selten zu Technologiefallen. Tech-
nologischer Fortschritt wäre frei von positiver oder negativer Überraschung. Zumin-
dest nach der zweiten Interpretation des Begriffs der Technologiefalle, der sie in Bezug
auf den gesamten Prozess technologischer Entwicklung versteht, wäre so eine abschät-
zende künstliche Intelligenz in der Tat eine Möglichkeit, dem scheinbar unendlichen
Progress zur Beseitigung vorhergehender, unvorhergesehener Technikfolgen zu ent-
rinnen oder sogar vorzubeugen.
Doch auch nach der ersten möglichen Interpretation von Technologiefalle könnten sol-
che Fallen durch eine gute Technikfolgenabschätzung im Vorhinein verhindert wer-
den. Eine künstliche Intelligenz, die Technikfolgenabschätzung betreibt, könnte also
Technologiefallen vorhersagen und somit im Vorhinein eine Abschätzung darüber
treffen, ob sich die Entwicklung einer entsprechenden Technologie trotz ihrer etwai-
gen Folgen lohnt.
Ein solches Szenario ist allein aufgrund der schier unendlich verschiedenen Möglich-
keiten, wie eine Technologie die Zivilisation beeinflussen könnte zwar schwer vor-
stellbar, aber auch eine übermenschliche Intelligenz ist per Definition schon schwer
vorstellbar. Von daher könnte die Entwicklung einer KI tatsächlich als die letzte Tech-
nologiefalle angesehen werden.

Künstliche Intelligenz als Technologiefalle Hans Lietz
Seite 34 von 40
4.10.2 Abbruch von Technologieentwicklung
Zwischen menschlichem und nicht-menschlichem Fortschritt kann unterschieden wer-
den. Es ist nicht auszuschließen, dass auch die Technologien, die von KIs entwickelt
werden, ungewollte Nebeneffekte erzielen und ggf. den Nutzen dieser Technologien
ungeplant umkehren. Dies ist vor allem dann der Fall, wenn eine entsprechende Tech-
nikfolgenabschätzung im Vorfeld nicht möglich ist.
Die möglichen Folgen künstlicher Intelligenz für die Menschheit wurden bereits dis-
kutiert. Alle dort als global terminierend kategorisierten Risiken haben das Potential,
die Menschheit zu terminieren und könnten so für den Abbruch eines menschlichen
Technologiefortschrittes sorgen. Doch auch andere, dort aufgeführte Risiken, können
dies mit sich führen:
Der Verlust von Arbeitsplätzen würde auch die forschenden und entwickelnden Bran-
chen treffen. Wenn KIs eines Tages dazu in der Lage sind selbstständig zu forschen
und zu entwickeln, ist es wahrscheinlich, dass sie auch in diesem Bereich schnell den
Menschen übertreffen. Neben den bereits diskutieren Szenarien zur Intelligenzexplo-
sion und zur Superintelligenz wäre dies ein mögliches Szenario, in dem es zu einem
Ende menschlichen Fortschrittes kommen könnte. Wenn KIs diesen Fortschritt schnel-
ler und effektiver betreiben als Menschen, so würden sie den Menschen in Innovation
stets vorauseilen, was schließlich zu einem Versiegen menschlicher Innovation führen
würde. Der Mensch würde in solch einem Szenario schon nach kürzester Zeit intellek-
tuell abgehängt, wäre fortan für den technologischen Fortschritt überflüssig und hätte
keine Möglichkeit mehr einzugreifen. Dieses Szenario erfüllt alle Kriterien, die Lem
für eine Technologiefalle anführte in besonders dramatischer Weise: Der Mensch hätte
sich, in bester Absicht, selbst des innovativen Fortschritts überflüssig gemacht und die
Kontrolle darüber verloren. Dabei ist keineswegs vorausgesetzt, dass die entwickelten
Technologien nicht vom Menschen genutzt würden  sie würden nur nicht von ihm
entwickelt. Vorstellbar ist auch, dass etwaige, sehr komplizierte Technologien, vom
menschlichen Verstand nicht oder kaum noch begriffen werden können. Auch hier
wäre ein menschlicher Weiterentwicklungsprozess also unmöglich. Das Aufkommen
innovativ forschender künstlicher Intelligenzen könnte also zu einem Stopp menschli-
cher technologischer Innovation kommen.

Konklusion Hans Lietz
Seite 35 von 40
5 Konklusion
Es bleibt festzuhalten, dass es zahlreiche Szenarien gibt, bei denen künstliche Intelli-
genz als letzte Technologiefalle bezeichnet werden kann. In einigen, nicht aber in allen
dieser Szenarien bedeutet die KI sogar das Ende menschlichen Lebens  eine Tatsache,
die verdeutlicht, dass ein Diskurs über die möglichen Folgen der Weiterentwicklung
künstlicher Intelligenz nötig ist. Die Entwicklung künstlicher Intelligenz befindet sich
noch in den Kinderschuhen, daher sollte der Diskurs geführt werden, bevor die mög-
lichen Folgen sich der menschlichen Kontrolle entziehen und die Menschen in diese 
möglicherweise letzte  Technologiefalle geraten.
In dieser Arbeit wurde das Bild einer sehr fortschrittlichen KI gezeichnet und entspre-
chende Probleme behandelt. Bereits heute werden KIs in zahlreichen elektronischen
Geräten angeboten und genutzt, auch gibt es diverse Unternehmen auf der ganzen
Welt, die mit Hilfe von KIs ihre Geschäfte betreiben. Die heute vorhandenen KIs wei-
sen keine Anzeichen von Intentionalität auf  und aufgrund ihres Designs ist davon
auszugehen, dass eine solche auch nicht vorliegt. Es handelt sich also bis dato um
schwache KIs, die aber bereits jetzt einen großen Einfluss auf die Menschheit haben.
Es wurde viel über die möglichen Risiken künstlicher Intelligenz gesagt, daher sollen
im Folgenden noch der mögliche Nutzen skizziert werden, der das Entwickeln künst-
licher Intelligenz erst motiviert. Dabei wird vor allem auf aktuell bereits verfügbare
Technologie verwiesen, die zukünftig vermutlich noch schneller und besser werden
wird.
Ein populäres Beispiel einer solchen bereits vorhandenen KI ist Watson von IBM. Da-
bei handelt es sich um ein System, das darauf ausgelegt ist Eingaben in natürlicher,
menschlicher Sprache zu verarbeiten. Dies gibt Unternehmen die Möglichkeit große
Mengen vorhandener Daten z.B. aus Fachzeitschriften für Medizin schnell und einfach
zu systematisieren und zu kategorisieren. Somit ermöglicht es Ärzten leichteren Zu-
griff auf diese Informationen. Diese können dann wiederum ihre begrenzte Zeit dem
Patienten widmen, statt sich mühsam selbst durch die großen Datenmengen zu arbei-
ten. Eine solche KI zur Diagnose von Krankheiten wird deutlich effektiver und fehler-
freier arbeiten als die meisten menschlichen Ärzte. Bei der enormen Vielzahl an mög-
lichen Erkrankungen und Kombinationen von Symptomen kann es für Ärzte oft

Konklusion Hans Lietz
Seite 36 von 40
schwierig sein, frühzeitig die richtige Krankheit zu diagnostizieren. KIs werden das
zukünftig wesentlich fehlerfreier, effizienter und früher machen können.
Auch im nicht-gewerblichen Zusammenhang ist die KI auf dem Vormarsch: Persönli-
che Assistenzsysteme wie Apples Siri, Microsofts Cortana oder Amazons Alexa sollen
dem Menschen bei alltäglichen Aufgaben zur Seite stehen. So ist es mittlerweile prob-
lemlos möglich Mobiltelefone und Computer per Spracheingabe zu steuern. Dies er-
fordert erstaunliche Leistungen der KI: Das Verständnis oft ungenauer Alltagssprache
ist für Computer eine große Herausforderung. Diese Systeme sind dazu in der Lage
Routen zu berechnen, Termine und E-Mails vorzulesen und zu sortieren, Nachrichten
zu berichten und vernetzte Technik zu steuern. Die Liste der Fähigkeiten wächst.
Mittlerweile kommen selbst bei kreativen und künstlerischen Tätigkeiten KIs zum
Einsatz. Die Plattform deepart.io z.B. hat eine KI entwickelt, die den Stil eines Malers
identifiziert und dann aus beliebigen Fotos entsprechende Gemälde zeichnet. Ein wei-
teres interessantes Projekt heißt DarwinTunes. Hierbei handelt es sich um eine KI, die
Musik komponiert. Aufgrund der Resonanzen aus dem Internet lern sie dazu, dabei hat
sich mittlerweile ein sehr komplexes, aber auch unübliches Musikstück gebildet. An-
dere KIs analysieren vorhandene Musik und komponieren im gleichen Stil. IBM hat
Watson eine Weile lang neue Rezepte entwickeln lassen. Googles KI hat Gedichte
geschrieben und es gibt sogar einen Kurzfilm (Sunspring), der von einer KI geschrie-
ben wurde.
In der heute vorherrschenden Ökonomie ist ein Mensch auf Arbeit angewiesen, um
sich seinen Lebensunterhalt zu verdienen. Unser gesamtes Lebensmodell basiert auf
der Prämisse, ein Mensch müsse für den Unterhalt seines Lebens arbeiten  eine Phi-
losophie, die durch KIs in Frage gestellt wird. Mancher mag in solch einer Entwick-
lung aber auch eine Befreiung sehen: Ein Mensch, der nicht arbeiten muss, um sein
Leben leben zu können, vermag sich in anderen Bereichen zu verwirklichen. Eine Zu-
kunft, in der Menschen an Dingen arbeiten, nicht weil sie es aufgrund ihrer wirtschaft-
lichen Nöte müssen, sondern weil sie es aus ureigenem Interesse wünschen, klingt
nach einer erstrebenswerten Zukunft. Aber das ist ein anderes Thema.

Abbildungsverzeichnis Hans Lietz
Seite 37 von 40
6 Abbildungsverzeichnis
Abbildung 1: Designprozess des "La Bandita Speedster", Quelle:
http://hackrod.co/wp-content/uploads/2016/11/05.jpg .............................................. 22
7 Literaturverzeichnis
Bibliographisches Institut & F. A. Brockhaus AG. Der Brockhaus Naturwissenschaft
und Technik. Heidelberg: Spektrum Akademischer Verlag GmbH, 2003.
New Republic 36, 1923: 35-37.
Bostrom, Nick. Existential Risks. Bd. 9. New Haven, Connecticut, 2002.
www.ted.com.
TED Talks. April 2015.
https://www.ted.com/talks/nick_bostrom_what_happens_when_our_compute
rs_get_smarter_than_we_are/transcript?language=en (Zugriff am 2. Januar
2017).
Bostrom, Nick, und Jan-Erik Strasser. Superintelligenz Szenarien einer kommenden
Revolution. Frankfurt am Main, Berlin: Suhrkamp Verlag, 2014.

Singularity - Journal of Cognitive Science,
Dezember 2011: 323-357.
Department of Defense, USA. Perdix Fact Sheet. Online. Department of Defense.
USA, 06. Januar 2017.
future of life institute. Autonomous Weapons: An Open Letter from AI & Robotics
Researchers. Brief. future of life institute. 2015.

Advances in Computers, 1965.
www.ted.com. TED
Talks. Juni 2016.

Literaturverzeichnis Hans Lietz
Seite 38 von 40
https://www.ted.com/talks/sam_harris_can_we_build_ai_without_losing_con
trol_over_it/transcript?language=en (Zugriff am 01. Januar 2017).
Hofstetter, Yvonne. Das Ende der Demokratie Wie die künstliche Intelligenz die
Politik übernimmt und uns entmündigt. München: C. Bertelsmann Verlag,
2016.
www.iaea.org. 2016.
https://www.iaea.org/sites/default/files/16/11/mts2018_2013.pdf (Zugriff am
1. Januar 2017).
Internet Live Stats. Internet Live Stats. 1. Juli 2016.
http://www.internetlivestats.com/internet-users/ (Zugriff am 3. Januar 2017).
Lem, Stanislaw. Die Technologiefalle. 1. deutsche Auflage. Übersetzung: Albrecht
Lempp und Friedrich Griese. Frankfurt am Main, Berlin: Suhrkamp Verlag,
2013.
. Summa technologiae. gebundene deutsche Ausgabe. Übersetzung: Friedrich
Griese. Frankfurt am Main: Insel Verlag, 1976.
Moravec, Hans. Mind Children The Future of Robot and Human Intelligence.
Cambridge, Massachusetts, London, England: Harvard University Press,
1988.
Nilsson, Nils J. The Quest for Artificial Intelligence. 13. September 2009.
http://ai.stanford.edu/~nilsson/QAI/qai.pdf (Zugriff am 27. Februar 2017).
Olaf Gersemann, Martin Greive, Tobias Kaiser. 20 Gründe, warum das Leben heute
besser ist denn je. Internet. Die Welt. 2015.
Oppenheimer, J. Robert. Transkript eines Videos. Übersetzung: Internetzitat. NBC-
Interview. Internetzitat, 1965.
An Economy for the 99%. Oxfam
International. Januar 2017.
https://www.oxfam.de/system/files/sperrfrist_20170116-0101_economy-99-
percent_report.pdf (Zugriff am 27. Februar 2017).

Literaturverzeichnis Hans Lietz
Seite 39 von 40
Regenbogen, Arnim, und Uwe Meyer. Wörterbuch der philosophischen Begriffe.
Herausgeber: Friedrich Kirchner, Carl Michaëlis, Johannes Hoffmeister,
Arnim Regenbogen und Uwe Meyer. Hamburg: Felix Meiner Mich
elis,
2013.
Russell, Stuart. The Long-Term Future of (Artifficial) Intelligence. Videomitschnitt
einer Rede. University of California. Berkeley, 2015.
Versicherer ersetzt zahlreiche Mitarbeiter durch
künstliche Intelligenz. FAZ. 01. Januar 2017.
http://www.faz.net/aktuell/wirtschaft/japan-versicherer-ersetzt-mitarbeiter-
durch-ki-ibm-watson-14605854.html (Zugriff am 28. Februar 2017).
Yudkowsky, Eliezer S. Staring into the Singularity. Artikel. 1996.

Selbstständigkeitserklärung Hans Lietz
Seite 40 von 40
8 Selbstständigkeitserklärung
Hiermit versichere ich,
Lietz, Hans, 2258033,
(Name, Vorname) (Matrikel-Nr.)
dass ich diese Arbeit mit dem Thema:
Künstliche Intelligenz – die letzte Technologiefalle?
Selbstständig verfasst habe und keine anderen als die angegebenen Quellen und
Hilfsmittel benutzt wurden, sowie Zitate kenntlich gemacht habe.
_____________________ _____________________
Ort, Datum Unterschrift