ThesisPDF Available

Sensorische Plastizität – Die körperliche Konstitution von Kognition als Erklärungsmodell sensorischer Substitution und Augmentation

Thesis

Sensorische Plastizität – Die körperliche Konstitution von Kognition als Erklärungsmodell sensorischer Substitution und Augmentation

Abstract

This is the theoretical part of my bachelor thesis. The paper is only available in German. In this paper – so called "proposal" – the phenomenon of Sensory Plasticity is researched as a basis to develop a Sensory Substitution device in the later published final thesis.
SENSORISCHE PLASTIZITÄT
Die körperliche Konstitution von Kognition als Erklärungs-
modell sensorischer Substitution und Augmentation
Jakob Kilian
Sensorische Plastizität
Die körperliche Konstitution von
Kognition als Erklärungsmodell
sensorischer Substitution und
Augmentation
Jakob Kilian
Bachelor Proposal 
Matrikelnummer 
Lehrgebiet: Interface Design
betreut von
Till Maria Jürgens
Prof. Michael Gais
Köln International School of Design
Fakultät für Kulturwissenschaften (F)
Technische Hochschule Köln
April 
INHALT
 Einleitung
. Relevanz
. Motivation
. Zielsetzung
Kognitionswissenschaft als Theoriemodell
. Klassische Erklärungsmodelle
.. Komputation
.. Repräsentation
. Moderne interaktionsorientierte Ansätze
.. Der Paradigmenwechsel
.. Ansatz nach Gibson
.. Ansatz nach Varela, Thompson und Rosch
. Sensomotorische Theorie der Wahrnehmung
.. Sensomotorische Kontingenzen
.. Intermodale Kontingenzen
.. Intramodale Kontingenzen
.. Die Erklärungslücke und ihre Schließung
.. Weitere Evidenzen
Sensorische Plastizität
. Sensorische Substitution
.. Forschungsarbeit durch Bach-y-Rita
.. Abgrenzung
.. Empirische Versuche und praktische Anwendungen
. Sensorische Augmentation
.. Historische Begrisherleitung
.. Empirische Versuche und praktische Anwendungen
Fazit und Ausblick
Literatur
Abbildungen
Abkürzungen
Eigenständigkeitserklärung
































Einleitung
Was im alltäglichen Sprachgebrauch als Wirklichkeit bezeichnet wird, ist
mithin nichts anderes als ein Ausschnitt unserer Umwelt, den wir durch
unsere Sinne in der Lage sind wahrzunehmen. Wie klein dieser Aus-
schnitt ist, zeigen uns neben Erkenntnissen der Wissenschaft Beispiele der
Tierwelt: man denke an Hunde, deren Riechorgan unseres um ein Vielfa-
ches übertrit; Katzen, welche in der Nacht Dinge wahrnehmen können,
wenn wir nur noch schwarz sehen; Fledermäuse, die Schallfrequenzen zur
Orientierung nutzen, welche unserer Physiologie verborgen bleiben; oder
Vögel, welche sich am Erdmagnetfeld orientieren und so Navigationsauf-
gaben ausführen können. Die Liste ließe sich beliebig erweitern, doch klar
wird: andere Spezies besitzen häug Sinnesorgane, welche uns Menschen
nicht zur Verfügung stehen. Die Beschaenheit unseres menschlichen
Sinnesapparats konstituiert, wie unsere Wirklichkeit für uns aussieht. Was
wir sehen, ist nur ein Ausschnitt des Spektrums an elektromagnetischer
Strahlung, was wir hören, ist nur ein Teil der Frequenzen des Schalls, was
wir fühlen, schmecken und riechen, ist bestimmt durch die Biologie unseres
Körpers. Von Radiowellen und Telefongesprächen, die unseren Körper in
diesem Moment passieren bis hin zu den mikrobiologischen Vorgängen
auf dem Papier oder dem Bildschirm, auf welchem die vorliegende Arbeit
gelesen werden kann, reicht hingegen der Ausschnitt, den wir nicht wahr-
nehmen können.
Diese Einschränkungen blenden wir im Alltag jedoch aus: unsere Wirk-
lichkeit wirkt für uns vollkommen, wir vermissen den unbekannten Teil
nicht. Wir gehen davon aus, dass uns unsere Augen Bilder der Realität
liefern und nicht nur Messergebnisse elektromagnetischer Strahlung

Der neurologischen Plastizität des Gehirns im Speziellen kann in der vorliegenden Arbeit keine größere
Aufmerksamkeit geschenkt werden. Die nähere Betrachtung des Begris würde den Rahmen sprengen
und ist der Zielsetzung der Arbeit nur bedingt dienlich. Ergebnisse neurowissenschaftlicher For-
schungsbemühungen und einzelne Aspekte der Gehirnplastizität finden dennoch in einigen Abschnit-
ten Einzug.
Der Begri ›Sensorische Plastizität‹ soll zunächst nur ausdrücken, dass unser Sinnesapparat nicht
starr ist, sondern sich unter bestimmten Umständen verändern und anpassen kann und umschließt
somit die Phänomene sensorischer Substitution und Augmentation. Er findet auch in anderer Literatur
Verwendung (vgl. Bach-y-Rita 1967; vgl. Degenaar & O'Regan 2015; vgl. Deroy & Auvray 2012: 11).
(in ihrem Umfang dazu noch stark begrenzt), welche von Objekten re-
ektiert werden und auf unserer Retina auftreen. Doch genau das ist es,
was passiert: wir sehen nicht mit unseren Augen; unser Gehirn kreiert das
Gefühl des Sehens durch Verarbeitung der elektrischen Impulse unserer
Retina:
»We do not see with the eyes; the visual image does not go beyond the
retina, where it is turned into patterns of pulses along nerves. It is the
brain that recreates the image from the patterns of pulses.«
(Bach-Y-Rita 2004: 84)
Dass diese »patterns of pulses« durch artizielle Apparaturen ersetzt
werden können, zeigen beispielsweise Cochlea-Implantate [Abb. 01]: die
Audiosignale werden mittels Mikrofon als elektrische Pulse aufgenommen,
durch einen digitalen Sprachprozessor verarbeitet und über ein Implantat
direkt an die Hörschnecke, unseren auditiven Rezeptor, weitergeleitet.
Menschen, die zuvor kein oder ein nur äußerst geringes Hörvermögen hat-
ten, sind, wenn auch mit großen Einschränkungen, so in der Lage wieder
zu hören und gesprochene Sprache zu verstehen.
Müssen die Impulse – also die codierte Information – wie beim Cochlea-
Implantat in gleicher Form und an gleicher Stelle des Körpers anliegen
und über das eigentliche Sinnesorgan aufgenommen werden, um wahr-
genommen werden zu können? Neuere, theoretische Erklärungsmodelle
der Kognitionswissenschaft, insbesondere die ›sensomotorische eorie
der Wahrnehmung‹ verwerfen diese Annahme. Sie postulieren stattdessen,
dass das Gehirn eine derart große, neuronale Plastizität1 besitze, dass es
sich auch noch im fortgeschrittenen Erwachsenenalter auf Änderungen
von Sensorik und Umwelt anpassen könne. Empirische Evidenz dafür
liefern Experimente aus den Bereichen der sensorischen Substitution und
Augmentation. Sie stellen die Grundlage für die Fragestellung der Arbeit
dar und sollen in der vorliegenden Arbeit unter dem Begri ›sensorische
Plastizität‹ 2 zusammengefasst.
EINLEITUNG
Abb. : Darstellung eines Cochlea-Implantates. Links der außenliegende Sprachpro-
zessor mit Mikrofon, rechts (blau eingefärbt) die Cochlea mit der Elektrode.

Eine Suche nach den deutschen und englischen Schlagwörtern »Sensorische Substitution« und
»Sensory Substitution« im Bestand der Kölner Bibliotheken – zu denen die, der zweitgrößte Universität
Deutschlands gehört (Statistisches Bundesamt 2018) – ergibt gerade einmal sechs verschiedene Werke
von fünf Autor
* innen (KölnBib 2009) von denen lediglich eines (Bach-y-Rita 1972) für den Untersu-
chungsgegenstand relevant war und in der vorliegenden Arbeit zitiert wurde. Der Großteil der Studien
liegt in Form von digital abrufbaren Veröentlichungen vor, ein Kompendium oder ein Sammelwerk
darüber stand nicht zur Verfügung (März 2018).
Das Phänomen der sensorischen Substitution bezeichnet den Vorgang,
bei dem die Funktion einer Sinnesmodalität durch eine andere ersetzt
wird. Frühere Annahmen sahen unsere Sinnesorgane fest mit bestimmten
Hirnarealen und Funktionen verknüpft. Es konnte jedoch nachgewiesen
werden, dass die – durch Ausfall eines Sinnesorgans – fehlende sensorische
Information grundsätzlich auch durch andere Sinnesorgane wahrgenom-
men werden kann. Es ist also tatsächlich möglich nach Erblindung der
Augen oder Dysfunktion des Sehnervs beispielsweise über unsere Haut
oder die Ohren wieder zu sehen. Benötigt wird hierfür lediglich eine Ap-
paratur, die den Sinnesreiz übersetzt und die Stimulation ausführt. Durch
Training mittels eines sogenannten Sensory Substitution Device (SSD)
können so selbst komplexe, visuelle Aufgaben wieder gemeistert werden:
z. B. die Erkennung und Bestimmung von Objekten, von räumlicher Tiefe
und von Perspektive, sowie das Navigieren im Raum.
Der Begri der Sensorischen Augmentation stellt schlussendlich eine Fortfüh-
rung dieses Substitutionsgedankens dar und postuliert darüber hinaus, dass
unser Sinnesapparat durch exible Lern- und Adaptionsprozesse nicht nur
auf die gewöhnlichen Sinnesorgane beschränkt ist, sondern auch Informa-
tionen unserer Umwelt aufnehmen kann, die der menschlichen Physiologie
von Natur aus nicht zur Verfügung stehen. So ist es beispielsweise gelungen,
die Wahrnehmung des Erdmagnetfelds und damit die Information, wo sich
die Himmelsrichtungen benden, in die menschliche Wahrnehmung zu
implementieren. Denken wir zurück an die eingangs beschriebene Wirk-
lichkeit, wäre diese also um ein Vielfaches erweiterbar. Zahlreiche weiterere
Faktoren, die unserer Wahrnehmung im Normalfall verborgen bleiben,
könnten so – hypothetisch gesehen – erfahrbar gemacht werden.
. Relevanz
Der wissenschaftliche Diskurs über sensorische Plastizität, bzw. sensori-
sche Substitution und Augmentation wird nur von wenigen Autor*innen
geführt. Literatur darüber ist rar3 und fast ausschließlich in Form von
Artikeln aus Fachmagazinen erhältlich.
EINLEITUNG

Die Begrispaare »sensory substitution« und »sensory augmentation« ergaben bei einer Suchanfra-
ge des Internetsuchdienstes ›Google-News‹ am 01.03.2018 gerade einmal 1.300 Ergebnisse (Google
2018a), während die Anfrage für das Begrispaar »augmented reality« ein weit größeres Ergebnis von
993.000 journalistischen Artikeln (Google 2018b) lieferte. Der Verweis auf den Onlinesuchdienst dient
lediglich dazu eine grobe Einschätzung der medialen Aufmerksamkeit abgeben zu können und hat
keine weitere wissenschaftliche Relevanz.
Im Jahre 1972 schrieb Paul Bach-y-Rita, Pionier der sensorischen Substi-
tution:
»This monograph thus risks becoming outdated in a very short time
since the development of refined sensory substitution systems should
allow many of the question raised here to be answered, and some of the
conclusions may appear naive to future readers.«
(Bach-y-Rita 1972)
Diese Vermutung sollte sich jedoch bis zum heutigen Tage nicht bewahr-
heiten. Auch wenn die ersten Arbeiten und diese Aussage nun bald 50
Jahre zurückliegen, haben die Prototypen und Anwendungen aus dem
Bereich nie den Weg in die Praxis geschat. Auch wenn sie einen Anteil
am Fortschritt der Forschungsbemühungen an neuronaler Plastizität ha-
ben und auch in der Kognitionswissenschaft Anstoß oder gar Basis neuer
eoriebildungen waren (vgl. O'Regan & Noë 2001: 957), so erfüllen sie den
Zweck, der ihnen ursprünglich zugesagt wurde bislang nicht (bspw. um
Blinden zu dem Maße an Wahrnehmung zu verhelfen, um ein unabhängi-
ges Leben zu führen können). An der folgenden Aussage von White et al.
aus dem Jahre 1970 hat sich bis heute nicht viel verändert:
»The potential utility of such devices as visual substitution systems for
the blind is immediately apparent. It is surprising that in this day of ad-
vanced technology, the blind are still moving about in the world using a
cane, a guide dog, a sighted companion, or an outstretched hand.«
(White et al. 1970: 23)
Doch von der Unterstützung blinder Menschen durch SSDs ist man auch
heute noch weit entfernt. Sie sind noch immer auf ebenjene Hilfsmittel
des Blindenstocks, des Blindenhundes oder auf die Hilfe ihrer Mitmen-
schen angewiesen.
Der Begri der Sensorischen Substitution und Augmentation erfuhr
auch in der breiten Öentlichkeit zu keinem Zeitpunkt große Popularität.
Verglichen mit thematisch verwandten Forschungsgebieten, wie Augmented

Knochenschall ist eine Technologie, bei der Audio Informationen als Vibrationen direkt an den Schä-
delknochen angelegt werden und so vom Hörorgan wahrgenommen werden können.
Reality (der Erweiterung von Realität innerhalb einer Sinnesmodalität)
erfuhr die sensorische Substitution nahezu keine Beachtung.4
Sucht man nach Arbeiten, die speziell aus dem Bereich des Designs kom-
men, verhärtet sich der Eindruck, dass hier Handlungs- bzw. Forschungs-
bedarf besteht.
Eine Gruppe Studierender der Royal School of Arts in London entwarfen
2013 ›Eidos‹ , ein »sensory augmentation equipment« (Ethering ton 2013).
Das Projekt wird im folgenden Abschnitt näher betrachtet werden, da es
das einzige gut dokumentierte ist, welches das ema zumindest begriich
aufgreift und dabei aus einem Design- bzw. Kunstkontext stammt. Ergeb-
nis der Bemühungen sind die Prototypen zweier Masken [Abb. 02].
Eine der beiden – über Mund und Ohren getragen – soll den Hörsinn
erweitern [Abb. 02 unten; Abb. 04–05]. Sie erlaube Sprache gezielter und
selektiver hören zu können. Das Audiomaterial eines Richtmikrofons
werde hierfür mittels digitaler Prozesse zusätzlich von störenden Hinter-
grundgeräuschen bereinigt und das so herausgelterte selektive Audiosi-
gnal dann in Echtzeit über Knochenschall5 an das Mittelohr geleitet. So
entstünde der Eindruck die Stimme des Gegenübers direkt im eigenen
Kopf zu hören. (vgl. Etherington 2013, vgl. Cole 2013)
Die zweite Maske wird wie eine Brille getragen und soll den Sehsinn
erweitern [Abb. 02 oben]. Ähnlich wie bei einer Langzeitbelichtung würden
dem Auge zusätzlich Bilder angezeigt, die bereits in der Vergangenheit
liegen. Somit stehe dem Gehirn nicht nur das Bild des Augenblicks zur
Verfügung, sondern zudem auch Frames aus den letzten Sekunden [Abb.
03]. Dies helfe dabei, die Abfolge schneller Bewegungen besser betrach-
ten zu können, welche sonst aufgrund ihrer Geschwindigkeit nur schwer
analysierbar seien. (vgl. Etherington 2013)
Eine Erklärung weshalb der Begri »sensory augmentation« benutzt wur-
de, ist nicht zu nden. Es bleibt nur zu vermuten, dass er nicht absichtlich
als Verweis auf den wissenschaftlich diskutierten Begri gewählt wurde,
sondern, um klarzustellen, dass die ›Augmentation‹ bei diesem Device
mehrere Sinne umfasst und nicht nur visuell erfolgt. Wie im Laufe der vor-
liegenden Arbeit klar werden soll, entspricht ›Eidos‹ der wissenschaftlichen
Denition sensorischer Augmentation nur in geringem Umfang, da die
Masken lediglich das – über bestehende Sinnesorgane – Wahrgenommene
mit zusätzlichen Informationen anreichern. Dabei wird keine Verände-
rung oder Erweiterung der Sinnesmodalitäten an sich angestrebt, sondern
bestehende Modalitäten um zusätzliche Informationen augmentiert. Im
EINLEITUNG

Abb. : Die schematische Zeichnung der beiden Masken aus dem ›Eidos‹-Projekt.

Abb. –: Die Hörmaske des Projekts ›Eidos‹ in der Anwendung.
Abb. : Die Sehmaske des Projekts ›Eidos‹ mit einer Simulation ihrer Funktion:
Frames der letzten Sekunden überlagern das aktuelle Bild.

Beispiel der Hörmaske handelt es sich sogar eher um eine Filterung und
Reduktion der auditiven Reize. Die Masken lassen sich – angelehnt an den
Terminus der ›Augmented Reality‹ oder ›Erweiterten Realität‹ – deshalb
vielleicht besser als multisensorisch augmentierte Realität beschreiben. Es
handelt sich hierbei außerdem um eine Arbeit im experimentellen und
konzeptionellen Stadium, deren Funktionalität und Praktikabilität infrage
gestellt werden muss: die visuelle Augmentation würde beispielsweise nur
funktionieren, wenn die Kamera und somit die komplette Maske an der sie
befestigt ist, nicht in Bewegung wäre. Ansonsten würde jede kleine Bewe-
gung des Bildausschnitts ebenfalls im zeitlichen Verlauf dargestellt werden.
Die Welt um die betrachtete Bewegung herum würde aller Wahrschein-
lichkeit nach unscharf erscheinen oder komplett in visuellem Informations-
chaos untergehen.
. Motivation
Design als Fach ist stets inter- und/oder transdisziplinärer Natur und
bendet sich mit seinem Diskurs, seinem Vokabular und seinen Methoden
ständig in und zwischen eigenständigen Disziplinen. Für jedes Projekt
bedienen sich Designer*innen aufs Neue an Methoden etablierter Diszip-
linen, eignen sich deren Fachwissen und Terminologie an, um sie in ihrer
gestalterischen Arbeit anzuwenden. Es kommt bei diesem Vorgang trotz
diverser kommunikativer Herausforderungen nicht selten zu ertragrei-
chen Synergieeekten zwischen Designer*innen und den Fachleuten der
jeweiligen Bereiche – beispielsweise Ingenieur*innen. Ein Grund dafür
könnte sein, dass Designer*innen durch den Abstand zum Fach und durch
die Unabhängigkeit von spezischen Denk- und Arbeitsmustern freier an
Problemstellungen herantreten können, was lösungsorientiertes und inno-
vatives Arbeiten erleichtert.
Deshalb reizt es mich, die vorliegende ematik von Wahrnehmung über
Kognition bis hin zur Sensorik als ausführliches Projekt anzugehen, mich
in Erklärungsmodelle der neueren Kognitionswissenschaft einzuarbeiten
und das ema der sensorischen Plastizität schließlich mit Methoden des
Designs zu erforschen und zu ergründen. Im besten Falle trügen meine
Forschungsbemühungen dazu bei, Kognition, Wahrnehmung und die Plas-
tizität unseres Gehirns besser zu verstehen.
Einen direkten Bezug auf den Design-Begri sehe ich dabei in zweierlei
Hinsicht. Erstens: die zuvor aufgezählten Kriterien können grundsätzlich
von verschiedenen Disziplinen der Wissenschaft erforscht und vorange-

trieben werden. Dennoch kann die Frage gestellt werden, warum keine
Arbeiten aus dem Design Kontext zu nden sind, welche sich der Er-
forschung und Umsetzung dieser Phänomene annehmen. Dabei handelt
es sich bei SSDs grundsätzlich um Interface-ähnliche Apparaturen, mit
denen man über vielfältige Art und Weise, durch verschiedene Sinne und
über einen Computer bzw. einer Maschine mit seiner Umwelt interagiert.
Diese Faktoren betreen speziell das Fach des Interaktionsdesigns, doch
man könnte noch weitere Designdisziplinen aufzählen, die für ein solches
Device relevant wären. Ein derartiges Device muss letztendlich praktika-
bel, bedienbar und auch ästhetisch akzeptabel gestaltet sein, damit es eine
weite Verbreitung nden kann.
Die praktische Bearbeitung des emas, welche nach der vorliegenden
Arbeit erfolgen soll, wird sich deshalb auf die Ausführungen um den
Begri »Research in Art and Design« stützen, der von Frayling (1993) ein-
geführt wurde und von Zimmerman et al. (2007) weiterentwickelt wurde.
Mit seiner Arbeit ›Research rough Design as a Method for Interaction
Design Research in HCI‹ ermöglichte Zimmerman einen neuen Blick
auf Design als Methode der Forschung und biete einen Rahmen, wie ein
solcher Prozess, besonders auch hinsichtlich der HCI (Human-Computer
Interaction), aussehen könnte.
Zweitens ndet sich der Design-Begri in der Arbeit wieder, weil Wahr-
nehmung und ihre Prozesse letztlich die Grundlage der allermeisten
Designbereiche bildet: Könnten wir nichts sehen, wären alle Bemühungen
um Ästhetik umsonst und könnten wir nichts fühlen, so bräuchte man sich
keine Gedanken über Form, Haptik, Textur oder Material machen. Die
Charakteristik unserer Perzeption konstituiert gewissermaßen die Regeln
guten Designs. Das Wissen darüber, wie unsere Sinnesorgane sensorische
Reize aufnehmen, wie sie durch kognitive Prozesse verarbeitet, verstanden
und bewertet werden und wie sie letztlich zum Handeln führen beeinusst
Designentscheidungen in gleichem Maße, wie das Wissen über die spezi-
schen Eigenschaften und Unterschiede der einzelnen Sinnesmodalitäten
(z. B. Reaktionszeit, zeitliche und räumliche Detailliertheit, etc.). Oft sind
die Ergebnisse aus der Kognitionswissenschaft aber derart abstrakt, dass
eine direkte Umsetzung im Design schwer vorstellbar scheint. Ein Grund
also, das ema auch in dieser Hinsicht zu untersuchen und neue Erkennt-
nisse für den Gestaltungsalltag zu nden.
Doch neben dem Beitrag zur Forschung und der Anwendbarkeit auf
Designfragen ist auch die potentielle, praktische Anwendbarkeit des e-
mas ein persönlicher Beweggrund: Neben der Möglichkeit, das Leben
von Menschen, die vom Wegfall oder der Dysfunktion eines Sinnesorgans
EINLEITUNG

betroen sind, durch sensorische Substitution zu erleichtern oder zu
verbessern, erönen sich mit der sensorischen Augmentation zudem
neue Bereiche der Wahrnehmung. Diese Erweiterung der natürlichen
Physiologie und Biologie kann als Potential menschlicher Weiterentwick-
lung gesehen werden, als logischer, nächster Schritt der Evolution. Sie
kann als Gegenmodell zur Artiziellen Intelligenz gesehen werden: durch
Modizierung des Körpers unter gleichzeitiger Weiterbenutzung unseres
Gehirns blieben wir – so könnte man argumentieren – konkurrenzfähig
gegenüber Robotern und Androiden welche uns irgendwann überlegen
sein könnten.
Doch die Augmentation unserer Wahrnehmung und somit die Erwei-
terung unserer kognitiven Fähigkeiten stellt gewissermaßen auch einen
Grenzübertritt dar. Neben der philosophisch, ethisch-moralischen Dimen-
sion müssten auch sozial gesellschaftliche Aspekte diskutiert werden: Die
Möglichkeit so tief in unsere körperliche Konstitution einzugreifen hätte
wohl weitreichende Folgen für soziale Gerechtigkeit, wenn man bedenkt,
dass die Anschaung derartiger Technologien auch immer einen nanzi-
ellen Aufwand darstellen würde, sie somit auch nur für bestimmte Teile
der Gesellschaft und Weltbevölkerung verfügbar wären und diese Tatsa-
che eine Spaltung zwischen arm und reich weiter vorantreiben könnte.
Gleichzeitig könnte eine Auösung körperlicher Determination auch die
Auösung gesellschaftlicher Konstruktionen von Rasse, Geschlecht und
anderen ›begrenzenden‹ Faktoren unterstützen.
. Zielsetzung
Die vorliegende Arbeit stellt den ersten Teil meines Bachelor Projektes an
der Köln International School of Design dar und wird ›Proposal‹ genannt.
Sie soll das ema primär theoretisch und wissenschaftlich bearbeiten und
die konzeptionelle Grundlage für die Bachelor esis bilden, in welcher
das Projekt schließlich auch praktisch umgesetzt werden soll (vgl. örtliche
Prüfungsordnung).
Aufgabe der vorliegenden Proposal-Arbeit ist es deshalb, erstens mithilfe
der Kognitionswissenschaften einen geeigneten eorierahmen zu bilden,
der dazu imstande ist, ein fundiertes Verständnis von sensorischer Plastizi-
tät aufzubauen, zweitens deren Phänomene vollständig zu erklären, sowie
einen historischen Abriss über sensorische Substitution und Augmentation
im Einzelnen zu liefern. Ich beziehe mich bezüglich der eorieansätze vor
allem auf die ›sensomotorischen eorie des Bewusstseins‹ von O'Regan

und Noë, ein vergleichsweise neuer Ansatz in der Kognitionswissenschaft,
der die körperliche Interaktion mit der Umwelt als Grundvoraussetzung
für Kognition sieht. Andere Ansätze sollen lediglich angerissen werden um
ein Gesamtverständnis der existierenden eorien zu erlangen.
Erst dieser eorierahmen ermöglicht es, im Rahmen der – praktisch an-
gelegten – esis zunächst eine Bestandsaufnahme der Anwendungen und
Produkte aus dem Bereich der sensorischen Plastizität wiederzugeben, die-
se dann adäquat zu bewerten und zu analysieren, sowie zu guter Letzt die
geeigneten Methoden, Werkzeuge und Sachverhalte wählen zu können,
um eine gezielte Behandlung des emas mittels praktisch empirischer
Experimente durchführen zu können. Das Ziel dieser Experimente wird
dabei nicht vorrangig die Entwicklung, Konzeptionierung oder Umsetzung
eines bestimmten Devices sein, sondern vielmehr einen Beitrag zum Ver-
ständnis sensorischer Plastizität bzw. der menschlichen Kognition an sich
zu leisten und diesen empirisch zu belegen. An dieser Stelle sei erneut auf
die Methoden des ›Research rough Design‹ verwiesen, welche die esis
Arbeit leiten sollen.
Die vorliegende Arbeit gliedert sich in 4 Hauptteile. Nach diesem ein-
leitenden ersten Kapitel, soll im zweiten Kapitel eine Übersicht über die
Kognitionswissenschaft und deren eorieansätze gegeben werden und da-
bei die ›sensomotorische eorie der Wahrnehmung‹ in besonderem Maße
beleuchtet werden. Im dritten Kapitel sollen die empirischen Ergebnisse
aus dem Bereich der sensorischen Plastizität behandelt und mit dem zuvor
ausgearbeiteten eorierahmen erklärt werden. Der Ausblick auf die esis
wird abschließend nach der Zusammenfassung aller Erkenntnisse dieses
Proposals im vierten Kapitel erfolgen.

Die Manifestation des Forschungsgebiets ist nicht absolut zu datieren. Während das ›Institute of Cogn-
titive Science‹ in Osnabrück von »etwa 1975« spricht, (»Überblick - Institut für Kognitionswissenschaft«
o.V., o.J.) bestimmt Weber (2017: 1) die Entstehung bereits auf die späten 1950er Jahre.
Kognitionswissenschaft als
Theoriemodell
Aus der Flut der im Gehirn eintreenden elektrochemischen Reize
jederzeit die Informationen zu extrahieren, die wir unbewusst und bewusst
dazu benutzen, die Welt zu verstehen, Ereignisse vorherzusehen und
zukünftiges Handeln daraus abzuleiten, ist ein hochkomplexer Prozess,
dessen Erforschung sich das interdisziplinäre Feld der Kognitionswis-
senschaft widmet. Letztere versucht allgemein ausgedrückt menschliche
»Fähigkeiten wie Wahrnehmen, Denken, Planen, Lernen, Sprechen
und Handeln« wissenschaftlich zu ergründen. (»Überblick – Institut für
Kognitionswissenschaft« o.V., o.J.)
An diesen emen wird innerhalb verschiedener Disziplinen bereits
lange geforscht. Die ersten Bestrebungen die Vorgänge der Kognition zu
erklären, liegen bereits über zweitausend Jahre zurück. Erste interdiszipli-
näre Forschungsprogramme mit genau diesem Ziel entstanden jedoch erst
Mitte des 21. Jahrhunderts.6 Aus diesen heraus entwickelten sich ganze
Studiengänge und Forschungseinrichtungen, bis schließlich die akademi-
sche Anerkennung als eigenständiges Forschungsgebiet erfolgte. Während
früher vor allem die Philosophie das Fach dominierte, vereint die Kogniti-
onswissenschaft heute Bemühungen aus Psychologie, Neurologie, Lingu-
istik, der Forschung an künstlicher Intelligenz, Robotik, Philosophie und
weiteren Disziplinen. Ziel ist es, die Funktion des Gehirns zu erforschen,
menschliches Verhalten zu erklären, Fragen über den menschlichen Geist,
dessen Körperlichkeit und das Bewusstsein zu beantworten. Erkenntnisse
daraus werden wiederum bei der Entwicklung künstlicher Intelligenzen
eingesetzt (vgl. »Überblick – Institut für Kognitionswissenschaft« o.J.; vgl.
Weber 2017: 1).

Der Forschungsgegenstand ›Kognition‹ ist unter den einzelnen Forschungsgebieten ist selbstverständ-
lich der gleiche. Dennoch ist es auch für fachnahe Wissenschaftler eine große Herausforderung, die Wi-
dersprüche und Gemeinsamkeiten im Detail herauszuarbeiten. Alleine die bekanntesten theoretischen
Strömungen weisen eklatante Unterschiede in Methodik, Herangehensweisen und Zielsetzungen auf.
Aus diesem Grund ist es den Kognitionswissenschaften bisher auch nicht gelungen, ein einheitliches
und interdisziplinäres Modell zu schaen oder sich zumindest auf eine Basis für empirischen und
begriichen Austausch zu einigen. So forscht die Psychologie – um nur ein Bespiel zu nennen – em-
pirisch daran, systematische Erkenntnisse über menschliches Verhalten zu erlangen, während sich die
Neurologie allein auf biochemische Prozesse im zentralen Nervensystem als mediale Vorrausetzung
kognitiver Vorgänge konzentriert. Diese Zusammenfassung über den Forschungsstand stützt sich
weitestgehend auf Weber (2017: 1–6) und seinen Versuch die Kontroverse zusammenzufassen.
Der zusammenfassende Begri klassische Kognitionswissenschaft wurde durch diverse Autoren
geprägt und wird in der vorliegenden Arbeit dafür benutzt, um eine Abgrenzung zu neueren, modernen
Strömungen zu schaen, die eine grundsätzliche Revision ebendieser anstreben. Man könnte sie auch
›standard cognitive science‹ oder ›traditional cognitive science‹ nennen (vgl. Weber 2017: 3 Fußnote 2).
Der Übergang von Klassisch zu Modern stellt einen Paradigmenwechsel dar, der auch »pragmatic turn«
genannt wird (vgl. Engel et al. 2013).
Die Errungenschaften dieses neuen Forschungsfeldes erbrachten ein
detaillierteres Bild über »die Funktionsweise unseres Denkens und den
Aufbau des menschlichen Geistes« (Weber 2017: 1–2), welche durch zahlrei-
che empirische Untersuchungen an Evidenz gewannen. Aufgrund höchst
unterschiedlicher epistemologischer Ansätze der jeweiligen Subdisziplinen,
entwickelte sich eine große Sammlung kognitiver eorien und Modellen,
die nicht mehr ohne weiteres in Einklang zueinander stehe.7 Die detail-
lierten Ausführungen jener Ansätze würden den Rahmen der vorliegenden
Arbeit sprengen. Zum Verständnis des theoretischen Fundaments von
Sensorischer Substitution und Augmentation und für die Auswahl einer
passenden Methodik, ist jedoch ein Exkurs vonnöten. Es sollen deshalb so-
wohl konkurrierende Aspekte einander gegenübergestellt, als auch Schnitt-
mengen herausgearbeitet werden.
. Klassische Erklärungsmodelle
Die klassische Kognitionswissenschaft8 sieht das menschliche Denken als
einen komputationalen Prozess über sogenannte mentale Repräsentationen
(vgl. Engel et al. 2013: 1; vgl. Weber 2017: 17; vgl. Ziemke 2003: 1). Der Prozess
laufe unidirektional ab: die sensorische Peripherie liefere dem Gehirn Reize
aus der Umwelt, welche zunächst perzeptuell verarbeitet werden müssten.
Die so gewonnenen Informationen würden vom Gehirn darauolgend be-
nutzt, um zwischen potentiellen Handlungsoptionen zu entscheiden, dieses
Handeln9 zu planen und schließlich auszuführen (vgl. Kaspar et al. 2014: 47).
Um entscheiden und planen zu können, vergleiche das Gehirn das zuvor
KOGN I T I O N Klassische Erklärungsmodelle

Das ›Handeln‹ steht im Kontext dieser Arbeit nicht für eine bloße Körperbewegung, sondern beinhaltet
stets eine intentionale Komponente. Handeln ist zielgerichtet. Es entspringet der willentlichen Kontrolle
und beinhaltet, nebst vorhergehender Planung und Auswahl zwischen Alternativen, auch die Fähigkeit,
das angestrebte Ziel vorhersehen oder ahnen zu können. Reflexe und nicht-zielgerichtete Bewegungen
sind deshalb genauso wenig Handeln, wie instinktives Verhalten (Engel et al. 2013: 203 / Box 1). Die
direkte Übersetzung des englischen Begris von ›action‹ zur ›Aktion‹ würde die hier gewählte Defini-
tion sprachlich nicht komplett erfüllen, weshalb in der vorliegenden Arbeit der Begri des ›Handelns‹
gewählt wurde.
Wahrgenommene komputational mit einer Art internen Modell der ›echten‹
Welt – der sogenannten ›mentalen Repräsentation‹. Entspräche ein Sinnes-
eindruck einem Teil des Modells, käme er uns bekannt vor und wir wüssten
mit ihm umzugehen. Wäre ein Sinneseindruck neuartig, werde unser Welt-
modell um ihn erweitert. Komputational stehe also für die Funktionsweise
von Kognition, also die Art wie das Gehirn Informationen verarbeitet. Die
Repräsentation beschreibe hingegen die Inhalte und deren Speicherung, also
was genau verarbeitet wird. (vgl. Weber 2017: 17; vgl. Kaspar et al. 2014: 47)
.. Komputatio n
Im Detail meint Komputieren eine vergleichende Berechnung mittels
logischer Operatoren, wie wir sie von der Beschreibung digitaler Computer
und anderer Rechenmaschinen kennen. Kognition sei analog zur Software
zu betrachten, das Gehirn stelle hingegen die Hardware dar. Kognitive
Vorgänge würden klar unterschieden in Input, Verarbeitung und Out-
put. eorien mit Fokus auf diesen berechnenden Vorgängen fasst man
deshalb auch zur eoriesammlung des Komputationalismus zusammen.
Der Komputationalismus gilt nach Weber (2017: 17) seit den 1980er Jahren
»als die populärste eorie in der Kognitionswissenschaft und ndet in
allen Disziplinen vielfach Verwendung«. Der Computer sei zu dieser Zeit
bereits erfunden gewesen. Nicht nur dieser konzeptionelle und technolo-
gische Fortschritt, sondern auch Neuerungen in Mathematik, Semantik
und symbolischer Logik hätten zu dieser Zeit nahegelegt, menschliches
Denken mittels der Analogie zum modernen Computer zu erklären. Die
komputationale eorie sei aber nicht nur durch diese Fortschritte begüns-
tigt worden, sondern hätte wechselseitig auch zu weiteren Fortschritten in
der Forschung – beispielsweise an künstlichen Intelligenzen – beigetragen.
(vgl. Weber 2017: 18 f.)
Wenn wir davon ausgehen, dass die Interpretation von Sinnesreizen einer
Berechnung gleicht, so ist das – wie bereits erwähnt – die Antwort darauf,
wie die Verarbeitung stattndet. Es erklärt jedoch nicht, in welcher Form
die Reize vorliegen und mit was sie verrechnet werden. Die komputationale

eorie kommt daher nicht ohne die repräsentationale eorie aus, welche
im folgenden näher betrachtet werden wird. (vgl. Hurley & Noë 2003: 23)
.. Repräsentation
Diese Repräsentation sei ein Modell der uns umgebenden Welt, welches
im Gehirn abgespeichert sei und sämtlichen kognitiven Prozessen zu jeder
Zeit zur Verfügung stehe. Dieses ›Weltmodell‹ beinhalte all unsere Erfah-
rungen, Erinnerungen und sensorischen Lernerfolge, sei mit unserer Ge-
burt begründet und über die Jahre stetig erweitert und verbessert worden.
Während wir sehen, hören oder fühlen, würden wir unser inneres Modell
immerzu ergänzen und aktualisieren (vgl. Weber 2017: 20). Das Modell fun-
giere somit als Datenbank, aus der sich unser Denken, Planen und unsere
Problemlösungsvorgänge bedienen könnten (vgl. Engel et al. 2013: 202).
Dieses ‘klassische‹ Paradigma habe nicht nur – wie erwähnt – die For-
schungen an künstlicher Intelligenz massiv voran gebracht, sondern sei
auch über viele Jahrzehnte hinweg eine äußerst ertragreiche und nahezu
unangefochtene Basis für viele Überlegungen der Kognitionswissenschaft
gewesen (vgl. Engel et al. 2013: 202; vgl. Kaspar et al. 2014: 47).
. Moderne interaktionsorientierte Ansätze
Die klassischen eorien gehen davon aus, dass zuerst eine kognitive
Verarbeitung und Interpretation der Sinnesreize stattndet und das Planen
und Ausführen von Handlungen erst hinterher, als nachfolgender Schritt
stattndet. Diese Abfolge verwerfen viele neuere eorien. Das Handeln
selbst sei – so postulieren sie – tief mit kognitiven Vorgängen verwoben
und es bestünden bidirektionale Wechselwirkungen zwischen Handeln
und Kognition. Viele eorien sähen die Interaktion mit der Umwelt gar
als die Voraussetzung eines jeden kognitiven Vorgangs. (Engel et al. 2013:
202; Kaspar et al. 2014: 47; S. U. König et al. 2016: 2)
.. Der Paradigmenwechsel
Die bis zu dieser Stelle beschriebenen Ansätze werden als klassisch be-
zeichnet, weil sich neuere Erklärungsmodelle nicht als deren Erweiterung,
Ergänzung oder Verbesserung sehen, sondern vielmehr als ihre Gegen-
bewegung. Sie üben nicht nur radikale und grundlegende Kritik an deren
Argumentation, sondern wollen das Konzept von Kognition grundlegend
KOGN I T I O N Moderne Ansätze

neuorientieren und schlagen einen Alternativansatz vor. Während sich die
meisten eorien in ihrer Kritik an den klassischen Ansätzen noch stark
ähneln, unterscheiden sie sich wiederrum enorm in ihrer Ausarbeitung und
in ihrer Terminologie. (vgl. Weber 2017: 57)
Gemeinsam kritisieren sie, dass sich die bis dahin vorherrschenden eo-
rien alleine der Untersuchung interner Prozesse widmen würden. Externe
Faktoren, wie der Körper des betrachtenden Individuums, hätten bis dato
keine Beachtung gefunden. In den neueren eorien würden der Körper,
die Umwelt und insbesondere die Interaktion des Körpers mit dieser Um-
welt hingegen eine zentrale Rolle spielen. (vgl. Weber 2017: 3 f.)
Mit wenig terminologischer Schärfe wird dann davon gesprochen, »dass
Kognition embodied, embedded, enacted, situated, distributed, dynamically cou-
pled, oder extended sei.« (Weber 2017: 4) Während die klassischen Ausfüh-
rungen meist überhaupt keinen Körper in ihrer Argumentation anführen
und somit als disembodied bezeichnet werden könnten, spräche man im
Umkehrschluss nun von Embodied Cognition. Während die klassischen
Erklärungen unser sensorisches und motorisches System für Kognition nur
als peripher betrachten würden, lägen genau diese Systeme nun im Fokus
der Forschung. Während die klassischen Erklärungen unser Handeln als
Produkt und somit als kausale Folge kognitiver Prozesse bezeichneten, sei
nun das Handeln konstitutiv und unverzichtbar für Kognition. Motorik
und Kognition könne man demnach nicht mehr für sich alleine betrachten,
sondern nur als einen eng miteinander verochtenen Vorgang. Folglich
ist Kognition nach dem modernen10 Ansatz ein enaktiver Prozess, welcher
stets einen Körper – ein Embodiment – zum Handeln benötige (vgl. Engel
et al. 2013: 202; vgl. Kaspar et al. 2014: 47 f.; vgl. Weber 2017: 3–8; vgl. Ziemke
2003: 1305)
Dass kognitive Vorgänge lange Zeit getrennt von Motorik und Sensorik
betrachtet und gedacht wurden, liegt laut Weber (2017: 58 f.) daran, dass
das Denken als »höherstuges, abstraktes und begriiches Repräsentati-
onsvermögen charakterisiert wird«. Sensorik und Motorik würden folglich
als niederstug betrachtet werden. Der semantische Gehalt symbolischer
Repräsentationen könne dann nur durch unser Denken entschlüsselt
 ›Modern‹ wird in der vorliegenden Arbeit als Antonym für das zuvor definierte ›klassisch‹ benutzt und
dient der Beschreibung aller Theorien, die einen Kognitionsbegri verwenden, der den Körper, die Sen-
sorik, die Motorik und das Handeln als untrennbar mit den Denkprozessen im Gehirn verbunden sieht.
Andere Autor
* innen benutzen generalisierende Begrie wie »action-oriented paradigm« und »enactive
approach« (Engel et al. 2013: 202), »Embodied Cognition« (Kaspar et al. 2014; Weber 2017: 7–16, 57;
Wilson 2002), »Embodied Mind« (Ziemke 2003) oder »Embodiment« (Maiese 2017; Weber 2017: 7–16,
57; Ziemke 2003). Sie befassen sich unterschiedlich ausgeprägt mit den jeweiligen Einzelbestandteilen
Körper, Umwelt und Handlung, werden im Rahmen dieser Arbeit jedoch als ›modern‹ zusammengefasst.

werden, während die Peripherie eine rein funktionale Rolle innehabe. (vgl.
Weber 2017: 58 f.)
Insofern ist der Schritt, der Motorik und der Sensorik eine entscheidende
und sogar konstitutive Rolle zuzuordnen, nicht mit der klassischen Auftei-
lung und deren Hierarchie vereinbar. Die wachsende Akzeptanz der neuen
Strömungen stellt somit einen entscheidenden Wechsel in der Kogniti-
onswissenschaft dar – vom klassischen zum modernen Paradigma. Dieser
Paradigmenwechsel wird auch als Wendepunkt oder ›pragmatic turn‹ 11
bezeichnet (Engel et al. 2013). Dieser Turn ist nicht nur für die Kogniti-
onswissenschaft von großer Bedeutung, sondern bietet erst die Grundlage
für die eoriebildung rund um die sensorische Plastizität, welche den
Schwerpunkt der vorliegenden Arbeit darstellt.
.. Ansatz nach Gibson
Die folgende Übersicht über moderne Erklärungsmodelle stützt sich zum
großen Teil auf die Arbeit von Weber et al. (2017), welcher versucht einen
einheitlichen »eorierahmen« für die »Vielfalt verschiedenster eorien«
und ein fächerübergreifendes, begriiches »Instrumentarium« zu schaen.
Nach Weber et al. (2017: 59) gelte Gibsons ökologische eorie der visuel-
len Perzeption aus den späten 1960er Jahren »als historischer und konzep-
tioneller Vorläufer« der modernen Erklärungsansätze. Gibson beschreibe
Wahrnehmung – hier noch ausschließlich auf das Sehen begrenzt – erst-
mals nicht mehr als rein passiven Vorgang, der Bilder empfange und dann
an die höheren Instanzen des Gehirns weiterleitet, wo sie schließlich
kognitiv verarbeitet würden. Stattdessen spiele der Körper des wahrneh-
menden Individuums und insbesondere seine Interaktion mit der Umwelt
eine entscheidende Rolle: perzeptuelle Informationen entstünden dem-
nach nicht alleine durch interne Komputation, sondern müssten »mittels
körperlicher Bewegung aktiv in der Umgebung aufgesucht« werden (Weber
2017: 5961). Gibson benutzt für seine Erläuterung den Begri der Inva-
rianten. Dies seien Relationen im betrachteten Sichtfeld, die stets gleich
blieben, beispielsweise die Proportionen zwischen Ecken, Kanten, Winkeln
und Oberächen von Objekten. Bewege sich eine Person durch den Raum,
verändere sich der Stimulus auf ihrer Retina. Die Invarianten blieben
jedoch gleich und würden vom Gehirn ausndig gemacht und interpretiert
werden können (Weber 2017: 59–61).
 Die Bezeichnung »pragmatic« benutzen Engel et al. (2013: 202–204), um ihrer Vermutung Ausdruck zu
verleihen, dass Kognition kein passiver Prozess, sondern eine Form der Praxis darstellt. Sie verweisen
hinsichtlich der Wortwahl weiterhin auf die philosophische Strömung des Pragmatismus.
KOGN I T I O N Moderne Ansätze

Bewegung als eine Voraussetzung für kognitive Prozesse wurde somit
bereits von Gibson ins Spiel gebracht. Noch einen Schritt weiter gehen
jedoch darauf aufbauende Ansätze: sie postulieren das Handeln als voll-
wertigen Teil der Kognition. Das Handeln – im Original die »action« – sei
weder ausschließlich peripher für Denkprozesse, noch sei es der Kognition
ebenbürtig. Vielmehr sei Kognition Handeln oder im englischen Original:
»cognition is action« (Engel et al. 2013: 203).
.. Ansatz nach Varela, Thompson und Rosch
Kurz zusammengefasst prägten Varela et al. mit ihren Ausführungen we-
sentlich den ›embodied‹ Begri und legten den Grundstein vieler weiterer
Überlegungen, weshalb sie in diesem Kapitel Erwähnung nden. Varela et
al. sehen das Handeln erstmals nicht nur in wechselseitigem Verhältnis zu
Denkprozessen, sondern auf gleicher Stufe mit ihnen. Folglich wird Kog-
nition von den Autoren deshalb »embodied action« genannt. Dieser Begri
kann mit ›verkörpertes Handeln‹ übersetzt werden und soll zum Ausdruck
bringen, dass sich motorisches und sensorisches System gemeinsam ent-
wickelt haben und Kognition direkt an das motorischen System gekoppelt
ist. Die Autoren begründen ihre eorie am Beispiel des Farbsehens,
welches sie als Prozess einer ›strukturellen Kopplung‹ zwischen Körper
und Welt sehen, zu welcher ein komputationale Berechnung nicht fähig
wäre. Für eine nähere Ausführung und Diskussion des Ansatzes siehe auch
(Weber 2017: 64 ff.)
.Sensomotorische Theorie der Wahrnehmung
O'Regans & Noës (2001) ›sensomotorischen eorie der Wahrnehmung‹
bildet einen weiteren Teil der modernen Ansätze der Kognitionswissen-
schaft. Sie baut auf den Ansätzen von Gibson, Varela, ompson und
Rosch auf, entwickelte diese jedoch entscheidend weiter (vgl. Weber 2017:
70). In der vorliegenden Arbeit ist sie von besonderer Bedeutung und wird
näher ausgeführt, da O'Regan und Noë die empirischen Forschungsergeb-
nisse aus dem Bereich der sensorischen Substitution als Evidenz für ihren
Ansatz anführen. Diese und andere Phänomene, welche den Ansatz
unterstützen, werden am Ende dieses Kapitels noch näher erläutert
werden.

.. Sensomotorische Kontingenzen
O'Regan und Noë konzentrieren sich in ihrer eorie auf gewisse Ord-
nungsmäßigkeiten, zwischen Motorik und Sensorik und bezeichnen diese
als »sensorimotor contingencies«, welche erlernt und erhalten werden
müssten, um überhaupt kognitive Aufgaben ausführen zu können (vgl.
O'Regan & Noë 2001: 941). Sie sprechen von einer Art Regelsatz, der bestim-
me, in welcher exakten Art und Weise sich bestimmte sensorische Reize
in Abhängigkeit zu einer bestimmten motorischen Aktion des Körpers
verändern würden. Das implizite Wissen über diese Regeln zu haben, sei
die Grundlage jedes sensorischen bzw. motorischen Prozesses und somit
Grundlage jedes kognitiven Prozesses.
Ein Beispiel – angelehnt an eine Ausführung von Degenaar und O'Regan
(2015: 1) – soll illustrieren, was mit dieser ese gemeint ist, bevor sie im
Detail erläutert werden wird.
Wir stellen uns exemplarisch einen gelben Tafelschwamm und einen roten
Ziegelstein vor und denken daran, welche Eigenschaft oder welches Ad-
jektiv am geeignetsten wäre um diese voneinander zu unterscheiden. Man
käme wohl mit vielen Menschen überein, zu sagen, dass ein Schwamm als
weich bezeichnet werden kann und er sich in dieser Eigenschaft deutlich
von einem Ziegelstein unterscheide. Doch was ist Weichheit überhaupt?
Gibt es eine Einheit, eine Größe für Weichheit, welche unsere subjekti-
ve Wahrnehmung präzise repräsentieren könnte? Gibt es eine konkrete
Sinnesmodalität, die Weichheit wahrnehmen kann? Oder ein technisches
Gerät? Wohl kaum. Doch was ist es dann, was wir als weich bezeichnen
würden?
Nun, es ele zunächst leichter eine Unterscheidung vorzunehmen, indem
man sich auf die menschliche Farbwahrnehmung beruft. Man könnte
vereinfacht behaupten, es würden schlichtweg mehr Farbzäpfchen jene
Signale ans Gehirn senden, welche für die Erkennung von Rot zuständig
sind, als jene, die für die Erkennung von Gelb zuständig sind. Im Sinne
klassischer Kognitionstheorien könnte man dann anführen, dass diese
Information der Rotheit vom Gehirn daraufhin mit der Farbinformation,
anderer Objekte des mentalen Weltmodells verglichen werden müsste
und nach gewisser Komputation würde klar werden, dass es sich bei dem
betrachteten Objekt um einen Ziegelstein handelt.
Doch um die Weichheit eines Schwammes zu erklären, reicht diese Ar-
gumentationslinie nicht aus, da in der menschlichen Physiologie – wie
erwähnt – kein Organ existiert, das Weichheit direkt messen könnte. Die
ese O'Regans & Noës ist nun, dass der Schwamm erst zusammenge-
KOGN I T I O N Sensomotorischer Ansatz

drückt werden müsste, um erfahren zu können, dass er weich ist und
insbesondere beschreiben zu können, wie weich er ist. Läge er auf einer
ausgestreckten und unbewegten Hand, so könnten wir nur ahnen, wie
weich er ist. Erst der Akt des Zusammendrückens und Manipulierens, erst
die Interaktion mit dem Objekt, ermögliche es uns sein Weichheit zu er-
fahren. Selbstverständlich sind die unzähligen Rezeptoren unseres taktilen
Sinnes in unserer Haut für den sensorischen Reiz an sich verantwortlich,
doch ohne das Handeln und ohne das Wissen darüber, welche exakte Be-
wegung in diesem Moment stattndet, wäre es uns nicht möglich, diesen
Reiz als Weichheit wahrzunehmen.
Genau diese Erwartungen, die wir an die Änderung von Sinnesreizen
haben, wenn wir spezische Aktionen ausführen, diese gesetzesähnlichen
Regeln die bestimmen, wie sich die Form des Schwammes und konseku-
tive der Sinnesreiz ändert, wenn wir den Schwamm in einer bestimmten
Weise zusammendrücken, werden von O'Regan und Noë ›sensorimotor
contingencies‹ bezeichnet (ab hier abgekürzt: SMCs). Es handle sich dabei
jedoch nicht um propositionales Wissen, welchem wir uns in vollem Um-
fang bewusst wären oder welches wir niederschreiben könnten, sondern
um implizites, praktisches Wissen, was direkt abhängig vom sensorischen
System und dessen Ausstattung (körperliche Bedingungen) und somit
einzigartig für jedes Individuum sei (vgl. O'Regan & Noë 2001: 961–962; vgl.
Weber 2017: 71–73).
O'Regan und Noë dierenzieren in ihren Ausführungen zwischen zwei
Gruppen12 von SMCs: die inter-modalen ermöglichten es uns, unsere ver-
schiedenen sensorischen Modalitäten (z. B. Sehen und Hören) voneinander
unterscheiden zu können und ihnen eine phänomenale Qualität zuzuspre-
chen. Sie seien auch der Grund dafür, dass wir unsere Sinne überhaupt
qualitativ beschreiben könnten. Die intra-modalen hingegen ermöglichten
es uns, bestimmte Sinneserfahrungen innerhalb einer Modalität (bei-
spielsweise verschiedene sichtbare Farben) voneinander unterscheiden zu
können (vgl. Degenaar & O'Regan 2015). Zu Erklärung dieser Begriich-
keiten sollen im Folgenden ebenfalls Beispiele dienen, welche durch eine
Ausführung von O'Regan und Noë (2001: 940–941) inspiriert wurden.
 Die folgenden Begriichkeiten inter- und intramodal stammt von Hurley & Noë (2003), eine Unter-
scheidung in diese Gruppen wurde auch schon früher von O‹ Regan & Noë (2001: 943) vorgenommen,
aber noch nicht so benannt.

.. Intermodale Kontingenzen
Um intermodale Kontingenzen zu verstehen, stellen wir uns deshalb
beispielhaft ein künstliches sensorisches System vor: das, einer ferngesteu-
erten, unbemannten, iegenden Drohne. Sie ist ausgestattet mit vielen
Sensoren – wie zum Beispiel Kamera, Gyroskop, Barometer und Kompass
– deren Werte wir auf einem Display an einer Basisstation angezeigt be-
kommen, um die Drohne außerhalb der Sichtweite navigieren zu können.
Gesteuert wird die Drohne durch 4 Parameter: vor bzw. zurück; links
bzw. rechts; steigen bzw. sinken; rechtsherum bzw. linksherum drehen.
Nun nehmen wir an, ein plötzlich auftretender, äußerst seltener Fehler auf
der Platine, führe dazu, dass die Zuweisungen aller Sensorwerte verloren
gehen und danach zufällig untereinander vertauscht wären. Nehmen wir
weiter an, die Drohne würde dennoch iegen und steuerbar bleiben. Wir
bekämen auch weiterhin Sensorwerte angezeigt, wüssten nur nicht, was
die Werte bedeuten oder welcher Wert welche Eigenschaft der Drohne
beschreibt. Die Zahlen auf unserem Display ergäben keinen Sinn mehr.
Um in dieser misslichen Lage erneut Kontrolle über das iegende Objekt
zu erlangen und es vor dem Absturz zu bewahren, bliebe nur ein Weg: wir
müssten die neu entstanden Verknüpfungen durch Ausprobieren heraus-
nden. Dies ist aus einem ganz bestimmten Grund auch möglich: jeder
Sensor misst eine spezische Eigenschaft, die unsere Drohne in ihrer Um-
gebung beschreibt und die sich auf einen spezischen Steuerungsvorgang
immer in spezischer Weise verändern wird, während sich alle anderen
Sensoren im selben Moment gar nicht oder zumindest nicht auf diese
spezische Weise verändern. Das heißt, jedem Wert wohnt eine bestimmte
Charakteristik inne, die beschreibt, wie er sich auf Steuerungsänderungen
verändern würde. Oder anders ausgedrückt: der Wert der Barometers, der
die aktuelle Flughöhe misst und an unsere Basisstation schickt, würde
sich nicht verändern, wenn sich die Drohne auf der Stelle dreht, während
sich der Wert des Kompasses proportional zur Drehung verändern würde.
Der Wert des Kompasses wiederrum würde sich nicht verändern, wenn
die Drohne steigt, während der Barometer steigende Werte liefern würde.
Diese Abhängigkeiten, diese Kontingenzen zwischen Sensorik und Moto-
rik, ermöglichen es uns nach und nach alle Werte an unserer Basisstation
durch Ausprobieren wieder korrekt zuzuweisen und unsere Drohne sicher
zu landen.
Im Bezug auf das menschliche System würde man diese Beziehungen
intermodale SMCs nennen: sie ermöglichen es uns, zwischen den Sinnes-
modalitäten und den motorischen Fähigkeiten dierenzieren zu können.
KOGN I T I O N Sensomotorischer Ansatz

O'Regan und Noë ziehen eine Analogie zum Gehirn und schreiben, dass
es im Gehirn a priori nichts gäbe, das eintreende Sinnesreize voneinander
unterscheiden ließe:
»From the point of view of the brain, there is nothing that in itself dif-
ferentiates nervous influx coming from retinal, haptic, proprioceptive,
olfactory, and other senses, and there is nothing to discriminate motor
neurons that are connected to extraocular muscles, skeletal muscles, or
any other structures. [...] [W]hat does dierenciate vision from, say, audi-
tion or touch, is the structure of the rules governing the sensory changes
produced by various motor actions, that is, what we call the sensorimotor
contingencies governing visual exploration.«
(vgl. O'Regan & Noë 2001: 941 Hervorhebung im Original).
O'Regan und Noë nennen exemplarisch einige Kontingenzen, welche
aufzeigen sollen, wie groß die Unterschiede zwischen Modalitäten sein
könnten. So würde der visuelle Sinn zum Beispiel in regelmäßigen Ab-
ständen für kurze Zeit uniform bzw. unverändert (schwarz) werden: immer
dann, wenn die Augenlider zum Blinzeln geschlossen werden. Eine solche
Veränderung existiere bei den Ohren zum Beispiel nicht. Ausführlicher be-
schreiben sie die Verzerrung wahrgenommener Bilder durch die sphärische
Krümmung der Retina. So ergäbe eine horizontale, gerade und unend-
lich-fortlaufende Linie auch eine gerade Projektion auf der Retina. Bewege
man jedoch die Augen und xiere man einen Punkt darüber oder darunter,
so verzerre sich die Projektion aufgrund der retinalen, sphärischen Krüm-
mung signikant. Nur durch das implizite Wissen über diese und über
weitere SMCs, welche den visuellen Sinn charakterisieren und nur durch
unser propriozeptives Wissen (über die Position unserer Augäpfel, unserer
Lider, unseres Kopfes und unseres gesamten Körpers) könnten wir dem-
nach visuelle Reize auch visuell einordnen (vgl. O'Regan & Noë 2001: 941).
Intermodale SMCs seien also zusammengefasst jene gesetzmäßige Ab-
hängigkeiten, die es dem Gehirn erlaubten, überhaupt zu erkennen, um
welche Sinnesmodalität es sich bei einem eintreenden Reiz handelt und
auch umgekehrt, welche Aktionen es mittels welcher Körperteile ausführen
muss, um die Umwelt zu manipulieren und neue Sinnesreizveränderungen
hervorzurufen. Dieser Prozess konstituiere darüber hinaus auch die wahr-
genommene Qualität einer Sinnesmodalität, also warum wir überhaupt
wissen, dass ein Ton den wir wahrnehmen ein Ton ist und beispielsweise
nicht eine Farbe (vgl. O'Regan & Noë 2001: 941). Intermodale SMCs erklären
jedoch nicht, wie wir zwischen qualitativen Unterschieden innerhalb einer

Modalität dierenzieren können.
Hierfür dient O'Regan und Noë eine
zweite Gruppe von SMCs, die im nächsten Abschnitt behandelt werden soll.
.. Intramodale Kontingenzen
Wie der Name bereits andeutet, würden sich intramodalen Kontingenzen
nur innerhalb einer Modalität abspielen. Sie würden es uns ermöglichen,
der wahrgenommenen Welt und ihren Objekten bestimmte Attribute zu-
ordnen zu können (vgl. Degenaar & O'Regan 2015). Diese SMCs hälfen uns,
aus dem reinen Stimulus, den das Sinnesorgan bereitstellt, phänomenale
Attribute ableiten zu können, unsere Umwelt verstehen und vergleichen zu
können oder mit anderen Menschen über ihre Eigenschaften sprechen zu
können.
Als Beispiel kehren wir zurück zur bereits besprochenen, geraden, hori-
zontalen Linie. Sie weise eine ganz bestimmte Charakteristik auf [siehe
Abb B]: bewege man die Augen entlang der beschriebenen Linie nach links
oder rechts (anstatt wie zuvor von unten nach oben), so verändere sich der
sensorische Stimulus auf der Retina nicht. Während und nach dieser Bewe-
gung seien noch immer die exakt selben Photorezeptoren aktiviert und sie
würden die exakt selbe Stimulation des Gehirns produzieren, wie vor der
Bewegung. Auch wenn die Retina nicht ihre sphärische Krümmung besäße
oder gar uneben und völlig zerfurcht wäre, ändere sich der Stimulus über
die Bewegung hinweg überhaupt nicht. Nur durch unser Wissen darüber,
dass bei der selben Bewegung veränderte Stimuli erzeugt werden würden,
wenn die Linie nun gekrümmt statt gerade wäre, könnten wir – so die
ese – mit Sicherheit sagen, dass es sich bei einer geraden Linie um eine
gerade Linie handle. Nur durch unser Wissen darüber, in welcher exakten
Weise sich die Projektion der gekrümmten Linie auf der Retina verändern
würde, wüssten wir dass eine horizontale Linie auch wirklich horizontal ist
(vgl. O'Regan & Noë 2001: 942). Denke man nun daran, dass sich die Linie
in ihrer Umwelt bewege und sich in die Vertikale drehen würde (beispiels-
weise, weil sie auf einem Glücksrad befestigt wäre), so würde der Faktor der
Propriozeption (die Wahrnehmung über die Lage unserer Körperteile im
Raum) und das Wissen über eigene motorische Aktivitäten wichtig: ohne
das Wissen, dass Kopf und Körper sich währenddessen nicht bewegt haben,
könnte man die Drehung der Linie nicht als solche deuten. Der Stimulus
würde sich auf die gleich Weise verändern, würde man seinen Kopf zur
Seite neigen.
Zusammengefasst sind intramodale SMCs also notwendig, um die Reize
innerhalb einer Sinnesmodalität dierenzieren, verarbeiten und deuten
KOGN I T I O N Sensomotorischer Ansatz

zu können und somit verantwortlich für die phänomenale Qualität einer
Wahrnehmung. O'Regan und Noë geben an, mit dieser Argumentation
darüber hinaus auch das philosophische Problem der sogenannten ›Erklä-
rungslücke‹ oder ›explanatory gap‹ erklären zu können.
.. Die Erklärungslücke und ihre Schließung
Diese ›Lücke‹ wurde erstmals von Levine (1983) in die Debatte um die
Philosophie des Geistes eingeführt und bezeichnet die Annahme, dass
subjektives und phänomenales Erleben und die Qualität mentale Zustände
nicht durch jene Modelle erklärt werden könnten, welche sich lediglich
auf objektive, naturalistisch-ontologische Vorgänge beriefen. Die ›Qualia‹
des Bewusstseins sei nicht endgültig durch messbare elektro-chemische
Vorgänge, auf die sich beispielsweise die Neurologie berufe, begründbar
(vgl. Weber 2017: 71).
O'Regan und Noë (2001: 940–941) schließen sich dieser Annahme Levines
an und kritisieren zum Beispiel Erkenntnisse, die versuchen, verschiedene
Bewusstseinszustände mittels neuronaler Oszillationen zu erklären, die in
verschiedenen Teilen des Gehirns gemessen und zwischen denen Kohären-
zen nachgewiesen werden könnten. Auch wenn sie einzelne Mechanismen
erklären könnten, seien sie nicht geeignet, beispielsweise ein qualitatives,
visuelles Bewusstsein zu erklären, sondern verdrängten das Problem des
Bewusstwerdens lediglich in noch tiefere, komplexere Bereiche des Gehirns:
»the problem of consciousness would simply be pushed back into a
deeper hiding place: the question would now become, why and how
should coherent oscillations ever generate consciousness?«
(vgl. O'Regan & Noë 2001: 940)
Man könne in vielen wissenschaftlichen Bereichen – so O'Regans & Noës
(2001: 940–941) Argumentation weiter – kohärente Oszillationen nden,
die an diesen Stellen jedoch kein Bewusstsein erzeugten. Warum sollten sie
es also in diesem Falle tun?
Weiter lehnen sie auch die eorie der ›spezischen Sinnesenergie‹ Mül-
lers (1838) und jene modernen und populären Ansätze, die daraus entstan-
den wären, entschieden ab. Diese Ansätze würden die Frage danach, wie
und wo die qualitative Unterscheidung verschiedener Sinnesreize stattnde
damit beantworten, indem sie auf die Existenz spezischer Routen verwie-
sen, auf welchen sich die Informationen fortbewegen und mittels welcher
sie immer im richtigen Teil des Gehirns verarbeitet werden würden. Da-

durch käme ein visueller Reiz immer auch im visuellen Cortex an, wodurch
ihm das Gehirn automatisch eine visuelle Qualität zuschreiben und ihn
nach visuellen Mitteln analysieren und interpretieren würde. O'Regan und
Noë kritisieren auch hier, dass allein die Art eines Cortexes keine Erklä-
rung für die gesuchte Qualia sein könne (vgl. O'Regan & Noë 2001: 940–941)
und schreiben weiter:
»We could suppose that the neurons involved are of a dierent kind,
with, say, dierent neurotransmitters, but then why and how do dierent
neurotransmitters give rise to dierent experiences? We could say that
the type of calculation done in the dierent cortical areas is dierent, but
then we must ask, how could calculations ever give rise to experience?«
(O'Regan & Noë 2001: 940)
O'Regan und Noë führen an, diesen explanatorischen Widerspruch durch
ihre SMC eorie gelöst zu haben. Sie beschreiben das Wahrnehmen oder
im speziellen das Sehen nicht mehr als passiven Prozess, der – mittels be-
stimmter bis dato ungeklärter, neuronaler Berechnungen – Bilder aus den
retinalen Reizen erzeuge, welche wir dann kognitiv interpretieren könnten.
Das Sehen hingegen sei vielmehr als Aktivität zu verstehen, beeinusst
durch unsere körperlichen Gegebenheiten und unserem erfolgreichen Um-
gang mit den SMCs. Das erfolgreiche Ausüben dieser Kontingenzen führe
an sich schon, wie es in den vorherigen Kapiteln über inter - und intramo-
dale Kontingenzen bereits deutlich geworden sein sollte, zu einem sub-
jektiven, phänomenalen Gehalt des Wahrnehmens, da jeder Reiz bewusst
durch Motorik herbeigeführt werden müsse (vgl. Degenaar & O'Regan 2015).
So schreiben Degenaar & O'Regan:
The sensorimotor theory addresses these issues by considering the sen-
sorimotor patterns characterizing our interaction with the environment.
Instead of focusing on local properties of neural activity, the theory ex-
plains the quality of perceptual experiences by appeal to the perceiver‹ s
exercise of particular sensorimotor capacities. The idea is that each expe-
rience implies a bodily engagement with the environment, characterized
by a particular set of sensorimotor dependencies, and that the quality
of experience is constituted by the laws of sensorimotor engagement.«
(Degenaar & O'Regan 2015)
Eine nähere Erörterung der Problematik zwischen neuronaler Aktivität
des Gehirns und der Qualität des Erlebens, würde auch hier den Rahmen
KOGN I T I O N Sensomotorischer Ansatz

der Arbeit sprengen, weswegen auf die Ausführungen dazu von O'Regan
und Noe verwiesen sei (vgl. ausführlich dazu O'Regan & Noë 2001: 959–963).
.. Weitere Evidenzen
Ihren Erklärungsansatz sehen O'Regan und Noë durch zahlreiche empiri-
sche Studien und praktische Phänomene bestärkt. Wichtig für die vorlie-
gende Arbeit ist dabei vor allem der wechselseitige Bezug zur Forschung
über sensorische Plastizität: in den ersten Substitutionsstudien13 der späten
60er Jahre des 20. Jahrhunderts stellten White et al. (1970) beispielsweise
fest, dass der Substitutionsprozess erst erfolge, wenn die Versuchsperson die
aktive Kontrolle über die Sensorik der Apparatur gehabt habe. Dies sehen
O'Regan und Noë (2001: 957–959) als eine Bestätigung ihrer ese, da sie
am Beispiel des Sehens ausführen, das Wahrnehmung stets ein aktiver
Prozess sei und ohne Kontrolle über den Körper, sowie dessen Bewegungen
und das implizite propriozeptive Wissen, keine Wahrnehmung stattnden
könne. Auch Paul Bach-y-Rita selbst kommentiert die Ausführungen zur
SMC-eorie in dessen ›Open Peer Commentary‹ Teil und begrüßt die
Ansichten O'Regans & Noës, wenngleich er auch Kritik an ihnen übt:
[H]owever, it is challenging for neuroscientists to comment on a target
paper that appears to see little role for the brain in vision, perception or
consciousness[...]
(Paul Bach-y-Ritas Komentar in O'Regan & Noë 2001: 975)
Bach-y-Rita und andere beziehen sich bei Untersuchungen über sensori-
sche Substitution14 und im speziellen auch über sensorische Augmentation15
häug auf das eoriemodell von O'Regan und Noë. Einige dieser Bezüge
nden im nächsten Kapitel noch Erwähnung.
 Nähere Ausführungen zu diesen Studien sind in Kapitel 3.1.1 zu finden.
 Arbeiten aus dem Bereich der sensorischen Substitution, die sich auf die SMC-Theorie berufen (Bach-y-
Rita & W Kercel 2003; Bermejo et al. 2015; Deroy & Auvray 2012; Levy-Tzedek et al. 2012).
 Arbeiten aus dem Bereich der sensorischen Augmentation, die sich auf die SMC-Theorie berufen
(Kärcher et al. 2012; Kaspar et al. 2014; P. König 2005; Nagel et al. 2005). Insbesondere beschäftigt sich
König (2016) mit der Anwendbarkeit der SMC Theorie auf Augmentationsprozesse.
KOGN I T I O N Sensomotorischer Ansatz

Sensorische Plastizität
Wie zu Beginn angedeutet, ist unser Sinnesapparat nicht durch unser
Gehirn und unser zentrales Nervensystem begrenzt, sondern schlichtweg
durch die Beschaenheit unserer Körpers und unserer Sinne: wir können
nur die Faktoren unserer Umwelt wahrnehmen, die unser sensorisches Sys-
tem aufnehmen kann: wir haben kein Sinnesorgan für Radiowellen, Ultra-
schall oder Magnetfelder und können diese Eigenschaften unserer Umwelt
deshalb nicht wahrnehmen. Das, was wir als unsere Realität wahrnehmen
– so können wir daraus schließen – ist lediglich ein Ausschnitt unserer
Umwelt, konstituiert durch die uns zur Verfügung stehenden Sinne.
Die ese der sensorischen Plastizität ist nun, dass unser Gehirn hingegen
imstande sei, neue, andersartige Wahrnehmungen zu verarbeiten, wenn wir
einen Sinn dafür besäßen; dass unser Gehirn in seiner Funktionsweise der-
art plastisch formbar sei, dass dieser Lernvorgang auch im Erwachsenenal-
ter stattnden könne; dass wir diese Plastizität permanent nutzen würden,
um uns an Änderungen unseres Körpers und der Umwelt anzupassen; und
dass wir durch diese Plastizität – wie durch die Ausführungen im vorheri-
gen Kapitel dargestellt – überhaupt in der Lage seien sensorische Wahr-
nehmungen erleben zu können.
Daraus resultiert, dass wir dem Gehirn die zusätzlichen Informationen nur
über einen beliebigen Kanal zuführen müssten und dadurch Teile unseres
Sinnesapparates ersetzen (subsituieren) aber auch erweitern (augmentieren)
könnten. Dieser Vorgang, der als sensorische Plastizität bezeichnet wird,
soll im Folgenden näher erläutert werden.

. Sensorische Substitution
Sensorische Substitution bezeichnet im Allgemeinen die Nutzung einer
menschlichen Sinnesmodalität zur Wahrnehmung von Informationen,
die normalerweise von einer anderen Sinnesmodalität empfangen würde
(Kaczmarek 2000 – freie Übersetzung). Die dabei stattndende Umwand-
lung und Umadressierung sensorischer Reize ermögliche es, den Verlust
oder die Dysfunktion eines bestimmten Sinnesorgans (beispielsweise der
Augen) durch einen anderen Sinn (beispielsweise dem haptischen Sinn,
der Haut) zu kompensieren bzw. zu substituieren.
Das Phänomen wird dabei in drei Teile untergliedert: ein Sensor nimmt die
Informationen aus der Umwelt auf und leitet sie als codierte Signale an ein
Kopplungssystem weiter, das sie adäquat umwandelt und dem Stimulator zur
Verfügung stellt, welcher sie der substituierenden Modalität und somit der
menschlichen Wahrnehmung zuführt (vgl. Lenay et al. 2003: 2). Jener Vor-
gang unter Zuhilfenahme artizieller Systeme werde durch die sogenannte
»instrumental sensory plasticity«(Bach-y-Rita et al. 2003: 286) ermöglicht.
Voraussetzung dieser Plastizität sei ein funktionaler Anspruch der Substi-
tution, die Wahl einer geeigneten Sensorik (inkl. Kopplungssysteme und
Stimulatoren), sowie die Erfüllung psychosozialer Faktoren und Training
(Bach-y-Rita et al. 2003: 286). Nur dann könne das zentrale Nervensystem
diese neue Art der Wahrnehmung erlernen, trainieren und schließlich
integrieren. Außerdem spiele die körperliche Interaktion mit dem Sensor
eine entscheidende und konstitutive Rolle: nur wenn das motorische
System Einuss auf die Messungen des Sensors habe und man die Umwelt
durch diese Sensoren aktiv explorieren könne, sei das Gehirn imstande die
Herkunft dieser neuen Sinnesreize zu ermitteln. Zuletzt bliebe anzumer-
ken, dass die so eingebundene Wahrnehmung implizit erfolge und das
wahrnehmende Individuum somit keine bewusste Interpretationen oder
Schlussfolgerungen mehr ziehen müsse (vgl. Bach-y-Rita et al. 2003: 286; vgl.
Lenay et al. 2003: 2).
An dieser Stelle fällt bereits die Ähnlichkeit der Ausführungen mit den
Ansätzen moderner Kognitionstheorien auf: den Ansatz sensorische Reize
nur durch körperliche Interaktionen mit der Sensorik zuordnen und inter-
pretieren zu können, nden wir unter anderem auch in der SMC-eorie.
Doch zunächst soll im folgenden Abschnitt der historische Hintergrund
der Sensorischen Substitution dargelegt werden.
SENS O R I S C H E P L A STIZI T ÄT Sensorische Substitution

.. Forschungsarbeit durch Bach-y-Rita
Der Begri der Sensorischen Substitution geht auf ein ›vision substitution
system‹ zurück, dass Bach-y-Rita, Collins, Saunders, White und Scadden
1969 erstmals in der Fachzeitschrift ›Nature‹ präsentierten (Bach-Y-Rita et
al. 1969) und ein Jahr später allgemeiner als ›sensory substitution system‹
bezeichneten (White et al. 1970). Die von Bach-y-Rita et al. entworfene
Apparatur [Abb. 06] projiziert das Bild einer TV-Kamera, umgewandelt
durch ein Kopplungssystem16, mittels vibrierender Stimulatoren auf die
Haut und führt es so der Perzeption zu. Hierfür wurde ein Stuhl [Abb. 07]
konzipiert, in dessen Rückenlehne 400 Stimulatoren (als Matrix aus 20
Spalten und 20 Zeilen bestückt mit Solenoid Vibrationsaktuatoren) in der
Art verbaut wurden, dass sie bestimmte Vibrationsmuster auf dem Rücken
der Versuchsperson abbilden konnten. Die Kamera – also der Sensor des
Systems – war auf einem Stativ befestigt. Die Versuchsperson konnte ihren
Zoom steuern und die Kamera an sich führen, somit verschiedene Teile
des Raums betrachten und Gegenstände bzw. Menschen lokalisieren und
fokussieren (vgl. Bach-Y-Rita et al. 1969: 963; vgl. White et al. 1970: 23).
Die Ergebnisse dieser ersten Experimente konnten erstaunliche Erfol-
ge verbuchen: die erste Veröentlichung in der Fachzeitschrift ›Nature‹
(Bach-Y-Rita et al. 1969) und die darauolgenden Veröentlichungen (vgl.
beispielsweise Bach-y-Rita 1972; Bach-y-Rita et al. 2003; Bach-y-Rita & W Kercel
2003; White et al. 1970) markieren heute einen vielfach zitierten und disku-
tierten Wendepunkt in der Kognitionswissenschaft und Hirnforschung:
bereits ohne Training konnten Versuchspersonen einfache visuelle Aufga-
ben lösen. Das Ausrichten der Kamera auf geometrische Formen wie einen
Kreis, das Beschreiben der Bewegung einer vertikalen Linie von links nach
rechts, die Unterscheidung von horizontalen, vertikalen und diagonalen
Linien und das Nachahmen einer Linie in Kurvenform bereitete ihnen
auch ohne Erfahrung mit der Apparatur keine Schwierigkeiten (vgl. White
et al. 1970: 23 f.).
Komplexere Aufgaben, wie Formerkennung und schließlich das Unter-
scheiden 25 verschiedener, alltäglicher Objekte benötigten hingegen etwas
Training. Bemerkenswert war hierbei jedoch, die steile Lernkurve: wäh-
rend die Objekterkennung anfangs mehrere Minuten dauerte, benötigten
die Versuchspersonen nach nur 10 Stunden Training nur noch wenige Se-
kunden um das Objekt zu erkennen. Außerdem el auf, dass Performanz
und Lerneekt signikant anstiegen, nachdem den Versuchspersonen
 Die technische Umsetzung des Instrumentariums wird von Collins (1969) ausführlich erörtert.
Abb. : Der Versuchsaufbau Paul Bach-y-Ritas im Jahre 1969: die T.V. Camera als Sensor, der
Commutator als Kopplungssystem und die Bank of 400 Vibrators als Stimulator.

erlaubt wurde, die Steuerung der Kamera selbst zu übernehmen. Sie be-
richteten im Laufe des Trainings (die Kamera selbst steuernd) zunehmend,
den sensorischen Reiz nicht mehr am Rücken, sondern vor sich, körper-
fern und im Raum wahrzunehmen. Gleichzeitig verschwand der anfangs
deutlich wahrgenommene Sinnesreiz am Rücken und wurde nicht mehr
bewusst wahrgenommen (vgl. Bach-Y-Rita et al. 1969: 964):
»Our subjects spontaneously report the external localization of stimuli,
in that sensory information seems to come from in front oft he camera,
rather than from the vibrotactors on their back.«
(Bach-Y-Rita et al. 1969: 964)
Nach ausreichendem Training waren die Testpersonen in der Lage, die
neuen Reize mittels visueller Methoden und Gewohnheiten zu analysieren
und konnten somit sogar komplexe Merkmale wie Perspektive, Parallaxe,
Looming und die Tiefe des Raums aus den Informationen herausarbeiten.
Trotz der geringen Auösung der ersten Apparatur (400 Pixel) [Abb. 08]
und deren Weiterentwicklungen (bis zu 1032 Pixel – Stand 2003) konnten
sogar komplexe Aufgaben wie Auge-Hand-Koordination, Gesichtserken-
nung oder die richtige Beurteilungen von Geschwindigkeit und Richtung
eines rollenden Balls nachgewiesen werden (vgl. Bach-y-Rita et al. 2003: 287).
Dass die Informationen der Kamera, vom Gehirn auch visuell interpretiert
werden, obwohl sie dem Körper physiologisch gesehen über den hapti-
schen Sinn zugeführt werden, deutet auf eine vollständige, wenn auch von
der Auösung her niederwertigere Substitution der visuellen Modalität
hin (vgl. Bach-y-Rita et al. 2003: 287): die Versuchspersonen können mit ihrer
Haut sehen.
Wie echt sich dieses Seh-Erleben anfühlen kann, macht eine Situation
während der Experimente deutlich, in welcher der Zoomfaktor der Ka-
mera geändert wurde, ohne, dass die Testperson davon wusste. Die rasche
Vergrößerung des Bildausschnittes führte bei ihr zur Illusion, das Objekt
vor ihr bewege sich rasant auf sie zu und löste in ihr einen Reex aus:
»the startled subject raised his arms and threw his head backward to
avoid the ‘approaching‹ object. It is noteworthy that, although the stim-
ulus array was, at the time, on the subject‹ s back, he moved backward
and raised his arms in front to avoid the object, which was subjectively
located in the three-dimensional space before him.«
(Bach-y-Rita 1972: 98)

Die Ergebnisse zeigen zudem deutliche Parallelen zu den später entwickel-
ten, modernen Kognitionstheorien auf, insbesondere zur SMC-eorie,
die körperliche Interaktion als konstitutiv für Perzeption sieht und das Be-
wusstsein perzeptueller Wahrnehmung auf das Wissen über SMCs – der
Gesetzmäßigkeiten zwischen Sensorik und Motorik – zurückführt. Nach
dieser eorie führen die Testpersonen, die über eine externe Lokalisierung
der Reize berichten exakt diese SMCs des visuellen Sinnes aus, während
sie die Kamera bewegen und dabei das Bild über den Rücken vollständig
unterbewusst wahrnehmen.
Neben der von Bach-y-Rita et al. geprägten Bedeutung, taucht die senso-
rische Substitution noch in anderen Bereichen auf und unterscheidet sich
teils in ihrer Denition. Deshalb soll der Begri im Folgenden näher de-
niert werden und von themenverwandten Bereichen abgegrenzt werden.
.. Abgrenzung
Die vorliegende Arbeit betrachtet jene Prozesse, die aus artiziellen Senso-
ren, Kopplungssystemen und Stimulatoren bestehen und die – wie bereits
deniert – Faktoren, wie die körperliche Einbindung in die Sensorik, die
implizite Wahrnehmung und die externe Lokalisierung der Reize, erfüllen.
Sensorische Substitution kann auch breiter deniert werden. Um aufzu-
zeigen, wogegen sich die vorliegende Arbeit terminologisch abgrenzen
möchte, werden in kürze die Ausführungen des ›Biomedical Engineering
HandBook‹ dazu erläutert.
Kaczmareks (2000) Denition beschränkt sich nämlich vor allem auf
folgende Aussage:
»Sensory substitution is the use of one human sense to receive informa-
tion normally received by another sense.«
(Kaczmarek 2000: 143 Hervorhebung im Original).
Unter diese sehr allgemeine Bezeichnung fallen relativ viele verschiedene
Phänomene: dazu gehören beispielsweise der Elektronische Sprachsynthesi-
zer, der zur Kompensation fehlenden Augenlichtes, gedruckten oder digital
angezeigten Text synthetisch in hörbare Sprache umwandelt. Dieser könne
dadurch mit den Ohren und dem auditiven Sinn wahrgenommen und
interpretiert werden, wodurch die visuelle, semantische Interpretation von
Schriftzeichen ersetzt werde (Kaczmarek 2000).
In diesem Beispiel gibt es zwar ein artizielles Substitutionssystem mit
Sensor (Kamera bzw. digitale Texterkennung), Kopplung (Synthesizer)
SENS O R I S C H E P L A STIZI T ÄT Sensorische Substitution

Abb. : Eine originale Fotografie des modifizier-
ten Zahnarztstuhles von 1969. Deutlich
zu erkennen die Vibrationsstimulatoren
an der Rückenlehne.
Abb. : Das Gesicht einer Frau (400 Pixel Dar-
stellung). Das Bild repräsentiert in etwa
den maximalen Informationsgehalt, der
durch den ersten Versuchsaufbau mög-
lich war.

und Stimulator (Lautsprecher), der Gehalt der Information wird jedoch
wesentlich verändert und in seiner Charakteristik abgewandelt. Blinde,
welche dieses System benutzen, bekämen keine visuell-ähnliche Informa-
tion über das Erscheinungsbild oder das Aussehen der Zeichen sondern
lediglich den Inhalt des Textes vermittelt, welchem durch das ›Vorlesen‹
eventuell sogar (stimmliche, auditive) Merkmale hinzugefügt würden. Ein
solches System würde nicht dazu führen den ›betrachteten‹ Text und seine
visuellen Eigenschaften vor sich im Raum zu sehen.
Die Technik des Lippenlesens – ein weiteres Beispiel Kaczmareks – kön-
ne von Hörgeschädigten und tauben Menschen ohne Zuhilfenahme von
Technik erlernt werden. Sie helfe dabei bestimmte sprachliche Elemente,
die gewöhnlich durch die Ohren wahrgenommen würden, mithilfe der
Augen wahrzunehmen. Die Präzision sei jedoch eher gering: Wortpaare
wie ›buried‹ und ›married‹ könnten demnach nicht rein visuell unterschie-
den werden, da sich die Lippenbewegungen zu sehr ähnelten. Trotzdem
könne Lippenlesen zu einer enormen Verbesserung des Hörverständnisses
bei Hörgeschädigten führen (Kaczmarek 2000). Sprachliche, phonetische
Informationen werden in diesem Fall zwar durch einen anderen Sinn als
den üblichen (dem auditiven) aufgenommen, in diesem Fall gibt es jedoch
kein gestaltetes Kopplungssystem. Der gewählten Denition entspre-
chend, eignet sich das Phänomen deshalb ebenfalls nur bedingt für eine
nähere Untersuchung im Rahmen dieser Arbeit, sondern zielt eher auf die
Tatsache ab, dass viele Merkmale der Umwelt multimodal wahrgenommen
werden. Sprachverständnis setze sich somit – wenn verfügbar – aus visuel-
ler und auditiver Wahrnehmung zusammen. Für nähere Informationen sei
hier auf den McGurk Eekt verwiesen, der dies eindrucksvoll aufzeigt.17
Anders sieht es jedoch mit dem zuletzt erläuterten Beispiel Kaczmareks
aus: dem Blindenstock. Über ihn könne man vielfältige Eigenschaften der
ertasteten Umwelt erfahren, Objekte und Formen erkennen und Details
wie Oberächenbeschaenheit, Rauheit oder Elastizität spüren. Der Stock
an sich ist Sensor, artizielles Kopplungssystem und Stimulator zugleich:
in diesem Falle jedoch äußerst rudimentär, passiv, und analog.
Entscheidend ist aber die Tatsache, dass erfahrene Benutzer*innen diese
Eindrücke nicht am Ort des Reizes – der Handäche – sondern gewisser-
maßen an der Spitze des Stocks wahrnehmen. Dieses Phänomen der exter-
nen Lokalisierung von Reizen haben wir bereits in den Arbeiten Bach-y-
Ritas kennengelernt. Kaczmarek (2000) selbst nennt es ›distal attribution‹.
 McGurk stellte fest, dass bei Überlagerung zweier unterschiedlicher Audio- und Videoquellen er-
staunliche Fehlinterpretationen ergeben können. Mehr dazu in seinen Ausführungen dazu (Mcgurk &
Macdonald 1976).
SENS O R I S C H E P L A STIZI T ÄT Sensorische Substitution

Unter diese Denition fällt eine ganze Reihe wissenschaftlicher Arbeiten,
prototypischer Experimente und marktreifer Produktentwicklungen, wel-
che im folgenden Abschnitt Erwähnung nden sollen.
.. Empirische Versuche und praktische Anwendungen
Auch wenn die detaillierte Bestandsaufnahme und Analyse dieser An-
wendungen erst in der esis, dem praktischen Teil der Bachelorarbeit
erfolgen werden, soll an dieser Stelle ein historischer Abriss und Überblick
verschat werden.
Die Systeme lassen sich nach verschiedenen Merkmalen gliedern. Hier
wurde die Unterteilung hinsichtlich der Sinnesmodalität gewählt, die
substituierend auftritt, also Informationen aufnimmt, die sie durch ihre
naturgegebene Peripherie nicht aufnehmen könnte. Die zwei größten
Kategorien benutzen je den taktilen Sinn und den auditiven Sinn, weitere
Beispiele werden im Anschluss aufgeführt.
Taktile Substitutionssysteme
Wie bereits erwähnt, geht der Begri der sensorischen Substitution im
wesentlichen auf ein Forschungsprojekt von Bach-y-Rita und anderen
zurück, das bereits 1963 begann (vgl. Bach-y-Rita et al. 2003: 285). Es kann
heute eine große Menge, viel diskutierter Veröentlichungen vorweisen,18
das daraus entstandene Device wurde stetig weiterentwickelt [Abb. 09]
und wird heute unter dem Namen ›Brainport V100‹ vermarktet [Abb 10-
11].19 Im Rahmen dieser Studien wurden verschiedene Körperstellen, wie
der Rücken, der Bauch, die Stirn, die Fingerspitzen und schließlich die
Zunge (vgl. Auvray & Myin 2009: 1038) als Stimulationsäche genutzt und
vielfältige Tests durchgeführt. Durch die gute Dokumentation der Arbeit
über Jahrzehnte hinweg ist die Arbeit dieses Forschungsprojektes heute
eine bedeutende Quelle für sensorische Substitution. Die Arbeiten sind
allesamt auf die Übertragung visueller Reize auf den taktilen Sinn begrenzt
und werden deshalb ›tactile vision substitution systems‹ (TVSS) genannt
(vgl. Bach-y-Rita et al. 2003: 286).
In weiteren Arbeiten aus dem Bereich der TVSS wurden beispielsweise
 Um nur einige zu nennen: (Bach-y-Rita 1967, 1972; Bach-Y-Rita et al. 1969; Bach-Y-rita et al. 1987; Bach-
y-Rita et al. 2003; Bach-y-Rita & W Kercel 2003; White et al. 1970).
 Seit 1998 in Form eines Unternehmens mit dem Namen ›Wicab, Inc‹ (siehe https://www.wicab.com/brain-
port-v100). Bach-y-Rita selbst schiedt 2004 aus dem Unternehmen aus und starb 2006 an den Folgen von
Lungenkrebs (»BrainPort V100 Vision Aid | History« o.J.; »BrainPort V100 Vision Aid | Team« o.V., o.J.).

Abb. :
Abb. :
(oben) Ein blinder Proband mit einer frühen mobilen
Version des Devices von 1972.
(rechts) Ein britischer Soldat, der im Irakkrieg sein Aug-
genlicht verlor und nun ein bekannter Nutzer der wei-
terentwickelten Devices.
Abb. :
Abb. :
(oben) Produktbild der aktuellen Ausführung des
Brainport V100.
(unten) Intels ›Spatial Awareness Wearable‹ lässt
Menschen mit eingeschränkter visueller Wahrneh-
mung den Raum um sie herum fühlen und hilft somit
dabei Hindernisse zu erkennen und zu umgehen.

Gürtel entwickelt, die rudimentäre visuelle Informationen bereitstellen
(vgl. McDaniel et al. 2008) oder Handschuhe entwickelt, welche Blinden
den Gesichtsausdruck ihres Gegenübers anzeigen (vgl. Krishna et al. 2010).
Auch Unternehmen forschen am ema der TVSS, wie z. B. ›Intel‹ (»Spatial
Awareness Wearable | Intel®Software« o. V. o.J.) [Abb. 12] oder auch Neo-
Sensory – dem Unternehmen des Neurowissenschaftlers David Eagleman
– welches neben ›the Vest‹ [Abb. 13] noch mit weiteren marktreifen Produk-
ten zum ema der sensorischen Plastizität auf sich Aufmerksam macht
(»NeoSensory | Expanding Perception« o. V. o.J.).
Auditive Substitutionssysteme
Schon wenige Jahre nach den ersten Veröentlichungen rund um Bach-y-
Rita wurde durch Fish (1976) ein neuer Ansatz der Substitution begründet:
›auditory-vision substitution systems‹ (AVSS) versuchen den visuellen Sinn
durch auditive Signale und Töne zu ersetzen (vgl. Haigh et al. 2013: 2; vgl. P.
König 2005: 22). Fish konnte nachweisen, dass komplexe zweidimensionale
Formen allein durch Audiosignale verstanden werden würden und sogar
Distanzeinschätzungen im dreidimensionalen Raum dadurch möglich sei-
en. Die Bildwiederholfrequenz von wenigen Bildern pro Minute war zwar
sehr langsam, dennoch hatte Fish wohl mit der Mutmaßung Recht, mit
diesen Experimenten ein spannendes Forschungsfeld erönet zu haben (vgl.
Fish 1976: 152). Das erste universale AVSS war schließlich ›the vOICe‹, wel-
ches von Meijer (1992) entwickelt wurde [Abb. 14]. Dieses System wandelt
die Bilder der Kamera in sogenannte »soundscapes« um und präsentiert sie
mit einer Rate von einem Bild pro Sekunde dem auditiven Sinn (vgl. Haigh
et al. 2013: 2). Bei Experimenten mit Zeichenerkennung mithilfe des Sys-
tems, schneide Meijer‹ s AVSS vergleichbar mit modernen TVSS ab, wel-
che die Zunge als Projektionsäche benutzen (vgl. Haigh et al. 2013: 11). Das
System ist mittlerweile für viele Platformen frei verfügbar und funktioniert
sowohl in der Kombination eines Smarphones inkl. Kopfhörer, als auch mit
mit vielen ›smarten‹ Brillen, die im Handel erhältlich sind [Abb. 15–16].
Es wurden darüber hinaus einige weitere Apparaturen entwickelt: z. B.
›EyeMusic‹ (vgl. Abboud et al. 2014: 314), welches die Pixel des Bildes durch
Musikinstrumente und Töne auf der pentatonischen Skala darstellt; oder
›the Vibe‹ (vgl. Hanneton et al. 2010) welches das Bild auf verschiedene Felder
aufteilt, deren Töne man auditiv gleichzeitig aus verschiedenen Richtungen
– anstatt wie bei anderen AVSS, nacheinander – wahrnimmt; andere AVSS
gehen mit nochmals anderen Vorgehensweisen vor, um die Information für
die Ohren aufzubereiten (vgl. Ambard et al. 2015; Capelle et al. 1998).
SENS O R I S C H E P L A STIZI T ÄT Sensorische Augmentation

Wie bereits erwähnt, soll vollständige Auistung, Analyse und Vergleich
dieser Anwendungen in der esis erfolgen. Doch schon an dieser Stelle
bleibt festzuhalten, dass AVSS unter bestimmten Aspekten ähnliche Er-
gebnisse erzielen können, wie TVSS (vgl. Haigh et al. 2013: 2). Dabei haben
AVSS noch einen entscheidenden Vorteil, der auch die große Anzahl an
Anwendungen erklärt: das Setup besteht lediglich aus einer, auf der Brille
getragenen Kamera, einem mobilen Computer und einem handelsübli-
chem Paar Kopfhörer. Die Kosten für Material und Technik sind demnach
vergleichsweise gering. Außerdem sind die Geräte ästhetisch vergleichs-
weise unauällig und praktikabel in der Handhabe.
Weitere Beispiele
Neben den zwei großen Feldern von TVSS und AVSS existieren auch
Versuche andere Modalitäten miteinander zu verbinden. Beispielsweise
Devices für Menschen mit Gleichgewichtsstörung – sogenannte tactile
vestibular substitution systems (vgl. Tyler et al. 2003), Devices, die taktile
Reize an anderer Stelle des Körpers darstellen, beispielsweise bei Sensi-
bilitätsstörungen durch eine Lepraerkrankung (vgl. Bach-y-Rita 1996) oder
um über einer künstlichen Prothese wieder taktil fühlen zu können (Riso
1999).
. Sensorische Augmentation
Eine Weiterentwicklung der sensorischen Substitution stellt die sensori-
sche Augmentation dar, bei der es nicht mehr darum geht, verlorene oder
abwesende Sinnesreize zu ersetzen, sondern stattdessen neuartige, der
menschlichen Physiologie nicht zur Verfügung stehende Wahrnehmungen
zu ermöglichen. Welche Informationen dies sein können, zeigt sich schon
– wie auch in der Einleitung beschrieben – bei einem Blick in die Tierwelt:
viele Spezies besitzen Sinnesorgane zur Wahrnehmung bestimmter As-
pekte der Umwelt, die wir nicht bzw. nicht in deren Qualität und Detail-
liertheit wahrnehmen können. Man denke dabei an das Riechorgan eines
Hundes, an die Fähigkeit von Katzen im Dunkeln zu sehen, man denke an
die Navigationsfähigkeiten von Fledermäuse durch Ultraschallfrequenzen
und von Vögeln durch das Erdmagnetfeld. Die Liste an Beispielen aus der
Natur wäre lang, doch führen wir das Gedankenexperiment noch weiter:
ist es vielleicht sogar möglich, Informationen wahrzunehmen, die von
keinem natürlichen Lebewesen wahrgenommen werden können?
Abb. :
Abb. :
(oben) Die Firma NeoSensory entiwckelte ›The
Vest‹, ein als Kleidungsstück getragenes SSD mit
Vibrationsmotoren das nach eigenen Angaben
universal einsetzbar ist. Es kann zum Beispiel zur
Substitution von Audiosignalen verwendet werden.
(unten) Ein Proband der mittels ›the vOICe‹ ver-
sucht nach einer Tasse zu greifen. Schematische
Darstellung des Entwicklers Peter Meier.
Abb. –: Um ›the vOICe‹ zu benutzen, beötigt man lediglich ein Smartphone
mit Kopfhöhrern (rechts) oder eine Brille, die mit der Applikation kom-
patibel ist (oben).

Beispielsweise kosmische bzw. radioaktive Strahlung oder Feinstaubbe-
lastung der Luft? Oder vielleicht gar artizielle Informationen, die keine
natürliche Repräsentation besitzen und digital sind? Die Grenzen sensori-
sche Augmentation sind noch nicht erreicht.
Grundsätzlich entspricht die Denition von sensorischer Augmentation zu
weiten Teilen der, der Substitution, weshalb die Begrie auch oft zusam-
mengefasst werden. Der große Unterschied liegt darin, dass dem Gehirn
der Typ und die Charakteristik der neuartigen, zugeführten Informationen
anfangs noch nicht bekannt sind. Es existieren noch keine SMCs dafür, wie
beispielsweise mit den Reizen umzugehen ist und wie sie verarbeitet werden
können. Die Behauptung der sensorischen Augmentation ist nun, dass die
entsprechenden SMCs, um die Informationen aus den neuartigen Reizen zu
extrahieren und zu verstehen, auch im Erwachsenenalter lernbar sind und
sich so gewissermaßen neue Sinnesmodalitäten konstituieren lassen.
Denitorisch heißt das in Kürze: es existiert auch hier eine Dreiteilung in
Sensor, Kopplung und Stimulator. Die neuen Reize werden nach kurzer
Lernzeit nicht mehr am Ort der Stimulation sondern extern, am Ort ihrer
Herkunft, lokalisiert und der Prozess erfolgt implizit. Das heißt, nach
genügend Training herrscht kein Bewusstsein mehr über den Augmentati-
onsvorgang: man fühlt die Information der neuen Reize als neue implizite
Modalität.
.. Historische Begrisherleitung
Der Begri der sensorischen Augmentation‹ existiert mit anderen Bedeu-
tungen schon länger (vgl. z. B. Kaczmarek 2000: Kapitel 143; Solomonow &
Lyman 1977: 273), im Kontext der oben beschriebenen Denition trat der
Begri der Augmentation jedoch erstmals 1987 in Erscheinung: Paul Bach-
y-Rita et al. (1987) beschrieb eine Lösung für das Problem von Astronau-
ten, beim Tragen eines Raumanzugs durch die Handschuhe Dinge nicht
mehr gut ertasten und fühlen zu können. Sie schlugen ein System vor, bei
dem ein, um die Hüfte getragener, Gürtel die haptischen Reize der Hand-
oberäche abbilde und der Wahrnehmung bereitstelle. Die Charakteristik
der hier augmentierten Information (haptische Reize auf der Hand) ist für
die menschliche Physiologie nicht wirklich neuartig. Es besteht aber eine
räumliche Distanz zwischen Sensor und Stimulator. Die Ergebnisse legen
deshalb auch nahe, ferngesteuerte artizielle Arme aus der Robotik besser
steuern zu können. Bach-y-Rita et al. (1987) nennen dieses Phänomen
›Telepropriozeption‹.
SENS O R I S C H E P L A STIZI T ÄT Sensorische Augmentation

Neben dieser Erwähnung taucht das ema der sensorischen Augmentati-
on erneut als hypothetische Erweiterung der Substitution auf (vgl. Bach-Y-
Rita 2004: 85). Empirisch belegt wird es aber erst später.
.. Empirische Versuche und praktische Anwendungen
2005 erbrachte das ›feelspace‹ Projekt20 der Universität Osnabrück den
ersten empirischen Beleg über sensorische Augmentation. Bis heute wird
dort weiter am Projekt geforscht. Von 2008 bis 2010 lief das ›e-sense‹ Pro-
jekt21 der Open University und der Edinburgh University, welches ebenfalls
eine Vielzahl an Veröentlichungen und Prototypen hervorbrachte. Diese
beiden Projekte gelten als Vorreiter der Augmentation und werden ihrer
ausführlichen Dokumentation wegen noch in separaten Abschnitten näher
beleuchtet.
An der ›Conference on Biomimetic and Biohybrid Systems‹ wurde zu-
dem eine Studie über ein Device veröentlicht, mit dem Distanzen über
Vibration an den Kopf weitergegeben werden, um sich bei Dunkelheit
oder schlechter Sicht im Raum zu orientieren (Kerdegari et al. 2016). Neben
den wissenschaftlichen Veröentlichungen beginnen zudem auch prak-
tische Projekte Devices zu entwickeln, die Prinzipien der Augmentation
aufgreifen. Hierzu gehört z. B. die Firma ›Cyborg Nest LTD‹ welche mit
›e North Sense‹ einen sogenannten ›exo-sense‹ zum Kauf anbietet, ein
Device, welches ›semi-invasive‹ als Piercing auf der Haut befestigt wird
und durch Vibration anzeigt, wo Norden ist (»The North Sense Intelligently
Designed Evolution by Cyborg Nest« o.V., o.J.). Weiter macht auch die zuvor
bereits genannte Firma ›NeoSensory‹ durch ihr Produkt ›the Vest‹ von sich
reden, welches dem Körper grundsätzlich jede Art von Information durch
Vibration zuführen können soll (Eagleman & Novich 2014; »NeoSensory
| Vest« o.V., o.J.). Eagleman (2015) selbst, Gründer des Unternehmens,
spricht dabei sogar über die Einbindung digitaler Inhalte, wie Twit-
ter-Streams. Zuletzt nehmen sich mittlerweile auch private Entwickler
dem ema an und treen sich beispielsweise auf sogenannten Hacka-
thons, wo sie sich über ihre eigenen Experimente zum ema auszutau-
schen (Kobie 2016).
 Veröentlichungen der Arbeitsgruppe von und um das ‚feelspace’ Projekt sind u.a. (Kaspar et al. 2014;
P. König 2005; S. U. König et al. 2016; Nagel et al. 2005).
 Veröentlichungen und Material des e-sense Projekts sind verfügbar auf deren Projekt-Seite http://mcs.
open.ac.uk/esense/index.html). Zwei der Arbeiten erhielten die Auszeichnung der besten Veröentli-
chungen der jeweiligen Konferenz (Bird et al. 2008, 2009) und sind deshalb besonders hervorzuheben.
Abb. –:
Abb. :
(oben) Prototypen des Projektes ›feelspace‹ der Universität Osnabrück.
(unten) Der Gürtel ›feelspace‹ soll durch Sensorische Augmentation die
Raumorientierung verbessern und bei Navigationsaufgaben helfen.

Feelspace Studie
Das äußerst gut dokumentierte ›feelspace‹ Projekt konnte mit seinen
ersten Veröentlichung 2005 einen Meilenstein verbuchen, indem es die
Implementierung einer qualitativ neuartigen Sinneswahrnehmung in die
menschliche Perzeption nachweisen konnten: die Wahrnehmung des Erd-
magnetfeldes. Also eine Art Magnetsinn, wie wir ihn von Vögeln kennen.
Hierfür konzeptionierte die Forschungsgruppe einen Gürtel [Abb. 17–18],
»der die Orientierung des Gürtelträgers relativ zum magnetischen Norden
misst und diese Information über vibrierende Elemente auf der Innenseite
des Gürtels an den Träger weitergibt.« (Nagel et al. 2006: 3)
Über verschiedene Experimente hinweg schnitten trainierte Versuchs-
personen in Navigationsaufgaben mit verbundenen Augen und auch im
Freien besser ab als die Vergleichsgruppen. Sie berichteten außerdem eine
»qualitative Änderung der sensorischen Erfahrung« (Nagel et al. 2006: 3).
Es scheint folglich, als könne man tatsächlich neue SMCs einer neuartigen
Wahrnehmung noch im Erwachsenenalter lernen. Keine Versuchsperson
berichtete jedoch von der »Wahrnehmung eines lokalen Magnetfeldes«
(Nagel et al. 2006: 3), also der eigentlich dargestellten Information. Die
Fragen, ob es sich um eine neue vollwertige Modalität handelt und welche
Prozesse beim Tragen Gürtels genau ablaufen sind noch nicht eindeutig
geklärt. Es sei auf eine Studie von König et al. (2016) verwiesen, die dieser
Frage näher auf den Grund gehen will und darüber hinaus überprüft,
inwiefern die Hypothesen der SMC-eorie auf das ›feelspace‹ Projekt
anwendbar sind. Der Gürtel ist mittlerweile käuich zu erwerben [Abb. 19].
e-sense Projekt
Das e-sense Projekt lief ab Oktober 2008 für zwei Jahre als Kooperation
zwischen der ›Open University‹ in Milton Keynes und der ›Edinburgh
University‹. Das Projekt schien äußerst praktisch angelegt gewesen zu
sein und verfolgte einen interdisziplinären Ansatz bei der Forschung um
das ema von sensorischer Augmentation. Nichtdestotrotz nden sich
auf der Projekt Website (http://www.esenseproject.org) mehrere Veröf-
fentlichungen, in denen die Ergebnisse der Experimente wissenschaftlich
dokumentiert wurden. Ein Statement der ersten Veröentlichung dazu:
»The E-Sense project is taking an interdisciplinary approach to investi-
gating the extended mind, in particular the nature of sensory augmen-
tation. We will use a rapid prototyping approach to build 3 novel tactile

interfaces that mediate dierent sensory modalities (ultrasound, pitch
and ‘virtual‹ location). As well as testing the practical utility of these
systems, we hope to gain more insight into the conditions under which
technologies become transparent as well as gather more evidence for the
theoretical viability of the sensorimotor contingency model.«
(Bird et al. 2008: 4)
Das Ergebnis des Projekts sind mehrere Prototypen, die versuchen
dabei zu helfen, schneller eine Violine spielen zu lernen [Abb. 20] ( »Music
Jacket – e-sense project « o.V., o.J.) oder versuchen mit minimalsten
Mitteln die TVSS Ergebnisse Bach-y-Ritas zu replizieren [Abb. 21–22]
(»Minimal Tactile Vision Sensory Substitution System« o.V., o.J.).
Die Arbeitsweise des Projektes soll in der Bestandsaufnahme (welche in
der esis erfolgen wird) näher beleuchtet werden, da sie großes Potential
zu haben scheint, sich dem ema über praktische, interdisziplinäre Expe-
rimente zu nähern.
SENS O R I S C H E P L A STIZI T ÄT Sensorische Augmentation
Abb. :
Abb. –:
(oben) Die ›Music Jacket‹ soll beim Lernen des Violinen-
spiels assistieren.
(unten) Mit dem ›Minimal Tactile Vision Sensory Substi-
tution System‹ schuf das ›e-sense project‹ ein TVSS De-
vice, was mit einfachsten Mitteln nachzubauen ist und
konnten in Experimenten dessen Funktion nachweisen.

Schlussfolgerung und Ausblick
Durch moderne Ansätze der Kognitionswissenschaft, insbesondere
durch die sensomotorische eorie der Wahrnehmung (SMC eorie)
von O'Regan und Noë, liegt uns ein theoretisches Erklärungsmodell von
Kognition vor, welches nicht nur viele alltägliche Merkmale und Besonder-
heiten der Wahrnehmung begründen und den von Levine als ‚Erklärungs-
lücke’ bezeichneten Diskurs um die Entstehung von Qualia beenden kann,
sondern gleichzeitig geeignet ist, um sensorische Plastizität – genauer sen-
sorische Substitution und Augmentation – zu erklären. Unsere sensorische
Ausstattung und unsere körperliche Beschaenheit sind dabei konstitutiv
für Kognition. Nur durch unseren Körper und die durch ihn mögliche,
gezielte Interaktion mit unserer Umwelt können wir Dinge bewusst wahr-
nehmen. Nur durch das Erlernen, Aufrechterhalten und Ausüben senso-
motorischer Kontingenzen – der gesetzmäßigen Abhängigkeiten zwischen
unserem aktiven Handeln und den sensorischen Stimuli – können wir
Reize qualitativ voneinander unterscheiden. Nur so können wir logische
Schlüsse aus dem Wahrgenommenen ziehen und durch sie unser Handeln
planen und ausführen. Das implizite Wissen über sensomotorische Kontin-
genzen oder, allgemeiner ausgedrückt, die körperliche Konstitution von
Kognition bildet somit das theoretische Erklärungsmodell für sensorische
Plastizität.

Das empirisch gewonnene Wissen über die Plastizität unserer Sinne steht
in wechselseitigem Bezug zu diesem eorieansatz: die bahnbrechen-
den Erkenntnisse über sensorische Substitution aus den 1960ern unter
Leitung Paul Bach-y-Ritas fand mit diesem Ansatz ein theoretisches
Gegenüber. Neuere Studien über die Augmentation von Sensorik berufen
sich auf jenen Wechselbezug aus eorie und Empirie, festigen ihn aber
zudem durch eigene Ergebnisse.
Die Lektüre der behandelten wissenschaftlichen Texte – sowohl jene
über die theoretischen Strömungen in der Kognitionswissenschaft als
auch jene über die Experimente zur sensorischen Plastizität – stellte den
Großteil der Arbeitszeit an der vorliegende Arbeit dar. Dies ist durch
mehrere Faktoren begründet: die verschiedenen Texte variieren in ihrem
Schwerpunkt von Kognitionswissenschaft bis hin zur Neurowissenschaft,
von der Philosophie des Geistes und der Wahrnehmungspsychologie, bis
zur Neurologie und der KI-Forschung, von der Natur- bis zur Geisteswis-
senschaft. Neben meines begrenzten Wissens über die Grundlagen und
Terminologien der jeweiligen Fächer, erschwerte zudem die Inkonsistenz
der Arbeiten untereinander – begründet durch Perspektive, epistemolo-
gischem Ansatz und Argumentationsweise – das Verständnis der Inhalte.
Die Widersprüchlichkeit und Inkonsistenz zwischen diversen Kogni-
tionstheorien, die ich von Beginn selbst wahrnahm, wurde ausführlich
von Weber (2017) behandelt und analysiert. Diese Arbeit diente mir im
Prozess deshalb häug als Übersicht und ist im Text als solche zitiert. Im
Bereich der empirischen Arbeit über die sensorische Plastizität lag mir
keine derartig umfangreiche Zusammenstellung vor, weshalb ich Unklar-
heiten direkt im Fließtext auswies.
Die Bachelor esis soll dort beginnen, wo die thematische Behandlung
durch das Proposal endet: die vielen erwähnten praktischen Anwendun-
gen zum ema sollen gesammelt, kategorisiert und geordnet werden,
damit sie im nächsten Schritt mittels des vorliegenden, theoretischen
Rahmens angewendet, verglichen und analysiert werden können. Dabei
sollen die Stärken der einzelnen Anwendungen herausgearbeitet und
ihrem technischen und nanziellen Aufwand gegenübergestellt werden.
Schließlich ist die Ausführung der esis durch ebendiese Faktoren
beschränkt und soll meine gestalterischen, transdisziplinären Fähigkeiten
als Interaktionsdesigner bestmöglich ausschöpfen. Als Vorbild möchte
ich an dieser Stelle erneut das ‚e-sense’ Projekt anführen, welches mit
verhältnismäßig geringen Mitteln und innerhalb von 2 Jahren eine große
Zahl an Protoypen hervorbrachte und diese durch Veröentlichungen
der Allgemeinheit verfügbar machte. Besonders die Bemühungen ältere
SCHLUSSFOLGERUNG UND AUSBLICK

Forschungsergebnisse aus dem Bereich der sensorischen Plastizität mittels
moderner Sensoren und Microcontroller zu replizieren und diese Ergeb-
nisse systematisch zu protokollieren, kann einen guten Einstiegspunkt in
die praktische Arbeit darstellen und soll näher untersucht werden.
Die vorliegende Arbeit erfüllt die genannten Kriterien und bildet ein
solides Fundament für die weitere Bearbeitung des emas in der esis:
sie schat grundlegendes Verständnis und das nötige Wissen über den Un-
tersuchungsgegenstand, um ihn mit Mitteln und Methoden des Designs,
des Rapid Prototypings und durch Anwendung der Ansätze des ‚Research
through Design’ zu bearbeiten; sie ermöglicht es, Aspekte auszuwählen,
welche experimentell behandelt werden sollen, Hypothesen über deren
Wirkungsweise aufzustellen und schließlich adäquate Methoden für deren
Evaluierung zu bestimmen.

LITERATUR
Abboud, Sami / Hanassy, Shlomi / Levy-Tzedek, Shelly / Maidenbaum, Shachar / Amedi, Amir
(2014): EyeMusic: Introducing a ›visual‹ colorful experience for the blind using auditory
sensory substitution, in: Restorative Neurology and Neuroscience Jg. 32, Nr. 2, S. 247–257.
Ambard, Maxime / Benezeth, Yannick / Pfister, Philippe (2015): Mobile Video-to-Audio Transducer
and Motion Detection for Sensory Substitution, in: Frontiers in ICT, Jg. 2, S. 20
Auvray, Malika und Myin, Erik (2009): Perception With Compensatory Devices: From Sensory
Substitution to Sensorimotor Extension, in: Cognitive Science, Jg. 33, Nr. 6, S. 1036–1058.
Bach-y-Rita, Paul/ Webster, J. G./ Tompkins, W. / Crabb, T. (1987): Sensory substitution for space
gloves and for space robots, in: G. Rodriques (Ed.), Proceedings of the Workshop on Space
Robots, Pasadena, CA: Jet Propulsion Laboratories, S. 51–57
Bach-y-Rita, Paul (1972): Brain Mechanisms in Sensory Substitution, New York: Academic Press Inc.
Bach-y-Rita, Paul (1996): Nonsynaptic Diusion Neurotransmission and Brain Plasticity, in: The
Neuroscientist, Jg. 2, Nr. 5, S. 260–261.
Bach-y-Rita, Paul. (1967): Sensory Plasticity, in: Acta Neurologica Scandinavica, Jg. 43, Nr. 4, S.
417–426.
Bach-y-Rita, Paul. (2004): Tactile Sensory Substitution Studies, in: Annals of the New York Academy
of Sciences, Jg. 1013, Nr. 1, S. 83–91.
Bach-y-Rita, Paul / C. Collins, Carter / Saunders, Frank A. / White, Benjamin / Scadden, Lawren-
ce (1969): Vision Substitution by Tactile Image Projection, in: Nature, Jg. 221, Nr. 5184, S.
963–964.
Bach-y-Rita, Paul / Tyler, Mitchell E. / Kaczmarek, Kurt A. (2003): Seeing with the Brain, in: Interna-
tional Journal of Human–Computer Interaction, Jg. 15, Nr. 2, S. 285–295.
Bach-y-Rita, Paul und Kercel, Stephen W. (2003): Sensory substitution and the human-machine
interface, in: Trends in Cognitive Sciences, Jg. 7, Nr. 12, S. 541–546.
Bermejo, Fernando / Di Paolo, Ezequiel A. / Hüg, Mercedes X. / Arias, Claudia (2015): Sensori-
motor strategies for recognizing geometrical shapes: a comparative study with dierent
sensory substitution devices, in: Frontiers in Psychology, Jg. 6, Nr. 1, S. 679
Bird, Jon / Holland, Simon / Marshall, Paul / Rogers, Yvonne / Clark, Andy (2008): Feel the force:
Using tactile technologies to investigate the extended mind. Seoul, Korea http://www.k2.t.u-
tokyo.ac.jp/perception/dap2008/papers/Bird_dap2008.pdf (Zugegrien: 13. März 2018).
Bird, Jon / Marshall, Paul / Rogers, Yvonne (2009): Low-fi skin vision: A case study in rapid proto-

typing a sensory substitution system. 55–64. Cambridge, UK http://oro.open.ac.uk/19507/
(Zugegrien: 13. März 2018).
Capelle, C. / Trullemans, C. / Arno, P. / Veraart, C. (1998): A real-time experimental prototype for
enhancement of vision rehabilitation using auditory substitution, in: IEEE Transactions on
Biomedical Engineering, Jg. 45, Nr. 10, S. 1279–1293.
Cole, Taylor (2013): Eidos Is Futuristic Headgear That Enhances Your Senses. https://creators.vice.
com/en_uk/article/ezajmk/eidos-enhances-your-senses (Zugegrien: 02. März. 2018)
Collins, Carter C. (1969): Tactile image projection system. https://patents.google.com/patent/
US3628193A/en (Zugegrien: 7. März 2018).
Degenaar, Jan und O'Regan, J. Kevin (2015): Sensorimotor theory of consciousness, in: Scholarpe-
dia, Jg. 10, Nr. 5, S. 4952.
Deroy, Ophelia und Auvray, Malika (2012): Reading the World through the Skin and Ears: A New
Perspective on Sensory Substitution, in: Frontiers in Psychology, Jg. 3, S. 457.
Eagleman, David (2015): Can we create new senses for humans? Vancouver, Canada https://www.
ted.com/talks/david_eagleman_can_we_create_new_senses_for_humans (Zugegrien: 13.
März 2018).
Eagleman, David und Novich, Scott (2014): VEST: A Sensory Substitution Neuroscience Project.
https://www.kickstarter.com/projects/324375300/vest-a-sensory-substitution-neuroscien-
ce-project (Zugegrien: 19. Feb. 2018).
Engel, Andreas K. / Maye, Alexander / Kurthen, Martin / König, Peter (2013): Where’s the action?
The pragmatic turn in cognitive science, in: Trends in Cognitive Sciences, Jg. 17, Nr. 5, S.
202–209.
Etherington, Rose (2013): Eidos sensory perception enhancing masks at Royal College of Art.
https://www.dezeen.com/2013/05/01/eidos-sensory-perception-masks-royal-college-of-art/
(Zugegrien: 02. März. 2018).
Fish, R. M. (1976): An Audio Display for the Blind, in: IEEE Transactions on Biomedical Engineerin,
Jg. BME-23, Nr. 2, S. 144–154.
Frayling, Christopher (1993): Research in Art and Design. London: Royal College of Art.
Google (2018a:) Google News Suche: »augmented reality«. https://www.google.de/search?-
q=”augmented+reality”&source=lnms&tbm=nws (Zugegrien: 1. März 2018).
Google (2018b): Google News Suche: »sensory substitution« OR »sensory augmentation«.
https://www.google.de/search?q=”sensory+substitution”+OR+”sensory+augmentation”&-
source=lnms&tbm=nws (Zugegrien: 1. März 2018).
Haigh, Alastair / Brown, David J. / Meijer, Peter / Proulx, Michael J. (2013): How well do you see
what you hear? The acuity of visual-to-auditory sensory substitution, in: Frontiers in Psycholo-
gy, Jg. 4, S. 330.

Hanneton, Sylvain / Auvray, Malika / Durette, Barthélemy (2010): The Vibe: a versatile
vision-to-audition sensory substitution device, in: Applied Bionics and Biomechanics,
Jg. 7, Nr. 4, S. 269–276.
Hurley, Susan und Noë, Alva (2003): Neural Plasticity and Consciousness, in: Biology and
Philosophy, Jg. 18, Nr. 1, S. 131–168.
Kaczmarek, Kurt A. (2000): Sensory Augmentation and Substitution. In: Joseph D. Bron-
zino (Hrsg.): The biomedical engineering handbook, Boca Raton, Fla.: CRC Press.
Kärcher, Silke M. / Fenzla, Sandra / Hartmann, Daniela / Nagel, Saskia K. / König, Peter
(2012): Sensory Augmentation for the Blind, in: Frontiers in Human Neuroscience, Jg.
6, S. 37.
Kaspar, Kai / König, Sabine/ Schwandt, Jessika / König, Peter (2014): The experience of new
sensorimotor contingencies by sensory augmentation, in: Consciousness and Cogniti-
on, Jg. 28, S. 47–63.
Kerdegari, Hamideh / Kim, Yeongmi / Prescott., Tony J. (2016): Head-Mounted Sensory
Augmentation Device: Comparing Haptic and Audio Modality, in: Biomimetic and
Biohybrid Systems, Lecture Notes in Computer Science, S. 107–118. Springer, Cham
https://link.springer.com/chapter/10.1007/978-3-319-42417-0_11 (Zugegrien: 13.
März 2018).
Kobie, Nicole (2016): How to hack your senses: from »seeing« sound to »hair GPS«. WI-
RED UK. http://www.wired.co.uk/article/how-to-hack-senses-see-sound (Zugegrien:
13. März 2018).
KölnBib (2009): Kooperation Kölner Bibliotheken. http://koelnbib.kivk.de/ (Zugegrien: 28.
Feb. 2018).
König, Peter (2005): feelSpace Report of a Study Project. Osnabrück: Universität Osna-
brück http://cogsci.uni-osnabrueck.de/~feelspace/downloads/feelSpace_finalReport.
pdf (Zugegrien: 19. Feb. 2015).
König, Sabine U. et al. 2016. Learning New Sensorimotor Contingencies: Eects of Long-
Term Use of Sensory Augmentation on the Brain and Conscious Perception, in: PLoS
ONE, Jg. 11, Nr. 12, S. 1.
Krishna, Sreekar / Bala, Shantanu / McDaniel, Troy / McGuire, Stephen / Panchanat-
han, Sethuraman (2010): VibroGlove: an assistive technology aid for conveying
facial expressions. 3637-3642. ACM Press http://portal.acm.org/citation.cf-
m?doid=1753846.1754031 (Zugegrien: 10. März 2018).
Lenay, Charles / Gapenne, Olivier / Hanneton, Sylvain / Marque, Catherine K. / Genouëlle,
Christelle (2003): Sensory substitution: Limits and perspectives, in: Y. Hatwell, A.
Streri & E. Gentaz (Hrsg.), Advances in Consciousness Research. Amsterdam: John
Benjamins Publishing Company, S. 275–292.

Levine, Joseph. 1983. Materialism and Qualia: The Explanatory Gap, in: Pacific
Philosophical Quarterly, Jg. 64, Nr. 4, S. 354–61.
Levy-Tzedek, S. / Hanassy, S. / Abboud, S. / Maidenbaum, S. / Amedi, A. (2012): Fast, accurate
reaching movements with a visual-to-auditory sensory substitution device, in: Restorative
Neurology and Neuroscience, Jg. 30, Nr. 4, S. 313.
Maiese, Michelle (2017): Can the mind be embodied, enactive, aective and extended? in: Pheno-
menology and the Cognitive Sciences, Jg. 2017. S. 1–19.
McDaniel, Troy / Krishna, S. / Balasubramanian, Vineeth / Colbry, Dirk / Panchanathan, Sethura-
man (2008): Using a Haptic Belt to Convey Non-Verbal Communication Cues during Social
Interactions to Individuals who are Blind, in: 2008 IEEE International Workshop on Haptic
Audio visual Environments and Games, S. 13–18.
Mcgurk, Harry und Macdonald, John (1976): Hearing lips and seeing voices, in: Nature, Jg. 264,
Nr. 5588, S. 746.
Meijer, P.B.L (1992): An experimental system for auditory image representations, in: IEEE Transac-
tions on Biomedical Engineering, Jg. 39, Nr. 2, S. 112–121.
Müller, Johannes (1838): Handbuch der Physiologie des Menschen für Vorlesungen. Koblenz: Höl-
scher.
Nagel, Saskia K. / Carl, Christine / Kringe, Tobias / Märtin, Robert / König, Peter (2005): Beyond
sensory substitution – learning the sixth sense, in: Journal of Neural Engineering, Jg. 2, Nr. 4,
S. R13-R26.
Nagel, Saskia K. / Robert, Martin / König, Peter (2006): Fühlen lernen bedeutet Handeln lernen –
über das hirnphysiologische Korrelat von Bewusstsein. Deutsche Gesellschaft für Verhal-
tenstherapie e.V. VPP 3/2006
o. V. o.J. BrainPort V100 Vision Aid | History. BrainPort V100 Vision Aid. https://www.wicab.com/
history (Zugegrien: 9. März 2018a).
o. V. o.J. BrainPort V100 Vision Aid | Team. BrainPort V100 Vision Aid. https://www.wicab.com/
team (Zugegrien: 9. März 2018b).
o. V. o.J. Minimal Tactile Vision Sensory Substitution System. http://mcs.open.ac.uk/esense/
minimalTVSS.html (Zugegrien: 13. März 2018c).
o. V. o.J. Music Jacket - e-sense project. http://mcs.open.ac.uk/esense/musicJacket.html (Zuge-
grien: 13. März 2018d).
o. V. o.J. NeoSensory | Expanding Perception. NeoSensory. http://neosensory.com/ (Zugegrien:
10. März 2018e).
o. V. o.J. NeoSensory | Vest. NeoSensory. http://neosensory.com/vest/ (Zugegrien: 13. März
2018f).

o.V. o.J. Spatial Awareness Wearable | Intel® Software. https://software.intel.com/en-us/spati-
al-awareness-wearable (Zugegrien: 10. März 2018g).
o. V. o.J. The North Sense Intelligently Designed Evolution by Cyborg Nest. Cyborg Nest. https://
cyborgnest.net/ (Zugegrien: 13. März 2018h).
o. V. o.J. Überblick - Institut für Kognitionswissenschaft. https://www.ikw.uni-osnabrueck.de/
studiengaenge/ueberblick.html#c15859 (Zugegrien: 2. Feb. 2018i).
O'Regan, J. K. / Noë, A (2001): A sensorimotor account of vision and visual consciousness, in:
The Behavioral and Brain Sciences, Jg. 24, Nr. 5, S. 939–973.
Riso, R. R. (1999): Strategies for providing upper extremity amputees with tactile and hand posi-
tion feedback - moving closer to the bionic arm, in: Technology and Health Care, Jg. 7, Nr. 6,
S. 401–410.
Solomonow, Moshe / Lyman, John (1977): Artificial sensory communications via the tactile sense,
in: Annals of Biomedical Engineering, Jg. 5, Nr. 3, S. 273–286.
Statistisches Bundesamt (Hrsg.) (2018): Studierende an Hochschulen – Vorbericht
– Fachserie 11 Reihe 4.1 – Wintersemester 2017/2018. https://www.destatis.
de/DE/Publikationen/Thematisch/BildungForschungKultur/Hochschulen/
StudierendeHochschulenVorb2110410188004.pdf?__blob=publicationFile (Zugegrien: 28.
Feb. 2018).
Tyler, Mitchell / Danilov, Yuri / Bach-y-Rita, Paul (2003): Closing an open-loop control system:
vestibular substitution through the tongue, in: Journal of Integrative Neuroscience, Jg. 02, Nr.
02, S. 159–164.
Weber, Arne M. (2017): Die körperliche Konstitution von Kognition. Wiesbaden: J.B. Metzler.
White, Benjamin W. / Saunders, Frank A. / Scadden, Lawrence / Bach-y-Rita, Paul / Collins, Carter
C. (1970): Seeing with the skin, in: Perception & Psychophysics, Jg. 7, Nr. 1, S. 23–27.
Wilson, Margaret (2002): Six views of embodied cognition, in: Psychonomic Bulletin & Review, Jg.
9, Nr. 4, S. 625–636.
Ziemke, Tom (2003): What’s that Thing Called Embodiment? in: Proceedings of the 25th Annual
meeting of the Cognitive Science Society, Jg. 25, Nr. 25, S. 1305-1310.
Zimmerman, John / Forlizzi, Jodi / Evenson, Shelley (2007): Research Through Design As a
Method for Interaction Design Research in HCI. In Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems, CHI ’07, S. 493–502. New York, NY, USA: ACM http://
doi.acm.org/10.1145/1240624.1240704 (Zugegrien: 1. März 2018).

ABBILDUNGEN
Abb. :
Abb. :
Abb. :
Abb. :
Abb. :
Abb. :
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
Abb. 
https://commons.wikimedia.org/wiki/File:Cochleaimplantat.jpg
https://creators.vice.com/en_uk/article/ezajmk/eidos-enhances-your-senses
https://creators.vice.com/en_uk/article/ezajmk/eidos-enhances-your-senses
https://creators.vice.com/en_uk/article/ezajmk/eidos-enhances-your-senses
https://creators.vice.com/en_uk/article/ezajmk/eidos-enhances-your-senses
White 1970
Bach-Y-Rita et al. 1969
Bach-Y-Rita et al. 1969
Bach-Y-Rita et al. 1972
https://phys.org/news/2010-03-british-soldier-tongue.html
https://www.xconomy.com/wisconsin/2015/02/09/wicabs-wearable-vision-device-nears-u-s-market-thanks-to-google
https://iq.intel.com/technology-brings-spatial-awareness-to-the-visually-impaired/
https://motherboard.vice.com/en_us/article/8qxjmg/rewiring-the-brain-to-create-new-senses
https://www.seeingwithsound.com/extra/ACIVS2011_MeijerPBL.pdf
https://www.seeingwithsound.com/
https://pixabay.com/de/iphone-kopfhörer-mobil-telefon-3008266/
https://blog.scienceandmediamuseum.org.uk/unlocking-my-supersenses/
http://www.creativeapplications.net/wp-content/uploads/2010/10/feelSpace-belt.jpg
https://www.welt.de/sponsored/barrierenueberwinden/article156904455/Dieser-Guertel-kann-fuer-Blinde-sehen.html
https://www.zdnet.com/pictures/photos-can-tech-change-your-behaviour-the-open-university-investigates/2/
Bird et al. 2009
Bird et al. 2009
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 
S. 

ABKÜRZUNGEN
AVSS
HCI
SMC
SSD
TVSS
auditory-vision substitution system (Bach-y-Rita 2003)
human computer interaction
sensorimotor contingencies (O'Regan & Noë 2001)
sensory subsitution device
tactile vision substitution system (Bach-y-Rita 2003)

EIGENSTÄNDIGKEITSERKLÄRUNG
Hiermit bestätige ich, dass ich die vorliegende Arbeit selbständig ver-
fasst und keine anderen als die angegebenen Hilfsmittel benutzt habe.
Die Stellen der Arbeit, die dem Wortlaut oder dem Sinn nach anderen
Werken (dazu zählen auch Internetquellen) entnommen sind, wurden
unter Angabe der Quelle kenntlich gemacht.
Ort, Datum Unterschrift
... It was first drafted in previous work by Kilian in 2018 [58,59] with a focus on Interaction Design (only available in German). However, the first prototypes of the glove were still a bit cumbersome, heavy, had higher latencies and were prone to errors. ...
Article
Full-text available
This paper documents the design, implementation and evaluation of the Unfolding Space Glove – an open source sensory substitution device. It transmits the relative position and distance of nearby objects as vibratory stimuli to the back of the hand and thus enables blind people to haptically explore the depth of their surrounding space, assisting with navigation tasks such as object recognition and wayfinding. The prototype requires no external hardware, is highly portable, operates in all lighting conditions, and provides continuous and immediate feedback – all while being visually unobtrusive. Both blind (n = 8) and blindfolded sighted participants (n = 6) completed structured training and obstacle courses with both the prototype and a white long cane to allow performance comparisons to be drawn between them. The subjects quickly learned how to use the glove and successfully completed all of the trials, though still being slower with it than with the cane. Qualitative interviews revealed a high level of usability and user experience. Overall, the results indicate the general processability of spatial information through sensory substitution using haptic, vibrotactile interfaces. Further research would be required to evaluate the prototype’s capabilities after extensive training and to derive a fully functional navigation aid from its features.
Thesis
Full-text available
As this is my bachelor thesis the paper is only available in German - sorry for that. This project deals with the phenomenon of sensory substitution by which the function of one missing or faulty sensory modality is replaced (substituted) by stimulating another one. During the thesis a device has been developed, which aims to enable the blind to haptically experience the surroundings and spatial depth through vibration, so that they can detect obstacles and orient themselves within space in order to better cope with their daily activities. more information (German and English) on: https://unfoldingspace.jakobkilian.de
Article
Full-text available
In recent years, a growing number of thinkers have begun to challenge the long-held view that the mind is neurally realized. One strand of critique comes from work on extended cognition, a second comes from research on embodied cognition, and a third comes from enactivism. I argue that theorists who embrace the claim that the mind is fully embodied and enactive cannot consistently also embrace the extended mind thesis. This is because once one takes seriously the central tenets of enactivism, it becomes implausible to suppose that life, affectivity, and sense-making can extend. According to enactivism, the entities that enact a world of meaning are autonomous, embodied agents with a concerned point of view. Such agents are spatially situated, differentiated from the environment, and intentionally directed towards things that lie at a distance. While the extended mind thesis blurs the distinction between organism and environment, the central tenets of enactivism emphasize differentiations between the two. In addition, enactivism emphasizes that minded organisms are enduring subjects of action and experience, and thus it is implausible to suppose that they transform into a new form of life whenever they become intimately coupled to some new element in their environment. The proponent of enactivism and embodied cognition should acknowledge that life and affectivity are relational and environmentally embedded, but resist the further claim that these phenomena are extended.
Article
Full-text available
Theories of embodied cognition propose that perception is shaped by sensory stimuli and by the actions of the organism. Following sensorimotor contingency theory, the mastery of lawful relations between own behavior and resulting changes in sensory signals, called sensorimotor contingencies, is constitutive of conscious perception. Sensorimotor contingency theory predicts that, after training, knowledge relating to new sensorimotor contingencies develops, leading to changes in the activation of sensorimotor systems, and concomitant changes in perception. In the present study, we spell out this hypothesis in detail and investigate whether it is possible to learn new sensorimotor contingencies by sensory augmentation. Specifically, we designed an fMRI compatible sensory augmentation device, the feelSpace belt, which gives orientation information about the direction of magnetic north via vibrotactile stimulation on the waist of participants. In a longitudinal study, participants trained with this belt for seven weeks in natural environment. Our EEG results indicate that training with the belt leads to changes in sleep architecture early in the training phase, compatible with the consolidation of procedural learning as well as increased sensorimotor processing and motor programming. The fMRI results suggest that training entails activity in sensory as well as higher motor centers and brain areas known to be involved in navigation. These neural changes are accompanied with changes in how space and the belt signal are perceived, as well as with increased trust in navigational ability. Thus, our data on physiological processes and subjective experiences are compatible with the hypothesis that new sensorimotor contingencies can be acquired using sensory augmentation.
Article
Full-text available
Visuo-auditory sensory substitution systems are augmented reality devices that translate a video stream into an audio stream in order to help the blind in daily tasks requiring visuo-spatial information. In this work, we present both a new mobile device and a transcoding method specifically designed to sonify moving objects. Frame differencing is used to extract spatial features from the video stream and two-dimensional spatial information is converted into audio cues using pitch, interaural time difference and interaural level difference. Using numerical methods, we attempt to reconstruct visuo-spatial information based on audio signals generated from various video stimuli. We show that despite a contrasted visual background and a highly lossy encoding method, the information in the audio signal is sufficient to allow object localization, object trajectory evaluation, object approach detection, and spatial separation of multiple objects. We also show that this type of audio signal can be interpreted by human users by asking ten subjects to discriminate trajectories based on generated audio signals.
Article
Full-text available
Embedded in the paradigm of embodied cognition, the theory of sensorimotor contingencies (SMCs) proposes that motor actions and associated sensory stimulations are tied together by lawful relations termed SMCs. We aimed to investigate whether SMCs can be learned by means of sensory augmentation. Therefore we focused on related perceptual changes. Subjects trained for 7 weeks with the feelSpace belt mapping information of the magnetic north to vibrotactile stimulation around the waist. They experienced substantial changes in their space perception. The belt facilitated navigation and stimulated the usage of new navigation strategies. The belt’s vibrating signal changed to a kind of spatial information over time while the belt’s appeal and perceived usability increased. The belt also induced certain emotional states. Overall, the results show that learning new SMCs with this relatively small and usable device leads to profound perceptual and emotional changes, which are fully compatible with embodied theories of cognition.
Chapter
With a large number of receptive channels, the human visual system processes information in a parallel fashion. A single glimpse acquires a wealth of information; the eld of view for two eyes is 180° horizontally and 120° vertically (Mehr and Shindell, 1990). e spatial resolution in the central (foveal) part of the visual eld is approximately 0.5-1.0 min of arc (Shlaer, 1937), although Vernier acuity, the specialized task of detecting a misalignment of two lines placed end to end, is much ner, approximately 2 s of arc (Stigmar, 1970). Low-contrast presentations substantially reduce visual acuity.
Book
Arne M. Weber bietet eine interdisziplinär anwendbare Theorie über die Abhängigkeit von Kognition vom sich bewegenden Körper und damit neue Einsichten in den Aufbau unseres Geistes. Es wird seitens der Philosophie eine begriffliche Analyse gegenwärtiger Auffassungen mit empirischen Ergebnissen aus der Psychologie und Neurologie kombiniert, um einen Weg aus derzeitigen Kontroversen in der Kognitionswissenschaft aufzuzeigen. Auf die Frage, wie beispielsweise Denken und Wahrnehmung funktionieren, wurde bisher mit einem Verweis auf das Gehirn geantwortet. Bei genauerer Betrachtung zeigt sich aber, dass es die eigenen Bewegungen sind, die nicht nur unser gegenwärtiges Verstehen prägen, sondern dies als mentale Repräsentationen erst ermöglichen. Der Inhalt • Kritische Analyse der kognitionswissenschaftlichen Debatten • Konstruktive Lösung für zukünftige Theoriebildung • Neue, eindeutige Interpretation neurowissenschaftlicher Befunde • Erklärung der Zusammenhänge von Denken, Wahrnehmung und Bewegung Die Zielgruppen • Dozierende und Studierende der Philosophie • Kognitionswissenschaftler, Psychologen, Psychiater, Neurologen Der Autor Dr. Arne M. Weber ist wissenschaftlicher Mitarbeiter an der Heinrich-Heine-Universität Düsseldorf und befasst sich mit aktuellen Themen in der Philosophie des Geistes sowie den Theorien der Neuro- und Kognitionswissenschaften.
Conference Paper
This paper investigates and compares the effectiveness of haptic and audio modality for navigation in low visibility environment using a sensory augmentation device. A second generation head-mounted vibrotactile interface as a sensory augmentation prototype was developed to help users to navigate in such environments. In our experiment, a subject navigates along a wall relying on the haptic or audio feedbacks as navigation commands. Haptic/audio feedback is presented to the subjects according to the information measured from the walls to a set of 12 ultrasound sensors placed around a helmet and a classification algorithm by using multilayer perceptron neural network. Results showed the haptic modality leads to significantly lower route deviation in navigation compared to auditory feedback. Furthermore, the NASA TLX questionnaire showed that subjects reported lower cognitive workload with haptic modality although both modalities were able to navigate the users along the wall.
Article
The sensorimotor approach proposes that perception is constituted by the mastery of lawful sensorimotor regularities or sensorimotor contingencies (SMCs), which depend on specific bodily characteristics and on actions possibilities that the environment enables and constrains. Sensory substitution devices (SSDs) provide the user information about the world typically corresponding to one sensory modality through the stimulation of another modality. We investigate how perception emerges in novice adult participants equipped with vision-to-auditory SSDs while solving a simple geometrical shape recognition task. In particular, we examine the distinction between apparatus-related SMCs (those originating mostly in properties of the perceptual system) and object-related SMCs (those mostly connected with the perceptual task). We study the sensorimotor strategies employed by participants in three experiments with three different SSDs: a minimalist head-mounted SSD, a traditional, also head-mounted SSD (the vOICe) and an enhanced, hand-held echolocation device. Motor activity and fist-person data are registered and analyzed. Results show that participants are able to quickly learn the necessary skills to distinguish geometric shapes. Comparing the sensorimotor strategies utilized with each SSD we identify differential features of the sensorimotor patterns attributable mostly to the device, which account for the emergence of apparatus-based SMCs. These relate to differences in sweeping strategies between SSDs. We identify, also, components related to the emergence of object-related SMCs. These relate mostly to exploratory movements around the border of a shape. The study provides empirical support for SMC theory and discusses considerations about the nature of perception in sensory substitution.