BACKPROPAGATION & FEED-FORWARD - Das Multilayer Perceptron Einführung in neuronale Netze

Abstract

Künstliche Intelligenz begegnet den meisten Menschen alltäglich, oft wissen sie nicht einmal davon. Ob Spracherkennung mit einem Mikrofon oder Texterkennung mit dem Eingabestift, in Smartphones oder am Computer sind mittlerweile selbstverständlich. Fachleute setzen zur Analyse in der Marktforschung und bei Dax Analysen Bots, man könnte sagen virtuelle Autopiloten an, die basierend auf Erfahrungswerten zu erwartende Prognosen aufstellen und sogar Handelsprozesse ausführen (Trading Automation). Ein weiterer Einsatzort ist das Umgehen von Captchas, hierbei handelt es sich um kleine zusammengesetzten Grafiken die Ziffern und Buchstaben enthalten, meist verrauscht so dass es kaum ein Mensch erkennen kann, um automatisierte Abläufe von Menschen zu unterscheiden. Da viele Menschen an dieser Barriere scheitern wird versucht diese Barriere zu umgehen. Alle diese Einsatzgebiete, grob kategorisiert in optische und akustisches Erkennen, regelungstechnische Anwendungen und das Finden von Näherungswerten und Mustern haben eines gemeinsam. Sie sind ideale Anwendungsfälle für künstliche neuronale Netze. Die Idee hinter künstlichen neuronalen Netzen ist die Entwicklung von Computerprogrammen zur Nachbildung der Hirnareale Modellierung tatsächlicher neuronaler Vorgänge.

Full text

BACKPROPAGATION
& FEED-FORWARD
Das Multilayer Perceptron – Einführung in neuronale Netze
AUTOR
Jasmin Sunitsch
Jasmin Sunitsch
Technischer Datenschutz und
Mediensicherheit, Informatikstudiengang
E-Government an der Hochschule Rhein-
Waal

Inhalt
EINFÜHRUNG ................................................................................................................................... 1
ALLTÄGLICHE EINSATZGEBIETE ................................................................................................... 1
EINSATZGEBIETE .......................................................................................................................... 2
Börse ............................................................................................................................................. 2
TOPOLOGIEN .................................................................................................................................... 3
FEED-FORWARD ........................................................................................................................... 3
TOPOLOGIE BACKPROPAGATION ............................................................................................ 3
HOPFIELD NETZE - AUTOASSOZIATIONSNETZ ........................................................................ 3
TOPOLOGIE KOHONEN - FEATURE MAP ..................................................................................... 4
DAS NEURON ................................................................................................................................... 6
Das natürliche Neuron ................................................................................................................. 6
DAS MENSCHLICHE GEHIRN ........................................................................................................ 7
Das künstliche Neuron................................................................................................................. 7
EINGABE UND VERNETZUNG .......................................................................................................... 7
INPUT-LAYER ................................................................................................................................ 7
Hidden-LAYER............................................................................................................................... 8
OUTPUT-LAYER ............................................................................................................................ 8
Vernetzung von Neuronen .............................................................................................................. 8
BIOLOGISCHE VERNETZUNG ....................................................................................................... 8
LERNSTRATEGIEN DER BACKPROPAGATION ................................................................................ 12
BACKPROPAGATION............................................................................................................... 12
FEED-FORWARD ..................................................................................................................... 12
TRAINIGSMODI WIE ARBEITET EIN NN? ....................................................................................... 13
ÜBERWACHTES LERNEN ............................................................................................................ 13
BESTÄRKENDES LERNEN ............................................................................................................ 13
UNÜBERWACHTES LERNEN ....................................................................................................... 13
ÄNDERUNGEN WÄHREND DES LERNENS ................................................................................. 13
DATENVERWALTUNG TRADITIONELL ................................................................................... 13
KÜNSTLICHES NEURONALES NETZ ............................................................................................ 13
AUSBLICK IN DER AKTUELLEN FORSCHUNG ................................................................................. 14
Versicherung & Deckblätter .......................................................................................................... 15

ABSTRACT
Oft kopiert doch nie erreicht, das menschliche Gehirn. Das Wort Neuron kommt aus Griechenland und
hat die Bedeutung Sehne, Nerv. Ein neuronales Netz besteht aus mindestens zwei miteinander
verbundenen Neuronen. In Literatur findet man neuronale Netze oft unter der Abkürzung NN oder
KNN für künstliche neuronale Netze. Die Euphorie künstliche Intelligenz zu erschaffen weicht meist der
Realität. Schon das Turing Halteproblem beschreibt: Computern das Denken lernen zu lehren ist keine
utopische Vorstellung mehr. Bekannte Topologien der neuronalen Netze sind Backpropagation und
Kohone Netze. Biologische Ausführungen werden in dieser Arbeit nicht ausführlich erklärt, sondern nur
die grundsätzlichen Hintergründe erläutert. Kohonen Netze sind eine künstliche Weiterentwicklung.
Zur Backpropagation aber es lassen sich leichter Parallelen ziehen, sie sind dem menschlichen Gehirn
sehr ähnlich. In dieser Arbeit wird näher auf die Methode Feed-forward, Multilayer Perceptron
(überwachtes Lernen, erkennt Muster) eingegangen und setzt Basiskenntnisse des technischen
Datenschutzes voraus.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
1
EINFÜHRUNG
ALLTÄGLICHE EINSATZGEBIETE
Künstliche Intelligenz begegnet den meisten Menschen alltäglich, oft wissen sie nicht einmal davon.
Ob Spracherkennung mit einem Mikrofon oder Texterkennung mit dem Eingabestift, in Smartphones
oder am Computer sind mittlerweile selbstverständlich. Fachleute setzen zur Analyse in der
Marktforschung und bei Dax Analysen Bots, man könnte sagen virtuelle Autopiloten an, die basierend
auf Erfahrungswerten zu erwartende Prognosen aufstellen und sogar Handelsprozesse ausführen
(Trading Automation). Ein weiterer Einsatzort ist das Umgehen von Captchas, hierbei handelt es sich
um kleine zusammengesetzten Grafiken die Ziffern und Buchstaben enthalten, meist verrauscht so
dass es kaum ein Mensch erkennen kann, um automatisierte Abläufe von Menschen zu unterscheiden.
Da viele Menschen an dieser Barriere scheitern wird versucht diese Barriere zu umgehen. Alle diese
Einsatzgebiete, grob kategorisiert in optische und akustisches Erkennen, regelungstechnische
Anwendungen und das Finden von Näherungswerten und Mustern haben eines gemeinsam. Sie sind
ideale Anwendungsfälle für künstliche neuronale Netze. Die Idee hinter künstlichen neuronalen
Netzen ist die Entwicklung von Computerprogrammen zur Nachbildung der Hirnareale Modellierung
tatsächlicher neuronaler Vorgänge.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
2
EINSATZGEBIETE
Börse
Neuronale Netze werden beispielsweise eingesetzt, um fallende- und steigende Kurse (chaotischer
Zeitreihen) an der Börse prognostizieren zu können. Die Basis für diese Berechnungen liefern den
neuronalen Netzen Erfahrungswerte. Konventionelle Berechnungen erfolgten bisher statistisch.
Foto: Orkan Kuyas, Trader – seit 1999 an der Börse aktiv (Quelle O. Kuyas)
Weitere Einsatzgebiete
• Wetterforschung, Klimaberechnungen
• Identifikation, Bildverarbeitung, Personensuche, Befugnisprüfung
• Sprachverarbeitung
• Mustererkennung wie beispielsweise Schriften
• Militär
o Unbemannte Drohnen und Fahrzeuge
o Fluglinien
o Intelligente Auswertung von Satellitenbildern
• Medizin, Diagnostik, Epidemiologie

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
3
TOPOLOGIEN
FEED-FORWARD
Vorwärts gerichtete Netze, dieses Netzwerk wird im Folgenden genauer erklärt.
TOPOLOGIE BACKPROPAGATION
Feedback-Netzwerk mit Rückkopplung! Daten der Neuronen einer Schicht können an ihre
Vorgängerschicht zurückgegeben werden. Nach der Rückgabe können die Gewichte eingestellt werden
um näher an das gewünschte Muster zu kommen.
HOPFIELD NETZE - AUTOASSOZIATIONSNETZ
Schichtübergreifende Rückgabe an Neuronen. Jedes Neuron ist mit jedem anderen verbunden. Die
Aktivierung eines Neurons hat Auswirkung auf das gesamte Netz, der Schwellwert eines jeden Neurons
löst eine Rückkopplung im gesamten Netz aus. Die Verbindungsgewichte sind symmetrisch und die
Eingabe und Ausgabevektoren sind gleichgroß, man spricht dann von einem Autoassoziationsnetz. Die
Netzeingabe jedes Neurons = Gewichtete Summe der Ausgaben der anderen Neuronen.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
4
TOPOLOGIE KOHONEN - FEATURE MAP
Den Begriff Kohonen prägte der finnische Ingenieur Teuvo Kohonen (1982) der ein sehr bekanntes
Kohonen Netzwerk konzipierte. Die Herren Stephen Grossberg (1972) und Christoph von der Malsburg
(1973) entwickelten jedoch schon vor ihm Ansätze der heutigen Kohonennetze, auch bezeichnet als
Kohonen Feature Map oder Self-Organiszing Maps. Es ist das ideale Netzwerk zur Berechnung des
Traveling Salesman Problem oder Traveling Salesperson Problem da es selbstlernend Muster findet. Auf
die Grafik projiziert bedeutet das: Bei diesem Problem handelt es sich um die Aufgabe eine Reihenfolge
für den Besuch mehrere Orte / Skillpunkte so zu erreichen, dass die gesamte Strecke nach der Rückkehr
zum Ausgangsort so kurz wie möglich ist.1 Der wesentliche Vorteil der Kohonennetze ist der, dass sie
im Vergleich zu konventionellen KNN dem menschlichen neuronalen Netz ähneln, gestellte Probleme
ohne Hilfe eines Lehrers lösen. Es besteht üblicherweise aus zwei Schichten Neuronen, einer Input-
und einer Output-Schicht. Die Output-Schicht ist häufig Zweidimensional aufgebaut, die Distanz
zwischen den Output-Neuronen spielt dabei eine große Rolle.
1 HAMILTON, William Rowan, (1805-1865) Optimaler Reiseweg eines Handlungsreisenden durch die 15 größten Städte Deutschlands.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
5
0-1 Charakter Skilltree Path of Exile Quelle: http://www.pathofexile.com/passive-skill-
tree/AAAAAgMB
Beispielfoto: Path of Exile
Ein Online Spiel, vergleichbar mit Diablo, bei denen einem Spielcharakter ein
Talentbaum mit möglichen Stärken zur Verfügung steht. Der Skilltree verfügt über 120
Punkte, verfügbar 1325 Möglichkeiten. Welches künstliche Neuronales Netz kann hier
optimieren? Ein Kohonen Netz, bei Verzicht der Genauigkeit. doch das Netz wird
ungenauer, wie das menschliche Gehirn ebenfalls.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
6
DAS NEURON
Das natürliche Neuron
Das Gehirn der Wirbeltiere enthält ca. 10^10 vernetzte Neuronen mit ca. 0,25mm großen Zellkörpern.
Biologische Neuronen-Geflechte zusammengeschaltet mit Axonen und Dendriten über bis zu 10.000
Synapsen. Purkinje-Zellen haben sogar bis zu 150.000 Synapsen. Die Informationsübertragung erfolgt
in Form von Spikes (Aktionspotential). Erzeugt durch Ladungsunterschied an der Zellmembran, werden
über Axone bzw. Dendriten binäre Informationen übertragen (0 oder 1)
Grafische Darstellung des biologischen Neurons
Der Aufbau einer Nervenzelle. Der Zellkörper besteht aus dem Zellkern (Sender) und einem Axon an
deren Ende sich Synapsen befinden die kleine Endknöpfchen besitzen. Wird der Schwellwert
überschritten wird das Neuron aktiviert. Neurotransmitter werden freigesetzt und über die Synapsen
übertragen.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
7
DAS MENSCHLICHE GEHIRN
100 Billionen vernetzte Neuronen im menschlichen Gehirn - 0,25mm großer Zellkörper -
Zusammengeschaltet mit Axonen und Dendriten über Synapsen - Menschliche Neurone - 1000 und
10.000 Synapsen, Purkinje-Zellen sogar bis zu 150.000. Die Informationsübertragung in Form von
Spikes (Aktionspotential) - Erzeugt durch Ladungsunterschied an der Zellmembran - Axone bzw.
Dendriten binäre Informationen übertragen (0 oder 1)
Das künstliche Neuron
Hier ein biologisches und ein künstliches Neuron im optischen Vergleich.
EINGABE UND VERNETZUNG
INPUT-LAYER
Bei der Eingabe in den Input-Layer handelt es sich immer um Vektoren. Die Dendriten nehmen an
dieser Stelle die Eingabe inkl. Multiplikation aller Gewichte (die einzelne Gewichtung im Input-Layer
liegt immer bei 1) auf und wendet die logistische Funktion auf alle erhaltenen Werte an, um sie danach
weiterzugeben an den Hidden-Layer.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
8
Hidden-LAYER
Der Hidden-Layer kann eine unbegrenzte Anzahl an Schichten beinhalten.
OUTPUT-LAYER
Die Ausgabe stellt wieder einen Vektor bereit.
Vernetzung von Neuronen
BIOLOGISCHE VERNETZUNG
Bei der biologischen Vernetzung verbinden sich die einzelnen Neuronen miteinander zu einem Netz.
Bei dieser Grafik verbinden sich zwei Neurone, der Axon des zweiten Neurons ist hier nicht dargestellt.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
9
Der Sender verbindet seine Synapsen mit denen des Empfängers und auch dieser wieder mit anderen
Neuronen. Ein Neuron kann tausende dieser Axone (Schwänze) mit Synapsen besitzen und diese
können auch wieder alle mit anderen Endknöpfchen verbunden werden.
In unserem Gehirn sind alle Neuronen miteinander verbunden, ähnlich wie in der folgenden Grafik,
dort werden 3 Neuronen dargestellt.
KÜNSTLICHE VERNETZUNG

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
10
Auf dem ersten Blick ähnelt diese Grafik dem biologischen Netz, diese Darstellung findet man sehr
häufig, wenn es um neuronale Netze geht. Diese Darstellung ist allerdings sehr banal.
Die detailreichere Darstellung offenbart, dass ein künstliches neuronales Netz komplexer ist als die oft
gezeigte Darstellung vermuten lässt.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
11
Zoomt man weiter in das künstliche neuronale Netz erkennt man den genauen Ablauf. Vorgabe sind
ein Inputvektor und die Zugeordneten Zielwerte des Output-Vektors. Das Ziel ist beispielsweise, dass
die Funktion durch ein Netz dargestellt werden. Abfolge: Suche nach gewichten und dem Schwellwert,
so dass der Fehler E ein Minimum annimmt. E = 0. Berechne nach dem ersten Durchlauf die Differenz
zum eigentlich gewünschten Zielwert und ändere die Gewichtung so, dass sich der Output-Vektor
näher an das Ziel anpasst. Und beginne wieder von vorn. Dieser Vorgang wird solange wiederholt bis
das Ziel erreicht ist.
Geht man näher ins Detail erkennt man die Ähnlichkeit zum biologischen neuronalen Netzwerk.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
12
LERNSTRATEGIEN DER BACKPROPAGATION
BACKPROPAGATION
geht rückwärts durch das Netz und propagiert den Fehler um zu lernen, die Gewichtung anzupassen.
FEED-FORWARD
Variante selbstbeziehende aktive Neuronen verstärken sich selbst, als Aktivator und Inhibitor
(hemmend).

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
13
TRAINIGSMODI WIE ARBEITET EIN NN?
ÜBERWACHTES LERNEN
Ein externer „Lehrer“, bzw. ein Eingabemuster und ein Ausgabemuster müssen vorliegen.
Schnell aber biologisch nicht plausibel
BESTÄRKENDES LERNEN
Richtig oder falsch!
Korrekte Ausgabe muss System finden Biologisch plausibel aber langsam.
UNÜBERWACHTES LERNEN
Selbstorganisation
nicht für alle Fragestellungen geeignet Biologisch am plausibelsten.
ÄNDERUNGEN WÄHREND DES LERNENS
o Entwicklung neuer Verbindungen Löschen vorhandener Verbindungen
o Modifikation der Stärke wij von Verbindungen
o Modifikation des Schwellenwertes von Neuronen
o Modifikation der Aktivierungs-
o Propagierungs- oder Ausgabefunktion
o Entwicklung neuer Zellen
o Löschen von Zellen
DATENVERWALTUNG TRADITIONELL
Die CPU arbeitet hauptsächlich im RAM Langzeitspeicher extern! Sie legt Daten auf Medien ab und
Liest Daten wieder vom Medium aus.
KÜNSTLICHES NEURONALES NETZ
Verarbeitung und Speicherung gleichermaßen, der Datenbestand bleibt im Netz. Das Netz ist die
Information.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
JASMIN SUNITSCH
14
AUSBLICK IN DER AKTUELLEN FORSCHUNG
Frau Prof. Dr. Klüver und ihr Team von der Universität Duisburg-Essen haben es geschafft den Täter in
einem Roman von Agatha Christie zu erkennen. Ein Automobilhersteller optimiert derzeit mithilfe
neuronaler Netze eine Software die Straßenschilder erkennt.

Neuronale Netze
Technischer Datenschutz und Mediensicherheit“
Versicherung & Deckblätter
„Ich versichere, dass ich die vorstehende Arbeit selbständig angefertigt und mich fremder
Hilfe nicht bedient habe. Alle Stellen, die wörtlich oder sinngemäß veröffentlichtem oder
nicht veröffentlichtem Schrifttum entnommen sind, habe ich als solche kenntlich gemacht.“
Moers, 13. Januar 2015