ArticlePDF Available

Abstract

Die Begriffe Big Data, Artificial Intelligence und Machine Learning klingen wie eine Verheissung – gerade im Marketing. Konkrete Anwendungsbeispiele findet man jenseits des Leistungsportfolios von Google, IBM und Co. jedoch eher selten. Der vorliegende Beitrag nimmt sich dieser Problematik an und schildert anschaulich, wie man Gesichtsdetektion und Emotionsanalyse mittels Artifical Intelligence konkret umsetzen kann und welchen Mehrwert dies für das Marketing bietet.
Schwerpunkt Künstliche (emotionale) Intelligenz? Schwerpunkt Künstliche (emotionale) Intelligenz?
1. Einleitung
Keine Frage: Artifizielle Intelligenz (AI) und Marketing Au-
tomation sind in aller Munde: Mithilfe selbstlernender Algo-
rithmen können Entscheidungen getroffen werden, die die
Firmenperformance signifikant verbessern. Der menschliche
Entscheider mit seiner hohen Fehleranfälligkeit spielt fortan
keine Rolle mehr. Und die Entwicklung ist tatsächlich rasant.
Kaufabschlüsse für verschiedene Kundengruppen können teil-
weise exakt prognostiziert und Supply-Chain-Prozesse effizi-
enter und effektiver gestaltet werden, um nur ein paar Beispie-
le zu nennen (Wedel & Kannan 2016). Ein wichtiger Bereich
des modernen Marketings scheint davon aber abgekoppelt: die
Bewegtbildkommunikation. Selbstverständlich können kom-
plexe Algorithmen in Form von Chatbots den Newsfeed von
Facebook, Instagram und Twitter füllen – weniger die automa-
tisierte Detektion von Gesichtern in Bildern als diejenige von
Emotionen auf den Gesichtern bereitet aber noch Probleme.
Dabei ist die Wahrnehmung von Emotionen ein wichtiges Ele-
ment der menschlichen Kommunikation und dient zur Inter-
pretation von Ereignissen, sozialen Wechselwirkungen und
menschlicher Beziehungen im Allgemeinen. Mit den Gesichts-
emotionen sind Handlungen verbunden, wie Bewegungen des
Gesichts, Körpergesten und Änderungen im Klang der Stim-
me. Darüber hinaus ist es klar, dass Emotionen, wie Freude
oder Wut, direkt Handlungen auslösen können – wobei wir
wieder beim Marketing wären.
Aufgrund der universellen Gültigkeit der Gesichtsausd-
cke (Darwin 1899) und den damit verbundenen Handlungen
besteht auch im Marketing ein grosses Interesse an Computer-
Algorithmen, die automatisch Emotionen von Kunden oder
anderen Marktteilnehmern erkennen. Und das Anwendungs-
feld bleibt hier nicht nur auf die Bewegtbildkommunikation
beschränkt. Denken Sie nur an die folgenden Beispiele:
1. Kundenzufriedenheitsanalysen (z.B. auf einer Messe)
2. A/B-Vergleiche bei der Präsentation von Neuprodukten
und Werbung sowie Messung von geschlechter- und al-
tersspezifische Unterschieden
3. Analyse von Stimmungen und Emotionen am Point of
Sales (z.B. in einem Einkaufszentrum)
4. Automation von Serviceprozessen im Kundenkontakt,
z.B. über Skype
5. Intelligente Online-Verkaufsassistentin, z.B. bei Amazon.
Selbstredend können solche Analysen und Anwendungen
auch mit anderen technischen Mitteln erschlossen werden.
Unter Zuhilfenahme verschiedenster Hilfsmittel versucht die
Dr. Michael Reinhold
Projektleiter und Dozent
am Institut für Marketing der
Universität St. Gallen
+41 (0) 71 224288 9
michael.reinhold@unisg.ch
Christoph Wortmann, M.Sc.
Wissenschaftlicher Mitarbeiter
am Institut für Marketing der
Universität St. Gallen
Tel.: +41 (0) 7 1 2247159
christoph.wortmann@unisg.ch
moderne Marktforschung schon seit Jahren, den Hautwider-
stand, den Puls oder die Augenfixierung von Probanden zu
messen (Kuß, Wildner & Kreis 2014). Ein Alleinstellungs-
merkmal der automat isierten Video- und Bildanalyse besteht
aber darin, dass die Messung ohne d irekten Kontakt mit dem
Kunden erfolgen kann. Die Kombination von Emotionsana-
lyse mit Augenfixierung wäre ein weiterer, interessanter
Vorschlag. Fortan verwässern künstliche Messsituationen
nicht mehr das Ergebnis. Ein echter Schritt nach vorne.
Ziel des vorliegenden Beitrags ist die Vermittlung von
Grundlagenwissen im Bereich der automatisierten Erken-
nung von Emotionen in Gesichtern. Der Leser soll in die
Lage versetzt werden, selbstständig zu beurteilen, ob und in
welcher Form dieses hoch spannende Gebiet relevant für
seine eigene Unternehmung ist. Der Hype ist unbestritten
– fast monatlich schnellen die Publikationen unterschiedli-
cher Software-Anbieter im Internet in die Höhe. Jedoch
manifestiert sich der Fortschritt hauptsächlich noch im
technisch-wissenschaftlichen Bereich. Die Entwicklung
einer bahnbrechenden „Rundumsorglos“-Applikation im
Marketing steht indes noch aus. Es besteht also ein konkre-
Von der Gesichts-
detektion zur
Emotionsanalyse
Die Begriffe Big Data, Articial Intelligence und Machine Learning klingen
wie eine Verheissung – gerade im Marketing. Konkrete Anwendungsbeispiele
ndet man jenseits des Leistungsportfolios von Google, IBM und Co. jedoch
eher selten. Der vorliegende Beitrag nimmt sich dieser Problematik an und
schildert anschaulich, wie man Gesichtsdetektion und Emotionsanalyse
mittels Artical Intelligence konkret umsetzen kann und welchen Mehrwert
dies für das Marketing bietet.
Dr. Michael Reinhold, Christoph Wortmann, M.Sc.
Danksagung
Die Autore n danken Prof. Dr. D. Herh ausen und Dr. J. Wulf
für wichtige Hinweis e und die B ereitstellung vo n Facebook-D aten
sowie den Reviewern für ihren wertvollen Input.
888 889Marketing Review St. Gallen 4 | 2018 Marketing Review St. Gallen 4 | 2018
Schwerpunkt Künstliche (emotionale) Intelligenz? Schwerpunkt Künstliche (emotionale) Intelligenz?
Das Erkennen von Emotionen in Gesichtern kann grund-
sätzlich in drei Schritte unterteilt werden: (1) die Detektion
und das Herauslösen von Gesichtern auf digitalen Fotografi-
en oder in Videosequenzen; (2) die Transformation von Ge-
sichtsbildern in eine zur Verarbeitung geeigneten Form; (3)
die Klassifizierung der einzelnen Gesichter in normalerwei-
se acht verschiedene archetypischen Emotionsklassen (Kelt-
ner & Ekman 2000). Die Software-Giganten aus Übersee
sind selbstredend in der Lage diese Aufgaben direkt in einem
Schritt in der Cloud zu lösen und die Ergebnisse an den Kun-
den zurückzuspielen. Dennoch gibt es gute Gründe selber in
die Materie einzusteigen:
1. Emotionen sind keine physikalische Messgrösse, die Er-
kennung basiert rein auf dem Training des Algorithmus
mit einer grossen Menge händisch codierter Gesichtsbil-
der. Je nach Fragestellung gilt es, einen geeigneten Al-
gorithmus anzupassen und zu trainieren.
2. Es gibt noch keinen weltweiten Qualitätsstandard zur
Erkennung von Emotionen in Gesichtsbildern. In der rei-
nen Detektion von Gesichtern, egal mit welcher Emotion,
sind zwar die Algorithmen mittlerweile besser als der
Mensch, beide mit über 99 Prozent Treffsicherheit. Die
Zusammenfassung
Das zuverlässige Detektieren von Gesichtern (mit
dem zugehörigen Alter und Geschlecht) in Bildern
und Videodaten ist technisch gelöst. Die Erken-
nung von Emotionen in Gesichtern hat einen Grad
der Zuverlässigkeit erreicht, der für viele Anwen-
dungen im Marketing ausreichend ist. Grosse
amerikanische Software-Firmen bieten dem
Anwender cloudbasierte Komplettpakete für diese
Aufgaben an. Es gilt, den raschen technologischen
Fortschritt im Auge zu behalten und zum richtigen
Zeitpunkt für das eigene Unternehmen zu nutzen.
Kernthesen
Anwendungen von AI und Deep Learning sind
im Marketing angekommen. Gesichtsdetektion,
Gesichtserkennung, Erkennen von Emotionen
in Gesichtern sowie das Klassizieren nach
Alter und Geschlecht sind bereits im Einsatz.
Weitere Anwendungen werden folgen.
Bei all diesen Projekten hat die Beachtung
sämtlicher Aspekte des Datenschutzes und des
Schutzes der Privatsphäre oberste Priorität,
denn der Ruf des Unternehmens steht mit auf
dem Spiel.
ter Handlungsbedarf, das Thema für das Marketing zu öffnen.
Das Thema Marketing Automation wird gleichfalls angespro-
chen. Jegliche Automatisierung ist von Prozessdaten getrie-
ben, hier betrifft es das Sammeln von Kundendaten.
Lässt man den Blick in den angelsächsischen Raum
schweifen, so erkennt man erste Fortschritte. Supermarkt-
ketten in den USA und im Vereinigten Königreich verwen-
den Marketing-Automation-Ansätze zur automatisierten
Altersverifizierung von Tabak- und Alkoholeinkäufen sowie
zur Verhinderung von Ladendiebstählen.
Hingegen musste die Deutsche Supermarkt-Kette Real
die 2016 eingesetzte Gesichtsanalyse ihrer Ladenkunden
nach einem Jahr mangels Akzeptanz und wegen Beschwer-
den wieder abbauen. Mit anonymisierten Daten dieser Auf-
zeichnungen wollte die Firma herausfinden, welche Werbe-
filme bei den Kunden besonders gut ankommen. Ähnlich
erging es TESCO in England mit an der Kasse von Tankstel-
len installierten Gesichtsscannern. Ziel war es, zielpersonen-
gerechte Werbung am PoS zu schalten. Aus den frei zugäng-
lichen Informationen geht nicht hervor, ob die aufgenomme-
nen Bilder nur zur Gesichtsdetektion und Emotionserken-
nung, oder zur Gesichtsdetektion, anschliessender
Gesichtserkennung und Emotionsanalyse verwendet wur-
den. Fazit: Die Privatsphärenproblematik darf keinesfalls
unterschätzt werden. Dies gilt vermehrt seit dem Inkrafttre-
ten der DSGVO im EU-Raum, andere Länder werden folgen.
Die Gesichtserkennung hingegen – sie dient der Identifi-
kation von Individuen anhand deren Gesichter – hat schon in
die Smartphones Eingang gefunden. Meistens handelt es sich
um reine Gesichtserkennung sowie Alters- und Geschlechts-
erkennung und weniger um das Erkennen von Emotionen.
Kontrastpunkt zu den bekannten und bewährten Verfahren
der klassischen Marktforschung.
Die Algorithmen zur Detektion von Gesichtern lassen
sich grundsätzlich in zwei Klassen einteilen. Da wären zum
einen die bekannten Verfahren der Inferenzstatistik, bei-
spielsweise in Form von Regressionen, Support Vektor Ma-
schinen, Nearest-Neighbour-Algorithmen und Klassifizie-
rungsbäumen. Bei diesen Methoden ist ein parametrisches
Modell hinterlegt, welche bestimmte Variablen als Parame-
ter theoriegeleitet einfliessen lässt. Als gutes Beispiel lässt
sich die Kausalkette „Kundenzufriedenheit bei Dienstleis-
tungen führt zu Wiederkauf“ verwenden. Verschiedene Va-
riablen sind mit der Zufriedenheit in unterschiedlichen Mass
korreliert und determinieren einen entsprechenden Wieder-
kauf. Die anderen, neuen Ansätze des maschinellen Lernens
hingegen verzichten weitgehend auf die Integration von be-
kannten Variablen und der Algorithmus arbeitet als „Black
Box“, die selber die richtigen Variablen oder Einflussfakto-
ren herausfiltert. Neuronale Netze spielen in diesem Zusam-
menhang eine besondere Rolle. Sie sind bereits seit den
1950er-Jahren bekannt und lehnen sich an die Informations-
verarbeitung des menschlichen Gehirns an. Die Verfügbar-
keit leistungsfähiger und preisgünstiger Computer-Hard-
ware ist in den letzten Jahren rasant gestiegen und hat mass-
geblich zum Durchbruch der äusserst rechenintensiven Al-
gorithmen – mit neuronalen Netzen als Kern – beigetragen.
Ein wichtiger Treiber ist das autonome Autofahren, welches
zwingend Tausende von Bildobjekten pro Sekunde analysie-
ren und klassifizieren können muss.
Fotos: © iStockphoto, © Jeffrey Cohn
Die Gesichtsdetektion und
Emotionserkennung bedient
sich modernster statistischer
Verfahren, die die Spielregeln im
Marketing verändern und einen
scharfen Kontrastpunkt zu
den bekannten und bewährten
Verfahren der klassischen
Marktforschung bilden.
Letztere macht dennoch so rasche Fortschritte, dass es sich
heute schon lohnt, über attraktive Anwendungen im eigenen
Marketing nachzudenken.
2. Ein Exkurs in die Datenwissenschaft
Die Gesichtsdetektion und Emotionserkennung bedient
sich modernster statistischer Verfahren. Diese verändern
die Spielregeln im Marketing und bilden einen scharfen
890 891
Marketing Review St. Gallen 4 | 2018 Marketing Review St. Gallen 4 | 2018
Schwerpunkt Künstliche (emotionale) Intelligenz? Schwerpunkt Künstliche (emotionale) Intelligenz?
Klassifizierung von Emotionen hingegen fällt nicht nur
dem Menschen schwer: Letzterer erreicht eine Genauig-
keit von 65 Prozent ± 5 Prozent auf einem Testdatensatz
mit sieben Klassen von Emotionen (Goodfellow 2013).
Ein aktueller Algorithmus, basierend auf einem neurona-
len Netz, kommt unter Zuhilfenahme derselben Daten auf
über 70 Prozent richtige Zuordnungen. Ob dieser Wert als
ausreichend oder inakzeptabel einzuschätzen ist, hängt
von der Fragestellung ab. Nicht in allen Fällen müssen
Klassen wie „Verachtung“, „Abscheu/Ekel“ oder „Trau-
er“ berücksichtig werden.
3. Realtime Emotionserkennung ist wegen des Timing in
der Cloud noch weitgehend ausgeschlossen. Vor Ort
kann das durchaus im Sekundentakt laufen, sofern ein
trainiertes Netz vorliegt.
4. Gesichtsbilder sind sensible Personendaten, die man
nicht unbedingt über die Cloud an Dritte zur Verwertung
weitergeben möchte.
3. Muster- und Gesichtsdetektion
Die Musterkennung ist die wichtigste Aufgabe eines jeden
visuellen Systems. Sie wird von frühester Kindheit an trai-
niert und ist überlebenswichtig. Doch manchmal kommt es
zu Kommunikationsschwierigkeiten. So konnten einst die
Entdecker die Emotionen der Ureinwohner auf neuen Konti-
nenten vielfach nicht richtig erkennen und deuten.
Wir haben gesehen: Das Problem der Gesichtserkennung
in Bildern und Videosequenzen ist schon gut gelöst, auch in
Echtzeit. Die derzeitige Entwicklung läuft in zwei Richtun-
gen. Zum einen werden immer schnellere Algorithmen ent-
wickelt, die weniger Strom brauchen und auch in Smartpho-
nes verwendet werden können. Zum anderen wird die Integ-
ration der Emotionsanalyse schon während des Detektions-
prozesses vorangetrieben, um z.B. mehr freudige Gesichter
als Schnappschuss einzufangen.
4. Klassikation von Emotionen in Gesichtern
Die Klassifikation von Emotionen in Gesichtern erweist sich
jedoch als herausfordernde Aufgabe. Betrachten Sie hierfür
einmal die für die Emotionsanalyse aufbereiteten Gesichter
in Abbildung 1. Wie würden Sie die dargestellten Emotionen
einordnen?
Das automatische Erkennen von Emotionen ist an-
spruchsvoller, als ein Gesicht zu erkennen. Bei Gesichtern
gibt es nur die Antworten „Ja“ und „Nein“. Müsste man ra-
ten, so würde die Trefferrate exakt 50 Prozent betragen. Bei
Emotionen bietet sich eine andere Situation. Betrachten wir
die acht Gesichtsausdrücke Ärger, Abscheu, Verachtung,
Angst, Glück, Trauer, Überraschung und Neutral, dann er-
gibt dies eine zufällige Trefferrate von ca. 13 Prozent. Für
die zuverlässige Bestimmung von Emotionen braucht man
ein geschultes Expertenteam.
Auch wenn die modernen Verfahren des maschinellen
Lernens eine Analyse und Erkennung von Emotionen Reali-
tät werden lassen, stösst man doch bei der Verarbeitungska-
pazität an Grenzen. Bei sieben und mehr Emotionen braucht
man einen recht grossen Datensatz an Musterbildern von
Gesichtern von Probanden, auf denen zweifelsfrei die ein-
zelnen Emotionen dargestellt sind. Weitere Einflussgrössen,
wie Alter, Geschlecht und Herkunft gehen nochmals multi-
plikativ in die Statistik mit ein, sodass Bilddatensätze mit
Emotionen fast ins Unermessliche wachsen.
Die automatische Emotionserkennung hat sich in zwei
unterschiedliche Stossrichtungen entwickelt: (1) die Analyse
von wichtigen Merkmalen im Gesicht, die über die Gesichts-
muskeln als sogenannte Action Units (Hamm et al. 2011)
gesteuert werden und (2) einem holistischen Ansatz, der auf
den Theorien der künstlichen Intelligenz, genauer gesagt des
maschinellen Lernens, und deren Umsetzung in Form von
neuronalen Netzen basiert. Der erste Entwicklungszweig
Schlüssel zu einer positiveren Bilanz besteht als Erstes in der
Zuhilfenahme von Verfahren des maschinellen Lernens.
Doch was bedeutet das konkret? Man setzt zunächst ein neu-
ronales Netz auf und trainiert dieses mit Daten. Man be-
zeichnet diese Art des Lernens auch als „Deep Learning“. In
Abbildung 2 ist die Datenverarbeitung im neuronalen Netz
schematisch dargestellt. Vereinfacht handelt es sich um ein
System von rund einer Million trainierter, schneller Filter,
die kollektiv in der Lage sind, aus den Bilddaten links im
Diagramm auf eine der sechs Emotionen rechts im Dia-
gramm zu schliessen. Das neuronale Netz arbeitet als Black
Box und findet während des Trainings selbst heraus, welche
nichtlinearen Kombinationen von Gesichtsmerkmalen zu
den richtigen Emotionsklassen hinführen.
Zweitens ist die Menge an zugänglichen Gesichtsdaten-
banken mit klassifizierten Emotionen viel zu klein. Der meist
als Referenz verwendete, frei verfügbare CK/CK+ Datensatz
(vgl. Abbildung 1) umfasst nur etwa 30 000 klassifizierte Ge-
sichter. Um auf über 90 Prozent Präzision in der Emotionser-
kennung zu kommen, sind praktisch Hundert bis Tausend Mal
mehr sorgfältig klassifizierte Gesichter notwendig. Die Prä-
zision errechnet sich aus der Anzahl wahr und positiv vorher-
gesagten Emotionen in einem Testdatensatz im Verhältnis zur
Anzahl aller Testbilder. Nur die grossen Software-Anbieter,
wie Microsoft, Google, Facebook und Co. können auf derartig
grosse Datenmengen zurückgreifen.
Das trainierte Verstehen, die Funktion und das Design
von neuronalen Netzen ist eine hochkomplizierte Angelegen-
heit und bleibt den Spezialisten vorbehalten (vgl. „Deep Lear-
ning“ von I. Goodfellow et al. 2016). Daher verzichten wir an
dieser Stelle auf eine eingehende Diskussion. Der Rechenauf-
wand darf aber in keinem Fall unterschätzt werden. Es bedarf
spezieller Hardware, in der sich mehrere Tausend Prozesso-
ren befinden. Unter Verwendung hochwertiger Datensätze
erreicht man eine Genauigkeit von über 90 Prozent und da-
rüber. Ein Traumwert? Leider muss das relativiert werden,
denn wenn man das Verfahren auf reale Daten aus Strassen-
szenen oder öffentlichen Plätzen überträgt, reduziert sich die
Trefferquote auf 45 Prozent. Um auf eine höhere Präzision zu
gelangen, gilt es das neuronale Netz mithilfe von händisch
Quelle: © J . F. Cohn (2000, 2010).
Quelle: ht tps://github.com/JostineHo/mem emoji, a bgeru fen am 29.03.2 018).
Abb. 1: Unterschiedliche Emotionen
Abb. 2: Vereinfachte Darstellung der Datenverarbeitung im neuronalen Netz
arbeitet an der Entwicklung immer besserer Extraktionsme-
chanismen aus Gesichtern. Die gefundenen Merkmale wer-
den anschliessend mit klassischen Algorithmen in die ent-
sprechenden Klassen von Emotionen eingeteilt. Der Nachteil
dieser Methode liegt darin, dass man bisher im besten Fall
eine Trefferquote von knapp 60 Prozent erwarten kann. Dem
steht jedoch ein eher bescheidener Trainingsaufwand gegen-
über. Ob das gemessen an einer zufälligen Trefferquote von
ca. 13 Prozent viel oder wenig ist, hängt vom Betrachter und
der konkreten Problemstellung ab. Überträgt man dieses
Verfahren nun in die Realität und rechnet nur mithilfe vor-
gegebener, klassifizierter Datensätze, verschlechtert sich der
Wert auf ca. 30 Prozent. Unter diesem Aspekt sieht die Ge-
samtbeurteilung eventuell schon ganz anders aus. Der
Das automatische Erkennen
von Emotionen ist anspruchs-
voller, als ein Gesicht zu erken-
nen. Bei Gesichtern gibt es nur
die Antworten „Ja“ und „Nein.
892 893Marketing Review St. Gallen 4 | 2018 Marketing Review St. Gallen 4 | 2018
Schwerpunkt Künstliche (emotionale) Intelligenz?
klassifizierten Bildern aus der realen Situation weiter zu trai-
nieren. Der Aufwand dafür ist jedoch sehr gross.
Eine aktuelle, technische Übersicht über Methoden der
Face-Emotion-Recognit ion findet der Leser bei Byoung Chul
Ko (2018). Dort werden auch Details zur Gesichtsdetektion
und Bildanalyse hinsichtlich der Emotion, die ein Gesicht
ausdrückt, erläutert.
5. Ein Anwendungsbeispiel
Doch wie lassen sich die geschilderten Ideen und Ansätze in
der Praxis realisieren? Ein selbst durchgeführtes Marketing-
forschungsprojekt dient hierbei als Referenzbeispiel. Zu-
nächst haben wir entsprechende Algorithmen auf das Erken-
nen von Gesichtern trainiert. Zum Training und zur
Validierung wurde der erwähnte Kohn/Kanade-Datensatz
verwendet (Kanade et al. 2000). In der realen Welt trifft man
oftmals den Umstand an, dass viele Beiträge und Bilder kei-
ne Gesichter enthalten. So ergab eine Analyse von 10 500
Facebook-Posts von unterschiedlichen B-to-B-Unterneh-
men, dass nur etwa 30 Prozent aller Posts überhaupt Bilder
mit Gesichtern enthielten. Die Präzision beim Erkennen von
Gesichtern lag aber bei erfreulichen 90 Prozent. Wie oben
dargelegt, darf man derartige Werte bei der nachfolgenden
Emotionserkennung nicht mehr erwarten. Das liegt einer-
seits daran, dass es zu wenige Trainingsdaten gibt, und dass
es andererseits bei Emotionen nicht nur um eine Einteilung
in zwei Klassen, sondern deren sieben geht.
In unserem Beispiel klassifizierte Google 161 Gesichts-
bilder von Facebook eindeutig als „Joy“. Diese Einteilung ist
visuell korrekt nachvollziehbar. Bei eigenen Analysen sieht
das Ergebnis etwas anders aus. Unter Zuhilfenahme eines
einfachen „Support Vector Machine Algorithm“ – welcher
gleichfa lls auf dem oben genannten Datensatz t rainiert wurde
– werden nur 132 der 161 „Joy“-Bilder in die Klassen „Freu-
de, Neutral und Überraschung“ eingeordnet. Die restlichen
29 Gesichter gehören den übrigen Klassen an. Diese Ergeb-
nisse sind typisch für erste Gehversuche in diesem spannen-
den Gebiet und keineswegs repräsentative Benchmarks.
Deutlich bessere Ergebnisse bekommt man dann, wenn man
entweder anspruchsvollere statistische Verfahren, wie Deep
Learning mit neuronalen Netzen, anwendet, mehr Trainings-
daten einsetzt oder auf kommerzielle Lösungen vertraut.
Dank des rasanten Fortschritts in der Bilderkennung und
der Konkurrenzsituation auf den Märkten für Anwendersoft-
ware ist zu erwarten, dass die Gesichts- und Emotionserken-
nung bald einen festen Platz in der Werkzeugkiste der Mar-
keters finden wird.
Literatur
Byoung Ch ul Ko (2018): A Brief Rev iew of Facial
Emotion Recognition Based on Visual
Information, Sen sors 20 18, 18 , p. 401 ;
doi:10.3390/s18020401.
C. Dar win. The Expres sion of the Emotions
in Man and An imals . D.Ap pleton an d Company,
1899.
Ian Goodfellow, Bengio, Y., Courville, A. (2016):
Deep Lear ning, T he MIT Pre ss, Cam bridg e, MA
& London.
Ian Goodfellow et al. Chall enges in R eprese nta-
tion Learning: A report on three machine
learning contests, 2013. arXiv:1307.0414.
Hamm, J .; Kohler, C.G. ; Gur, R.C .; Verma, R.
Automated facial action codin g system fo r
dynamic analysis of facial expressio ns in
neuropsychiatric disorders. J. Neurosci.
Methods 2011, 20 0, pp. 237–256.
Kuß, A. , Wildn er, R., & H enning K reis. ( 2014).
Grundlagen der Datenerhebung und
Datenanalyse. Gabler: Wiesbaden.
Kanade, T. , Cohn, J . F., & Tian, Y. (2000).
Comprehensive database for facial ex-pression
analysi s. Proceeding s of the Four th IEEE
International Conference on Automatic Face
and Gest ure Recog nition (FG’00), Grenoble,
France, pp . 46–5 3.
Lucey, P., Cohn, J. F., Kanade, T., Saragih, J.,
Ambadar, Z., & Matth ews, I. (2010). T he
Extended Cohn-Kanade Dataset (CK+): A
complete expression dataset for action unit and
emotion -speci ed expre ssion . Proceedings of
the Third International Workshop on CVPR for
Human Communicative Behavior Analysis
(CVPR4HB 2010), Sa n Francisco, USA, pp . 94–10 1.
D. Keltner, D., & Ekman, P. Handb ook of Emotions.
Ch. 15 – Facial E xpression of Emotio n, pp. 151–249.
Guilford Publications, Inc., 2nd ed. , 2000.
Wedel, Michel and P.K. Kannan (2016),
„Marketing Anal ytics fo r Data-Rich Enviro n-
ments“, Jo urnal of Marketing, 80 (6), pp. 9 7–121.
Handlungsempfehlungen
1.
Installieren Sie ein Technologie-Scouting für
Anwendungen von AI und Deep Learning in
Ihrer Branche.
2.
Schaffen Sie Aufmerksamkeit für den Einsatz
von AI im Marketing.
3.
Überlegen Sie sich konkrete Einsatzbeispiele
für die Emotionsanalyse, machen Sie Kosten-/
Nutzenabschätzungen.
4.
Untersuchen Sie die konkrete Einbindung in
Marketingprozesse, wie z.B. Nutzung in der
In-Store-Kommunikation bei Verwendung
eines Digital Mirror.
894 Marketing Review St. Gallen 4 | 2018
ResearchGate has not been able to resolve any citations for this publication.
Article
Full-text available
Facial emotion recognition (FER) is an important topic in the fields of computer vision and artificial intelligence owing to its significant academic and commercial potential. Although FER can be conducted using multiple sensors, this review focuses on studies that exclusively use facial images, because visual expressions are one of the main information channels in interpersonal communication. This paper provides a brief review of researches in the field of FER conducted over the past decades. First, conventional FER approaches are described along with a summary of the representative categories of FER systems and their main algorithms. Deep-learning-based FER approaches using deep networks enabling “end-to-end” learning are then presented. This review also focuses on an up-to-date hybrid deep-learning approach combining a convolutional neural network (CNN) for the spatial features of an individual frame and long short-term memory (LSTM) for temporal features of consecutive frames. In the later part of this paper, a brief review of publicly available evaluation metrics is given, and a comparison with benchmark results, which are a standard for a quantitative comparison of FER researches, is described. This review can serve as a brief guidebook to newcomers in the field of FER, providing basic knowledge and a general understanding of the latest state-of-the-art studies, as well as to experienced researchers looking for productive directions for future work.
Conference Paper
Full-text available
In 2000, the Cohn-Kanade (CK) database was released for the purpose of promoting research into automatically detecting individual facial expressions. Since then, the CK database has become one of the most widely used test-beds for algorithm development and evaluation. During this period, three limitations have become apparent: 1) While AU codes are well validated, emotion labels are not, as they refer to what was requested rather than what was actually performed, 2) The lack of a common performance metric against which to evaluate new algorithms, and 3) Standard protocols for common databases have not emerged. As a consequence, the CK database has been used for both AU and emotion detection (even though labels for the latter have not been validated), comparison with benchmark algorithms is missing, and use of random subsets of the original database makes meta-analyses difficult. To address these and other concerns, we present the Extended Cohn-Kanade (CK+) database. The number of sequences is increased by 22% and the number of subjects by 27%. The target expression for each sequence is fully FACS coded and emotion labels have been revised and validated. In addition to this, non-posed sequences for several types of smiles and their associated metadata have been added. We present baseline results using Active Appearance Models (AAMs) and a linear support vector machine (SVM) classifier using a leave-one-out subject cross-validation for both AU and emotion detection for the posed data. The emotion and AU labels, along with the extended image data and tracked landmarks will be made available July 2010.
Conference Paper
Full-text available
Within the past decade, significant effort has occurred in developing methods of facial expression analysis. Because most investigators have used relatively limited data sets, the generalizability of these various methods remains unknown. We describe the problem space for facial expression analysis, which includes level of description, transitions among expression, eliciting conditions, reliability and validity of training and test data, individual differences in subjects, head orientation and scene complexity, image characteristics, and relation to non -verbal behavior. We then present the CMU-Pittsburgh AU-Coded Face Expression Image Database, which currently includes 2105 digitized image sequences from 182 adult subjects of varying ethnicity, performing multiple tokens of most primary FACS action units. This database is the most comprehensive test-bed to date for comparative studies of facial expression analysis.
Article
The authors provide a critical examination of marketing analytics methods by tracing their historical development, examining their applications to structured and unstructured data generated within or external to a firm, and reviewing their potential to support marketing decisions. The authors identify directions for new analytical research methods, addressing (1) analytics for optimizingmarketing-mix spending in a data-rich environment, (2) analytics for personalization, and (3) analytics in the context of customers' privacy and data security. They review the implications for organizations that intend to implement big data analytics. Finally, turning to the future, the authors identify trends that will shape marketing analytics as a discipline as well as marketing analytics education.
Article
Facial expression is widely used to evaluate emotional impairment in neuropsychiatric disorders. Ekman and Friesen's Facial Action Coding System (FACS) encodes movements of individual facial muscles from distinct momentary changes in facial appearance. Unlike facial expression ratings based on categorization of expressions into prototypical emotions (happiness, sadness, anger, fear, disgust, etc.), FACS can encode ambiguous and subtle expressions, and therefore is potentially more suitable for analyzing the small differences in facial affect. However, FACS rating requires extensive training, and is time consuming and subjective thus prone to bias. To overcome these limitations, we developed an automated FACS based on advanced computer science technology. The system automatically tracks faces in a video, extracts geometric and texture features, and produces temporal profiles of each facial muscle movement. These profiles are quantified to compute frequencies of single and combined Action Units (AUs) in videos, and they can facilitate a statistical study of large populations in disorders known to impact facial expression. We derived quantitative measures of flat and inappropriate facial affect automatically from temporal AU profiles. Applicability of the automated FACS was illustrated in a pilot study, by applying it to data of videos from eight schizophrenia patients and controls. We created temporal AU profiles that provided rich information on the dynamics of facial muscle movements for each subject. The quantitative measures of flatness and inappropriateness showed clear differences between patients and the controls, highlighting their potential in automatic and objective quantification of symptom severity.
Handbook of Emotions. Ch. 15 -Facial Expression of Emotion
  • D Keltner
  • D Ekman
D. Keltner, D., & Ekman, P. Handbook of Emotions. Ch. 15 -Facial Expression of Emotion, pp. 151-249.
  • Ian Goodfellow
Ian Goodfellow et al. Challenges in Representation Learning: A report on three machine learning contests, 2013. arXiv:1307.0414.