Content uploaded by Michal Rapczynski
Author content
All content in this area was uploaded by Michal Rapczynski on Dec 13, 2016
Content may be subject to copyright.
1
Technische Universität Chemnitz
Fakultät für Maschinenbau
Professur Arbeitswissenschaft
und Innovationsmanagement
Kontaktfreie kamerabasierte Messung der
Herzrate in Echtzeit
Michal Rapczynski, Philipp Werner und Ayoub Al-Hamadi
Michal.Rapczynski@ovgu.de
Philipp.Werner@ovgu.de
Ayoub.Al-Hamadi@ovgu.de
Otto-von-Guericke Universität Magdeburg
Fachgebiet Neuro-Informationstechnik
ABSTRACT
Herzrate, Atmung und Herzratenvariabilität sind wichtige Vitalparameter des
Menschen, deren Messung in Echtzeit von großer medizinischer Bedeutung ist. Mo-
mentan vertriebene Geräte zur Messung dieser Parameter verwenden ausschließlich
kontaktbasierte Messmethoden. Diese sind mit einigen Nachteilen verbunden. Vor-
gestellt wird eine kontaktfreien Messmethode, die dem Nutzer maximale Bewegungs-
freiheit und maximalen Komfort bietet, robust und schnell funktioniert und einfach zu
verwenden ist. Sie basiert auf der Messung minimaler Farbveränderungen im Ge-
sicht, die im Herzschlagrhythmus auftreten (Photoplethysmographie). Existierende
Methoden auf Basis dieses kontaktfreien Messprinzips sind nicht hinreichend robust
gegenüber Bewegungen, Mimik und Beleuchtungsänderungen und benötigen zu
lange für eine Messung. Der vorgestellte Ansatz kombiniert Gesichts- und Hauter-
kennung zur Generierung einer Region-of-Interest. Aus dem extrahierten photo-
plethysmographischen Zeitsignal (PPG) werden mit Hilfe eines sich dynamisch an
die Herzrate anpassenden Filters und eines graphenbasierten Verfahrens die Herz-
schläge von den Störsignalen isoliert. Verschiedene Bildwiederholraten und Fenster-
längen werden miteinander verglichen, um die schnelle Messung der Herzrate in
Echtzeit und hohe Genauigkeit sicherzustellen. Das Verfahren wurde mit Hilfe der
„BioVid Heat Pain Database“ validiert.
Keywords: Herzrate, Hauterkennung ,Photoplethysmographie, Echtzeit, Medizintechnik
2
1 EINFÜHRUNG
Die Herzratenschätzung ist von größter Wichtigkeit für die moderne Medizin. Die Herzrate
und deren Variabilität werden in vielen Bereichen, wie Operationen, Gesundheitschecks oder
Risikobewertungen eingesetzt (Malik et al., 1996). Andere Verwendungsfelder liegen zum
Beispiel im Leistungssport (Sun, 2011), wo das Training bei bestimmten Herzraten ange-
strebt wird. Die genaueste Methode zur Bestimmung der Herzrate ist das Elektrokardio-
gramm (EKG). Dies erfordert die Anbringung von mehreren Elektroden an genau definierten
Punkten des Oberkörpers und misst die elektrische Aktivität der Herzmuskulatur. Die Elekt-
roden müssen dabei von medizinisch geschultem Personal angebracht werden. Jedoch kön-
nen die genutzten Klebeelektroden Hautreizungen auslösen und die Bewegungsfreiheit des
Patienten signifikant einschränken. Alternativ werden heutzutage Pulsoximetriesensoren
verwendet um den Herzschlag mit geringerem Aufwand zu messen. Der Sensor wird dabei
meist an einen Finger geklebt oder geklemmt. Die Herzrate wird dabei anhand der Lich-
tabsortion des Gewebes gemessen. Diese ist abhängig vom Blutvolumen in der Haut und
damit vom Herzschlag. Weit verbreitet sind Sensoren mit Federclip, welche bei Messungen
über einen längeren Zeitraum unangenehm oder sogar schmerzhaft sein können und zudem
die normale Nutzung einer Hand behindern.
Unterschiedliche Ansätze für kamerabasierte Herzratenschätzung wurden in der Literatur
vorgestellt, einschließlich der Verwendung preisgünstiger Webcams. Diese Ansätze erlauben
eine einfach zu verwendende Herzratenschätzung ohne Einschränkungen in der Bewe-
gungsfreiheit für den Patienten und das medizinische Personal. Weitere Anwendungsmög-
lichkeiten bestehen in der Telemedizin, dem Leistungssport oder Mensch-Maschinen-
Interaktion. Kamerabasierte PPG Signale werden in der Regel aus dem Gesicht des Patien-
ten extrahiert. Andere Körperpartien wie Brust oder Hände können ebenfalls verwendet wer-
den. Das Gesicht ist jedoch bei den meisten Menschen die größte Zeit über unverdeckt und
sichtbar. In der Regel werden Farbkameras genutzt und das PPG Signal für jedes Bild aus
dem Grünkanal einer bestimmen Region-of-Interest (ROI) extrahiert, wie in (Rubins et al,
2011), (Scully et al., 2012) und (Sun et al., 2012). Andere Ansätze nutzen komplexere Ver-
fahren zur Datenanalyse und generieren ihr PPG Signal mittels Independent Component
Analysis (ICA) (Yang, Liu, Dong, Zhao, & Liu, 2015), Blind Source Separation (BSS) (Wede-
kind et al., 2015) oder der Principal Component Analysis (PCA) (Poh, McDuff, & Picard,
2010), um das gesuchte Signal, aus mehreren Farbkanälen, von Störeinflüssen zu trennen.
Nach der Extraktion des PPG Signals wird in der Regel eine von zwei üblichen Methoden
angewandt um die Herzrate zu bestimmen. Zum einen kann ein frequenzbasierter Ansatz
gewählt werden, wie in (Sun, 2011) und (Poh, McDuff, & Picard, 2010). Dabei wird ein länge-
res Zeitfenster (ca. 30 Sekunden) oder eine Aufnahme mit hohen Bildwiederholraten ver-
wendet, um Informationen über das Spektrum des extrahierten Signales zu erhalten. Zum
anderen kann das Signal mit einem Bandpass gefiltert und danach entweder die Maxima
oder die Nulldurchgänge lokalisiert werden, wie in (Poh, McDuff, & Picard, 2011) oder (Wei
et al, 2013). Aus diesen Punkten, welche mit dem Herzschlag korrespondieren sollen, kann
3
die Herzrate geschätzt werden. Neuere Ansätze verwenden unter anderem auch maschinel-
les Lernen und basieren auf Support-Vector Regression (Hsu, Lin, & Hsu, 2014) oder Mar-
kov Modellen (Wedekind et al., 2015). Die meisten vorausgegangenen Veröffentlichungen
verwenden komplexe Datenverarbeitungsansätze wie ICA, PCA oder untersuchen das
Spektrum des PPG Signals. Ein großes Problem bei der praktischen Anwendung dieser An-
sätze ist die inhärente Verzögerung die sich bei diesen Methoden ergibt. Viele günstige Ka-
meras haben niedrige Bildaufnahmeraten, welche die in einem bestimmten Zeitraum zur
Verarbeitung stehende Datenmenge begrenzt. Die Aussagekraft der beschriebenen statisti-
schen Verfahren steigt jedoch mit der zur Verfügung stehenden Datenmenge. Dies führt zu
relativ langen Verzögerungen aufgrund der langen Analysefenstern von meist 30 Sekunden
(Poh, McDuff, & Picard, 2010, 2011), zuzüglich der Berechnungszeit.
Wir stellen einen neuen Ansatz für Herzratenschätzung in Echtzeit vor. Das Verfahren extra-
hiert aus einem Video die Herzrate mit hoher Genauigkeit und kurzer Verzögerung. Abschnitt
2 erläutert die einzelnen Schritte der Herzratenschätzung. In Abschnitt 3 werden die experi-
mentellen Ergebnisse anhand der BioVid Heat Pain Database validiert. Abschnitt 4 enthält
das Fazit und einen Ausblick auf zukünftige Verbesserungen.
2 HERZRATEN SCHÄTZUNG
Der vorgestellte Ansatz kann in drei Teile unterteilt werden. Zunächst wird das PPG Signal
aus den Bilddaten extrahiert. Das Signal wird anschließend gefiltert. Dies geschieht mittels
eines adaptiven Bandpassfilters, dessen Passband sich an der zuletzt gemessen Herzrate
orientiert. Aus dem so vorverarbeiteten Signal wird dann die Herzrate geschätzt. Der vorge-
stellte Ansatz sucht in einem Zeitfenster der letzten 5 bis 30 Sekunden des Signals die kor-
rekte Folge der Blutvolumenpulsen (BVP) in dem extrahierten Signal. Dies geschieht auf
Basis der Abstände der Maxima (Inter-Beat-Intervals, IBI) des verarbeiteten PPG Signales
zueinander, welche mit den BVP in der Haut korrespondieren. Abbildung 1 zeigt die Abfolge
der einzelnen Schritte für das vorgestellte Verfahren. Die Extraktion des PPG Signals erfolgt
in jedem Bild, während die Filterung und die Herzratenschätzung in beliebigen Intervallen
erfolgen können. In bei dem hier vorgestellten Ansatz wird die Herzrate einmal pro Sekunde
geschätzt.
PPG Signal Extraktion
Das PPG Signal wird aus den Farbwerten der Hautpixel im Gesicht des Probanden berech-
net. Folgende Schritte werden durchgeführt um die ROI zu bestimmen. Zunächst wird auf
dem Bild eine Gesichtserkennung durchgeführt. Darauf folgt eine Erkennung von bestimmten
Orientierungspunkten im Gesicht mittels der „dlib C++ Library landmark detection“ statt (sie-
he Abbildung 2). Die generierten Punkte werden genutzt um einen Bildausschnitt des Ge-
sichtes für die Hautdetektion aus dem Bild zu extrahieren. Der Ausschnitt wird um 20% der
Höhe nach oben vergrößert um die Stirn der Probanden mit zu erfassen.
4
Abbildung 1: Abfolge der einzelnen Berechnungsschritte für die Herzratenschätzung
Quelle: eigene Darstellung 2016
Um eine schnelle und zuverlässige Hautdetektion zu erreichen verwenden wir eine LookUp
Tabelle, welche in (Saxen & Al-Hamadi, 2014) beschrieben wurde. Diese basiert auf dem
„BayesBGR 32^3” Ansatz aus (Jones & Rehg, 2002). Als Datenbasis wurde die „ECU face
and skin detection” Datenbank verwendet (Phung, Bouzerdoum, & Chai, 2005). Die LookUp
Tabelle weist jedem Pixel abhängig von seinem RGB Wert eine Wahrscheinlichkeit p zu.
Wenn p den Schwellwert t überschreite wird der Pixel als Haut klassifiziert. Um die Erken-
nung weiter zu generalisieren wird t für jeden Probanden dynamisch angepasst. Falls die
Hautpixel weniger als 70% des Bildausschnittes des Gesichtes ausmachen wird der
Schwellwert bei der Messung um 1% verringert. Falls mehr als 70% der Pixel im Bildaus-
schnitt als Hautpixel klassifiziert werden, wird der Wert um 1% erhöht.
.
Abbildung 2: Gesichtspunkt- und Hautfarbenerkennung (Hautpixel Pink)
Quelle: eigene Darstellung 2016
Aus den als Haut klassifizierten Pixeln wird das PPG Signal berechnet. Dazu wurde der Mit-
telwert des Grünkanals durch die Summe der Mittelwerte aller Kanäle geteilt, um ein nor-
miertes Grünsignal zu erhalten.
5
Bandpass Filter
Um die BVP im PPG Signal von den Störsignalen zu isolieren wird ein Bandpassfilter ge-
nutzt. Als zu erwartende Herzraten werden Werte zwischen 30 bis 200 Herzschlägen pro
Minute (Beats per Minute BPM) angenommen. Dies ergibt im Initialisierungsfall ein Pass-
band von 0,5 bis 3,33 Hz. Es wurde ein Nullphasen Filter mit endlicher Impulsantwort (zero-
phase FIR) gewählt um die die zeitliche Verzerrung des Signales durch die Filterung zu mi-
nimieren. Die Ordnung des Filters wurde in Abhängigkeit der Bildwiederholrate und der
Fenstergröße maximiert. Die Frequenzen des Passbandes werden dynamisch an die letzte
geschätzte Herzrate angepasst. Falls bei der letzten Messung kein Fehler aufgetreten ist
wird das Passband auf ± 30 BPM um den geschätzten Wert verengt. Um den Berechnungs-
aufwand gering zu halten und die Stabilität der Messungen zu verbessern wird der Filter
nicht bei jeder Messung angepasst. Dies geschieht nur in dem Fall das die aktuelle ge-
schätzte Herzrate mehr als 10 BPM vom Zentrum des aktuellen Passbandes entfernt ist. In
diesem Fall wird der Filter neu berechnet und das verengte Passband um den neuen ge-
schätzten Wert gelegt. Falls bei der Berechnung ein Fehler aufgetreten ist und bei der letzten
Messung keine Herzrate bestimmt werden konnte, oder bei der ersten Messung, wird der
Initialisierungsfall (30-200 BPM) des Filters angewendet.
Pfadsuche
Der vorgestellte Ansatz sucht nach einer Folge von Maxima (Peaks) welche eine möglichst
gute Repräsentation der zugrundeliegenden BVP ist. Dazu werden zunächst die lokalen
Peaks im gefilterten Signal erkannt. Für alle Peaks 𝑝𝑖 wird der Inter-Beat-Intervall (IBI) 𝑑𝑖𝑗 zu
jedem zukünftigen Peak 𝑝𝑗 berechnet. Jedes verbundene Paar kann mit der Zeit 𝑡𝑖 des ers-
ten Peaks und dem IBI 𝑑𝑖𝑗 beschrieben werden. Aufgrund der angenommenen Beschrän-
kung der Herzrate werden nur Paare mit d Werten von 0,3 bis 2 Sekunden weiter betrachtet.
Die verbliebenen Paare werden als Knoten zu einem gerichteten Graphen verbunden (siehe
Abb. 3). Dieser Graph repräsentiert alle möglichen Peak-Pfade in dem betrachteten Zeitfens-
ter. Im Initialisierungsfall wird ein Pfad mit der minimalen mittleren quadratischen Abwei-
chung von dem Mittelwert aller IBIs 𝑑𝑖𝑗 des Pfades gesucht. Im Fortsetzungsfall wird der von
der letzten Herzratenschätzung ermittelte Pfad, in dem Graphen des neuen, zeitlich überlap-
penden, Fensters rekonstruiert und bis zum Ende des neuen Graphen verlängert.
a) Initialisierungsfall
Im Initialisierungsfall stehen keine Informationen über eine vorhergehende Herzrate zur Ver-
fügung. Daher werden mehrere Pfade durch den Graphen gebildet und bewertet. Alle Knoten
mit 𝑡 < 2 Sekunden und ohne Eingangskanten werden als mögliche Startpunkte definiert.
Analog werden alle Knoten in den letzten zwei Sekunden und ohne Ausgangskanten als
mögliche Endknoten bestimmt. Alle Kombinationen der Start-Ende Knoten werden auf eine
mögliche Verbindung durch den Graphen geprüft und nicht verbindbare Kombinationen ab-
gelehnt. Falls die d Werte der Start-Ende Knoten, um mehr als 0,5 Sekunden auseinander
liegen wird die Kombination ebenfalls abgelehnt.
6
Abbildung 3: Gerichteter Graph der Inter-Beat-Abstände d mit zwei möglichen Pfaden (Gelb, Pink)
Quelle: eigene Darstellung 2016
Der Algorithmus sucht nun den besten Pfad für alle restlichen Start-Ende Verbindungen.
Anfangs besteht der Pfad aus dem Startknoten und dem Endknoten. Anfangend bei dem
Startknoten wird dem Pfad nun der nächste Knoten hinzugefügt. Dabei werden alle die dem
Startknoten folgenden Knoten betrachtet und der Knoten ausgewählt, dessen IBI d am
nächsten an dem Mittelwert aller IBIs 𝑑
´des bisherigen Pfades liegt. Dieser Knoten wird dem
Pfad hinzugefügt und der Schritt beim neuen Knoten wiederholt. Dies erfolgt bis der Pfad
einen Endknoten erreicht. Falls dies nicht der zu dem Pfad gehörende Endknoten ist, wird
von dem Endknoten ein Pfad, wie oben beschrieben, in die entgegengesetzte Richtung ge-
bildet. Wenn dieser einen Knoten des ursprünglichen Pfades erreicht, werden bei Pfade an
diesem Knoten zu einem Start-Ende Pfad verbunden. Für jeden Start-Ende Pfad wird dann
die mittlere quadratische Abweichung von dem Mittelwert aller IBIs 𝑑𝑖𝑗 des Pfades berechnet
und der Pfad mit dem geringsten Fehler als bester Pfad angesehen.
b) Fortsetzungsfall
Falls bei der letzten Herzratenschätzung ein zulässiger Pfad bestimmt werden konnte wird
dieser Pfad fortgesetzt. Der gerichtete Graph wird analog zum Initialisierungsfall gebildet. Die
in dem neuen Zeitfenster vorhandenen Knoten des letzten Pfades werden im neuen Gra-
phen gesucht und zu dem aktiven Pfad hinzugefügt. Dabei wird der letzte Knoten ignoriert,
um der Pfadsuche mehr Freiheit zu geben und die manchmal suboptimale letzte Knotenwahl
des Algorithmus auszugleichen. Dem Pfad werden dann, nach den im Initialisierungsfall be-
schriebenen Regeln, solange Knoten hinzugefügt bis dieser einen Knoten ohne Ausgangs-
kanten erreicht. Keine rückwertige Pfadsuche findet statt. Nachdem der Pfad durch den Gra-
phen bestimmt wurde, wird die Herzrate aus dem Mittelwert der IBIs 𝑑
´ geschätzt.
7
3 EXPERIMENTE
Das vorgestellte Verfahren wurde mit der BioVid Heat Pain Database (Walter et al., 2013)
validiert. Die 87 verwendeten Probanden der Datenbank wurden wiederholt schmerzhaften
Hitzereizen ausgesetzt. Dabei wurde die Bewegungsfreiheit der Probanden nicht einge-
schränkt. Die Videos wurden mit 25 Bildern pro Sekunde und das EKG mit 512 Hz aufge-
nommen. Eine ungeschnittene Version der Videos wurde verwendet, welche in naher Zu-
kunft als PART C öffentlich zugänglich gemacht wird. Diese Version der Datenbank wurde
genutzt, um die kontinuierliche Herzratenschätzung über einen längeren Zeitraum zu ermög-
lichen. Die wahre Herzrate der Probanden wurde aus den EKG Daten bestimmt. Dazu wur-
den die Herzschläge mit der in (Hamilton & Tompkins, 1986) vorgestellten Methode bestimmt
und der Mittelwert der IBIs berechnet. Für jede Messung wurde das bei der Herzratenschät-
zung genutzte Zeitfenster verwendet, um die zugehörige Grundwahrheit zu ermitteln. Bei
einer Messungen mit einer fehlgeschlagen Gesichtserkennung während des betreffenden
Zeitfensters wurde die Messung automatisch als fehlerhaft klassifiziert und der Algorithmus
in den Initialisierungsfall zurückgesetzt. Dies trat bei weniger als 2% aller Messungen auf,
welche bei der Fehlerberechnung nicht berücksichtig wurden. Alle Berechnungen wurden mit
Matlab durchgeführt. Um die Berechnungen zu beschleunigen wurde die VideoCapture Klas-
se der „IntraFace Facial Feature Detection & Tracking v1.1“ Matlab Bibliothek genutzt. Wei-
terhin wurde die „face and landmark detection“ der „dlib C++“ Bibliothek als MEX Funktion
eingebunden. Ein Großteil der Berechnungszeit (>80% bei 10s Fenster, 25 FPS) wurde auf
das Einlesen der Videobilder und die Gesichtserkennung aufgewandt. Zur Reduktion des
Rechenaufwandes wurde das Bild mit einem erweiterten Rand von 100 Pixeln, um die letzte
bekannte Gesichtsposition ausgeschnitten, um den Hintergrund zu entfernen. Durch diese
Maßnahmen kann das Verfahren für alle hier vorgestellten Parameterkombinationen in Echt-
zeit berechnet werden. Für die Berechnung in Echtzeit ist eine Begrenzung der nötigen Da-
tenmenge von großem Vorteil. Daher wurde die Güte der Herzratenschätzung in Abhängig-
keit von zwei wichtigen Parametern betrachtet. Zum einen wurde die Bildwiederholrate be-
trachtet zum anderen die Länge des Zeitfensters.
BILDWIEDERHOLRATE
Um verschiede Bildwiederholraten realitätsnah zu testen wurden die berechneten PPG Sig-
nale modifiziert. Zunächst wurde auf die Aufnahmezeitpunkte der einzelnen Bilder des ge-
samten Signals ein normalverteiltes Rauschen mit einer Standardabweichung von 25% der
originalen Bildperiodendauer (0,01 Sek) addiert. Dies simuliert eine unregelmäßigere Bild-
aufnahme durch die Kamera. Weiterhin wurde das PPG Signal mit verschiedenen niedrige-
ren Bildwiederholraten (7, 10, 15, 20, 25) linear interpoliert, um eine niedrigere Aufnahmerate
zu simulieren. Zudem wurden ein Teil (0, 5,10, 20 oder 30%) der Bilder des Zeitfensters ent-
fernt, um verlorene Bilder nachzustellen. Im Anschluss wurden alle Signale auf 25 Bilder pro
Sekunde hoch interpoliert, um die Effekte der nachfolgenden Bearbeitungsschritte zu verein-
heitlichen. Für jede Kombination der beiden Parameter wurde die Datenbank mit einem Zeit-
fenster von 10 Sekunden validiert. Die beiden Parameter wurden zu einer effektiven Bildwie-
8
derholrate kombiniert, welche der durchschnittlichen Anzahl der Bilder pro Sekunde ent-
spricht. So entspricht eine Bildwiederholrate von 10 FPS mit 20% verlorenen Bildern einer
effektiven Bildwiederholrate von 8 FPS. Abbildung 4 zeigt den Anteil der Messungen mit ei-
nem Fehler von weniger als 1 und 3 BPM in Abhängigkeit der effektiven Bildwiederholrate
der 25 Messreihen. Dabei zeigt sich das eine effektive Bildrate von 10 FPS ausreicht um
gute Ergebnisse zu erzielen. Über 10 FPS sind die Unterschiede in erster Linie von dem An-
teil der fehlenden Bilder abhängig. So sinkt der Anteil der Messungen mit einem Fehler klei-
ner als 3BPM bei 25 FPS von 90,0% bei 0% fehlenden Bildern auf 87,0% bei 30% fehlenden
Bildern. Eine Reduktion der Framerate auf 15 FPS bei 0% fehlenden Bildern verringert die
Erkennungsrate jedoch nur auf 89,5%.
Abbildung 4: Güte der Herzratenschätzung in Abhängigkeit der effektiven Bildrate
Quelle: eigene Darstellung 2016
ZEITFENSTER
Weiterhin wurde die Länge des Zeitfensters variiert. Dafür wurden die PPG Daten nicht ver-
fälscht und die originale Bildwiederholrate von 25 FPS genutzt. Abbildung 5 zeigt die Abhän-
gigkeit der Erkennungsrate für den Anteil der Messungen mit einem Fehler kleiner als 1 BPM
und 3 BPM. Dabei hat sich gezeigt, dass die Länge des Zeitfensters deutliche Auswirkungen
auf die Genauigkeit der Ergebnisse hat. Zeitfenster unter 10 Sekunden erzielen deutlich
schlechtere Ergebnisse als längere Zeitfenster. Dies liegt an der Anzahl der im Zeitfenster
vorkommenden Herzschläge. Je mehr verfügbare Pulse für die Konstruktion des IBI Graphen
zur Verfügung stehen desto stabiler ist der berechnete Pfad. Insbesondere die Ergebnisse
für 1 BPM profitieren von längeren Fenstern. Dies liegt vermutlich an der Mittelung der Er-
gebnisse über einen größeren Zeitraum was sowohl die geschätzten, als auch die vom EKG
gemessenen Werte stärker glättet. Dies reduziert jedoch auch die Reaktionszeit des Sys-
tems auf mögliche Herzschlagänderungen. Daher ist eine Abwägung zu treffen zwischen der
Reaktionsfähigkeit des Systems und einer hohen Genauigkeit. Da die Herzrate natürlichen
Schwankungen unterliegt ist eine niedrige Latenz bei der Messung einer unnötig hohen Ge-
45
50
55
60
65
70
75
80
85
90
0 5 10 15 20 25
Anteil der Messungen
unterhalb des Fehlers (in %)
Effektive BIldwiederholrate
1 BPM
3 BPM
9
nauigkeit vorzuziehen. Daher kann davon ausgegangen werden, dass bei den meisten An-
wendungen ein Fenster von 10 Sekunden einem deutlich längeren Fenster vorzuziehen ist.
Abbildung 5: Güte der Herzratenschätzung in Abhängigkeit der Länge des gewählten Zeitfensters
Quelle: eigene Darstellung 2016
4 FAZIT
Wir haben gezeigt, dass eine kontinuierliche Herzratenschätzung mit geringer Latenz in
Echtzeit mit einer hohen Genauigkeit und geringen Bildwiederholraten möglich ist. Das PPG
Signal wurde dabei aus den Hautpixeln des Gesichtes extrahiert. Die Untersuchungen haben
gezeigt, dass 10 Sekunden lange Zeitfenster und eine Bildwiederholrate von 10 FPS ausrei-
chen, um bei 88,6% aller Messungen einen Fehler kleiner als 3 BPM zu erzielen. Höhere
Bildwiederholraten und Fensterlängen verbessern die Ergebnisse noch weiter, sind jedoch
rechenaufwendiger. In zukünftigen Arbeiten muss daher für ein optimales Ergebnis eine Ba-
lance aus Rechenaufwand, akzeptabler Latenz und der benötigten Genauigkeit gefunden
werden. Mehrere Ansätze zur Verbesserung der Herzratenschätzung werden von uns mo-
mentan noch untersucht. Zum einen verbesserte, vom Hautton des Probanden abhängige,
adaptive Detektion von Hautpixeln. Zudem die Nutzung von Nahinfrarot-Aufnahmen im Be-
reich von 800-1000nm, statt des momentan genutzten Grünkanals einer RGB Kamera.
LITERATURVERZEICHNIS
Hamilton, P. & Tompkins, W. (1986). Quantitative Investigation of QRS Detection Rules Us-
ing the MIT/BIH Arrhythmia Database. IEEE Transactions On Biomedical Engineer-
ing, BME-33(12), 1157-1165. http://dx.doi.org/10.1109/tbme.1986.325695
Hsu, Y., Lin, Y., & Hsu, W. (2014). Learning-based heart rate detection from remote photo-
plethysmography features. 2014 IEEE International Conference On Acoustics,
Speech And Signal Processing (ICASSP).
http://dx.doi.org/10.1109/icassp.2014.6854440
Jones, M. & Rehg, J. (2002). International Journal Of Computer Vision, 46(1), 81-96.
http://dx.doi.org/10.1023/a:1013200319198
Malik, M., Bigger, J., Camm, A., Kleiger, R., Malliani, A., Moss, A., & Schwartz, P. (1996).
Heart rate variability: Standards of measurement, physiological interpretation, and
35
45
55
65
75
85
95
0 5 10 15 20 25 30
Anteil der Messungen
unterhalb des Fehlers (in %)
Länge des Zeitfensters in Sekunden
1 BPM
3 BPM
10
clinical use. European Heart Journal, 17(3), 354-381.
http://dx.doi.org/10.1093/oxfordjournals.eurheartj.a014868
Phung, S., Bouzerdoum, A., & Chai, D. (2005). Skin segmentation using color pixel classifi-
cation: analysis and comparison. IEEE Transactions On Pattern Analysis And Ma-
chine Intelligence, 27(1), 148-154. http://dx.doi.org/10.1109/tpami.2005.17
Poh, M., McDuff, D., & Picard, R. (2010). Non-contact, automated cardiac pulse measure-
ments using video imaging and blind source separation. Opt. Express, 18(10), 10762.
http://dx.doi.org/10.1364/oe.18.010762
Poh, M., McDuff, D., & Picard, R. (2011). Advancements in Noncontact, Multiparameter
Physiological Measurements Using a Webcam. IEEE Transactions On Biomedical
Engineering, 58(1), 7-11. http://dx.doi.org/10.1109/tbme.2010.2086456
Rubins, U., Upmalis, V., Rubenis, O., Jakovels, D., & Spigulis, J. (2011). Real-Time Photo-
plethysmography Imaging System. IFMBE Proceedings, 183-186.
http://dx.doi.org/10.1007/978-3-642-21683-1_46
Saxen, F. & Al-Hamadi, A. (2014). Color-based skin segmentation: An evaluation of the state
of the art. 2014 IEEE International Conference On Image Processing (ICIP).
http://dx.doi.org/10.1109/icip.2014.7025906
Scully, C., Jinseok Lee, Meyer, J., Gorbach, A., Granquist-Fraser, D., Mendelson, Y., &
Chon, K. (2012). Physiological Parameter Monitoring from Optical Recordings With a
Mobile Phone. IEEE Transactions On Biomedical Engineering, 59(2), 303-306.
http://dx.doi.org/10.1109/tbme.2011.2163157
Sun, Y. (2011). Motion-compensated noncontact imaging photoplethysmography to monitor
cardiorespiratory status during exercise. J. Biomed. Opt, 16(7), 077010.
http://dx.doi.org/10.1117/1.3602852
Sun, Y., Papin, C., Azorin-Peris, V., Kalawsky, R., Greenwald, S., & Hu, S. (2012). Use of
ambient light in remote photoplethysmographic systems: comparison between a high-
performance camera and a low-cost webcam. J. Biomed. Opt., 17(3), 037005.
http://dx.doi.org/10.1117/1.jbo.17.3.037005
Walter, S., Gruss, S., Ehleiter, H., Tan, J., Traue, H., & Crawcour, S. et al. (2013). The biovid
heat pain database data for the advancement and systematic validation of an auto-
mated pain recognition system. 2013 IEEE International Conference On Cybernetics
(CYBCONF). http://dx.doi.org/10.1109/cybconf.2013.6617456
Wedekind, D., Malberg, H., Zaunseder, S., Gaetjen, F., Matschke, K., & Rasche, S. (2015).
Automated identification of cardiac signals after blind source separation for camera-
based photoplethysmography. 2015 IEEE 35Th International Conference On Elec-
tronics And Nanotechnology (ELNANO).
http://dx.doi.org/10.1109/elnano.2015.7146950
Wei, L., Tian, Y., Wang, Y., Ebrahimi, T., & Huang, T. (2013). Automatic Webcam-Based
Human Heart Rate Measurements Using Laplacian Eigenmap. Computer Vision –
ACCV 2012, 281-292. http://dx.doi.org/10.1007/978-3-642-37444-9_22
Yang, L., Liu, M., Dong, L., Zhao, Y., & Liu, X. (2015). Motion-compensated non-contact de-
tection of heart rate. Optics Communications, 357, 161-168.
http://dx.doi.org/10.1016/j.optcom.2015.08.017
