Conference PaperPDF Available

Der Einfluss von Hautfarbensegmentierung auf die kontaktfreie Schätzung von Vitalparametern

Authors:

Abstract and Figures

Die kontaktfreie, kamerabasierte Messung von Vitalparameter des Menschen ist komfortabler als klassische kontaktbasierte Methoden. Aktuelle Verfahren haben jedoch noch Probleme in realistischen Anwendungsszenarien, z.B. bei Verdeckungen durch Haare oder Brillen. Zur Zeit werden zur Extraktion der nötigen Farbsignale geometrisch festgelegte Regionen des Gesichtes genutzt, wobei Verdeckungen der Haut unberücksichtigt bleiben. Wir schlagen vor, die zu verwendende Region anhand der Hautfarbe zu segmentieren. In diesem Paper vergleichen wir die Güte der Herzratenschätzung unter Verwendung verschiedener Regionen. Es werden klassisch geometrisch bestimmte Regionen des Gesichtes sowie mittels Hautfarbensegmentierung gewählte Regionen betrachtet. Bei unseren Experimenten hat sich gezeigt, dass die Hautfarbensegmentierung deutliche Verbesserungen mit sich bringt. Die Ergebnisse sind robust gegenüber Variation eines zu wählenden Schwellwertparameters.
Content may be subject to copyright.
Der Einfluss von
Hautfarbensegmentierung auf die
kontaktfreie Schätzung von
Vitalparametern
Michal Rapczynski, Frerk Saxen, Philipp Werner
und Ayoub Al-Hamadi
Otto-von-Guericke Universität Magdeburg,
Fachbereich Neuro-Informationstechnologie
{Michal.Rapczynski, Frerk.Saxen, Philipp.Werner, Ayoub.Al-Hamadi}@ovgu.de
Zusammenfassung
Die kontaktfreie, kamerabasierte Messung von Vi-
talparameter des Menschen ist komfortabler als klassische kontaktbasierte
Methoden. Aktuelle Verfahren haben jedoch noch Probleme in realistischen
Anwendungsszenarien, z.B. bei Verdeckungen durch Haare oder Brillen.
Zur Zeit werden zur Extraktion der nötigen Farbsignale geometrisch fest-
gelegte Regionen des Gesichtes genutzt, wobei Verdeckungen der Haut
unberücksichtigt bleiben. Wir schlagen vor, die zu verwendende Region
anhand der Hautfarbe zu segmentieren. In diesem Paper vergleichen wir die
Güte der Herzratenschätzung unter Verwendung verschiedener Regionen.
Es werden klassisch geometrisch bestimmte Regionen des Gesichtes sowie
mittels Hautfarbensegmentierung gewählte Regionen betrachtet. Bei unseren
Experimenten hat sich gezeigt, dass die Hautfarbensegmentierung deutli-
che Verbesserungen mit sich bringt. Die Ergebnisse sind robust gegenüber
Variation eines zu wählenden Schwellwertparameters.
1 Einführung
Herzrate und Herzratenvariabilität sind wichtige Vitalparameter des Menschen. Mo-
mentan vertriebene Geräte zur Messung dieser Parameter verwenden ausschließlich
kontaktbasierte Messmethoden. Diese sind mit einigen Nachteilen verbunden, z.B.
eingeschränkte Bewegungsfreiheit, Keimbelastung, etc. Kontaktfreie Messmethoden,
die dem Nutzer maximale Bewegungsfreiheit und maximalen Komfort bieten, müssen
jedoch robust und schnell funktionieren und einfach zu verwenden sein. In der Regel
werden dafür Farbkameras genutzt, jedoch genügen im Stand der Technik noch keine
Verfahren den genannten Ansprüchen. Die kamerabasierte kontaktfreie Messmethode
basiert auf Messung geringer Farbveränderungen im Gesicht, die im Herzschlagrhyth-
mus auftreten (Photoplethysmographie PPG). Dabei ist das Messsignal natürlich nur
in Hautregionen präsent.
Um diese Hautregionen zu identifizieren, werden in fast allen Verfahren im Stand der
Technik Region-of-Interests (ROIs) an definierten Positionen im Gesicht festgelegt.
Die Wahl der ROI ist dabei von großer Bedeutung, denn je mehr Haut berücksichtigt
wird, desto genauer ist die Schätzung der Vitalparameter, da sich das Signal-Rausch-
Verhältnis verbessert [20]. Störeinflüsse (z.B. Haare, Augen und Kleidung) verschlech-
tern jedoch die Schätzung der Vitalparameter signifikant. Im Stand der Technik basieren
die ROIs häufig auf Algorithmen zur Gesichtserkennung und Gesichtslandmarken [7,
8, 11] und es wird davon ausgegangen, dass die festgelegten ROIs ausschließlich Haut
beinhalten. Damit das Verfahren bei möglichst unterschiedlichen Probanden funktio-
niert, werden dabei häufig große Gesichtspartien ausgeschlossen, wie z.B. der Augen-
und Mundbereich – schließlich werden diese Regionen bei manchen Probanden durch
Kopf- und Gesichtsbehaarung verdeckt. Andere Körperpartien wie Brust, Hals und
Hände könnten ebenfalls verwendet werden. Um die nutzbaren Hautregionen adaptiv
anzupassen, schlägt [12] die Verwendung von Hautfarbensegmentierungsalgorithmen
vor.
In dieser Studie untersuchen wir den Einfluss unterschiedlicher Ansätze der Haut-
farbensegmentierung auf die Schätzung der Herzrate und vergleichen diese mit den
ROI-basierten Verfahren. Die Ergebnisse basieren auf der Auswertung der BioVid Pain
Database [21], in der 87 Probanden jeweils etwa 25 Minuten verschiedenen Schmerzsti-
muli ausgesetzt wurden. Die Datenbank beinhaltet Videomaterial, wobei die Herzrate
als Grundwahrheit kontaktbasiert mittels EKG gemessen wurde.
Für die Datenaufnahme werden in der Regel Farbkameras genutzt und das PPG Signal
für jedes Bild aus dem Mittelwert des Grünkanals aller Pixel in einer bestimmen ROI
extrahiert, wie in [13], [17] und [19]. Andere Ansätze nutzen komplexere Verfahren zur
Datenanalyse und generieren ihr PPG Signal mittels Independent Component Analysis
(ICA) [26], Blind Source Separation (BSS) [22] oder der Principal Component Analysis
(PCA) [11], um das gesuchte Signal durch die Analyse von mehreren Farbkanälen, von
den Störeinflüssen zu trennen. Dabei werden ebenfalls die Mittelwerte der einzelnen
Farbkanäle aller ROI-Pixel genutzt.
Nach der Extraktion des PPG Signals wird in der Regel eine von zwei üblichen Methoden
angewandt um die Herzrate zu bestimmen. Zum einen kann ein frequenzbasierter
Ansatz gewählt werden, wie in [18] und [11]. Dabei wird ein längeres Zeitfenster
(ca. 30 Sekunden) oder eine Aufnahme mit hohen Bildwiederholraten verwendet, um
Informationen über das Spektrum des extrahierten Signales zu erhalten. Zum anderen
kann das Signal mit einem Bandpass gefiltert und danach entweder die Maxima oder
die Nulldurchgänge lokalisiert werden, wie in [10] oder [23].
Im der Stand der Technik zur Hautfarbensegmentierung unterscheidet man zwischen
pixel- und flächenbasierten Verfahren. Während pixelbasierte Verfahren in der Regel
sehr schnell sind (da Pixel unabhängig voneinander verarbeitet werden können), be-
nötigen flächenbasierte Verfahren deutlich mehr Rechenzeit [15]. Während bei den
pixelbasierten Verfahren sich das sehr schnelle (ca. 20ms pro Bild) und performante
Look-Up-Table-Verfahren von Jones und Rehg [3] durchgesetzt hat, werden seit Jahren
immer weitere flächenbasierte Verfahren vorgestellt, die bessere Klassifikationsergeb-
nisse versprechen, jedoch deutlich längere Rechenzeit benötigen (ca. 1s pro Bild).
Da die Farbe der Haut bereit ein sehr performantes Merkmal darstellt, basieren alle
flächenbasierten Verfahren im Stand der Technik auf das Look-Up-Table-Verfahren.
Davon ausgehend werden entweder Texturmerkmale [5, 4] oder Superpixel [16, 2, 14]
berechnet. In dieser Arbeit nutzen wir das Verfahren von Jones und Rehg [3], da eine
schnelle Segmentierung der Haut für die Herzratenschätzung nötig ist.
In Kapitel 2 ist die Methodik beschrieben, wobei zunächst der prinzipielle Ablauf der
kontaktlosen Herzratenschätzung erläutert wird. Anschließend wird das Verfahren zur
Bestimmung der ROI mittels Hautfarbensegmentierung genau beschrieben. In Kapitel
3 werden die Ergebnisse erklärt und in Kapitel 4 diskutiert.
2 Methodik
Abbildung 1: Ablauf der Herzratenschätzung
Die Verarbeitungskette zur Herzratenschätzung ist in Abbildung 1 dargestellt. Für die
Schätzung der Herzrate aus dem Videomaterial wird zunächst in jedem Einzelbild das
Gesicht detektiert und anschließend eine ROI im Gesicht maskiert. Das PPG Signal
wird aus den Farbwerten der maskierten Hautpixel im Gesicht des Probanden berechnet.
Dazu wird der Mittelwert des Grünkanals durch die Summe der Mittelwerte aller
Farbkanäle geteilt, um ein normiertes Grünsignal zu erhalten. Aus dem so ermittelten
Zeitsignal wird anschließend die Herzrate geschätzt. Vor der Herzratenschätzung
wird das Signal mittels eines adaptiven Bandpassfilters mit einer Breite von 60BPM
(1 Hz), dessen Passband sich an der zuletzt gemessen Herzrate orientiert, gefiltert. Zur
Schätzung der Herzrate verwenden wir das in [12] vorgestellte Verfahren. Der dort
verwendete Ansatz sucht in einem Zeitfenster der letzten 10 Sekunden des Signals die
korrekte Folge der Blutvolumenpulsen (BVP) in dem extrahierten Signal. Dies geschieht
auf Basis der Abstände der Maxima (Inter-Beat-Intervals, IBI) des verarbeiteten PPG
Signales zueinander, welche mit den BVP in der Haut korrespondieren.
Zur Hautfarbensegmentierung verwenden wir den Bayes-Ansatz von Jones und Rehg
[3], der sehr schnell und performant Haut detektiert [15]. Der Bayes-Ansatz liefert für
den Farbpixel cdie relative Hautfarbenhäufigkeit
p(c) = n(c, Xskin)
n(c, X),(1)
wobei
n
(
c, Xskin
)die beobachtete Häufigkeit der Farbe
c
im Hautfarbendatensatz und
n
(
c, X
)die beobachtete Häufigkeit der Farbe
c
im gesamten Datensatz sind.
p
(
c
)lässt
sich in einer Look-Up-Table speichern und wurde mit Hilfe des ECU Datensatzes
[9] erzeugt. Diese relative Häufigkeit
p
(
c
)kann mit einem festen Schwellwert
t
, der
relativ wenige falsch Positive erlaubt, in eine Segmentierung überführt werden. Ein
zweiter Ansatz berechnet einen Flächenschwellwert Aanhand der Gesichtserkennung
und setzt voraus, dass z.B. 30 % des Gesichts aus Haut besteht. In diesem Fall werden
die wahrscheinlichsten 30 % der Pixel als Haut maskiert.
In dieser Veröffentlichung betrachten wir den Einfluss der ROI bzw. der Hautdetektion
auf die Herzratenschätzung. Es ist in Bild 1 grün hervorgehoben. Dabei untersuchen
wir die Verwendung vier unterschiedlicher Verfahren:
1.
Verwenden der Wangenregion. Die Wangenregion ist in der Regel nicht durch
Gesichtshaar oder ähnliches bedeckt und wir daher häufig verwendet [24]. Dies
resultiert jedoch in der Verwendung sehr kleiner Regionen. Die Wangenregion
wird mit Hilfe von Gesichtslandmarken [6] bestimmt.
2.
Verwenden des kompletten Gesichts. Das komplette Gesicht beinhaltet deutlich
mehr Hautpixel und benötigt nicht unbedingt die Verwendung von Gesichtsland-
marken und ist daher sehr prominent [11, 13, 19]. Wird jedoch nur die Bounding
Box des Gesichtserkenners verwendet, werden häufig sehr viele Hintergrundpi-
xel für die Herzratenschätzung herangezogen, was diese deutlich verschlechtert.
Definiert man jedoch die Bounding Box anhand der konvexen Hülle aller Ge-
sichtslandmarken und beschneidet den linken und rechten Rand um jeweils 20 %,
werden mögliche Störeinflüsse durch den Hintergrund minimiert.
3.
Hautfarbensegmentierung mit Schwellwert
t
. Wie oben erläutert, segmentiert z.
B. der Schwellwert
t
= 70 % alle Pixel, dessen Farbwert im Trainingsdatensatz zu
mehr als 70 % als Haut markiert wurde. Für die Verwendung eines festen (hohen)
Schwellwerts spricht, dass dadurch nur eine geringe Anzahl von Hintergrundpixeln
segmentiert werden.
4.
Hautfarbensegmentierung mit Flächenschwellwert
A
. Wie bereits oben erklärt,
kann auch ein Flächenschwellwert sinnvoll sein, da die Anzahl von Hautfarbenpixel
im Gesicht relativ konstant bleiben müsste, auch wenn sich durch Änderung der
Lichtverhältnisse o. ä. die geschätzte Hautfarbenwahrscheinlichkeit p(c)ändert.
Anhand der Gesichts- und Landmarkenerkennung bestimmen wir die Wangenregionen
(ROI Wangen – mithilfe von Gesichtslandmarken [24]) sowie die Bounding Box um die
Gesichtslandmarken (ROI Gesicht). Um mögliche Störeinflüsse durch den Hintergrund
zu minimieren wird die Breite der Bounding Box für die ROI Gesicht um jeweils 20%
am rechten und linken Rand beschnitten.
Um den Einfluss der Hauterkennung auf die Herzratenschätzung zu untersuchen,
wurden die Schwellwerte
t
und
A
der Hauterkennung variiert. Die Herzratenschätzung
wurde sowohl mit verschiedenen Werten von
t
als auch von
A
durchgeführt. Dabei
wurde der Wahrscheinlichkeitsschwellwert
t
von 0
.
00 in Schritten von 0
.
05 bis 1
.
00
inkrementell erhöht. Der Flächenschwellwert
A
wurde von 0% in 5% Schritten bis
100% betrachtet.
3 Ergebnisse
Das vorgestellte Verfahren wurde mit der BioVid Heat Pain Database [21, 25] validiert.
Die 87 verwendeten Probanden der Datenbank wurden wiederholt schmerzhaften
Hitzereizen ausgesetzt. Dabei wurde die Bewegungsfreiheit der Probanden nicht ein-
geschränkt. Die Videos wurden mit 25 Bildern pro Sekunde und das EKG mit 512
Hz aufgenommen. Eine ungeschnittene Version der Videos wurde verwendet, welche
in naher Zukunft als PART C öffentlich zugänglich gemacht wird. Diese Version der
Datenbank wurde genutzt, um die kontinuierliche Herzratenschätzung über einen
längeren Zeitraum zu ermöglichen. Die Grundwahrheit der Herzrate wurde aus den
EKG-Daten der Probanden bestimmt.
Dazu wurden die Herzschläge mit der in [1] vorgestellten Methode bestimmt und der
Mittelwert der IBIs berechnet. Für jede Messung wurde das bei der Herzratenschätzung
genutzte Zeitfenster verwendet, um die zugehörige Grundwahrheit zu ermitteln. Bei
einer Messungen mit einer fehlgeschlagen Gesichtserkennung während des betreffenden
Zeitfensters wurde die Messung automatisch als fehlerhaft klassifiziert und der Algo-
rithmus in den Initialisierungsfall zurückgesetzt. Die Herzrate wurde für die gesamte
Datenbank einmal pro Sekunde geschätzt, was über 130.000 Messungen entspricht.
Die in diesem Paper vorgestellten Erkennungsrate sind angegeben für den Anteil aller
Messungen, die einen kleineren Fehler als 3 BPM zur Grundwahrheit aufweisen.
Bei der Verwendung der ROI Wangen erzielt das System eine Erkennungsrate von
66
,
4% mit einem mittleren Fehler von
2
,
74
±
9
,
51 BPM. Durch Einsatz der ROI
Gesicht verbessert sich das Ergebnis auf 76
,
1% und einen mittleren Fehler von
2
,
56
±
8,65 BPM.
Abbildung 2 zeigt die Erkennungsraten für verschiedene Werte von
t
und
A
. Die
Erkennungsraten der ROIs Wangen und Gesicht sind zum besseren Vergleich als
horizontale Linien dargestellt. Tabelle 1 listet die Ergebnisse mit den ROIs Wangen
und Gesicht sowie mit der Hautfarbensegmentierung auf.
Es ist zu erkennen, dass die Hauterkennung die Ergebnisse der Herzratenschätzung
deutlich verbessert. Die Erkennungsraten steigen um etwa 15% im Vergleich zu den
gesichts- und landmarkenbasierten Verfahren. Bei der Wahl des Schwellwertes
t
liefern
Werte von 0
.
25 bis 0
.
45 und bei dem Flächenschwellwert
A
von 50% bis 70% die besten
Ergebnisse. Bei beiden Schwellwerten führt jedoch die Wahl von sehr hohen und sehr
niedrigen Werten zu schlechten Ergebnissen.
Tabelle 1: Erkennungsraten der Herzratenschätzung
ROI Wangen Gesicht t = 0.3 A = 60%
Erkennungsrate
(Fehler <3 BPM in %) 66,4 76,1 89,7 89,1
mittlere Fehler
(in BPM) 2,74 2,56 0.37 0,09
Standardabweichung
(in BPM) 9,51 8,65 4,86 5,95
00.10.20.30.40.50.60.70.80.91
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Prozent der Messungen mit Fehler <3 BPM
t
Hauterkennung
Wangen
Gesicht
0 10 20 30 40 50 60 70 80 90 100
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Prozent der Messungen mit Fehler <3 BPM
A (in Prozent)
Hauterkennung
Wangen
Gesicht
Abbildung 2:
Erkennungsrate (Anteil aller Messungen mit Fehler <3 BPM) der Herz-
ratenschätzung für verschiedene Werte von tund A
4 Diskussion
Wir haben in dieser Studie die Wahl und den Einfluss von verschiedenen Ansätze
der Hautfarbensegmentierung auf die Schätzung der Herzrate verglichen. Dabei hat
sich gezeigt, dass die Bestimmung der ROI durch Hautfarbensegmentierung die Er-
gebnisse deutlich verbessert. Die Nutzung eines Schwellwerts scheint auf den ersten
Blick bessere Ergebnisse zu erzielen. Es wurde jedoch kein signifikanter (
p
= 0
.
05)
Unterschied bei der Genauigkeit der Herzratenschätzung, zwischen der Verwendung
des Wahrscheinlichkeitsschwellwerts
t
= 0
.
3oder des Flächenschwellwertes
A
= 60%
festgestellt. Beide Schwellwerte sind zudem über einen großen Wertebereich stabil und
liefern robust sehr gute Ergebnisse.
Jedoch weißt die Hautfarbensegmentierung noch systematische Fehler auf. So funktio-
nierte die Herzratenschätzung bei etwa 15% der Probanden deutlich schlechter als das
durchschnittliche Ergebnis. Bei genauerer Betrachtung konnte festgestellt werden, dass
die Hauterkennung über die Look-Up-Table bei einigen dieser Probanden nur subopti-
mal funktioniert. Bei den sieben Probanden mit der ungenauesten Herzratenschätzung
(
t
= 0
.
3) haben sechs eine ungewöhnlich rote Haut, was vermutlich auf den Stress
durch die Hitzereize zurückzuführen ist. Diese starke Rötung stört die Klassifizierung
der Hautpixel durch sonst eher untypische RGB-Farbwerte.
Wir schlagen für die Weiterentwicklung der kamerabasierten kontaktfreien Herzraten-
schätzung die Verwendung von adaptiven Hautfarbensegmentierungsalgorithmen vor,
sodass Farbänderungen in der Haut nicht zu schlechteren Segmentierungsergebnissen
und damit zur ungenauen Herzratenschätzung beitragen.
Acknowledgment
Diese Arbeit ist Teil des Projektes Kontaktfreie kamerabasierte Messung von Vi-
talparametern mit verbesserter Störsicherheit (no. 03ZZ0405), gefördert durch das
Bundesministerium für Bildung und Forschung (BMBF) und der “Zwanzig20 - Allianz
3D Sensation”, sowie Teil des Projektes des Sonderforschungsbereichs Transregio 62 -
eine Companion Technologie (SFB/TRR 62), gefördert durch den DFG.
Literatur
[1]
Patrick S. Hamilton und Willis J. Tompkins. “Quantitative investigation of
QRS detection rules using the MIT/BIH arrhythmia database”. In: Biomedical
Engineering, IEEE Transactions on 12 (1986), S. 1157–1165. url:
http: //
ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=4122227
(besucht am
04. 02. 2014).
[2]
Lei Huand u. a. “Robst skin detectiion in real-world images”. In: Journal of
Visual Communication and Image Representation 29.1481 (2015), S. 147–152.
[3]
Michael J. Jones und James M. Rehg. “Statistical color models with application
to skin detection”. In: Computer Vision and Pattern Recognition (CVPR). Bd. 1.
IEEE, 1999, S. 274–280. doi:10.1109/CVPR.1999.786951.
[4]
Michal Kawulok. “Fast propagation-based skin regions segmentation in color
images”. In: 10th IEEE International Conference and Workshops on Automatic
Face and Gesture Recognition (FG). IEEE, 2013, S. 1–7. doi:
10.1109/FG.2013.
6553733.
[5]
Michal Kawulok u.a. “Self-Adaptive Skin Segmentation in Color Images”. In:
Proceedings of the 19th Iberoamerican Congress (CIARP). Bd. 8827. Springer.
Puerto Vallarta, Mexico, 2014, S. 96–103. doi:
10.1007/978- 3- 319- 12568-
8_12.
[6]
Davis E. King. “Dlib-ml: A Machine Learning Toolkit”. In: Journal of Machine
Learning Research 10 (2009), S. 1755–1758.
[7]
Antony Lam und Yoshinori Kuno. “Robust Heart Rate Measurement from
Video Using Select Random Patches”. In: Proceedings of the IEEE International
Conference on Computer Vision. 2015, S. 3640–3648.
[8]
Xiaobai Li u. a. “Remote heart rate measurement from face videos under realistic
situations”. In: Proceedings of the IEEE Conference on Computer Vision and
Pattern Recognition. 2014, S. 4264–4271.
[9]
Son Lam Phung, Abdesselam Bouzerdoum und Douglas Chai. “Skin segmentation
using color pixel classification: analysis and comparison”. In: IEEE transactions
on pattern analysis and machine intelligence 27.1 (2005), S. 148–154.
[10]
Ming-Zher Poh, Daniel J McDuff und Rosalind W Picard. “Advancements in
noncontact, multiparameter physiological measurements using a webcam”. In:
IEEE Transactions on Biomedical Engineering 58.1 (2011), S. 7–11.
[11]
Ming-Zher Poh, Daniel J McDuff und Rosalind W Picard. “Non-contact, automa-
ted cardiac pulse measurements using video imaging and blind source separation.”
In: Optics express 18.10 (2010), S. 10762–10774.
[12]
Michal Rapczynski, Philipp Werner und Ayoub Al-Hamadi. “Continuous Low
Latency Heart Rate Estimation from Painful Faces in Real Time”. In: 23th
International Conference on Pattern Recognition ICPR (accepted). 2016.
[13]
U Rubins u.a. “Real-time photoplethysmography imaging system”. In: 15th
Nordic-Baltic Conference on Biomedical Engineering and Medical Physics (NBC
2011). Springer. 2011, S. 183–186.
[14]
Anderson Santos und Helio Pedrini. “Human Skin Segmentation Improved by
Saliency Detection”. In: 16th International Conference on Computer Analysis of
Images and Patterns (CAIP). Bd. 9257. 2015. doi:
10.1007/978-3-319-23117-
4_13.
[15]
Frerk Saxen und Ayoub Al-Hamadi. “Color-based skin segmentation: an evalua-
tion of the state of the art”. In: 2014 IEEE International Conference on Image
Processing (ICIP). IEEE. 2014, S. 4467–4471.
[16]
Frerk Saxen und Ayoub Al-Hamadi. “Superpixels for Skin Segmentation”. In: 20.
Workshop Farbbildverarbeitung. 2014, S. 153–159.
[17]
Christopher G Scully u. a. “Physiological parameter monitoring from optical re-
cordings with a mobile phone”. In: IEEE Transactions on Biomedical Engineering
59.2 (2012), S. 303–306.
[18]
Yu Sun u. a. “Motion-compensated noncontact imaging photoplethysmography
to monitor cardiorespiratory status during exercise”. In: Journal of biomedical
optics 16.7 (2011), S. 077010–077010.
[19]
Yu Sun u. a. “Use of ambient light in remote photoplethysmographic systems:
comparison between a high-performance camera and a low-cost webcam”. In:
Journal of biomedical optics 17.3 (2012), S. 0370051–03700510.
[20]
Wim Verkruysse, Lars O. Svaasand und J. Stuart Nelson. “Remote plethysmo-
graphic imaging using ambient light”. In: Optics express 16.26 (2008), S. 21434–
21445. url:
http://www.opticsinfobase.org/abstract.cfm?URI=oe-16-26-
21434-1 (besucht am 21.01. 2014).
[21]
Steffen Walter u. a. “The BioVid heat pain database data for the advancement and
systematic validation of an automated pain recognition system”. In: Cybernetics
(CYBCONF), 2013 IEEE International Conference on. IEEE. 2013, S. 128–131.
[22]
Daniel Wedekind u. a. “Automated identification of cardiac signals after blind
source separation for camera-based photoplethysmography”. In: Electronics and
Nanotechnology (ELNANO), 2015 IEEE 35th International Conference on. IEEE.
2015, S. 422–427.
[23]
Lan Wei u. a. “Automatic webcam-based human heart rate measurements using
laplacian eigenmap”. In: Asian Conference on Computer Vision. Springer. 2012,
S. 281–292.
[24]
Philipp Werner u. a. “Automatic Heart Rate Estimation from Painful Faces”. In:
IEEE International Conference on Image Processing 2014 (ICIP 2014). Paris,
France, Okt. 2014, S. 1947–1951.
[25]
Philipp Werner u. a. “Towards Pain Monitoring: Facial Expression, Head Pose, a
new Database, an Automatic System and Remaining Challenges”. In: Proceedings
of the British Machine Vision Conference. BMVA Press, 2013, S. 119.1–119.13.
doi:10.5244/C.27.119.
[26]
Lei Yang u. a. “Motion-compensated non-contact detection of heart rate”. In:
Optics Communications 357 (2015), S. 161–168.
ResearchGate has not been able to resolve any citations for this publication.
Conference Paper
Full-text available
Video based heart rate estimation has several advantages compared to the classical method. Current approaches use long time windows (30sec) to calculate heart rates, which results in high latency and is a big disadvantage for a practical use. To overcome this constraint, we propose a low latency approach for continuous frame based heart rate estimation. It is based on combination of face tracking and skin detection using short time windows (10sec) to filter and analyze the extracted PPG signals in real time. In experiments the presented approach performs with high accuracy (85,2%, with error <3 BPM) under stable illumination conditions using a pain recognition data set including facial expressions and head movement for validation.
Conference Paper
Full-text available
Heart rate is an important indicator of people's physiological state. Recently, several papers reported methods to measure heart rate remotely from face videos. Those methods work well on stationary subjects under well controlled conditions, but their performance significantly degrades if the videos are recorded under more challenging conditions, specifically when subjects' motions and illumination variations are involved. We propose a framework which utilizes face tracking and Normalized Least Mean Square adaptive filtering methods to counter their influences. We test our framework on a large difficult and public database MAHNOB-HCI and demonstrate that our method substantially outperforms all previous methods. We also use our method for long term heart rate monitoring in a game evaluation scenario and achieve promising results.
Conference Paper
Full-text available
The ability to remotely measure heart rate from videos without requiring any special setup is beneficial to many applications. In recent years, a number of papers on heart rate (HR) measurement from videos have been proposed. However, these methods typically require the human subject to be stationary and for the illumination to be controlled. For methods that do take into account motion and illumination changes, strong assumptions are still made about the environment (e.g. background can be used for illumination rectification). In this paper, we propose an HR measurement method that is robust to motion, illumination changes, and does not require use of an environment's background. We present conditions under which cardiac activity extraction from local regions of the face can be treated as a linear Blind Source Separation problem and propose a simple but robust algorithm for selecting good local regions. The independent HR estimates from multiple local regions are then combined in a majority voting scheme that robustly recovers the HR. We validate our algorithm on a large database of challenging videos.
Conference Paper
Full-text available
Several applications demand the segmentation of images in skin and non-skin regions, such as face recognition, hand gesture detection, nudity recognition, among others. Human skin detection is still a challenging task since it depends on inumerous factors, for instance, illumination conditions, ethnicity variation and image resolution. This work proposes and analyzes a skin segmentation method improved by saliency detection. Experimental results on public data sets demonstrate significant improvement of the proposed skin segmentation method over state-of-the-art approaches.
Conference Paper
Full-text available
Non-contact measurement of the heart rate is more comfortable than classical methods and can facilitate new applications. However, current approaches are very susceptible to motion. Aiming at overcoming this limitation, we propose a new, more robust approach to estimate the heart rate from a videotaped face. It features non-planar motion compensation, fusion of multiple ROI signals, and a RANSAC-like time-domain heart rate estimation algorithm. In experiments with a comprehensive pain recognition dataset we show that our approach outperforms previous methods in the presence of spontaneous head movement and facial expression.
Conference Paper
Full-text available
Skin segmentation is widely used, e.g. in face detection and gesture recognition. In the last years, the number of skin seg-mentation approaches has grown. However, multiple datasets and varying performance measurements make direct compar-ison difficult. We address these shortcomings and evaluate 5 threshold-based methods, 5 model-based methods, and 2 region-based state-of-the-art skin segmentation methods. We discuss each algorithm and provide the segmentation perfor-mance along with the processing time. All methods are eval-uated on the ECU dataset which provides a great amount of training data besides other important attributes.
Article
A new non-contact heart rate detection method based on the dual-wavelength technique is proposed and demonstrated experimentally. It is a well-known fact that the differences in the circuits of two detection modules result in different responses of two modules for motion artifacts. This poses a great challenge to compensate the motion artifacts during measurements. In order to circumvent this problem, we have proposed the amplitude spectrum and phase spectrum adaptive filter. Comparing with the time-domain adaptive filter and independent component analysis, the amplitude spectrum and phase spectrum adaptive filter can suppress the interference caused by the two circuit differences and effectively compensate the motion artifacts. To make the device is much compact and portable, a photoelectric probe is designed. The measurement distance is from several centimeters up to several meters. Moreover, the data obtained by using this non-contact detection system is compared with those of the conventional finger blood volume pulse (BVP) sensor by simultaneously measuring the heart rate of the subject. The data obtained from the proposed non-contact system are consistent and comparable with that of the BVP sensor.
Conference Paper
In the field of camera-based photoplethysmography the application of blind source separation (BSS) techniques has extensively stressed to cope with frequently occurring artifacts and noise. Although said techniques can help to extract the cardiac component from a mixture of input sources, permutation indeterminacy inherit to BSS techniques often introduces inaccuracies or requires manual intervention. The current contribution focuses on methods to automatically select the cardiac component from the output of BSS techniques applied to camera-based photoplethysmograms. To that end, we propose simple Markov models to describe and subsequently identify cardiac components. It is shown that good results can be obtained by combining different simple Markov models.
Article
Human skin detection in images is desirable in many practical applications, e.g., human-computer interaction and adult-content filtering. However, existing methods are mainly suffer from confusing backgrounds in real-world images. In this paper, we try to address the issue by exploring and combining several human skin properties, i.e. color property, texture property and region property. First, images are divided into superpixels, and robust skin seeds and background seeds are acquired through color property and texture property of skin. Then we combining color, region and texture properties of skin by proposing a novel skin color and texture based graph cuts (SCTGC) to acquire the final skin detection results. Comprehensive and comparative experiments show that the proposed method achieves promising performance and outperforms many state-of-the-art methods over publicly available challenging datasets with a great part of hard images.
Conference Paper
In this paper, we present a new method for skin detection and segmentation, relying on spatial analysis of skin-tone pixels. Our contribution lies in introducing self-adaptive seeds, from which the skin probability is propagated using the distance transform. The seeds are determined from a local skin color model that is learned on-line from a presented image, without requiring any additional information. This is in contrast to the existing methods that need a skin sample for the adaptation, e.g., acquired using a face detector. In our experimental study, we obtained F-score of over 0.85 for the ECU benchmark, and this is highly competitive compared with several state-of-the-art methods.