Available via license: CC BY 4.0
Content may be subject to copyright.
SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016
Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması
Sümeyye Bayrakdar
1*
, Devrim Akgün
2
, İbrahim Yücedağ
3
21.11.2015 Geliş/Received
,
13.06.2016 Kabul/Accepted
ÖZ
Yüz ifadeleri, duygulara kişilerarası iletişimde anlam bütünlüğü kazandıran evrensel işaretlerdir. Aynı zamanda yüz
ifadelerindeki değişimler, duygu psikolojisinde en önemli ipuçları olarak kabul edilmektedir. Yüz ifade analizinin;
insan davranışlarının analizi, insan-insan etkileşimi ve insan-bilgisayar etkileşimi gibi çok geniş bir uygulama
yelpazesi vardır. İnsanlar yüz ifadelerini tanımada ve yorumlamada herhangi bir sorun yaşamazken bu işlem
bilgisayarlarda zorlu bir problem olarak karşımıza çıkmaktadır. Fakat özellikle insan-bilgisayar etkileşiminde
yaşanan gelişmelerle birlikte, insanlara ait duyguların bilgisayarlar tarafından anlaşılması elzem bir konu haline
gelmiştir. Bunun yanında güvenlik, psikoloji, sağlık, robotik ve sanal gerçeklilik gibi birçok çalışma alanında da yüz
ifadelerinin analizi ve tanıması giderek yaygınlaşmıştır. Bu nedenlerden dolayı, yüz ifadelerinin hızlı bir şekilde
analiz edilmesi ve analiz edilen yüz ifadelerinin doğru olarak tanınması farklı uygulama alanlarında birçok yazılım
sistemi için kritik bir rol oynamaktadır. Bu çalışmada, yüz ifadelerinin tanıması ile ilgili literatürde yapılan
çalışmalar incelenmiş ve yüz ifadelerinin analizinde kullanılan bazı yöntemlere yer verilmiştir.
Anahtar Kelimeler: yüz ifade analizi, yüz ifadesi tanıma, görüntü işleme
A survey on automatic analysis of facial expressions
ABSTRACT
Facial expressions are universal symbols of emotions that provide cohesion to interpersonal communication. At the
same time, the changes in facial expressions are considered to be the most important hints in the psychology of
emotion. Facial expression analysis has widespread range of application in areas such as analysis of human
behaviors, human-human interaction and human-computer interaction. While humans do not have any difficulty for
recognizing and interpreting facial expressions, it is challenging problem for the computers. However, especially
with advances in human-computer interaction, understanding the human emotions by computer has become an
indispensable issue. Furthermore, analysis and recognition of facial expressions has pervaded in various areas such
as security, psychology, health, robotics and virtual reality. For these reasons, the analyzing of facial expressions
quickly and the recognition of facial expressions correctly according to the analyzed facial expressions play a critical
role for many software systems in different applications. In this study, the methods used in the analysis of facial
expressions and the studies in the literature on emotion recognition were investigated.
Keywords: facial expression analysis, facial expression recognition, image processing
*
Sorumlu Yazar / Corresponding Author
1
Düzce Üniversitesi, Teknoloji Fakültesi, Bilgisayar Mühendisliği, Düzce - sumeyyebayrakdar@duzce.edu.tr
2
Sakarya Üniversitesi, Bilgisayar ve Bilişim Bilimleri Fakültesi, Bilgisayar Mühendisliği, Sakarya - dakgun@sakarya.edu.tr
3
Düzce Üniversitesi, Teknoloji Fakültesi, Bilgisayar Mühendisliği, Düzce - ibrahimyucedag@duzce.edu.tr
S. Bayrakdar, D. Akgün, İ. Yücedağ Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması
384 SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016
1. GİRİŞ
(INTRODUCTION)
Kişilerarası iletişimde önemli bir rol oynayan yüz
ifadeleri, insanların duygu, düşünce ve ruhsal durumları
ile ilgili önemli bilgiler içermektedir. 1872’de Charles
Darwin, “İnsan ve Hayvanlarda Duyguların İfadesi” adlı
kitabında, insanlar ve hayvanlarda doğuştan gelen bazı
duyguların yüz ifadeleri şeklinde ortaya çıktığını ve bu
ifadelerin bütün dünyada aynı anlamda algılandığını
belirterek, yüz ifadelerinin evrensel olduğunu
vurgulamıştır [1]. Bu tespit yüz ifadeleri ile ilgili
çalışmalarının dayanağını oluşturmuş ve yüz ifade
analizi birçok davranış bilimci için yaygın bir araştırma
konusu haline gelmiştir. İnsanlar arasında yüz yüze
iletişimin temelini oluşturan yüz ifadeleri, iletişimin
bütününde %55 etkili olurken; ses tonu %38, kelimeler
ise sadece %7’lik etkiye sahiptir [2]. Yapılan
araştırmalarda farklı yüz ifadelerini ortaya çıkaran ve
“mutluluk”, “üzüntü”, “korku”, “öfke”, “iğrenme” ve
“şaşkınlık” olarak tanımlanan altı temel duygudan
bahsedilmiştir [3, 4]. Yüz ifade analizi kullanılmaya ilk
başlandığı zamanlarda daha çok psikologlar için bir
araştırma konusu olsa da, 1978 yılında görüntü
dizilerinden otomatik olarak yüz ifade analizi ile ilgili
bir inceleme sunulmuştur [5]. Takip eden süreçte ise
teknolojinin gelişmesiyle birlikte nispeten ucuz
hesaplama gücüne ek olarak, yüz algılama (face
detection), yüz izleme (face tracking) ve yüz tanıma
(face recognition) ile ilgili araştırma alanlarındaki
başarılı gelişmeler, yüz ifade analizi ile ilgili çalışmalara
hız kazandırmıştır [6].
Literatürde “yüz ifadesi tanıma” yerine sık sık “duygu
tanıma” terimleri kullanılsa da aslında ikisini
birbirinden ayırt etmek gerekir. Yüz ifadesi tanıma,
tamamen görsel bilgilere dayanan yüz hareketlerinin
analizi ve yüzdeki şekilsel değişimlerin sınıflandırılması
ile ilgili iken; insan duyguları birçok farklı faktörün
sonucudur. Ayrıca insan duyguları jestler, ses,
bakışların yönü, poz ve yüz ifadeleri gibi farklı kanallar
ile ortaya çıkabilir ya da hiç çıkmayabilir [6]. Ayrıca,
duygu tanıma, yüz ifadesi tanımanın aksine, bir
yorumlama girişimidir ve genellikle tam bağlamsal
bilginin kullanılabilirliği ile birlikte belirli bir durumun
anlaşılmasını gerektirir [6].
Yüz ifade analizi; ilk olarak yüzün bulunması, daha
sonra yüz görüntüsünden yüz ifadelerine ait
özniteliklerin çıkartılması ve son olarak da yüz
ifadesinin tanınması olmak üzere 3 temel adımdan
oluşmaktadır. İlk adımda yüz bulma işlemi; giriş
görüntülerinde yüzün tespit edilmesi veya görüntü
dizilerinde, ilk karede yüzün algılanarak kalan karelerde
yüzün izlenmesi şeklinde olmaktadır. Yüz bulunduktan
sonra, yüz ifadesini tanımlayabilmek için yüz
ifadelerine ait öznitelikler çıkartılır. Yüz ifadeleri,
yüzün özellikle belirli bölgelerinde oluşan biçimsel
değişimler ile ortaya çıkmaktadır. Bir ya da daha fazla
yüz kasının kasılmasıyla; kaşlar, göz çevreleri, burun,
dudak ve çene bölgeleri ile yüz derisinde oluşan bu
geçici değişimlerin belirlenmesi ve ölçülmesi yüz
ifadelerini tanıma çalışmalarının temelini
oluşturmaktadır. Yüz özniteliklerini belirlemek için
geometrik-tabanlı ve görünüm-tabanlı olmak üzere
literatürde çoğunlukla kullanılan iki popüler yöntem
vardır [7]. Ayrıca geometrik ve görünüm tabanlı
yaklaşımların birlikte kullanıldığı hibrit yöntemler de
mevcuttur [8, 9]. Yüz ifadesi analiz çalışmalarının son
aşamasında, belirlenen yüz ifadesi özniteliklerine göre
yüz ifadesi tanıma ya da sınıflandırma işlemi
gerçekleştirilir.
Yüz ifadelerinin incelenmesi; sözlü ve sözsüz iletişim,
psikolojik araştırmalar, insan-bilgisayar etkileşimi, tıp,
sanal gerçeklilik, bilgisayarlı görü ve akıllı sistemler
gibi birçok alanda önemli bir yer tutmaktadır.
Literatürde; şizofreni hastalarının ruhsal durumlarının
belirlenmesinde [10-12], hırsızlara ve kötü niyetli
kişilere karşı güvenliği sağlamada [13, 14], yeni doğan
bebekler için ağrı tespitinde [15, 16] yüz ifadeleri
kullanılmıştır. Ayrıca sürücülerin yorgunluk ve uykulu
olma durumlarının algılamasında [17], güvenli sürüş
davranışlarının tahmin edilmesinde [18] ve otomatik
müzik çalma listesi oluşturmada [19, 20] yüz ifadelerini
kullanan çalışmalar vardır. Bu çalışmada, yüz ifade
analizi ile ilgili detaylı bir tarama gerçekleştirilmiştir.
Bölüm 2’de yüz ifadelerinin tanınması ile ilgili
literatürde yapılan çalışmalara ayrıntılarıyla yer
verilmiştir. Yüz ifadesi analiz sistemlerinin genel
yapısından Bölüm 3’te bahsedilmiştir. Bölüm 4’te ifade
analiz sistemlerinde en çok kullanılan yüz ifadesi
veritabanlarından bazıları tanıtılmıştır. Sonuç
bölümünde ise yüz ifade analizinin önemine vurgu
yapılarak, kullanım alanlarına değinilmiştir.
Çalışmamız, bu alanda yapılabilecek yeni çalışmalara
kaynak olabilecek niteliktedir.
2. LİTERATÜR TARAMASI
(RELATED WORKS)
Literatürde, yüz ifadelerinin tanınması konusunda çeşitli
çalışmalar yapılmıştır. Tablo 1’de, literatürde yapılan
bazı çalışmaların karşılaştırması verilmiştir.
Yüz ifadesi analizi ile ilgili çalışmalar 19. yüzyıla
dayanmaktadır. Darwin, 1872 yılında doğuştan bazı
duygular olduğunu ile sürerek, yüz ifadelerinin
evrenselliğini ve sürekliliğini iddia etmiştir [1]. Ekman
ve Friesen, 1971 yılında benzersiz yüz ifadeleri ile
birlikte her biri kendine özgü içeriğe sahip altı temel
duygu olduğundan bahsetmişlerdir [3]. 1978 yılında ise
yüz anatomisine dayalı eylem birimlerini (AUs-Action
Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması S. Bayrakdar, D. Akgün, İ. Yücedağ
SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016 385
Units) kullanarak yüz ifadelerini belirlemek için, yüz
eylemlerini kodlama sistemi (FACS-Facial Actions
Coding Systems) geliştirmişler ve yüzün her bir
bağımsız kas aktivitesine karşılık 46 farklı eylem birimi
tanımlamışlardır [21]. FACS, yüz kaslarındaki
hareketleri temel alarak çalışan objektif bir yöntemdir
ve eylem birimlerinin 7.000’den farklı kombinasyonu
gözlemlenmiştir [22].
Yüz ifadeleri kodlama sistemi ilk başlarda öngörülen
kurallar kümesi takip edilerek elle yapıldığından,
oldukça zaman alıcı işlemlerdi. Ekman ve arkadaşları
başka bir çalışmada, yüz eylemlerini algılayarak
sınıflandıracak otomatik bir yüz ifade analiz sistemi
önermişlerdir [23]. Çalışmalarında 150’nin üzerinde
eylem birimini ya da kombinasyonunu kullanan 24
farklı denek ile 1100’den fazla görüntü dizisi içeren bir
veritabanı oluşturmuşlar ve görüntülerdeki yüz
eylemlerini sınıflandırmak için üç farklı yaklaşımı
karşılaştırmışlardır: gri-seviye görüntülerin temel
bileşenler tabanlı bütüncül mekânsal analizi (holistic
spatial analysis based on principal components of gray
level images), kırışıklıklar gibi yerel görüntü
özelliklerinin kesin ölçümü (explicit measurement of
local image features such as wrinkles) ve hareket akışı
alanları ile şablon eşleştirme (template matching with
motion flow fields). Sonuç olarak bu metotlar ile 6
farklı eylem birimi ve 20 denek içeren bir veri seti
üzerinde, sırasıyla %89, %57 ve %85 başarım elde
etmişlerdir. Bu üç metodu birlikte kullandıklarında ise
performansı %92’lere kadar çıkarmayı başarmışlardır.
Yacoob ve Davis, görüntü dizilerinden yüz ifadelerinin
tanınması amacıyla yüz dinamiklerinin gösterimi ve
analizi ile ilgili başka bir yaklaşım sunmuşlardır [24].
Bu yaklaşım, yüzün başlıca bölgelerinin nitel olarak
izlenmesine ve yüksek yoğunluklu eğim noktalarındaki
akış hesaplamalarına dayanmaktadır. Çalışmalarında,
yüz ifadelerinin neden olduğu hareketlerin yönünü
belirlemek için optik akış hesaplaması kullanılmışlardır.
Uzamsal ve zamansal hareket alanlarında orta seviyeli
sembolik bir gösterim hesaplanmıştır. Sundukları
yaklaşım, tek tek nokta hareketlerini izlemeye değil,
yüzün belirlenen bölgelerindeki hareket şekillerinin
istatistiksel karakterizasyonuna dayalı olduğundan, yüz
özelliklerini içine alan dikdörtgenler için bir bölge
izleyici geliştirmişlerdir. Her dikdörtgen, ilgili bir
özelliği çevrelediğinden, diğer yüz özelliklerinin
hareketleri bölge içindeki akış hesaplamalarına
karışmamaktadır.
Tsapatsoulis ve arkadaşları zaman sıralı veriler ile başa
çıkmak ve zaman ölçeği değişmezliği sağlamak için
Saklı Markov Modeli (HMM-Hidden Markov Model)
temelli bir ifade tanıma tekniği önermişlerdir [25].
Önerdikleri teknikte, hareket alanının yönlü
filtrelenmesi ve optik akış çıkarımı için bir özellik
vektör dizisi kullanılmıştır. Bilinmeyen özellik vektör
dizilerini sınıflandırmada uygun bir seçim yapmak için
HMM’nin öğrenme yeteneğinden de faydalanmışlardır.
Ayrıca duyguların dinamiklerini ve ifadelerin
zamanlama karmaşıklığını çözmek için gözlem bağımlı
geçiş matrisiyle HMM’yi geliştirmişlerdir. Bu sayede
de, Sinir Ağıyla (NN-Neural Network)
gerçekleştirdikleri ifade tanıma sistemi ile yetinmeyip
bulanık bir sistem aracılığıyla kararlara açıklık
getirmeyi amaçlamışlardır. Çalışmalarını deneysel
olarak test etmek için ise, 3 erkek deneğin yüz
ifadelerini içeren, saniyede 30 kare (frame) hızında ve
maksimum üç saniyelik videolar elde etmişlerdir. Altı
farklı yüz ifadesinin her biri için elde ettikleri 30
videonun 3 tanesi Saklı Markov Modeli
parametrelerinin başlatılması için, 12 tanesini eğitim
amacıyla ve 15 tanesi de test aşamasında kullanılmıştır.
Sonuçta genel olarak %82’lik bir tanıma oranı elde
etmişlerdir.
Zhang, yaptığı çalışmalar sonucunda iki katmanlı bir
algılayıcı (perceptron) mimari içinde özellik tabanlı yüz
ifadesi tanıma sistemini sunmuştur [26]. Yüz
görüntülerinden çıkarılan bir dizi özelliklerin referans
noktalarının geometrik konumlarını ve bu noktalardaki
çok ölçekli ve çok yönelimli Gabor dalgacık katsayıları
dizisini kullanarak yüz ifadelerini tanımayı
amaçlamıştır. Yüz görüntülerinden çıkarılan özelliklerin
bu iki farklı kullanımı birlikte olabileceği gibi
birbirinden bağımsız olarak da gerçekleştirilebilir.
Farklı türdeki özellikleri tanıma performansı
karşılaştırıldığında ise; Gabor dalgacık katsayılarının
geometrik pozisyonlara göre çok daha güçlü olduğu
görülmüştür.
Cohen ve arkadaşları çalışmalarında, zamansal işaretleri
kullanarak gerçek zamanlı giriş videolarından yüz
ifadelerini otomatik olarak tanımaya odaklanmışlar ve
video görüntülerinden yüz ifadelerinin otomatik olarak
bölütlenmesi ve tanıması için yeni bir HMM mimarisi
önermişlerdir [27]. Bu mimarideki yenilik, yüz
ifadelerini bölütleme ve tanınma işlemlerinin otomatik
olarak çok seviyeli HMM (multilevel HMM)
kullanılarak yapılmasıdır. Önerilen mimarinin ilk
seviyesi, farklı duygular ile ilgili bağımsız HMM’lerden
oluşmaktadır. Sonuçta bu HMM’lerin çıkışlarını
değerlendirmek yerine, HMM’lerin durum dizisi daha
yüksek seviyedeki HMM’lerin girişi olarak kullanılır.
Bu işlem aynı zamanda farklı sınıflar arasındaki ayrım
gücünü de artırmaktadır. Çalışmanın testleri kişi-
bağımlı ve kişi-bağımsız olmak üzere iki farklı şekilde
yapılmıştır. Beş kişilik bir veritabanı üzerinde kişi
bağımlı test için daha yüksek tanıma oranı elde
edilmiştir.
S. Bayrakdar, D. Akgün, İ. Yücedağ Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması
386 SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016
Göktürk ve arkadaşları yüz ifadelerinin tanıması için
varsayıma dayalı olmayan, görünüm-bağımsız güçlü bir
yöntem önermişlerdir [28]. Daha önceki çalışmalarda
yüz ifadesi tanıma sistemlerinin çoğunda kullanıcı
kamera karşısına geçtiği zaman sadece 3D kafa pozları
değişmediğinde yüksek tanıma oranlarına ulaşılmıştır.
Önerdikleri bu yöntemde ifade tanıma sistemi, görüntü
dizisinin her karesindeki yüzün şekil ve pozunu eş
zamanlı olarak elde etmek için yeni bir 3D model
tabanlı izleyici kullanmaktadır. Çalışmanın literatüre en
büyük katkısı, baş hareketlerindeki dönme ve
ötelemelere rağmen 3D izleme sayesinde 3D bilgilerin
çıkarılması ve gürbüz bir yüz ifade tanıma sisteminin
gerçekleştirilmesidir. Ayrıca Destek Vektör
Makinelerinin (SVM-Support Vector Machine) güçlü
bir sınıflandırma için uygun bir metot olduğu
görülmüştür. Sonuçta, beş farklı dinamik yüz
hareketlerini (normal, ağız açma/kapama, kaş
yükseltme, gülümseme) sınıflandırmada %91 gibi
yüksek bir tanıma oranı elde edilmiştir.
Silva ve Hui yüz özelliklerinin çıkarımı ve duygu
tanıma sisteminin gerçek zamanlı uygulama detayları
üzerine çalışmışlardır [29]. Önerdikleri yöntemde, yüz
özelliklerinin yerel hareket vektörlerini hesaplamak için
kenar sayma ve görüntü korelasyon optik akış
teknikleri; insanın duygusal durumunun belirlenmesini
için de bir Sinir Ağı kullanılmaktadır. Çalışmanın ana
hedefi ise, yüz ifadesi tanıma sisteminin gerçek zamanlı
uygulanması olarak vurgulanmıştır. Bu nedenle
geleneksel çevrimdışı (off-line) hesaplamalarda
kullanılan teknikler, gerçek zamanlı uygulamalarda
kullanılmak üzere iyileştirilmiştir. Web kamera ile
320x240 çözünürlükte saniyede maksimum 11.1 kare
işlem hızına ulaşılmıştır.
Feng ve arkadaşları, görüntülerden yüz ifadelerini
tanımak için yeni bir yaklaşım önermişlerdir [30]. İlk
olarak yüz görüntülerini etkin bir şekilde ifade etmek
için Yerel İkili Örüntü (LBP-Local Binary Pattern)
operatörünü kullanmışlar, daha sonra Lineer
Programlama (LP-Linear Programing) tekniğini yüz
ifadelerini sınıflandırmak için uyarlamışlardır. Lineer
programlama tekniği esas alınarak 21 sınıflandırıcı
ortaya konmuştur ve sınıflandırma bir ikili ağaç turnuva
şeması ile gerçekleştirilmiştir. Sınıflandırma yaparken
öfkeli, iğrenmiş, korkmuş, mutlu, üzüntülü, şaşkın ve
normal olarak yedi farklı yüz ifadesini kullanmışlardır.
Deneysel sonuçlar ile Japon Kadın Yüz İfadesi (JAFFE-
Japanese Female Facial Expression) veritabanında
ortalama %93.8 doğru tanıma oranı elde edilmiştir.
Lajevardi ve Lech görüntü kareleri dizilerinden yüz
tanıma, maksimum uyarılma algılama, özellik çıkarımı,
optimum özellikler seçimi ve yüz ifadesi tanıma
modüllerine sahip tam otomatik bir ifadesi tanıma
sistemi önermişlerdir [31]. Önerilen sistemde kullanılan
yüz tanıma modülü Haar-like özellikleri ve AdaBoost
algoritmasına dayanmaktadır. Yüz tanıma işleminden
sonra, görüntü kareleri arasındaki karşılıklı bilgi
kullanılarak maksimum uyarılma seviyesiyle (duygu
yoğunluğu) görüntü karelerinin çıkarılması
gerçekleştirilmiştir. Daha sonra seçilen kareler, MIFS
(Mutual Information Feature Selection) algoritmasını
kullanan optimal bir özellik seçim süreciyle birlikte log-
Gabor filtreleme yöntemine dayalı karakteristik
özellikleri oluşturmak için işlenir. Son olarak da
görüntülerdeki yüz ifadeleri Naive Bayesian (NB)
sınıflandırıcı kullanılarak sınıflandırılır. Önerilen sistem
öfke, iğrenme, korku, mutluluk, üzüntü ve şaşkınlık gibi
altı ifadeyi otomatik olarak tanıyabilmektedir ve Cohn-
Kanade veritabanından görüntü dizileri kullanılarak test
edilmiştir. Optimize olmayan özellikler için %68.9 olan
doğru sınıflandırma yüzdesi, optimize özellikler ile
birlikte %79.5’lere çıkmıştır.
Martins ve arkadaşları otomatik yüz ifadesi tanıma için
Aktif Görünüm Modeli (AAM-Active Appearance
Model) ve Lineer Diskriminant Analizini (LDA-Linear
Discriminant Analysis) birleştiren bir sistem
sunmuşlardır [32]. Önerdikleri sistemde ilk olarak bir
AAM modeli ile insan yüzü tanımlanmaktadır. Daha
sonra ise farklı ifade kategorilerini belirtmek için LDA
kullanılarak tanımlanan her bir görünüm vektörü Fisher
uzayına yansıtılmıştır. Son olarak yüz ifadelerini
sınıflandırmada da Malahanobis mesafesi esas
alınmıştır. AAM, bir eğitim görüntü setinde ve
görüntüler arasındaki korelasyon içinde gözlemlenen
şekil ve doku değişimleri temsil eder. LDA ise, sınıflar
arasındaki ayırt edilebilirliği en yüksek düzeye çıkaran
en belirgin özellikleri elde etmek için yapılır. İki
tekniğin birleştirilmesi ile sınıf içi varyans en aza
indirilirken sınıflar arası varyans artırılmıştır.
Çalışmada, AAM oluşumu sırasında veya LDA
süresince ortaya çıkan varyasyon modlarının
sınıflandırma performansına etkisi üzerine de testler
gerçekleştirilmiştir. Testleri gerçekleştirebilmek için
yedi farklı yüz ifadesi gösteren 21 bireyin 640x480
çözünürlüğünde yüz görüntüleri ile bir ifade veritabanı
oluşturulmuştur. Öncelikle farklı yüz ifadesine sahip
yüz modellerinden elde edilen ayırt edici özelliklerin
sayısı değiştirilerek ayırt etme niteliği
değerlendirilmiştir. Ayırt etme metrik çıkışı K-
Ortalamalar Kümeleme (K-Means Clustering) sonucuna
bağlı olduğundan, bu testler 250 kez tekrarlanmıştır.
Sonuç olarak en iyi genel sınıflandırmalar %99 AAM
varyansında ve 4 LDA modunda elde edilmiştir. Ayrıca
sınıflandırma sonuçları incelendiğinde öfke ve iğrenme
ile normal ve üzüntülü ifadeler arasında bir karışıklık
olduğu görülmüştür. Bu durum, bu iki çift yüz ifadesi
arasında bir görünüş ilişkisi olduğunu
düşündürmektedir.
Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması S. Bayrakdar, D. Akgün, İ. Yücedağ
SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016 387
Video tabanlı yüz ifadeleri tanıma sisteminde doku
özellikleri yaygın olarak kullanılmaktadır. Çünkü doku
özelliklerinin çıkarılması ile cilt deformasyonuyla
ortaya çıkan görüntü yoğunluk değişiklikleri
yakalanabilir. Fakat mevcut doku özelliklerinde, aklık
derecesi (albedo) ve aydınlatma varyasyonu ile ilgili
sorunlarla karşılaşılabilmektedir. Her iki sorunu da
çözmek için Song ve arkadaşları, görüntü oran
özellikleri olarak adlandırılan yeni bir doku özelliği
önermişlerdir [33]. Ayrıca görüntü oran özelliklerine
dayanan yüz ifadesi tanıma doğruluğunu artırmak için,
yüz özellik noktalarının geometrik hareketlerini
açıklayan yüz animasyon parametrelerini (FAP-Facial
Animation Parameter) görüntü oranı özellikleri ile
birleştirilmiştir. Önerilen bu yöntemin, yüksek eğim
bileşeni özellikleri gibi daha önce önerilen doku
özellikleri ile karşılaştırıldığında, aklık derecesi (albedo)
ve aydınlatma varyasyonu ile ilgili sorunlara karşı daha
güçlü olduğu vurgulanmıştır. Görüntü oranı özellikleri
ve FAPS kombinasyonu da özelliklerin ayrı ayrı
kullanımına göre çok daha iyi sonuç vermiş ve ayrıca
asimetrik yüz ifadeleri işlemede etkili bir yöntem
olmuştur. Performans değerlendirmeleri Cohn-Kanade
ve JAFFE veritabanları kullanılarak yapılmıştır.
Oliveira ve arkadaşları yüz görüntülerinden özellik
çıkarımı için İki Boyutlu Temel Bileşen Analizi
(2DPCA-Two Dimensional Principal Component
Analysis) yöntemini kullanmışlardır [34]. 2DPCA
yönteminde geleneksel Temel Bileşen Analizi (PCA-
Principal Component Analysis) yönteminden farklı
olarak, tek boyutlu (1D) vektörler yerine iki boyutlu
(2D) matrisler kullanılır ve görüntü matrisinin bir vektör
içine dönüştürülmesi gerekmez. Ayrıca, 2DPCA ayırt
ediciliği çok yüksek özellikler sağlar. Fakat bu durumda
çok sayıda gereksiz katsayının maliyeti ortaya
çıkmaktadır. Katsayıları analiz ederek gereksiz olanları
çıkarmak için bu çalışmada kullanılan çok amaçlı
genetik algoritmaya dayalı bir özellik seçim algoritması,
katsayıları önemli ölçüde azaltarak aynı zamanda
tanıma oranını artırmıştır. Sonuç olarak özellik seçim
algoritmasıyla birlikte kullanılan 2DPCA yöntemin
etkinliğini göstermek için k-En Yakın Komşular (kNN,
k-Nearest Neighbors) ve Destek Vektör Makinesi
(SVM, Support Vector Machine) olmak üzere iki farklı
sınıflandırıcı kullanılmış ve ifadeleri sınıflandırmada
sırasıyla %91 ve %94 başarım sağlanmıştır.
Kazmi ve arkadaşları Ayrık Dalgacık Dönüşüm (DWT-
Discrete Wavelet Transform) özelliklerini yedi paralel
SVM içeren bir bankaya sağlayarak yüz görüntülerinden
yüz ifadelerinin otomatik olarak tanınması için bir
yöntem önermişlerdir [35]. Bu yöntemde ilk olarak, yüz
görüntülerinden ilgili bölge (ROI-Region of Interest)
bulunarak üç seviyeli 2D Ayrık Dalgacık ayrıştırması
ile özellikler çıkarılır ve temel bileşenler analizi ile
boyut indirgeme yapılır. Veritabanındaki her bir görüntü
için özellik seti hesaplanır ve bu özellikler yedi tane
SVM’si olan bir bankaya temin edilir. Buradaki her
SVM belirli bir yüz ifadesini tanımak için eğitilmiştir.
İkili sınıflandırma gerçekleştiren SVM’ler bire-karşı-
hepsi (one-against-all) yaklaşımı ile birleştirilerek çoklu
sınıflandırma elde edilir. Daha sonra tüm SVM’lerin
çıkışı bir maksimum fonksiyonu kullanılarak kombine
edilmiştir. Çalışmanın sınıflandırma verimliliği JAFFE
veritabanı kullanılarak test edilmiştir. Veritabanındaki
10 farklı kişiye ait toplam 150 yüz görüntüsünden 112
tanesi eğitim kalan 38 tanesi test amaçlı kullanılmıştır.
Tüm testler doğru sınıflandırma oranlarını hesaplamak
için 100 kere tekrarlanmış ve sonuçlar maksimum,
medyan ve ortalama kurallarına göre sıralanmıştır.
Farahani ve arkadaşları farklı yaş gruplarındaki göz ve
ağız özelliklerinden duygu tanınması için bulanık
tabanlı yeni bir yöntem sunmuşlardır [36]. Farklı renk
alanlarının birleşiminden gözleri ve ağız algılandıktan
sonra bulanık analizleri için dört parametre seçilmiştir.
Bu parametreler gözün açık olması, ağzın açık olması,
göz açıklık/genişlik oranı ve ağız genişliği olarak
belirlenmiştir. Daha sonra Mamdani yöntemi
kullanılarak yüz özellikleri ve onların duygu uzayındaki
karşılıkları kodlanmıştır. Bu yöntem ile Ebner’in yüz
ifadesi veritabanı üzerinde ortalama %78.8 doğruluk
oranı elde edilmiştir. Ayrıca önerilen yöntem, Cohn-
Kanade veritabanını kullanılan Yerel İkili Örüntü (LBP-
Local Binary Pattern), Destek Vektör Makineleri
(SVM-Support Vector Machine), AdaBoost ve
Yükseltilmiş LBP (Boosted-LBP) ile karşılaştırılmıştır.
Mutluluk, korku ve üzüntü ifadeleri için en iyi sonuçlar
önerilen yöntemde elde edilmesine rağmen normal ve
iğrenme ifadeleri için sonuçlar diğer yöntemlere kıyasla
daha düşük kalmıştır.
Chen ve Cheng yüz ifadesi tanıma için kenar algılama
algoritmasına dayalı bir yöntem kullanmışlardır [37].
Bu çalışmada, ten rengi modeli ile bulunan yüz
görüntülerindeki gözler ve dudak tespit edilerek
işaretlenmiş ve kenar şekil özellikleri çıkarılmıştır.
Kenar belirleme için yaygın olarak kullanılan Canny,
Laplace, Sobel ve Robert operatörleri karşılaştırılmıştır.
Elde edilen sonuçlara göre Canny operatörü kenar
belirlemede karmaşık, Robert operatörü basit, Laplace
ve Sobel operatörleri ise belirsizdir. Sistem JAFFE
veritabanı kullanılarak seçilen yüz görüntüleri ile
eğitilmiş ve test edilmiştir. Mutluluk, normal, üzüntü ve
şaşırma ifadelerini tanımak için yapılan test sonuçlarına
göre en yüksek değerler Canny operatörü ile elde
edilmiştir. Gözlerin ve dudağın ana hatlarının net olarak
tespit edilebilmesi, öncelikle yüz bulma doğruluğuyla
ilgili olmakla birlikte, hassas ve anti-gürültü yeteneğine
sahip iyi bir kenar algılama operatörü seçimiyle de
doğrudan ilgilidir.
S. Bayrakdar, D. Akgün, İ. Yücedağ Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması
388 SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016
Neoh ve arkadaşları katmanlı kodlama kaskad
optimizasyon modeli ile yüz ifadesi tanıma sistemi
üzerinde çalışmışlardır [38]. Etkili bir yüz gösterimi
duygu tanıma başarısı için önemli bir aşama
olduğundan, çalışmalarında ilk olarak geliştirilmiş Yerel
Gabor İkili Desen (Local Gabor Binary Pattern)
operatörünü yüz temsilini elde etmek için
kullanmışlardır. Ayrıca sistemlerindeki katmanlı kaskat
modeli altında, özellik optimizasyonu için evrimsel
algoritmalar olan Doğrudan Benzerlik ve Pareto-Tabanlı
Özellik Seçimi algoritmalarını önermişlerdir. Doğrudan
Benzerlik özellik seçimi, minimum sınıf içi
varyasyonunu veren aynı duygu kategorisi içindeki
özellikleri göz önünde bulundurur. Pareto-tabanlı
özellik optimizasyonunda ise her bir ifade kategorisini
en iyi şekilde temsil eden ve aynı zamanda diğer
ifadeler ile en belirgin farkları ortaya koyan özellikler
üzerinde durur. Seçilen optimize özelliklere dayalı yedi
farklı yüz ifadesinin tanınması için hem Sinir Ağı, hem
de ağırlıklı oy çokluğu ile topluluk sınıflandırıcı
(ensemble classifier with weighted majority vote)
teknikleri kullanılmıştır. Topluluk modeli aynı zamanda
verilerdeki en son kavramlar ile kendini
güncellemektedir. Cohn-Kanade veritabanı ile
değerlendirilen sistem; doğrudan benzerlik tabanlı
optimizasyon için %96,8, Pareto-tabanlı özellik seçimi
için %97,4 doğruluk oranları ile literatürdeki diğer
araştırmaları geride bırakmıştır. Ayrıca sistem
verimliliğini kanıtlamak için MMI veritabanından ön
cepheden alınan yüz görüntüleri ile çapraz veritabanı
değerlendirmesi yapılmıştır. MMI veritabanı ile elde
edilen sonuçlar incelendiğinde, Pareto-tabanlı yaklaşım
için %97,5, doğrudan benzerlik tabanlı özellik seçimi
için %90,7 doğrulukta ifade tanıma oranları
görülmektedir. MMI veritabanındaki videolardan
çıkartılan 90
o
yandan görünüm yüz görüntüleri için ise,
her iki optimizasyon algoritmasında da %80’in üzerinde
doğruluk ile üstün performans elde edilmiştir.
Tablo 1. Literatürdeki çalışmaların karşılaştırılması (Comparison of related works)
Yıl
(Year)
Yazarlar
(Authors)
Özellik Çıkarımı
(Features Extraction)
Sınıflandırma
(Classification)
1996 Y. Yacoob,
L. S. Davis [24]
Optik akış hesaplama
(Optical flow computation)
İstatistiksel karakterizasyon
(Statistical characterization)
1998
N. Tsapatsoulis,
M. Leonidou,
S. Kollias [25]
Yüz bölütleme, hareket alanının yönlü
filtrelenmesi, hareket vektörlerinin
enerjisi (Face segmentation, directional
filtering of the motion field and
energy of motion vectors)
Gözlem bağımlı geçiş matrisiyle
geliştirilmiş Saklı Markov Modeli
(Enhanced HMM with an observation
dependent transition matrix)
1999 Z. Zhang [26]
Geometrik konumlar ve çok ölçekli,
çok yönelimli Gabor dalgacık katsayıları
(Geometric positions and
multi-scale and multi-orientation
Gabor wavelet coefficients)
2-katmanlı algılayıcı
(Two-layer perceptron)
2000 I. Cohen, A. Garg,
T. S. Huang [27]
Yüz izleme ve Eylem Birimi ölçümleri
(Face tracking and AUs measurements)
Çok seviyeli Saklı Markov Modeli
(Multilevel HMM)
2002
S. B. Gokturk,
J. Bouguet,
C. Tomasi,
B. Girod [28]
3D model tabanlı izleyici
(3D model-based tracker)
Destek Vektör Makinesi
(Support Vector Machine-SVM)
2003 L. C De Silva,
S. C. Hui [29]
Kenar belirleme ve
görüntü-korelasyon optik akış
(Edge detection and
image-correlation optical flow)
Sinir Ağı
(Neural Network-NN)
2005
X. Feng,
M. Pietikäinen,
A. Hadid [30]
Yerel İkili Örüntü operatörü
(Local Binary Pattern operator-LBP)
Lineer Programla tekniği
(Linear Programming technique-LP)
2008 S. M. Lajevardi,
M. Lech [31] MIFS Naive Bayesian (NB)
2008
P. Martins,
J. Sampaio,
J. Batista [32]
Aktif Görünüm Modeli
(Active Appearance Model-AAM)
Lineer Diskriminant Analizi ve
En Yakın Komşu Algoritması
(Linear Discriminant Analysis-LDA
and Nearest-Neighborhood Algortihm)
Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması S. Bayrakdar, D. Akgün, İ. Yücedağ
SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016 389
2010
M. Song, D. Tao,
Z. Liu, X. Li,
M. Zhou [33]
Görüntü oran özellikleri ve
yüz animasyon parametreleri
(Image ratio features and
Facial Animation Parameters-FAPs)
Destek Vektör Makinesi
(Support Vector Machine-SVM)
2011
L. S. Oliveira,
A. L. Koerich,
M. Mansano,
A. S. Britto [34]
İki Boyutlu Temel Bileşen Analizi
(Two Dimensional Principal Component
Analysis-2DPCA)
K-En Yakın Komşular ve
Destek Vektör Makinesi
(k-Nearest Neighbors-kNN
and SVM)
2011
S. B. Kazmi,
Q. Ain,
M. A. Jaffar [35]
3 seviyeli 2D Ayrık Dalgacık Dönüşümü
(3-level 2D Discrete
Wavelet Transform-DWT)
Destek Vektör Makinesi Bankası
(SVM Bank)
2013
F.S. Farahani,
M. Sheikhan,
A. Farrokhi [36]
Kenar belirleme ve morfolojik işlemler
(Edge detection and
morphological operations)
Mamdani Bulanık-tabanlı metot
(Mamdani Fuzzy-based method)
2015 X. Chen,
W. Cheng [37]
Kenar belirleme
(Edge detection)
Veri tabanındaki ifadelerle karşılaştırma
(Comparing with the expressions
in the database)
2015
S. C. Neoh,
L. Zhang, K.
Mistry,
M. A. Hossain,
C. P. Lim,
N. Aslam,
P. Kinghorn [38]
Yerel Gabor İkili Örüntü, doğrudan
benzerlik ve Pareto-tabanlı özellik seçimi
(Local Gabor Binary Pattern, direct
similarity and Pareto-based
feature selection)
Sinir Ağı ve topluluk sınıflandırıcı
(Neural Network and
ensemble classifier)
3. OTOMATİK YÜZ İFADE ANALİZİ
(AUTOMATİC FACIAL EXPRESSION ANALYSIS)
Yüz ifadeleri; kozmetik ürünler, sakal-bıyık, saç ve
gözlük gibi yüzün bir kısmını kapatan nesnelerden ya da
cinsiyet, yaş, etnik köken gibi farklılıklardan dolayı
kişiden kişiye büyük ölçüde farklılık
gösterebileceğinden otomatik yüz ifade analizi karmaşık
bir işlemdir. Ayrıca yüzler, çoğu zaman poz ve
aydınlatma farklılıkları nedeniyle de olduğundan daha
başka görünebilir. Bununla birlikte görüntünün elde
edilmesi, boyut ve çözünürlük gibi problemler de yüz
ifadelerinin tanınmasını zorlaştırabilmektedir. Bu gibi
çeşitli varyasyonların otomatik yüz ifadesi analiz
sisteminin değişik aşamalarında ele alınması
gerekmektedir [6].
Bütün yüz ifadesi analiz sistemlerinde, ifadeyi belirli bir
duygunun içine sınıflandırmadan önce
gerçekleştirilmesi gereken temel adımlar vardır.
Bunlardan ilki, görüntü veya görüntü dizilerinden yüzün
belirlenmesi veya izlenmesi işlemidir [39]. Yüz
görüntüleri, yüz analizi sırasında poz, ölçek ve
aydınlatma faktörü gibi istenmeyen durumları ortadan
kaldırmak için bazı önişlemlerden geçirilerek normalize
edilir [40]. Yüz belirlendikten sonra ise yüz ifadesini
oluşturan yüz özniteliklerinin çıkarılması ya da yüzdeki
kas veya görünüm değişimlerinin izlemesi ve bu
değişimlerin ifade edilmesi gerekmektedir. Son olarak
da yüz görüntülerinden elde edilen özellik seti yüz
ifadelerini tanımlamak için uygun algoritmalar
kullanılarak sınıflandırılır [39]. Yüz ifade analizinin
genel yapısı Şekil 1’de gösterilmektedir.
Şekil 1. Yüz ifadesi analiz sisteminin temel yapısı (Basic structure of
facial expression analysis)
Yüz ifadesi analiz sistemlerinde yüz görüntüsü çeşitli
şekillerde ifade edilebilir. Eğer yüz görüntüsü bir bütün
olarak temsil ediliyorsa bütünsel gösterim (holistic
representation), bir dizi olarak temsil ediliyorsa analitik
gösterim (analytic representation) olarak adlandırılır.
Hibrit yaklaşım olarak da yüz, bütünsel ve analitik
gösterimin bir kombinasyonu olarak temsil
edilebilmektedir [41]. Yüz ifadeleri; ağız, burun, gözler
ve kaşlar gibi yüz ifadesini oluşturan belirgin yüz
özelliklerinin geçici değişimleri (deformation) ile
oluşmaktadır. Statik yüz görüntülerinden yüz ifadesi
bilgilerini çıkarma işlemi yüzün ve yüz özelliklerinin
yerinin belirlenmesi ile başlarken görüntü dizilerinde bu
işlem yüz ve yüz özelliklerinin belirlendikten sonra
izlenmesi ile ilgilidir. Sonuç olarak yüz ifade analiz
sistemlerinde yüz gösterimi ve giriş görüntülerinin türü
yüz ifadesi bilgilerinin otomatik olarak elde edilmesi
için kullanılacak mekanizmaların seçimini
belirlemektedir.
Yüz Edinimi Yüz İfadesi
Sınıflandırma
Yüz İfadelerine Ait
Özellik Çıkarımı
S. Bayrakdar, D. Akgün, İ. Yücedağ Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması
390 SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016
3.1. Yüz Belirleme ve İzleme
(Face Detection and
Tracking)
Yüz belirleme, giriş görüntülerinden otomatik olarak
yüz bölgesinin bulunması için gerçekleştirilen bir işlem
aşamasıdır. Yüz izleme ise görüntü dizilerinin ilk
karesinde yüzün tespit edilmesine ve kalan diğer
görüntü karelerinde de yüzün izlenmesine
dayanmaktadır. Yüz ifade analiz sistemlerinde
ifadelerinin sınıflandırılabilmesi, görüntülerdeki yüz
bölgesinin doğru olarak tespit edilebilmesiyle doğrudan
ilişkilidir. Bu yüzden kullanılan yüz belirleme ya da
izleme algoritmaları en az ifade sınıflandırmada
kullanılan yöntemler kadar önem taşımaktadır.
Literatürde yüz tespiti üzerine farklı algoritma ve
yöntemler kullanılarak gerçekleştirilen çok çeşitli
çalışmalar yapılmıştır [42-49]. Yüz belirleme
yöntemleri genel olarak bilgi, öznitelik, şablon ve
görünüm tabanlı yöntemler olmak üzere dört kategori
içinde sınıflandırılmaktadır [50].
Bilgi tabanlı yöntemler; yüz bilgisinin kodlanmasındaki
kurallara dayanmaktadırlar. Bu kurallar genellikle yüz
özellikleri arasındaki ilişkiler ele alınarak oluşturulur.
Örneğin bir yüz görüntüsü en genel ifadesiyle birbirine
simetrik olan iki göz, iki gözün ortasında kalan bir
burun ve ağız olarak ifade edilebilir. Gözler, burun ve
ağzın konumları ve arasındaki mesafeler yüzü tespit
etmek için kodlanacak ilişkiler olarak kullanılabilir.
Öznitelik tabanlı yöntemler; yüz görüntülerindeki poz,
bakış açısı ya da aydınlatma koşulları değişse bile
değişmeyen yapısal özellikleri bulmayı amaçlamaktadır.
Değişmeyen yüz özniteliklerini belirleyerek görüntüde
yüz olup olmadığı hakkında çıkarım yapmak için çok
sayıda yöntem ileri sürülmüştür. Bazı yöntemlerde
kaşlar, gözler, burun, ağız ve saç çizgisi gibi yüz
nitelikleri kenar algılayıcılar kullanılarak çıkarılır. Daha
sonra çıkarılan özellikler arasındaki ilişkiyi tanımlamak
ve bir yüz olup olmadığını doğrulamak için istatiksel
model oluşturulur. Bazı yöntemlerde ten rengi de özellik
olarak kullanılmıştır.
Şablon eşleme tabanlı yöntemler; genellikle önceden
tanımlanmış standart bir ön cephe yüz şablonuna ya da
yüz şablonunun bir fonksiyon ile ifade edilmesine
dayanmaktadır. Yüz şablonu bir bütün olarak
tanımlanabildiği gibi yüz özelliklerinin ayrı ayrı
şablonlarda tanımlanması da mümkündür. Yüz tespiti
için giriş görüntüsü ile oluşturan şablon ya şablonlar
arasındaki korelasyon hesaplanır ve korelasyon
değerlerine göre yüz olup olmadığına karar verilir.
Görünüm tabanlı yöntemler; yüz modellerinin görüntü
eğitim setlerinden öğrenilmesini esas alarak çalışır.
Eğitim setlerinden öğrenilen karakteristikler genellikle
dağılım modelleri ya da diskriminant fonksiyonları
şeklinde ifade edilmektedir. Bu aşamada hesaplama
verimliliğini artırmak ve yüz algılama etkinliğini
sağlamak için boyut azaltma algoritmaları
uygulanmaktadır. Yüz olan ve yüz olmayan
görüntülerinin ilgili karakteristik özelliklerini bulmak
için ise istatistiksel analiz ve makine öğrenmesine
dayanan teknikler kullanır.
Yüz belirleme çalışmalarında literatürde en çok
kullanılan yüksek performanslı yöntemlerden birisi
Viola-Jones algoritmasıdır. 2004 yılında Viola ve Jones,
ön cepheden olan yüz görüntülerini algılamak için Haar
dalgacık şablonlarına benzeyen dikdörtgen özellikleri
kullanarak, öğrenme algoritması temelli oldukça hızlı
sonuç verebilen ve güvenilir bir yüz belirleme yöntemi
geliştirmişlerdir [51]. Şekil 2’de çalışmalarında
kullandıkları iki-dikdörtgen, üç-dikdörtgen ve dört-
dikdörtgen özelliklerine ait alt pencereler
gösterilmektedir.
Şekil 2. Dikdörtgen özellikler (Rectangle features) [51]
Şekil 2’nin (A) ve (B) alt pencerelerinde gösterilen iki-
dikdörtgen özelliğinin değeri, dikdörtgen bölgelerin
kendi içindeki piksellerin toplamı arasındaki farka eşit
olurken; (C) alt penceresinde gösterilen üç-dikdörtgen
özelliğinin değeri, dıştaki iki dikdörtgen bölgenin piksel
toplamlarının merkezdeki dikdörtgen içindeki
piksellerin toplamından çıkarılmasıyla elde edilir. Şekil
2’nin (D) alt pencerelerinde gösterilen dört-dikdörtgen
özelliğinin değeri ise çapraz dikdörtgen çiftleri
arasındaki fark kullanılarak hesaplanır. Dikdörtgen
özelliklerin yüz görüntüsü üzerinde kullanımı Şekil 3’de
gösterilmektedir.
Şekil 3. Dikdörtgen özelliklerin yüz görüntülerine uygulanması
(Implementation of the rectangular features on facial images) [51]
(A) (B)
(C)
(D)
Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması S. Bayrakdar, D. Akgün, İ. Yücedağ
SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016 391
Viola ve Jones, dikdörtgen özelliklerini çok hızlı bir
şekilde hesaplamak için “integral görüntü (integral
image)” olarak adlandırdıkları bir ara görüntü temsili
tanımlamışlardır [51]. İntegral görüntüyü kullanarak
geliştirdikleri yöntem görüntüdeki piksel değerlerinin
toplamlarına dayanmaktadır. Şekil 4’de bir integral
görüntünün hesaplanması gösterilmiştir. Elde edilen
integral görüntüdeki her bir piksel, kendisinin solunda
ve yukarısında bulunan tüm piksel değerlerinin
toplamından oluşmaktadır. Örneğin 1 konumdaki
integral görüntünün değeri A bölgesindeki piksellerin
toplam değerine eşit olurken 2 konumdaki integral
görüntünün değeri A ve B bölgelerindeki piksellerin
toplam değerine eşit olmaktadır. Benzer şekilde 3
konumdaki integral görüntünün değeri A ve C
bölgelerindeki toplam piksel değerinde, 4 konumdaki
integral görüntünün değeri ise A, B, C ve D
bölgelerindeki toplam piksel değerine eşittir.
Viola-Jones algoritmasında, yeni bir görüntü gösterimi
olan integral görüntü hesaplandıktan sonra, potansiyel
özelliklerin çok geniş bir kümesinden daha az sayıda
olan en önemli görsel özellikleri seçmek için AdaBoost
öğrenme algoritması kullanılarak basit ve etkili bir
sınıflandırıcı inşa edilmiştir [51]. AdaBoost
algoritmasının amacı, eğitim seti üzerindeki örneklerden
hesaplanan bir D dağılımına bağlı olarak, zayıf
sınıflandırıcılar oluşturmaktır. D dağılımı algoritmanın
eğitim setindeki her bir örneğe karşılık verdiği
katsayılar kümesidir. Algoritma her bir eğitim örneği
için eşit bir D dağılımı oluşturarak çalışmaya başlar.
Her iterasyonda sınıflama performansı göz önüne
alınarak en iyi zayıf sınıflayıcı bulunur ve ağırlıklar
güncellenerek bir olasılık dağılım fonksiyonu
oluşturulur. Sonraki iterasyonlarda aynı işlemler
tekrarlanır ve belirli sayıda iterasyon sonucunda
bulunan en güçlü zayıf sınıflayıcılar bir araya getirilerek
güçlü bir sınıflayıcı oluşturulur [52]. Viola-Jones
algoritmasın bir sonraki aşamasında ise sınıflayıcıları art
arda birleştiren “kaskat (cascade)” bir yapı kullanılır. Bu
yapı, görüntünün arka planının çıkarılarak yüz olması
muhtemel bölgelerde daha fazla hesaplama yapılmasına
olanak sağlar ve bu sayede de görüntüde yüz olma
olasılığı yüksek olan bölgelere odaklanan detektörün
hızını ciddi bir şekilde artırılmış olur [51]. Viola ve
Jones, Haar-benzeri özellikleri ve kaskat hızlandırmayı
birlikte kullanarak yüz belirleme çalışmalarında önemli
bir aşama kaydetmişlerdir.
Yüz izleme yöntemleri genel olarak üç kategoriye
ayrılabilir [53]. Bunlardan ilki başın izlenmesine (head
tracking) dayanan yöntemleri içerir. Baş, çevirme
(translations) ve dönme (rotations) hareketlerini
gerçekleştirebilen katı (rigid) bir nesne olarak algılanır
ve hareket takibi yapılır. Yüz özelliklerinin izlenmesini
(facial-feature tracking) içeren ikinci kategoride yüz
anatomisi ile sınırlı, katı olmayan (non-rigid) yüzeysel
değişimler esas alınır. Yüzeysel değişimlere örnek
olarak yüz kaslarının konuşmalardan ya da yüz
ifadelerinden kaynaklanan kasılma-gevşeme
durumlarındaki değişimler verilebilir. Son kategoride
ise baş ve yüz özelliklerinin takibini birleştiren
yöntemler yer almaktadır. Video dizilerinden yüz
özelliklerinin tespiti ve takibi özellikle bilgisayarlı görü
(computer vision) alanında en çok araştırılan konulardan
biridir ve bu alanda özellikle son 10 yılda yapılmış çok
fazla çalışma vardır [54-60].
3.2. Yüz İfadelerine Ait Özelliklerin Çıkarılması
(Extraction of Facial Features)
Yüz görüntüleri büyük miktarda veri içerdiğinden, önce
bu verileri analiz etmek ve elde edilen somut bilgileri
“özellik uzayı (feature space)” olarak adlandırılan veri
setleri içine sentezlemek gerekmektedir. Yüz ifade
analiz sistemlerinin performansları da oluşturulan
özellik uzayı ile doğrudan ilişkilidir. Özellik uzayının
amaca yönelik, doğru ve öz verilerden oluşması
sistemin performansını iyileştirmekle birlikte
güvenilirliğini de artırmaktadır [61].
Yüz ifade analiz sistemlerinde özelliklerin çıkarılma
aşamasında, ifadelerinin neden olduğu değişimleri
temsil etmek için görüntü veya görüntü dizilerinden yüz
özelliklerinin elde edilir. Tek görüntü temelli
çalışmalarda, yüz ifadelerine ait karakteristik özellikler
belirlenirken; video temelli çalışmalarda bu özellikler
ardışık görüntülerde takip edilmekte ve değişimlerin
sebep olduğu hareket verileri incelenmektedir [62]. Yüz
ifadelerine ait özelliklerin çıkarılmasında Geometrik
Özellikler (Geometric Features) ve Görünüm-tabanlı
Özellikler (Appearance-based Features) olmak üzere
kullanılan 2 temel yaklaşım vardır [63].
Geometrik Özellikler yaklaşımında, yüz ifadelerine ait
verileri elde etmek için ağız, göz, kaş ve burun gibi yüz
bileşenlerinin şekil ve yer bilgileri kullanılır. Yüz
görüntülerinden bu bilgileri elde etmek için ise yüz
geometrisinden faydalanılmaktadır. Çünkü ideal bir
insan yüzünde, bedeninde olduğu gibi, doğru kabul
edilen belirli oranlar vardır. Gözlerin baş yüksekliğinin
tam ortasında bulunması; iki göz arasındaki uzaklığın
bir gözün uzunluğuna kadar olması ve aynı zamanda bu
uzunluğun burun genişliğine eşitliği gibi geometrik
oranlar ile yüz yüksekliği/yüz genişliği, ağız
uzunluğu/burun genişliği gibi altın oranlar yüz
özelliklerinin elde edilmesinde kullanılan oranlardan
bazılarıdır [52]. Bu yaklaşıma dayanan yöntemlerde yüz
bileşenleri ya da yüz özellik noktaları, yüz geometrisini
temsil eden bir özellik vektörü kullanılarak çıkartılır
[63]. Geometrik özelliklerin ölçümü genellikle yüz
bölgesinin analizine, özellikle de yüz bölgesindeki
S. Bayrakdar, D. Akgün, İ. Yücedağ Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması
392 SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016
önemli noktaları bulunmasına ya da izlemesine bağlıdır
ve literatürde bu konuda yapılan çeşitli çalışmalar vardır
[64-67]. Yapılan çalışmalarda Aktif Şekil Modeli
(ASM-Active Shape Model) [68, 69] ve Optik Akış [70,
71] en çok kullanılan yöntemlerdir.
Aktif Şekil Modelleri, görüntülerdeki istatistiksel olarak
modellenmiş nesne şekillerinin sınır noktalarını
(nirengi) otomatik olarak bulmayı hedeflemektedir. Yüz
modelleme yapılırken ilgili sınır noktaları gözler, kaşlar,
burun ve dudak gibi yüz özelliklerinin sınırları boyunca
oluşmaktadır. ASM’nin eğitim aşamasında, sınır
noktaları elle işaretlenmiş görüntülerden oluşan eğitim
setleri kullanılır ve istatistiksel yüz modeli oluşturulur
[72]. Şekil 5’te, 79 tane nokta ile sınırları belirlenmiş
yüz özelliklerini içeren örnek bir yüz nirengi noktaları
şeması görülmektedir.
Şekil 4. ASM için örnek yüz nirengi noktaları şeması (Example of
face landmarking scheme for ASM) [72]
Görünüm-tabanlı özellikler yaklaşımında, özellikle göz
ve ağız çevresinde oluşan izler gibi cilt dokusunda
meydana gelen değişimler esas alınır ve yüz dokusu
üzerinde görülen bu değişimler ifade sınıflandırma için
kullanılır. İlk aşamada yüz görüntülerindeki yüzün
tamamından ya da belirli yüz bölgelerinden görünüm
özellikleri çıkarılarak bir özellik vektörü oluşturulur
[63]. Gabor filtresi [73- 76] veya Yerel İkili Örüntü
(LBP) operatörü [30, 38, 77, 78] gibi teknikler yüz
görünüm özelliklerini tespit ederek bir özellik vektörü
oluşturmak için sıkça kullanılmaktadır. Daha sonra elde
edilen özellik vektörü Destek Vektör Makinesi (SVM),
Sinir Ağı (NN), Naive Bayesian (NB) gibi sınıflandırma
yöntemlerine girdi olarak verilmektedir [79].
Gabor filtreleri görüntü analizinde özellik çıkarımı için
kullanılan en önemli tekniklerden biridir. Özellikle yüz
ve yüz ifadesi tanıma çalışmalarında yaygın olarak
kullanılan Gabor filtreleri bant geçiren bir yapıya
sahiptir ve bu filtreler kullanılarak bir görüntü üzerinde
belirli bir yöne uzanan ayrıtlar tespit edilebilmektedir.
Ayrıca değişik niteliklere sahip özelliklerin elde
edilebilmesi için, farklı yönelimlerde (orientation) ve
farklı ölçeklerde (scale) çeşitli frekans değerlerine sahip
Gabor filtreleriyle bir filtre bankası oluşturulabilir. Bu
sayede yüz dokusunun ayrıntılı bir şekilde analiz
edilmesi mümkün olmaktadır [80]. Şekil 5’te sekiz
farklı yönelimde, beş farklı ölçekte Gabor filtreleri ve
yüz görüntüsü üzerinde uygulanması görülmektedir.
Şekil 5. Gabor filtreleri ve yüz görüntüsüne uygulanması (Gabor
Filters and implementation of them on facial image) [81]
Yüz ifadesi analiz sistemlerinde yüz özelliklerini temsil
etmek için, sadece geometrik özellikler ya da sadece
görüntüm-tabanlı özellikler kullanılabildiği gibi ikisinin
birleşimi olan hibrit özellikler de kullanılabilmektedir
[82- 85]. Araştırmalar geometrik özelliklerin ve
görünüm-tabanlı özelliklerin birlikte kullanıldığı hibrit
özelliklerin özellikle bazı ifadeler için çok daha iyi
sonuç verdiğini göstermiştir [63].
3.3. Yüz İfadelerinin Sınıflandırılması
(Classification
of Facial Expressions)
Yüz ifade analiz sistemlerinin son işlem bloğunda, yüz
ifadelerini tanımlamak için bir önceki aşamada elde
edilen yüz ifadelerine ait özellik setleri kullanılır ve
özellik verileri arasındaki benzerlikten faydalanarak bir
sınıflandırma işlemi gerçekleştirilir. Destek Vektör
Makineleri (SVM), Sinir Ağları (NN), Lineer
Diskriminant Analizi (LDA), k-En Yakın Komşular
(kNN) ve Saklı Markov Modeli (HMM) gibi çok çeşitli
sınıflandırma yöntemleri geliştirilmiştir. Sınıflandırma
işlemi denetimli bir eğitim gerektirdiğinden öncelikle
etiketli verilerden oluşan bir eğitim seti hazırlanmalıdır.
Eğitim seti kullanılarak sınıflandırıcı eğitimi
tamamlandıktan sonra sistem, giriş görüntülerindeki
yüzlere ifadelerine göre belirli sınıf etiketleri atayarak
onları tanıyabilir [41].
Destek Vektör Makineleri (SVM), istatiksel öğrenme
teorisine dayanan ve sınıflandırma problemlerinde
kullanılan en etkili yöntemlerden birisidir. SVM eğitim
verilerinin özellik vektörü olarak ifade edilmesiyle
çalışmaya başlar. Daha sonra bu özellik vektörlerinin
çekirdek fonksiyonları kullanılarak özellik uzayına
eşleme yapılır. Son olarak da sınıfları en uygun şekilde
birbirinden ayıran n-boyutlu hiperdüzlem oluşturulur.
Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması S. Bayrakdar, D. Akgün, İ. Yücedağ
SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016 393
Ayrıca, sınıfları birbirinden ayırırken olabildiğince
geniş bir aralık belirlenerek ayırma işlemi daha doğru
bir şekilde gerçekleştirilmektedir [86]. Bu şekilde en
uygun hiperdüzlemin belirlenmesiyle test verilerini
sınıflandırılma hatası en aza indirilmiş olur. Şekil 6’da
SVM’lerin temel çalışma yapısı gösterilmiştir.
Şekil 6. SVM’nin optimal ayırma düzlemi (The optimal separation
hyperplane of SVM) [86]
SVM sınıflandırma yöntemi başlangıçta iki sınıflı
doğrusal verilerin sınıflandırma problemlerinde
kullanılmak üzere tasarlanmışsa olsa da, daha sonra çok
sınıflı ve doğrusal olmayan verilerin sınıflandırma
problemleri için geliştirilmiştir ve günümüzde çoklu
ifade sınıflandırma problemlerinde yaygın olarak
kullanılmaktadır [9, 28, 33-35]. Ayrıca Sinir Ağları [29,
38, 82, 83], Saklı Markov Modeli [25, 27, 64] ve Lineer
Diskriminant Analizi [32, 86, 87] ile de çok çeşitli yüz
ifadesi sınıflandırma çalışmaları yapılmıştır.
4. YÜZ İFADE VERİTABANLARI
(FACIAL
EXPRESSION DATABASES)
İnsan yüzü şaşırtıcı derecede ifade çeşitliliği gösterebilir
ve bu ifade örneklerinin toplanıp anlamlı bir şekilde
birleştirilmesi zorlu bir görevdir. Fakat yüz ifade analiz
sistemlerinde kullanılan yöntemlerin test edilmesi,
performans hesaplamaları ve doğruluk yüzdelerinin
karşılaştırılması gibi işlemlerin yapılabilmesi için
standart veri setlerine ihtiyaç duyulmuştur. Bu amaçla
farklı poz ve aydınlatma koşullar altında ve farklı
denekler ile gerçekleştirilen çeşitli ifade veritabanları
oluşturulmuştur. JAFFE, FEEDTUM, Cohn-Kanade,
MMIFACE, FERET, YALE, MMI ve MUG en çok
kullanılan yüz ifadesi veritabanlarıdır.
JAFFE veritabanı, 10 Japon kadın deneğe ait yarı-
yansıtıcı bir ayna önünde elde edilen 219 renksiz yüz
görüntüsünden oluşmaktadır [88]. Görüntüler elde
edilirken tüm deneklerin saçları yüz ifade bölgelerini
açığa çıkaracak şekilde bağlanmış ve her birine ait yüz
görüntüleri 3 ya da 4 kez kaydedilmiştir. JAFFE
veritabanından öfke, iğrenme, korkma, mutluluk,
normal, üzüntü ve şaşkınlık duygularına ait özgün yüz
ifadelerini içeren örnek yüz görüntüleri Şekil 7’de
gösterilmiştir.
Şekil 7. JAFFE veritabanına ait örnek yüz görüntüleri (Examples of
face images from the JAFFE database)
Görünüm-tabanlı özellikler yaklaşımında, özellikle göz
ve ağız çevresinde oluşan Cohn-Kanade, 97 denek ile
hazırlanmış 486 görüntü dizisi içeren ilk versiyonuyla
2000 yılında araştırmacılara sunulmuş bir veritabanıdır
[89]. Veritabanındaki her bir görüntü dizisinin ilk karesi
doğal bir ifade ile başlar ve ilerleyen karelerde
gösterilmek istenen ifade zirvesine ulaşılır. Bu şekilde
elde edilen altı temel yüz ifadesine ait 24-bitlik renkli
görüntüler 640x480 piksel; 8-bit gri ölçekli görüntüler
ise 640x490 piksel çözünürlüğünde kaydedilmiştir.
Daha sonra, 26 yeni denek ve onlara ait 107 tane yüz
ifade görüntüsü eklenerek genişletilen Cohn-Kanade
veritabanı, duygu etiketleri ve yüz takibi bilgileri gibi
meta-veriler ile daha kapsamlı bir hale getirilmiştir. Son
olarak da 2010 yılında Genişletilmiş Cohn-Kanade
veritabanı (CK+, The Extended Cohn-Kanade Dataset)
olarak kullanıcılara açılmıştır [90]. Şekil 8’de CK+
veritabanından seçilen bazı yüz ifadelerine ait örnek
görüntüler gösterilmiştir.
Şekil 8. CK+ veritabanına ait görüntü dizilerinden örnek yüz ifadeleri
(Examples of facial expressions of image sequences from the CK+
database)
MUG veritabanı, daha önceki benzer veritabanlarının
aydınlatma ve çözünürlük gibi kısıtlamalarını çözmek
için düzgün ve eşit bir şekilde aydınlatılmış laboratuvar
ortamında yüksek çözünürlüklü, renkli yüz
görüntülerden oluşturulmuştur [91]. Yüz ifadesi
görüntüleri 20-35 yaş arası 35’i kadın 51’i erkek toplam
86 Kafkas kökenli deneklerden elde edilmiş ve 896×896
piksel çözünürlüğünde, jpg formatında kaydedilmiştir.
S. Bayrakdar, D. Akgün, İ. Yücedağ Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması
394 SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016
MUG veritabanından altı temel yüz ifadesine ait farklı
yüz görüntüleri Şekil 9’da görülmektedir.
Şekil 9. Her temel yüz ifadesi için MUG veritabanına ait iki örnek
görüntü (Two sample images for each basic expression from the
MUG database)
Yüz ifade analiz ile ilgili algoritmaların geliştirilmesi ve
değerlendirilmesi için ortak bir zemin sağlayan ifade
veritabanlarının amaca uygun olarak seçilmesi gerekir.
Örneğin, bir algoritmanın farklı aydınlatma koşulları
altında ya da farklı pozlarda nasıl davranacağı test
edilmek isteniyorsa, hali hazırda kullanılan çok fazla
veritabanı olmasına rağmen, aranan özellikleri içeren en
uygun veri setleri kullanılmalıdır.
5. SONUÇLAR
(CONCLUSION)
Yüz ifadeleri, insanlar arasındaki sözsüz iletişimin en
önemli parçasıdır ve kişinin hem sosyal hem de
duygusal durumuyla ilgili birçok bilgi içermektedir.
Teknolojik gelişmelerle birlikte eğitim, eğlence,
güvenlik ve sağlık gibi birçok alanda ortaya çıkan
ihtiyaçların bir sonucu olarak yüz ifade analiz sistemleri
geliştirilmiştir. Günümüzde çoğu yüz ifade analiz
sistemi, herhangi bir kullanıcı müdahalesine gerek
kalmadan, yüz ifadelerini doğrudan temel duygusal
kategorilerle eşitleyerek çalışmaktadır. Sistemlerin
içyapısı incelendiğinde ise, görüntü ya da görüntü
dizileri üzerinde çalışmasına bağlı olarak, yüz belirleme
ya da izleme, yüz ifadelerine ait özelliklerin elde
edilmesi ya da ifadelerin neden olduğu değişimlerin
incelenmesi ve son olarak da sınıflandırma bloklarından
oluştuğu görülmektedir. Bu alanda yapılacak olan yeni
çalışmalarda, önceki yöntemlere kıyasla hesaplaması
kolay, daha az bellek kullanan ve daha hızlı çalışan yeni
yöntemler geliştirilebilir. Geliştirilecek olan yöntemler
insan-robot etkileşimi çalışmalarında da kullanılabilir.
Bu çalışmada, yüz ifadelerinin analizi ile ilgili
literatürde yapılan çeşitli çalışmalara yer verilmiştir.
Ayrıca, yüz ifade analiz sistemlerinde en çok kullanılan
yaklaşımlar incelenerek bu alanda yapılabilecek yeni
çalışmalara kaynak oluşturulmuştur.
KAYNAKÇA
(REFERENCES)
[1] C. Darwin, “Expression of
the emotions in man
and animals”, London, John Murray, 1872.
[2] A. Mehriban, “Communication without words”,
Psychology Today, cilt 2, no. 4, pp. 53-56, 1968.
[3] P. Ekman ve W. V. Friesen, “Constants
across
cultures in the face and emotion”,
Journal of
Personality and Social Psychology,
cilt 17, no. 2,
pp. 124-129, 1971.
[4] P. Ekman, “Universals and cultural differences in
facial expressions of emotion”,
Nebraska
Symposium on Motivation , Lincoln, 1972.
[5] M. Suwa, N. Sugie ve K. Fujimora, “
A
preliminary note on pattern recognition of human
emotional expression”,
Proceedings of the Fourth
International Joint Conference
on Pattern
Recognition, Kyoto, 1978.
[6] B. Fasel ve J. Luettin, “
Automatic Facial
Expression Analysis: A Survey”,
Pattern
Recognition, cilt 36, pp. 259-275, 2003.
[7] J. Kumaria, R. Rajesh ve K. Poojaa, “
Facial
expression recognition: A survey”,
Second
International Symposium on Computer Vision and
the Internet (VisionNet’15), Kochi, 2015.
[8] S. K. Gupta, S. Agrwal, Y. K. M. ve N. Nain, “
A
hybrid method of feature extraction for facial
expression recognition”,
Seventh International
Conference
on Signal Image Technology &
Internet-Based Systems, Dijon, 2011.
[9] L. Zhang, S. Chen, T. Wang ve
Z. Liu,
“Automatic
facial expression recognition based on
hybrid features”,
International Conference on
Future Electrical Power and Energy Systems
,
2012.
[10]
W. Gaebel ve W. Wölwer, “Facial
expression and
emotional face recognition in schizophrenia and
depression”,
European Archives of Psychiatry and
Clinical Neuroscience, cilt 242, no. 1, pp. 46-
52,
1992.
[11]
M. K. Mandal, R. Pandey ve A. B. Prasad, “
Facial
expressions of emotions and schizophrenia
: A
review”, Schizophrenia Bulletin,
cilt 24, no. 3, pp.
399-412, 1998.
[12]
C. Alvino, C. Kohler, F. Barrett, R. E. Gur, R. C.
Gur ve R. Verma, “Computerized
measurement of
facial expression of emotions in schizophrenia”
,
Journal of Neuroscience Methods,
cilt 163, no. 2,
pp. 350-361, 2007.
[13]
A. Butalia, M. Ingle ve P. Kulkarni, “
Facial
expression recognition for security”
, International
Journal of Modern Engineering Research
Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması S. Bayrakdar, D. Akgün, İ. Yücedağ
SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016 395
(IJMER), cilt 2, no. 4, pp. 1449-1453, 2012.
[14]
A. A. M. Al-modwahi, O. Sebetel
a, L. N. Batleng,
B. Parhizkar ve A. H. Lashkari, “Facial
expression
recognition ıntelligent security system for real
time surveillance”,
International Conference on
Computer Graphics and Virtual Reality
, Las
Vegas Nevada, 2012.
[15]
G. Lu, L. Yuan, X. Li ve H. Li, “
facial expression
recognition of pain in neonates”,
International
Conference on Computer Science and Software
Engineering, Wuhan, 2008.
[16]
G. Lu, X. Li ve H. Li, “
Facial expression
recognition for neonatal pain assessment”
,
International Conference on Neural Networks and
Signal Processing, Nanjing, 2008.
[17]
S. Hachisuka, “
Human and Vehicle Drowsiness
Detection by Facial Expression”,
International
Conference on
Biometrics and Kansei Engineering
(ICBAKE), Tokyo, 2013.
[18]
M. E. Jabon, J. N. Bailenson, E. Pontikakis, L.
Takayama ve C. Nass, “Facial
expression analysis
for predicting unsafe driving behavior”,
IEEE
Pervasive Computing, cilt 10, no. 4, pp. 84-
95,
2011.
[19]
A. Dureha, “An
accurate algorithm for generating
a music playlist based on facial expressions”,
International Journal of Computer Applications,
cilt 100, no. 9, pp. 33-39, 2014.
[20]
H. Kabani, S. Khan, O. Khan ve
S. Tadvi,
“Emotion based music player”,
ınternational
journal of engineering research and general
science, cilt 3, no. 1, pp. 750-756, 2015.
[21]
P. Ekman ve W. V. Friesen, “Facial
action coding
system: a technique for the measurement of facial
movement”, Consulting Psychology Press., 1978.
[22]
K. Scherer ve P. Ekman, “Methods for
measuring
facial action”, Handbook of Methods
in Nonverbal
Behavior Research
, New York, Cambridge
University Press, 1982, pp. 45-135.
[23]
M. S. Bartlett, P. A. Viola, T. J. Sejnowski, B. A.
Golomb, J. Larsen, J. C. Hager ve
P. Ekman,
“Classifying facial action”,
Advances in Neural
Information Processing Systems 8, pp. 823-
829,
1996.
[24]
Y. Yacoob ve L. S. Davis, “Recognizing
human
facial
expressions from long ımage sequences
using optical flow”,
IEEE Transactions on Pattern
Analysis and Machine Intelligence,
cilt 18, no. 6,
pp. 636-642, 1996.
[25]
N. Tsapatsoulis, M. Leonidou ve
S. Kollias,
“Facial expression recognition using HMM with
observation dependent transition matrix”,
IEEE
Second Workshop on Multimedia Signal
Processing, Redondo Beach, 1998.
[26]
Z. Zhang, “Feature-
based facial expression
recognition: sensitivity analysis and experiments
with a multi-layer perceptron”,
International
Journal of Pattern Recognition and Artificial
Interlligence, cilt 13, no. 6, pp. 893-911, 1999.
[27]
I. Cohen, A. Garg ve T. S. Huang, “
Emotion
recognition from facial expressions using
multilevel HMM”,
Neural Information Processing
Systems (NIPS), 2000.
[28]
S. B. Gokturk, J. Y. Bouguet, C. Tomasi ve
B.
Girod, “Model-based face tracking for view-
ındependent facial expression recognition”
,
Proceedings of the Fifth IEEE International
Conference on Automatic Face a
nd Gesture
Recognition (FGR'02), 2002.
[29]
L. C. D. Silva ve S. C. Hui, “Real-time
facial
feature extraction and emotion recognition”
,
Fourth Pacific Rim Conference on Multimedia,
Information, Communications and Signal
Processing, Singapore, 2003.
[30]
X. Feng, M. Pietikäinen ve A. Hadid, “
Facial
expression recognition based on local binary
patterns and linear programming”,
Pattern
Recognition and Image Analysis,
cilt 15, no. 2, p.
546-548, 2005.
[31]
S. M. Lajevardi ve M. Lech, “
facial expression
recognition from ımage
sequences using
optimized feature selection”,
23rd International
Conference Image and Vision Computing
(IVCNZ), New Zealand, 2008.
[32]
P. Martins, J. Sampaio ve J. Batista, “
Facial
expression recognition using active appearance
models”, ınternational
conference on computer
vision theory and applications (VISAPP)
, Funchal,
2008.
[33]
M. Song, D. Tao, Z. Liu, X. Li ve
M. Zhou,
“Image
ratio features for facial expression
recognition application”, IE
EE Transactions on
Systems, Man and Cybernetics-
Part B:
Cybernetics, cilt 40, no. 3, pp. 779-788, 2010.
[34]
L. Oliveira, M. Mansano, A. Koerich ve
J. Alceu
de Souza Britto, “2D
principal component analysis
for face and facial-expression recognition”,
Computing in Science & Engineering,
cilt 13, no.
3, pp. 9-13, 2011.
[35]
S. B. Kazmi, Qurat-ul-Ain ve
M. A. Jaffar,
“Wavelets-based
facial expression recognition
using a bank of support vector machines”,
Soft
Computing, cilt 16, no. 3, pp. 369-379, 2012.
[36]
F. S. Farahani, M. Sheikhan ve A. Farrokhi, “
A
fuzzy approach for facial emotion recognition”
,
13th Iranian Conference on Fuzzy Systems
S. Bayrakdar, D. Akgün, İ. Yücedağ Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması
396 SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016
(IFSC), Qazvin, 2013.
[37]
X. Chen ve W. Cheng, “Facial
expression
recognition based on edge detection”
,
International Journal of Computer Science &
Engineering Survey (IJCSES), cilt 6, no. 2, pp. 1-
9, 2015.
[38]
S. C. Neoh, L. Zhang, K. Mistry, M. A. Hossain,
C. P. Lim ve P. K. Nauman Aslam, “
Intelligent
facial emotion recognition using a layered
encoding cascade optimization model”,
Elsevier
Applied Soft Computing, cilt 34, pp. 72-93, 2015.
[39]
D. Ibtesham, “A
survey on facial expression
recognition”, New Mexico, 2012.
[40]
M. Murtaza, M. Sharif, M. Raza ve
J. H. Shah,
“Analysis of face recognition
under varying facial
expression: a survey”,
The International Arab
Journal of Information Technology,
cilt 10, no. 4,
pp. 378-388, 2013.
[41]
N. N. Khatri, Z. H. Shah ve S. A. Patel, “
Facial
expression recognition: A survey”,
International
Journal of Co
mputer Science and Information
Technologies (IJCSIT), cilt 5, no. 1, pp. 149-
152,
2014.
[42]
H. A. Rowley, S. Baluja ve T. Kanade, “
Neural
network-based face detection”,
IEEE Transactions
on Pattern Analysis and Machine Intelligence,
cilt
20, no. 1, pp. 23-38, 1998 .
[43]
Y. Li, S. Gong, J. Sherrah ve H. Liddell, “Multi-
view
face detection using support vector machines
and eigenspace modelling”,
Fourth International
Conference on knowledge-
Based Intelligent
Engineering Systems & Allied Technologies
,
Brighton, 2000.
[44]
W. Widjojo ve K. C. Yow, “A color and feature-
based approach to human face detection”,
seventh
lotcrnational conference on control, automation”
,
Rabotics And Vision (ICARCV'02)
, Singapore,
2002.
[45]
J. Chen, S. Shan, P. Yang, S. Yan, X. Chen ve
W.
Gao, “Novel
face detection method based on
gabor features”,
advances in biometric person
authentication, Springer-Verlag Berlin Heidelberg
,
pp. 90-99, 2004.
[46]
L. Lang ve W. Gu, “Study
of face detection
algorithm for real-time face detection system”,
IEEE Second International Symposium on
Electronic Commerce and Security (ISECS'09)
,
Nanchang, 2009.
[47]
S. K. Pal, U. Chourasia ve M. Ahirwar, “A
method for face detection based on wavelet
transform and optimised feature selecti
on using
ant colony optimisation in support vector
machine”,
International Journal of Innovative
Research in Computer and Communication
Engineering, cilt 1, no. 2, pp. 358-363, 2013.
[48]
H. Bing, H. Xianfeng ve H. Ruizhen, “
Research of
face detection based on adaboost and ASM”,
The
Open Cybernetics & Systemics Journal,
cilt 8, no.
1, pp. 183-190, 2014.
[49]
L. Shuang, “A
novel face detection algorithm
based on pca and adaboost”,
IEEE Sixth
International Conference on Measuring
Technol
ogy and Mechatronics Automation
(ICMTMA), Zhangjiajie, 2014.
[50]
M.-H. Yang, D. J. Kriegman ve
N. Ahuja,
“Detecting faces in ımages: A survey”,
EEE
Transactions on Pattern Analysis and Machine
Intelligence, cilt 24, no. 1, pp. 34-58, 2002.
[51]
P. Viola ve M. J. Jones, “Robust real-
time face
detection”,
International Journal of Computer
Vision, cilt 57, no. 2, pp. 137-154, 2004.
[52]
G. Özmen, “Kübil Bezier Eğrileri ile
yüz ifadesi
tanıma”, Edirne,
Trakya Üniversitesi Fen Bilimleri
Enstitüsü Yüksek Lisans Tezi, 2012.
[53]
W. Zhao ve R. Chellappa, “Face
processing
advanced modeling and methods”
, Elsevier
Academic Press, 2006.
[54]
M. J. Black ve Y. Yacoob, “
Tracking and
recognizing rigid and non-
rigid facial motions
using local parametric models of ımage motion”,
IEEE Fifth International Conference on Computer
Vision, Cambridge, 1995.
[55]
J. G. Ko, K. N. Kim ve
R. S. Ramakrishna,
“Facial feature tracking for eye-
head controlled
human computer ınterface”, IEEE TENCON'99
,
Cheju, 1999.
[56]
R. S. Feris, T. E. d. Campos and
R. M. C. Junior,
“
Detection and Tracking of Facial Features in
Video Sequences”,
Mexican International
Conference on Artificial Intelligence (MICAI)
,
Acapulco, 2000.
[57]
F. Dornaika ve F. Davoine, “Head and
facial
animation tracking using appearance-
adaptive
models and particle filters”,
IEEE Computer
Society Conference on Computer Vision and
Pattern Recognition Workshop (CVPRW'04)
,
2004.
[58]
F. Dornaika ve J. Orozco, “Real time 3D
face and
facial feature tracking”, Journal of Real-
Time
Image Processing, cilt 2, no. 1, p. 35–44, 2007.
[59]
E. R. Gast, “A framework for real-
time face and
facial feature tracking using optical flow pre-
estimation and template tracking”, Leiden,
Leiden
University LIACS Master Thesis, 2010.
[60]
P. R. Borude, S. T. Gandhe, P. A. Dhulekar ve
G.
Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması S. Bayrakdar, D. Akgün, İ. Yücedağ
SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016 397
M. Phade, “Identification and
tracking of facial
features”, Procedia Computer Science,
cilt 49, no.
1, pp. 2-10, 2015.
[61]
N. U. Khan, “A
comparative analysis of facial
expression recognition techniques”,
3rd IEEE
International Advance Computing Conference
(IACC), Ghaziabad, 2013.
[62]
İ. O. Sığırcı, “
facial expression recognition
system”, İstanbul,
Fatih University The Graduate
School of Sciences and Engineering Master
Thesis, 2013.
[63]
Y. L. Tian, T. Kanade ve J. f. Cohn, “
Facial
expression analysis”,
Handbook of Face
Recognition, New York, Spring
er
Science+Business Media, Inc., 2005, pp. 247-275.
[64]
I. Kotsia ve I. Pitas, “Facial
expression recognition
in ımage sequences using geometric deformation
features and support vector machines”,
IEEE
Transactions on Image Processing,
cilt 16, no. 1,
pp. 172-187, 2007.
[65]
G. L. Libralon ve R. A. F. Romero, “
Geometrical
facial modeling for emotion recognition”,
IEEE
International Joint Conference on Neural
Networks (IJCNN), Dallas, 2013.
[66]
K. Lin, W. Cheng ve J. Li, “Facial
expression
recognition based on geometric features a
nd
geodesic distance”,
International Journal of Signal
Processing, Image Processing and Pattern
Recognition, cilt 7, no. 1, pp. 323-330, 2014.
[67]
A. Saeed, A. Al-Hamadi, R. Niese and
M. Elzobi,
“Frame-
based facial expression recognition using
geometrical features”, Advances in Human-
Computer Interaction,
cilt 2014, no. Article ID:
408953, p. 13 pages.
[68]
R. A. Patil, V. Sahula ve A. S. Mandal, “
Facial
expression recognition ın ımage sequences using
active shape model and SVM”,
IEEE Fifth
U
KSim European Symposium on Computer
Modeling and Simulation (EMS), Madrid, 2011.
[69]
R. Shbib ve S. Zhou, “Facial
expression analysis
using active shape model”,
International Journal
of Signal Processing, Image Processing and
Pattern Recognition, cilt 8, no. 1, pp. 9-22, 2015.
[70]
C. K. Hsieh, Shang-Hong and Y. C. Chen, “
An
optical flow-
based approach to robust face
recognition under expression variations”,
IEEE
Transactions on Image Processing,
cilt 19, no. 1,
pp. 233-240, 2010.
[71]
R. Niese, A. Al-
Hamadi, A. Farag, H. Neumann
ve B. Michaelis, “Facial
expression recognition
based on geometric and optical flow features in
colour ımage sequences”,
IET Computer Vision,
cilt 6, no. 2, p. 79–89, 2012.
[72]
U. Prabhu ve K. Seshadri, “Facial
recognition
using active shape models, local patches and
support vector machines
”, [Çevrimiçi].
Available:http://www.contrib.andrew.cmu.edu/~ks
eshadr/ML_Paper.pdf. [Erişildi: 5 Kasım 2015].
[73]
N. Rose, “Facial
expression classification using
gabor and log-gabor filters”,
IEEE 7th
International Conference on Automatic Face and
Gesture Recognition (FGR’06)
, Southampton,
2006.
[74]
J. Ou, X.-B. Bai, Y. Pei, L. Ma ve
W. Liu,
“Automatic
facial expression recognition using
gabor filter”, IEEE Second
International
Conference on Computer Modeling and
Simulation (ICCMS), Sanya, 2010.
[75]
T. Wu, M. S. Bartlett ve J. R. Movellan, “
Facial
expression recognition using gabor motion energy
filters”,
IEEE Computer Society Conference on
Computer Vision and P
attern Recognition
Workshops (CVPRW), San Francisco, 2010 .
[76]
J. Ruan, J. Yin, Q. Chen ve G. Chen, “
Facial
expression recognition based on gabor wavelet
transform and relevance vector machine”,
Journal
of Information & Computational Science, cilt 11,
no. 1, pp. 295-302, 2014.
[77]
C. Shan, S. Gong ve P. W. McOwan, “
Facial
expression recognition based on local binary
patterns: a comprehensive study”,
Image and
Vision Computing, cilt 27, p. 803–816, 2009.
[78]
R. Hablani, N. Chaudhari ve
S. Tanwani,
“Recognition of
facial expressions using local
binary patterns of ımportant facial parts”
,
International Journal of Image Processing (IJIP),
cilt 7, no. 2, pp. 163-170, 2013.
[79]
Y. M. Wais, “Mood
detection according to facial
expressions”, Ankara,
Çankaya University
Graduate School of Natural and Applied Sciences,
Master Thesis, 2015.
[80]
M. Kılınç, “Yüz
resimlerinden yaş bilgisinin tespit
edilmesi”, Gebze,
Gebze Yüksek Teknoloji
Enstitüsü Mühendislik ve Fen Bilimleri Enstitüsü,
Yüksek Lisans Tezi, 2012.
[81]
“
Gabor Dönüşümü için OpenCV Yüz Tanıma
Kodu”, [Çevrimiçi].
Available:
http://guoming.me/opencv-gabor.
[Erişildi: 5
Kasım 2015].
[82]
A. A. A. Youssif, “Automatic
facial expression
recognition system based on geometric and
appearance features”,
Computer and Information
Science, cilt 4, no. 2, pp. 115-124, 2011.
[83]
A. K. K. Bermani, A. Z. Ghalwash ve
A. A. A.
Youssif, “Automatic faci
al expression recognition
based on hybrid approach”,
International Journal
S. Bayrakdar, D. Akgün, İ. Yücedağ Yüz ifadelerinin otomatik analizi üzerine bir literatür çalışması
398 SAÜ Fen Bil Der 20. Cilt, 2. Sayı, s. 383-398, 2016
of Advanced Computer Science and Applications
(IJACSA), cilt 3, no. 11, pp. 102-107, 2012.
[84]
S. Ulukaya ve Ç. E. Erdem, “A
hybrid facial
expression recognition method based on
neutral
face shape estimation”,
IEEE 20th Signal
Processing and Communications Applications
Conference (SIU), Mugla, 2012.
[85]
S. L. Happy ve A. Routray, “Robust
facial
expression classification using shape and
appearance features”, IEE Eighth Interna
tional
Conference on Advances in Pattern Recognition
(ICAPR), Kolkata, 2015.
[86]
B. S. Akkoca, “Durgun
görüntülerden yüz
ifadelerinin tanınması”, İstanbul,
İstanbul Teknik
Üniversitesi Fen Bilimleri Enstitüsü, Yüksek
Lisans Tezi, 2014.
[87]
T. Kaur ve J. Kaur, “Facial
expression recognition
with PCA and LDA”,
International Journal of
Computer Science and Information Technologies
(IJCSIT), cilt 5, no. 6, pp. 6996-6998, 2014.
[88]
M. Lyons ve S. Akamatsu, “Coding
facial
expressions with gabor wavelets”,
IEEE Third
IEEE International Conference on Automatic Face
and Gesture Recognition, Nara, 1998.
[89]
T. Kanade, J. F. Cohn ve
Y. Tian,
“Comprehensive
database for facial expression
analysis”,
IEEE Fourth International Conference
on Automatic Face and Gesture Recognition
,
Grenoble, 2000.
[90]
P. Lucey, J. F. Cohn, T. Kanade, J. Saragih ve Z.
Ambadar, “The extended cohn-
kanade dataset
(CK+): A complete dataset for action unit”,
IEEE
Computer Society Conference on Computer
Vision and Pattern
Recognition Workshops
(CVPRW), San Francisco, 2010.
[91]
N. Aifanti, C. Papachristou ve
A. Delopoulos,
“The MUG facial expression database”,
IEEE
11th International Workshop on Image Analysis
for Multimedia Interactive Services (WIAMIS)
,
Desenzano del Garda, 2010.
