《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于膚色與人臉運動相結合的自動表情識別算法研究
基于膚色與人臉運動相結合的自動表情識別算法研究
2018年電子技術應用第5期
宋婉娟,董文永
湖北第二師范學院 計算機學院,湖北 武漢430205
摘要: 基于膚色與人臉運動相結合的自動表情,對其識別算法進行研究。通過RGB將圖像轉為YIQ顏色空間,在YIQ中第I維中進行圖像數據的提取,在二值圖像中將背景和膚色分割出來。采用Pareto優化算法進行人臉表情特征的選取,算法計算量少,構結簡單,運行速度快,能對小角度人臉膚色、人臉面部表情變化、人臉旋轉、人臉面部存在遮擋物等情況準確檢測和跟蹤。實驗表明,對于人臉小角度轉動,該算法能較好適應;對于人眼的狀態,該算法不受影響;對于豐富的面部表情變化和不同的膚色均能更好地適應,具有一定的穩定性。
中圖分類號: TP391.4
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.173837
中文引用格式: 宋婉娟,董文永. 基于膚色與人臉運動相結合的自動表情識別算法研究[J].電子技術應用,2018,44(5):140-143.
英文引用格式: Song Wanjuan,Dong Wenyong. Research on automatic facial expression recognition algorithm based on skin color and face movement[J]. Application of Electronic Technique,2018,44(5):140-143.
Research on automatic facial expression recognition algorithm based on skin color and face movement
Song Wanjuan,Dong Wenyong
School of Computing,Hubei University of Education,Wuhan 430205,China
Abstract: In this paper, the automatic facial expression based on the combination of skin color and face motion is studied. The image is transformed into YIQ color space by RGB, and the image data is extracted in the I dimension of YIQ, and the background and skin color are segmented in the two valued image. By using Pareto optimization algorithm to select facial expression feature, this algorithm has less calculation, simple structure, fast running speed, accurate detection and can track the obstructions of small angle face skin color, facial expression, face rotation and face. Experiments show that the algorithm can adapt to small angle rotation of human face. For human eyes, the algorithm is not affected, can better adapt to the rich facial expression changes and different skin colors, and has a certain stability.
Key words : Pareto optimization algorithm;facial motion;skin color;genetic algorithm

0 引言

    近年來,隨著計算機技術的日益提高,人臉實時識別系統發展很快,一般被廣泛運用在監管、檢索等相關領域[1]。但在現階段,人臉識別技術依舊存在缺陷,在實際應用方面受到一定的限制。在人臉識別系統中,人臉檢測屬于重要的組成部分,因此檢測部分具有非常關鍵的作用,人臉檢測系統的檢測算法非常多,可以歸納為兩大類:第一類檢測算法是基于像素特征,而像素特征包括輪廓、膚色等;第二類檢測算法是基于生物特征,生物特征包括圖像中像素間的微觀特征,包括像素的特征矩陣、均值等,相應算法包括神經網絡、Ada Boost等[2]

    人臉膚色與運動識別指的是在圖像序列中,對某個人臉的膚色信息、大小變化、運動軌跡的過程進行確定[3]。基于運動信息、膚色信息的方法具有較快的實現速度,但膚色信息要求的背景顏色分布較嚴格,誤識現象較多,識別率較低,人臉運動信息在跟蹤精度上還需要進一步提高[4]。因此將基于運動信息和基于膚色信息的檢測識別方法結合起來,提高人臉膚色與運動識別相結合的自動表情識別算法的準確性,可滿足實際應用中的實時監控要求[5]。本文主要基于膚色與人臉運動相結合的自動表情,對其識別算法進行了研究。

1 人臉膚色的提取

    膚色是構成人臉信息的要素,實際上,不同人的膚色表面上看起來都有一定的差別,但如果排除亮度等影響因素以后,膚色顯示出極高的聚類性,其色調基本一致[6]。在RGB顏色空間當中,由于不存在特定亮度位數信息,因此膚色不具備良好的類聚性,在進行膚色區域分割時具有較大難度。在YIQ顏色空間里,膚色具有較高的類聚性,但也只在該顏色空間的第I維空間中進行類聚。這個現象說明,膚色分割的算法計算量非常少,并且非常簡單,能夠滿足實時監測系統的速度要求。基于RGB顏色空間將圖像轉換到YIQ顏色空間,轉換公式為:

    jsj4-gs1.gif

    膚色的提取過程分為3步:利用式(1)把圖像從RGB顏色空間轉換到YIQ顏色空間;在YIQ中的第I維空間中提取圖像數據信息;設定合適的閾值分割出二值圖像中的背景、膚色。

2 人臉表情特征選取

2.1 基于GA算法的人臉表情特征選取

    遺傳算法的主要思想是達爾文生物進化論,通過對自然中生物進化過程的模擬,進行最優值的迭代搜索,目前常用的GA算法就是簡單遺傳算法,即SGA。遺傳算法是指通過迭代方法,對一個目標問題,搜索得到能夠解決該問題的最優解。在對目標問題進行種群初始化過程中,可以基于該種群的基因編碼得到其個體。總的來說,種群個體實際上屬于實體,而這部分實體都帶有染色體特征。染色體承載著遺傳物質,是由很多基因共同組成的,因此也是通過某種基因組合表現出來的,個體的外部表現則由該基因組合所決定。在染色體中,頭發顏色由某種基因組合決定。因而,對基因進行編碼,即基因型通過外部映射表現出來。

2.2 基于改進的Pareto優化算法人臉表情特征選取

    通過改進的GA算法,經過優化得到解,采用Pareto優化算法,對每個種群F(Sk)(k=1,2,…,n)的多目標進行優化,得到最優max F(Sk),并通過式(2)得到解Sk

jsj4-gs2-3.gif

式中,不同種類表情個數用l表示;Mi是通過GA從一類表情中得到的解,且Nw是解的個數;Mj是通過GA從不同類別中得到的解,且Nb是其對應解的個數。

    通過目標函數(3)可看出,F2(Sk)對應擴大類間差距,F1(Sk)對應縮小類間差距。圖1為基于GA和Pareto優化算法的人臉的表情特征的選取。

jsj4-t1.gif

2.3 基于隨機森林方法的人臉表情特征分類

    在選出最優特征后,將其進行表情分類,表情包括恐懼、生氣、驚訝、高興等。根據隨機森林分類器方法,可將人臉表情分類的精度有效提高。隨機森林屬于一種組合分類器,實質上是一個樹形分類器的集合。其中,基分類器為通過分類回歸樹算法構建的無剪枝分類的決策樹,通過多數投票的簡單法進行其輸出結果的確定。Gini系數指標在隨機森林算法中是分類回歸樹的分裂標準,其計算過程見式(4):

    jsj4-gs4.gif

式中,mtry表示每個節點的特征維數;Pi表示在樣本集S中出現的概率。

3 人臉表情識別方法

3.1 三維人臉形變模型

jsj4-gs5.gif

    圖2為人臉顏色PCA模型,顏色系數的標準偏差設置為2。在第一個顏色模型中,模型主要是進行全局膚色模型的改變,從黑色到白色。在第二個模型中,模型主要是進行人臉性別特征的改變。第三個模型是進行性別、膚色兩種的混合特征的改變。

jsj4-t2.gif

3.2 基于雙眼的三維人臉姿態的預處理 

    人臉中的67個對齊點采用對齊算法SDM對齊。SDM中人臉的鼻子、眼睛、嘴角位置均可作為定位標記點。SDM對一個目標函數進行了定義,對此目標函數通過算法進行最小化,用一個線性方法對這個問題進行求解是SDM的核心,見式(6):

jsj4-gs6-7.gif

    通過獲取的角度,采用仿射變換對臉的姿態進行調整。仿射變換通過變換坐標進行,通過圖像變換,在圖片輸入后,將其坐標映射到輸出圖片坐標上。圖3為基于雙眼的人臉姿態預處理。

jsj4-t3.gif

4 支持向量機算法在目標跟蹤中的應用 

4.1 SVM核函數 

    在展開函數計算之前,要進行事先確定變換環節,當高維特征空間被輸入映射時,那么這個高維特征空間就需要構造最優分類面。現階段,在核函數和參數的選取環節當中,依舊采取人為選取的方式進行,隨意性較大,穩定性難以滿足。核函數指的是:設歐氏空間X為d維,該空間的一個點用x表示,x的模表示為||x||2=xTx,實數集用R表示。若一個函數K:x→R,存在一個函數k:[0,∞]→R,即K(x)=k(||x||2),且k為非負值;當k為非增的、分段連續時,滿足條件jsj4-4.2-s1.gif則核函數就是K(x)。

4.2 訓練過程

    應用支持向量機跟蹤驗證運動目標,通常包括圖像分類和訓練過程。在訓練時,將已知分類結果的樣本圖像輸入,進行圖像預處理,對于預處理后的圖像特征通過特征提取法進行提取,并將其作為SVM學習器的輸入數據。對核函數及參數值進行調整,優化設置向量機中可能存在的維度和偏差等問題,優化分類器的選擇模式,最終實現輸入訓練樣本的分類環節,分類器的精度顯著提高。

4.3 動態人臉跟蹤的實現

    針對k幀進行研究時,所選擇的膚色模型主要為混合式,通過分割的方式將圖像的膚色進行輸入,以模型規定為基礎,查看膚色閾值從而得到人臉候選區域;采取優化過的Sobel算子邊緣檢測法檢測候選區域,并用SNOW分類器處理前面得到的結果,檢測人臉信息,最終得到人臉矩形區域;把第k-1幀的矩形區域與人臉矩形區域進行比較,對于當前幀人臉矩形區域的運動狀態,采用線性預測獲得;應用FWT算法和Haar小波變換進行該矩形區域圖像的增強處理,同時采用SVM分類器驗證人臉信息。如果能夠檢測到相應人臉信息,那么就可以將其作為人臉區域進行標注;如果檢測不到相應的人臉信息,那就可以認為目標丟失,在允許的丟失時間范圍內,跟蹤和檢測k+1幀。如果超過允許的丟失時間范圍,即可結束本次跟蹤,同時開始新一輪的人臉識別、跟蹤、檢測。

5 實驗結果分析 

    以前文給出的算法流程為基礎,實現對人臉識別跟蹤的準確定位和檢測,實現人臉膚色和人臉運動相結合的自動表情定位。以QC288型攝像頭為圖像識別工具進行采集,圖像均為640×480分辨率的真彩圖像,圖4為部分人臉跟蹤結果圖,其中圓形所標注的內容為圖像中的人臉目標。通過本文的人臉膚色與人臉運行相結合的自動表情的檢測和跟蹤算法,對小角度人臉膚色、人臉面部表情變化、人臉旋轉、人臉面部存在遮擋物等情況準確地進行檢測和跟蹤。

jsj4-t4.gif

6 結論

    本文主要基于膚色與人臉運動相結合的自動表情,對其識別算法進行了研究。通過RGB將圖像轉為YIQ顏色空間,在YIQ中第I維中進行圖像數據的提取,在二值圖像中將背景和膚色分割出來。采用Pareto優化算法進行人臉表情特征的選取,本算法計算量少,構結簡單,運行速度快,能對小角度人臉膚色、人臉面部表情變化、人臉旋轉、人臉面部存在遮擋物等情況準確檢測和跟蹤。實驗表明,對于人臉小角度轉動,本文算法能較好適應:對于人眼的狀態,本算法不受影響;對于豐富的面部表情變化和不同的膚色均能更好地適應,具有一定的穩定性。

參考文獻

[1] 顧偉,劉文杰,朱忠浩,等.一種基于膚色模型和模板匹配的人臉檢測算法[J].微型電腦,2014,30(7):13-16.

[2] 曹海燕.基于幾何特征的人臉識別算法研究[D].曲阜:曲阜師范大學,2015.

[3] 梅英,譚冠政,劉振燾.基于視頻圖像的面部表情識別研究綜述[J].湖南文理學院學報(自科版),2016,28(3):19-25.

[4] 牛連強,趙子天,張勝男.基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法[J].沈陽工業大學學報,2016,38(1):63-68.

[5] 李宇成,劉昆.一種基于人臉分割的PCA和SVM人臉識別方法[J].微型機與應用,2016,35(15):51-53.

[6] 孫波,劉永娜,羅繼鴻,等.基于張量分析的表情特征提取[J].計算機工程與應用,2016,52(20):145-148.



作者信息:

宋婉娟,董文永

(湖北第二師范學院 計算機學院,湖北 武漢430205)

此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
国产精品一区二区久久精品| 国产揄拍国内精品对白 | 91久久精品国产91久久| 性一交一乱一区二区洋洋av| 亚洲图片你懂的| 一区二区三区视频免费在线观看| 99天天综合性| 一区二区三区久久网| 99精品99| 一区二区三区免费在线观看| 亚洲精品小视频在线观看| 亚洲欧洲另类国产综合| 91久久综合| 亚洲精品欧美日韩| 一个色综合av| 亚洲女爱视频在线| 欧美一二区视频| 久久精品国产免费看久久精品| 久久精品国产2020观看福利| 久久精品国产久精国产爱| 91久久久久久国产精品| 日韩图片一区| 亚洲免费视频观看| 久久国产天堂福利天堂| 久久精品在线| 欧美成人免费网站| 欧美四级伦理在线| 国产农村妇女精品一二区| 国产真实乱偷精品视频免| 尤物99国产成人精品视频| 亚洲国产高清高潮精品美女| 亚洲美女视频网| 亚洲欧美国产一区二区三区| 亚洲国产成人在线| 一本久道久久综合中文字幕| 亚洲一区在线看| 久久精品99国产精品| 蜜桃av一区二区三区| 欧美日韩系列| 国产午夜久久久久| 在线观看日韩av| 一区二区三区黄色| 久久国产欧美精品| 一区二区三区四区国产| 午夜免费电影一区在线观看 | 久久久人成影片一区二区三区观看 | 亚洲大胆视频| 一本色道久久加勒比精品| 欧美一级一区| 亚洲精品你懂的| 欧美一区二区| 欧美激情视频网站| 国产精品视频xxxx| 亚洲国产日韩美| 亚洲欧美日韩一区二区在线| 亚洲激情视频在线播放| 亚洲男人的天堂在线观看| 久热精品视频| 国产精品久久久久久久久免费 | 亚洲视频网站在线观看| 久久高清一区| 一区二区三区欧美激情| 久久国产精品黑丝| 欧美日韩亚洲天堂| 加勒比av一区二区| 中文亚洲欧美| 亚洲人成人一区二区三区| 先锋影音久久| 欧美久久综合| 一区在线观看| 香蕉久久国产| 中文一区字幕| 免费在线视频一区| 国产九九精品视频| 一本色道88久久加勒比精品| 亚洲国产视频一区| 久久精品免费看| 国产精品h在线观看| 亚洲国产高清aⅴ视频| 欧美一区二区视频免费观看| 中文一区在线| 欧美国产视频在线观看| 国产亚洲欧美一区二区三区| 在线亚洲观看| 一二三区精品福利视频| 美女日韩欧美| 国内视频一区| 亚洲欧美中日韩| 亚洲欧美日韩国产综合| 欧美日韩麻豆| 亚洲精品国产欧美| 亚洲人成小说网站色在线| 久久偷窥视频| 国产亚洲精品7777| 亚洲免费视频一区二区| 亚洲一区在线免费| 欧美色区777第一页| 亚洲三级免费| 亚洲精品中文字幕在线| 免费不卡在线观看av| 国语自产偷拍精品视频偷| 午夜精品福利一区二区三区av| 亚洲综合国产| 欧美日韩中文字幕日韩欧美| 91久久黄色| 亚洲美女av网站| 欧美精品18videos性欧美| 国模叶桐国产精品一区| 欧美亚洲免费| 久久久国产精品一区二区三区| 国产伦精品一区二区三区照片91| 一区二区三区日韩欧美精品| 中文无字幕一区二区三区| 欧美日韩另类国产亚洲欧美一级| 亚洲精品看片| 一区二区三区精品久久久| 欧美精品一卡| 亚洲精品资源| 亚洲一区二区三区影院| 国产精品久久久久久久午夜 | 亚洲精品国产欧美| 欧美成人视屏| 亚洲二区免费| 亚洲美女性视频| 欧美日韩免费观看一区=区三区| 亚洲另类自拍| 亚洲永久免费观看| 国产美女诱惑一区二区| 欧美一级视频免费在线观看| 久久精品青青大伊人av| 在线不卡中文字幕播放| 亚洲精品国产品国语在线app| 欧美另类一区| 亚洲深夜福利视频| 欧美在现视频| 激情欧美亚洲| 一本久道久久综合狠狠爱| 欧美三级在线视频| 亚洲欧美国产日韩天堂区| 久久久av网站| 亚洲经典在线看| 亚洲一区二区三区中文字幕在线| 国产精品尤物| 亚洲国产乱码最新视频| 欧美精品久久一区二区| 在线亚洲观看| 久久久久国产一区二区| 136国产福利精品导航网址| 99精品视频一区| 国产精品入口夜色视频大尺度| 欧美伊人久久久久久午夜久久久久 | 蜜臀av一级做a爰片久久| 亚洲国产女人aaa毛片在线| 中文日韩在线视频| 国产日韩精品一区二区| 亚洲国产精品高清久久久| 欧美精品在线网站| 亚洲欧美精品伊人久久| 久久伊伊香蕉| 在线视频一区观看| 老司机精品视频网站| 一区二区免费在线视频| 久久久av网站| 日韩一级精品| 久久久精品午夜少妇| 亚洲美女av在线播放| 久久国产一区二区三区| 亚洲国产福利在线| 性欧美1819sex性高清| 亚洲高清色综合| 午夜一区在线| 亚洲国产精品免费| 欧美一区二区三区婷婷月色| 最新精品在线| 久久久噜噜噜久久| 9i看片成人免费高清| 久久亚洲综合色一区二区三区| 夜夜嗨av一区二区三区四季av| 久久久一区二区| 亚洲色图自拍| 欧美激情第二页| 欧美亚洲一区| 欧美性事在线| 亚洲免费观看高清完整版在线观看| 国产精品美女www爽爽爽| 亚洲精美视频| 国产一区二区三区丝袜 | 欧美激情综合五月色丁香小说| 亚洲私拍自拍| 欧美成人综合| 欧美有码在线视频| 国产精品www.| 99视频+国产日韩欧美| 激情综合网激情| 久久av一区二区| 99热在线精品观看| 欧美风情在线| 亚洲二区在线观看| 国产欧美日韩精品专区| 亚洲在线第一页|