一级黄色片免费播放|中国黄色视频播放片|日本三级a|可以直接考播黄片影视免费一级毛片

高級搜索

留言板

尊敬的讀者、作者、審稿人, 關于本刊的投稿、審稿、編輯和出版的任何問題, 您可以本頁添加留言。我們將盡快給您答復。謝謝您的支持!

姓名
郵箱
手機號碼
標題
留言內容
驗證碼

基于多尺度細節(jié)增強的面部表情識別方法

譚小慧 李昭偉 樊亞春

譚小慧, 李昭偉, 樊亞春. 基于多尺度細節(jié)增強的面部表情識別方法[J]. 電子與信息學報, 2019, 41(11): 2752-2759. doi: 10.11999/JEIT181088
引用本文: 譚小慧, 李昭偉, 樊亞春. 基于多尺度細節(jié)增強的面部表情識別方法[J]. 電子與信息學報, 2019, 41(11): 2752-2759. doi: 10.11999/JEIT181088
Xiaohui TAN, Zhaowei LI, Yachun FAN. Facial Expression Recognition Method Based on Multi-scale Detail Enhancement[J]. Journal of Electronics & Information Technology, 2019, 41(11): 2752-2759. doi: 10.11999/JEIT181088
Citation: Xiaohui TAN, Zhaowei LI, Yachun FAN. Facial Expression Recognition Method Based on Multi-scale Detail Enhancement[J]. Journal of Electronics & Information Technology, 2019, 41(11): 2752-2759. doi: 10.11999/JEIT181088

基于多尺度細節(jié)增強的面部表情識別方法

doi: 10.11999/JEIT181088
基金項目: 國家重點研發(fā)計劃項目(2017YFB1002804),國家自然科學基金項目(61602324),浙江大學CAD&CG國家重點實驗室開放課題(A1914)
詳細信息
    作者簡介:

    譚小慧:女,1977年生,博士,副教授,研究方向為計算機圖形圖像,虛擬現(xiàn)實

    李昭偉:男,1992年生,碩士生,研究方向為情感計算

    樊亞春:女,1978年生,博士,副教授,研究方向為計算機圖形圖像,人機交互

    通訊作者:

    樊亞春 fanyachun@hotmail.com

  • 中圖分類號: TP391.41

Facial Expression Recognition Method Based on Multi-scale Detail Enhancement

Funds: The National Key R&D Program of China(2017YFB1002804), The National Natural Science Foundation of China(61602324), The Open Project of State Key Lab of CAD & CG, Zhejiang University(A1914)
  • 摘要: 人類面部表情是其心理情緒變化的最直觀刻畫,不同人的面部表情具有很大差異,現(xiàn)有表情識別方法均利用面部統(tǒng)計特征區(qū)分不同表情,其缺乏對于人臉細節(jié)信息的深度挖掘。根據(jù)心理學家對面部行為編碼的定義可以看出,人臉的局部細節(jié)信息決定了其表情意義。因此該文提出一種基于多尺度細節(jié)增強的面部表情識別方法,針對面部表情受圖像細節(jié)影響較大的特點,提出利用高斯金字塔提取圖像細節(jié)信息,并對圖像進行細節(jié)增強,從而強化人臉表情信息。針對面部表情的局部性特點,提出利用層次結構的局部梯度特征計算方法,描述面部特征點局部形狀特征。最后,使用支持向量機(SVM)對面部表情進行分類。該文在CK+表情數(shù)據(jù)庫中的實驗結果表明,該方法不僅驗證了圖像細節(jié)對面部表情識別過程的重要作用,而且在小規(guī)模訓練數(shù)據(jù)下也能夠得到非常好的識別結果,表情平均識別率達到98.19%。
  • 圖  1  多尺度細節(jié)增強人臉表情識別流程

    圖  2  特征點分布圖

    圖  3  高斯圖像差分

    圖  4  細節(jié)特征疊加圖像

    圖  5  細節(jié)增強前后對比

    圖  6  像素區(qū)域

    圖  7  特征點及區(qū)域圖

    圖  8  CK+表情庫7種表情示例圖像

    圖  9  實驗結果比較

    圖  10  P-R曲線

    圖  11  多尺度細節(jié)增強效果對比圖

    表  1  高斯模糊半徑取值的最優(yōu)識別率(%)

    高斯核中性憤怒厭惡恐懼微笑悲傷驚訝整體
    K198.0099.3310096.6710094.6796.0097.81
    K296.0098.6710095.3310096.6798.0097.81
    下載: 導出CSV

    表  2  表情識別率分布表(%)

    中性憤怒厭惡恐懼高興悲傷驚訝
    中性98.0000002.000
    憤怒0100.0000000
    厭惡0099.33000.670
    恐懼00095.332.6702.00
    高興000010000
    悲傷3.33000096.670
    驚訝1.33000.670098.00
    下載: 導出CSV

    表  3  本文方法與CNN與LeNet-5方法比較(%)

    方法中性憤怒厭惡恐懼微笑悲傷驚訝整體
    CNN[11]95.1591.1199.4492.0010082.1498.8095.75
    LeNet-5[15]65.3776.3087.5980.9294.2682.2394.5583.74
    本文方法98.0010099.3395.3310096.6798.0098.19
    下載: 導出CSV

    表  4  不同方法識別率對比(%)

    方法識別率
    LBP[16]92.30
    Gabor[17]98.10
    CNN[11]95.75
    I2CNN[12]96.20
    LeNet-5[15]83.74
    本文方法98.19
    下載: 導出CSV
  • MEHRABIAN A. Communication without words[J]. Psychology Today, 1968, 2(4): 53–56.
    GUO Zhenhua, ZHANG Lei, and ZHANG D. A completed modeling of local binary pattern operator for texture classification[J]. IEEE Transactions on Image Processing, 2010, 19(6): 1657–1663. doi: 10.1109/TIP.2010.2044957
    王瑋, 黃非非, 李見為, 等. 采用LBP金字塔的人臉描述與識別[J]. 計算機輔助設計與圖形學學報, 2009, 21(1): 94–100, 106.

    WANG Wei, HUANG Feifei, LI Jianwei, et al. Face description and recognition by LBP pyramid[J]. Journal of Computer-Aided Design &Computer Graphics, 2009, 21(1): 94–100, 106.
    鐘思志. 人臉面部表情識別算法研究[D]. [碩士論文], 華東師范大學, 2015.

    ZHONG Sizhi. Research on facial expression recognition[D]. [Master dissertation], East China Normal University, 2015.
    楊凡, 張磊. 基于Gabor參數(shù)矩陣與改進Adaboost的人臉表情識別[J]. 計算機應用, 2014, 34(4): 1134–1138.

    YANG Fan and ZHANG Lei. Facial expression recognition based on Gabor parameters matrix and improved Adaboost[J]. Journal of Computer Applications, 2014, 34(4): 1134–1138.
    童瑩. 基于空間多尺度HOG特征的人臉表情識別方法[J]. 計算機工程與設計, 2014, 35(11): 3918–3922, 3979. doi: 10.3969/j.issn.1000-7024.2014.11.041

    TONG Ying. Facial expression recognition algorithm based on spatial multi-scaled HOG feature[J]. Computer Engineering and Design, 2014, 35(11): 3918–3922, 3979. doi: 10.3969/j.issn.1000-7024.2014.11.041
    TURAN C and LAM K M. Region-based feature fusion for facial-expression recognition[C]. Proceedings of 2014 IEEE International Conference on Image Processing, Paris, France, 2014: 5966–5970.
    SAEED A, AL-HAMADI A, and NIESE R. The effectiveness of using geometrical features for facial expression recognition[C]. Proceedings of 2013 IEEE International Conference on Cybernetics, Lausanne, Switzerland, 2013: 122–127.
    CHEN Junkai, CHEN Zenghai, CHI Zheru, et al. Facial expression recognition in video with multiple feature fusion[J]. IEEE Transactions on Affective Computing, 2018, 9(1): 38–50. doi: 10.1109/TAFFC.2016.2593719
    任福繼, 于曼麗, 胡敏, 等. 融合表情和BVP生理信號的雙模態(tài)視頻情感識別[J]. 中國圖象圖形學報, 2018, 23(5): 688–697.

    REN Fuji, YU Manli, HU Min, et al. Dual-modality video emotion recognition based on facial expression and BVP physiological signal[J]. Journal of Image and Graphics, 2018, 23(5): 688–697.
    LOPES A T, DE AGUIAR E, DE SOUZA A F, et al. Facial expression recognition with convolutional neural networks: Coping with few data and the training sample order[J]. Pattern Recognition, 2017, 61: 610–628. doi: 10.1016/j.patcog.2016.07.026
    ZHANG Chongsheng, WANG Pengyou, CHEN Ke, et al. Identity-aware convolutional neural networks for facial expression recognition[J]. Journal of Systems Engineering and Electronics, 2017, 28(4): 784–792.
    LUCEY P, COHN J F, KANADE T, et al. The extended cohn-kanade dataset (CK+): A complete dataset for action unit and emotion-specified expression[C]. Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops, San Francisco, USA, 2010: 94–101.
    YAO Yongqiang, HUANG Di, YANG Xudong, et al. Texture and geometry scattering representation-based facial expression recognition in 2D+3D videos[J]. ACM Transactions on Multimedia Computing, Communications, and Applications, 2018, 14(1S): 18.
    李勇, 林小竹, 蔣夢瑩. 基于跨連接LeNet-5網(wǎng)絡的面部表情識別[J]. 自動化學報, 2018, 44(1): 176–182.

    LI Yong, LIN Xiaozhu, and JIANG Mengying. Facial expression recognition with cross-connect LeNet-5 network[J]. Acta Automatica Sinica, 2018, 44(1): 176–182.
    JIA Qi, GAO Xinkai, GUO He, et al. Multi-layer sparse representation for weighted LBP-patches based facial expression recognition[J]. Sensors, 2015, 15(3): 6719–6739. doi: 10.3390/s150306719
    ZHOU Jun, ZHANG Sue, MEI Hongyan, et al. A method of facial expression recognition based on Gabor and NMF[J]. Pattern Recognition and Image Analysis, 2016, 26(1): 119–124. doi: 10.1134/S1054661815040070
  • 加載中
圖(11) / 表(4)
計量
  • 文章訪問數(shù):  4037
  • HTML全文瀏覽量:  1641
  • PDF下載量:  143
  • 被引次數(shù): 0
出版歷程
  • 收稿日期:  2018-11-26
  • 修回日期:  2019-02-27
  • 網(wǎng)絡出版日期:  2019-05-20
  • 刊出日期:  2019-11-01

目錄

    /

    返回文章
    返回