留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

融合小波和LBP-GD特征的人脸表情识别

张良 李玉 刘婷婷 郝凯锋

张良, 李玉, 刘婷婷, 郝凯锋. 融合小波和LBP-GD特征的人脸表情识别[J]. 电子科技大学学报, 2018, 47(5): 654-659. doi: 10.3969/j.issn.1001-0548.2018.05.003
引用本文: 张良, 李玉, 刘婷婷, 郝凯锋. 融合小波和LBP-GD特征的人脸表情识别[J]. 电子科技大学学报, 2018, 47(5): 654-659. doi: 10.3969/j.issn.1001-0548.2018.05.003
ZHANG Liang, LI Yu, LIU Ting-ting, HAO Kai-feng. Feature Fusion of Wavelet and LBP-GD for Facial Expression Recognition[J]. Journal of University of Electronic Science and Technology of China, 2018, 47(5): 654-659. doi: 10.3969/j.issn.1001-0548.2018.05.003
Citation: ZHANG Liang, LI Yu, LIU Ting-ting, HAO Kai-feng. Feature Fusion of Wavelet and LBP-GD for Facial Expression Recognition[J]. Journal of University of Electronic Science and Technology of China, 2018, 47(5): 654-659. doi: 10.3969/j.issn.1001-0548.2018.05.003

融合小波和LBP-GD特征的人脸表情识别

doi: 10.3969/j.issn.1001-0548.2018.05.003
基金项目: 

国家自然科学基金民航联合研究基金 61179045

详细信息
    作者简介:

    张良(1970-), 男, 博士, 教授, 主要从事图像处理与模式识别、视频智能分析方面的研究

  • 中图分类号: TN911.73

Feature Fusion of Wavelet and LBP-GD for Facial Expression Recognition

  • 摘要: 针对局部二值模式(LBP)不能描述纹理方向变化的问题,提出了一种融合了梯度方向的LBP-GD算子。LBP-GD算子不仅保持了LBP本身的优点,还可以细致刻画纹理的方向信息。由于人脸表情器官所蕴含信息的差异性,设计了一种不规则的分块方式,把图像分为9个互不重叠的子块并且设置不同的权值系数,然后提取每个子块的LBP-GD特征。最后,将LBP-GD特征与提升小波的低频分量特征加权融合,用K近邻方法进行分类。在JAFFE和Cohn-Kanade表情库上验证了该方法的有效性。实验结果表明,该方法比单独使用LBP-GD特征和提升小波特征具有更好的识别效果。
  • 图  1  表情图像预处理

    图  2  提升方案示意图

    图  3  提升小波3次分解示意图

    图  4  LBP算子示意图

    图  5  LBP-GD特征提取过程

    图  6  面部分块方式

    表  1  采用不同的分块方式在JAFFE上的识别率

    %
    分块方式 与人相关 与人无关
    LBP(不分块) 76.11 45.83
    LBP(3×3规则分块) 85.00 62.31
    LBP-GD(3×3规则分块) 90.16 70.22
    LBP-GD(3×3不规则分块) 96.67 73.52
    下载: 导出CSV

    表  2  采用不同的分块方式在CK上的识别率

    %
    分块方式 与人相关 与人无关
    LBP(不分块) 81.13 51.23
    LBP(3×3规则分块) 88.38 80.33
    LBP-GD(3×3规则分块) 94.55 87.50
    LBP-GD(3×3不规则分块) 98.81 89.47
    下载: 导出CSV

    表  3  1~4次的低频分量在JAFFE上的识别率

    %
    分解次数 与人相关 与人无关
    1 95.56 72.21
    2 95.56 71.75
    3 88.89 67.92
    4 80.56 58.75
    下载: 导出CSV

    表  4  1~4次的低频分量在CK上的识别率

    %
    分解次数 与人相关 与人无关
    1 98.73 90.88
    2 98.10 90.36
    3 94.56 88.40
    4 88.98 71.83
    下载: 导出CSV

    表  5  1~4次的低频分量在JAFFE上的训练时间

    s
    分解次数 与人相关 与人无关
    1 0.79 1.04
    2 0.67 0.80
    3 0.57 0.74
    4 0.55 0.71
    下载: 导出CSV

    表  6  1~4次的低频分量在CK上的训练时间

    s
    分解次数 与人相关 与人无关
    1 4.32 5.21
    2 3.27 3.88
    3 3.01 3.51
    4 2.88 3.37
    下载: 导出CSV

    表  7  在JAFFE上的识别率

    %
    分量特征 与人相关 与人无关
    LL2 95.56 71.75
    LL2+LH2 94.89 71.09
    LL2+HL2 94.89 72.88
    LL2+HH2 96.00 71.04
    下载: 导出CSV

    表  8  在CK上的识别率

    %
    分量特征 与人相关 与人无关
    LL2 98.10 90.36
    LL2+LH2 98.87 91.13
    LL2+HL2 97.63 91.27
    LL2+HH2 98.55 89.74
    下载: 导出CSV

    表  9  LBP-GD特征和低频分量特征加权融合的识别率

    %
    表情库 与人相关 与人无关
    JAFFE 97.22 80.40
    CK 99.37 95.42
    下载: 导出CSV

    表  10  算法性能比较(与人相关)

    算法 JAFFE(识别率/%) CK(识别率/%)
    HCBP[17] 95.30 97.70
    LDP + SVM[18] 90.10 ± 4.90 96.40±0.90
    Gabor多方向特征融合+分块统计[19] 95.67 96.17
    本文算法 97.22 99.37
    下载: 导出CSV
  • [1] 王丽, 李瑞峰, 王珂.多尺度局部二值模式傅里叶直方图特征的表情识别[J].计算机应用, 2014, 34(7):2036-2039. http://d.old.wanfangdata.com.cn/Periodical/jsjyy201407042

    WANG Li, LI Rui-feng, WANG Ke. Multi-scale local binary pattern flourier histogram features for facial expression recognition[J]. Journal of Computer Applications, 2014, 34(7):2036-2039. http://d.old.wanfangdata.com.cn/Periodical/jsjyy201407042
    [2] JABID T, KABIR M H, CHAE O. Robust facial expression recognition based on local directional pattern[J]. ETRI Journal, 2010, 32(5):784-794. doi:  10.4218/etrij.10.1510.0132
    [3] TANG Fang-qi, DENG Ben-zai. Facial expression recognition using AAM and local facial features[C]//International Conference on Natural Computation. Haikou, China: IEEE, 2007: 632-635.
    [4] AHSAN T, JABID T, CHONG U P. Facial expression recognition using local transitional pattern on gabor filtered facial images[J]. IETE Technical Review, 2013, 30(1):47-52. doi:  10.4103/0256-4602.107339
    [5] 刘军, 景晓军, 孙松林, 等.一种用于人脸识别的基于主导近邻像素的局部Gabor空间直方图特征[J].北京邮电大学学报, 2015, 38(1):51-54. http://d.old.wanfangdata.com.cn/Periodical/bjyddx201501010

    LIU Jun, JING Xiao-jun, SUN Song-lin, et al. Feature of local gabor spatial histogram based on dominant neighboring pixel for face recognition[J]. Journal of Beijing University of Posts and Telecommunications, 2015, 38(1):51-54. http://d.old.wanfangdata.com.cn/Periodical/bjyddx201501010
    [6] MEHER S S, MABEN P. Face recognition and facial expression identification using PCA[C]//Advance Computing Conference. Gurgaon, India: IEEE, 2014: 1093-1098.
    [7] OJALA T, PIETIKAINEN M, HARWOOD D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1):51-59. doi:  10.1016/0031-3203(95)00067-4
    [8] 张洁玉, 赵鸿萍, 陈曙.自适应阈值及加权局部二值模式的人脸识别[J].电子与信息学报, 2014, 36(6):1327-1333. http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201406009

    ZHANG Jie-yu, ZHAO Hong-ping, CHEN Shu. Face recognition based on weighted local binary pattern with adaptive threshold[J]. Journal of Electronics & Information Technology, 2014, 36(6):1327-1333. http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201406009
    [9] LIU Wei-feng, WANG Yan-jiang, LI Shu-juan. LBP feature extraction for facial expression recognition[J]. Journal of Information & Computational Science, 2011, 8(3):412-421. http://d.old.wanfangdata.com.cn/OAPaper/oai_doaj-articles_113a18712c0c6bd0b9279c8438ce13d5
    [10] SHAN Cai-feng, GONG Shao-gang, MCOWAN P W. Facial expression recognition based on local binary patterns:a comprehensive study[J]. Image and Vision Computing, 2009, 27(6):803-816. doi:  10.1016/j.imavis.2008.08.005
    [11] WANG Xun, LIU Xin-gang, LU Ling-yun, et al. A new facial expression recognition method based on geometric alignment and LBP features[C]//2014 IEEE 17th International Conference on Computational Science and Engineering. Kolkata: IEEE, 2014: 1734-1737.
    [12] 黄非非.基于LBP的人脸识别研究[D].重庆: 重庆大学, 2009.

    HUANG Fei-fei. Research on face recognition based on LBP operator[D]. Chongqing: Chongqing University, 2009.
    [13] 王文成.基于局部特征分析的人脸表情识别问题研究[D].济南: 山东大学, 2011.

    WANG Wen-cheng. Facial expression recognition based on local features analysis[D]. Jinan: Shandong University, 2011.
    [14] 董玉龙, 姜威.基于提升小波和FLD的人脸表情识别[J].光学技术, 2012, 38(5):579-582. http://d.old.wanfangdata.com.cn/Periodical/gxjs201205013

    DONG Yu-long, JIANG Wei. Facial expression recognition based on lifting wavelet and LBP[J]. Optical Techque, 2012, 38(5):579-582. http://d.old.wanfangdata.com.cn/Periodical/gxjs201205013
    [15] CHEN J, SHAN S, HE C, et al. WLD:a robust local image descriptor[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2010, 32(9):1705-1720. doi:  10.1109/TPAMI.2009.155
    [16] 李玉.基于特征融合的人脸表情识别[D].天津: 中国民航大学, 2016.

    LI Yu. Facial expression recognition method based on feature fusion[D]. Tianjin: Civil Aviation University of China, 2016.
    [17] 胡敏, 李堃, 王晓华, 等.基于直方图加权HCBP的人脸表情识别[J].电子测量与仪器学报, 2015, 29(7):953-960. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201507003

    HU Min, LI Kun, WANG Xiao-hua, et al. Facial expression recognition based on histogram weighted HCBP[J]. Journal of Electronic Measurement and Instrumentation, 2015, 29(7):953-960. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201507003
    [18] JABID T, KABIR M H, CHAE O. Robust facial expression recognition based on local directional pattern[J]. International Journal of Security & Its Applications, 2013, 7(5):784-794. doi:  10.4218/etrij.10.1510.0132
    [19] 刘娟, 胡敏, 黄忠. Gabor多方向特征融合与分块统计的表情识别[J].电子测量与仪器学报, 2015, 29(11):1698-1705. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201511021

    LIU Juan, HU Min, HUANG Zhong. Expression recognition based on gabor multi-orientation features fusion and block statistics[J]. Journal of Electronic Measurement and Instrumentation, 2015, 29(11):1698-1705. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201511021
  • [1] 毛伟伟, 张治国, 金晓宇.  基于小波采样理论的新型准则函数 . 电子科技大学学报, 2024, 53(1): 102-109. doi: 10.12178/1001-0548.2022128
    [2] 易清明, 王渝, 石敏, 骆爱文.  联合多连接特征编解码与小波池化的轻量级语义分割 . 电子科技大学学报, 2024, 53(3): 366-375. doi: 10.12178/1001-0548.2023124
    [3] 刘韵婷, 靳佳晖, 陈亮, 张景异.  融合特征编码的面部表情编辑技术 . 电子科技大学学报, 2021, 50(5): 741-748. doi: 10.12178/1001-0548.2020373
    [4] 李海林, 魏苗.  基于近邻传播的限定簇数聚类方法研究 . 电子科技大学学报, 2018, 47(5): 733-739. doi: 10.3969/j.issn.1001-0548.2018.05.015
    [5] 郭继昌, 王秋子, 赵洁, 祁清.  一种基于LBP和马尔科夫特征的细缝裁剪取证方法 . 电子科技大学学报, 2018, 47(4): 481-485. doi: 10.3969/j.issn.1001-0548.2018.04.001
    [6] 张治国, 胡学海, 周依.  基于尺度函数的插值小波构建方法 . 电子科技大学学报, 2017, 46(4): 481-487. doi: 10.3969/j.issn.1001-0548.2017.04.001
    [7] 谭颖, 张涛, 谭睿, 沈小涛, 校景中.  基于小波变换与SVM的ADHD病人分类 . 电子科技大学学报, 2015, 44(5): 789-794. doi: 10.3969/j.issn.1001-0548.2015.05.025
    [8] 张治国, 黄建国, 刘震.  小波采样的滤波算法研究 . 电子科技大学学报, 2010, 39(6): 900-905.
    [9] 韦素媛, 马天骏, 宁超, 高有行.  用时空能量图和小波变换方法表征和识别步态 . 电子科技大学学报, 2009, 38(3): 431-434. doi: 10.3969/j.issn.1001-0548.2009.03.027
    [10] 王卫星, 曾基兵.  冗余提升不可分离小波的图像融合方法 . 电子科技大学学报, 2009, 38(1): 13-16.
    [11] 杨明轩.  小波变换的齿轮泵故障分析 . 电子科技大学学报, 2007, 36(4): 805-808.
    [12] 张洁, 蒋宁, 浦立新.  基于小波变换的医学图像融合技术 . 电子科技大学学报, 2005, 34(6): 839-842.
    [13] 文琪, 彭宏.  小波变换的离群时序数据挖掘分析 . 电子科技大学学报, 2005, 34(4): 556-558.
    [14] 李士心, 刘鲁源.  小波域中值滤波器设计的研究 . 电子科技大学学报, 2003, 32(1): 18-21.
    [15] 尹星云, 王洵, 董兰芳, 万寿红.  用隐马尔可夫模型设计人脸表情识别系统 . 电子科技大学学报, 2003, 32(6): 725-728.
    [16] 张建州, 王玲.  基于样条函数的小波尺度函数计算 . 电子科技大学学报, 2002, 31(3): 325-327.
    [17] 陈强洪, 李炳法, 叶斌.  小波变换下关联数字水印技术 . 电子科技大学学报, 2001, 30(4): 363-366.
    [18] 肖忠, 刘钊, 向敬成.  基于Haar小波变换的无失真图像压缩 . 电子科技大学学报, 2000, 29(5): 475-478.
    [19] 黄艳, 刘钊, 肖忠, 向敬成.  基于小波变换的结构矩阵矢量量化压缩方法 . 电子科技大学学报, 2000, 29(5): 479-482.
    [20] 袁晓, 虞厥邦.  Bubble小波的正交条件研究 . 电子科技大学学报, 1998, 27(1): 25-28.
  • 加载中
图(6) / 表(10)
计量
  • 文章访问数:  5072
  • HTML全文浏览量:  1462
  • PDF下载量:  108
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-07-21
  • 修回日期:  2018-03-15
  • 刊出日期:  2018-09-30

融合小波和LBP-GD特征的人脸表情识别

doi: 10.3969/j.issn.1001-0548.2018.05.003
    基金项目:

    国家自然科学基金民航联合研究基金 61179045

    作者简介:

    张良(1970-), 男, 博士, 教授, 主要从事图像处理与模式识别、视频智能分析方面的研究

  • 中图分类号: TN911.73

摘要: 针对局部二值模式(LBP)不能描述纹理方向变化的问题,提出了一种融合了梯度方向的LBP-GD算子。LBP-GD算子不仅保持了LBP本身的优点,还可以细致刻画纹理的方向信息。由于人脸表情器官所蕴含信息的差异性,设计了一种不规则的分块方式,把图像分为9个互不重叠的子块并且设置不同的权值系数,然后提取每个子块的LBP-GD特征。最后,将LBP-GD特征与提升小波的低频分量特征加权融合,用K近邻方法进行分类。在JAFFE和Cohn-Kanade表情库上验证了该方法的有效性。实验结果表明,该方法比单独使用LBP-GD特征和提升小波特征具有更好的识别效果。

English Abstract

张良, 李玉, 刘婷婷, 郝凯锋. 融合小波和LBP-GD特征的人脸表情识别[J]. 电子科技大学学报, 2018, 47(5): 654-659. doi: 10.3969/j.issn.1001-0548.2018.05.003
引用本文: 张良, 李玉, 刘婷婷, 郝凯锋. 融合小波和LBP-GD特征的人脸表情识别[J]. 电子科技大学学报, 2018, 47(5): 654-659. doi: 10.3969/j.issn.1001-0548.2018.05.003
ZHANG Liang, LI Yu, LIU Ting-ting, HAO Kai-feng. Feature Fusion of Wavelet and LBP-GD for Facial Expression Recognition[J]. Journal of University of Electronic Science and Technology of China, 2018, 47(5): 654-659. doi: 10.3969/j.issn.1001-0548.2018.05.003
Citation: ZHANG Liang, LI Yu, LIU Ting-ting, HAO Kai-feng. Feature Fusion of Wavelet and LBP-GD for Facial Expression Recognition[J]. Journal of University of Electronic Science and Technology of China, 2018, 47(5): 654-659. doi: 10.3969/j.issn.1001-0548.2018.05.003
  • 面部表情蕴含着丰富的情绪变化和心理活动,是一种重要的非语言交往手段。文献[1]认为,55%的面部表情、38%的声音以及7%的语言构成了人类的情感表达。人脸表情识别目前已经是机器视觉、人工智能、情感计算等领域的一个研究热点,一般分为预处理、特征提取、表情分类3个部分[2]

    目前,主流的表情特征提取方法有:活动外观模型(active appearance model,AAM)[3],Gabor小波变换[4-5],主成分分析法(principle component analysis,PCA)[6]以及局部二元模式(LBP)[7-12]等。在这些方法中,AAM能够描述对象的纹理和形状两种属性,但是难以确定初始参数,并且计算复杂。PCA倾向于图像整体,很难分别局部表情的差异。Gabor小波提取的是多尺度多方向信息,由此产生的高维特征向量不利于算法的实时处理。相比于Gabor小波特征,LBP具有灰度和旋转不变性,同时在一定程度上可以抑制光照的影响,计算简单,是一种有效的局部纹理描述算子。在识别表情时,传统LBP算法很难精确描述不同方向上额头、眼睛、嘴巴等关键表情区域的灰度变化趋势,分类效果不太理想。所以本文提出了一种融合了梯度方向的LBP-GD算子,不仅保持了LBP本身的优点,同时可以描述纹理的方向信息。

    目前小波分析在图像处理领域应用广泛。提升小波具有空间域局部性的特征,可以实现图像的高低频分离,高频分量主要包含图像的细节信息,低频分量则汇集了图像的主要信息。本文采用LBP-GD特征与提升小波的低频分量特征融合的特征提取方法,然后用K近邻方法进行表情分类。在JAFFE和Cohn-Kanade(CK)表情库上的识别结果验证了该方法的可行性。

    • 预处理是表情识别的第一步。首先,分别对图像进行垂直和水平积分投影,定位出双眼中心位置,根据双眼中心位置对图像旋转和裁剪[13]。依据人脸五官的形状及位置,裁剪标准为:假设眼睛的间距为d,则以双眼中心为基准,向上取0.5d,向下取1.5d,向左和向右各取0.9d。裁剪后的图像在长宽比和大小方面都不一样,故将图像大小归一化为128×128像素。为了减少光照影响,进行灰度归一化操作,就得到了归一化的纯表情区域。处理结果如图 1所示,图中,上层是原始图像,下层是预处理之后的图像。

      图  1  表情图像预处理

    • 提升算法的中心思想是把小波滤波器分解为多个基本模块,分步完成。提升方案为:分裂、预测和更新[14],如图 2所示。

      图  2  提升方案示意图

      1) 分裂

      把输入信号$ {s_j} = \{ {s_{j, k}}\} $分为两个互斥的子集,子集的长度是$ {s_j} $长度的一半。通常是将$ {s_j} $分裂为偶数序列$ {e_{j - 1}} $和奇数序列$ {o_{j - 1}} $,即:

      $$ S({s_j}) = \{ {e_{j - 1}}, {o_{j - 1}}\} $$ (1)

      式中,$ {e_{j - 1}} = \{ {e_{j - 1, k}} = {s_{j - 1, 2k}}\} $;$ {o_{j - 1}} = \{ {o_{j - 1, k}} = {s_{j - 1, 2k + 1}}\} $。

      2) 预测

      预测的核心是利用$ {e_{j - 1}} $与$ {o_{j - 1}} $之间的相关性,用$ {e_{j - 1}} $来预测$ {o_{j - 1}} $。差值$ {d_{j - 1}} $对应于$ {s_j} $的高频分量,$ {g_p}(p = 0, 1, \cdots , P - 1) $表示预测算子:

      $$ {d_{j - 1}} = {o_{j - 1}} - P({e_{j - 1}}) $$ (2)

      3) 更新

      为了保留$ {s_j} $的整体特征,还需要一个更新过程:

      $$ {s_{j - 1}} = {e_{j - 1}} + U({d_{j - 1}}) $$ (3)

      式中,$ {s_{j - 1}} $是$ {s_j} $的低频分量;$ {g_p}(p = 0, 1, \cdots , P - 1) $是更新算子。

      经过以上操作,输入信号$ {s_j} $分解为低频分量$ {s_{j - 1}} $和高频分量$ {d_{j - 1}} $;低频分量$ {s_{j - 1}} $可以继续分解,重复上述3个步骤,$ {s_{j - 1}} $分解为$ {s_{j - 2}} $和$ {d_{j - 2}} $;经过n次分解后,$ {s_j} $可表示为$ \{ {s_{j - n}}, {d_{j - n}}, {d_{j - n + 1}}, \cdots , {d_{j - 1}}\} $。其中$ {s_{j - n}} $是$ {s_j} $的低频分量,而$ \{ {d_{j - n}}, {d_{j - n + 1}}, \cdots , {d_{j - 1}}\} $则是$ {s_j} $的由低到高的高频分量序列。

      图像经提升变换后可以获得4个子图,依次是:低频子图(LL)、水平高频子图(HL)、垂直高频子图(LH)及对角高频子图(HH)。经过k次分解后,低频分量的大小变为原图的$ 1/{4^k} $倍,如图 3所示。

      图  3  提升小波3次分解示意图

    • LBP是一种用来描述图像局部特征的算子,其定义为:在像素$ 3 \times 3 $邻域内,如果邻域像素值大于中心像素值,那么编码为1;反之,为0,如图 4所示。

      图  4  LBP算子示意图

      由于LBP算子不能分析不同尺度和频率的纹理特征,文献[7]提出了LBP圆形算子。假设$ {g_c} $为圆形邻域的中心像素值,则$ {g_p}(p = 0, 1, \cdots , P - 1) $就是以R为半径的圆环上对称分布的P个邻域的像素值。

      像素点$ {g_c} $的LBP值可以用公式表示为:

      $$ {\rm{LB}}{{\rm{P}}_{P, R}} = \sum\limits_{p = 0}^{P - 1} {s({g_p} - {g_c}){2^p}\;, \;s(x) = \left\{ \begin{array}{l} 1\, \, {\rm{ }}x \ge 0\\ 0\, {\rm{ }}x < 0 \end{array} \right.} $$ (4)

      通常用LBP模式的统计直方图来描述图像的信息,上面的圆形算子会产生$ {2^P} $种LBP模式,这就使得直方图维数过多,并且直方图也过于稀疏,因此,文献[12]又提出一种均匀模式(uniform pattern)用来对LBP降维。当某个LBP模式对应的二进制数由0到1或由1到0的变化不多于两次时,那么这个LBP模式就是一个均匀模式类,可以表示为:

      $$ \begin{array}{c} U({\rm{LB}}{{\rm{P}}_{P, R}}) = \left| {s({g_{p - 1}} - {g_c}) - s({g_0} - {g_c})} \right| + \\ \, \sum\limits_{p = 1}^{P - 1} {\left| {s({g_p} - {g_c}) - s({g_{p - 1}} - {g_c})} \right|} \le 2 \end{array} $$ (5)

      由此可知,均匀模式$ {\rm{LBP}}_{P, R}^{{u_2}} $有$ P(P - 1) + 3 $种模式,与传统LBP模式相比,种类大为减少,降低了特征维度,而没有丢失重要信息。同时,均匀模式可以很好的消除一些噪声的影响,使提取的特征愈加准确。

    • 梯度方向是指中心像素点与相邻像素点的方向角度的变化率[15-16]。如式(6)所示:

      $$ \theta ({g_c}) = \arctan \left( {\frac{{{v_1}}}{{{v_2}}}} \right) $$ (6)

      式中,$ {v_1} = {g_7} - {g_3} $;$ {v_2} = {g_5} - {g_1} $。

      为了方便计算,把$ \theta $量化为$ T $个主方向。量化之前,做映射:$ f:\theta \to \theta ' $,其中:

      $$ \theta ' = \arctan 2({v_1}, {v_2}) $$ (7)
      $$ \arctan 2({v_1}, {v_2}) = \left\{ \begin{array}{l} \quad \theta \quad \quad {v_1} > 0, {v_2} > 0\\ \, \theta + {\rm{ \mathsf{ π} }}\;\;\;\;\;{v_1} > 0, {v_2} < 0\\ \, \theta - {\rm{ \mathsf{ π} }}\;\quad {v_1} < 0, {v_2} < 0\\ \quad \theta \;\;\, \;\quad {v_1} < 0, {v_2} > 0 \end{array} \right. $$ (8)

      式中,$ \theta \in [ - {\rm{ \mathsf{ π} }}/2, {\rm{ \mathsf{ π} }}/2] $;$ \theta ' \in [0, 2{\rm{ \mathsf{ π} }}] $。

      量化函数为:

      $$ {\varphi _t} = {f_q}(\theta ') = \frac{{2t}}{T}{\rm{ \mathsf{ π} }} $$ (9)

      式中,$ t = \bmod \left( {\left[ {\frac{{\theta '}}{{2{\rm{ \mathsf{ π} }}/T}} + \frac{1}{2}} \right]\;\, , \;T} \right) $。

      如$ T=8 $,这$ T $个主方向就是$ {\varphi _t} = t{\rm{ \mathsf{ π} }}/4\; $,$ (t = 0, 1, \cdots , T - 1) $,即$ [{\varphi _t} - {\rm{ \mathsf{ π} }}/T\;, \;{\varphi _t} + {\rm{ \mathsf{ π} }}/T] $内的值被量化为$ {\varphi _t} $。

    • 相较于人脸识别,表情识别的难度更大,所以对表情细节特征的提取特别关键。由于LBP很难描述纹理方向的微小变化,因此,本文在LBP特征中加入梯度方向信息,也就是LBP-GD算子。首先,把图像分为9个互不重叠的子块,提取每个子块的GD特征$ {H''_i}(\, i = 1\, , 2, \cdots , 9) $和LBP特征$ {H'_i}(\, i = 1\, , 2, \cdots , 9) $,并把两种特征融合,就获得了每个子块的LBP-GD特征$ {H_i} = \left\{ {\, {{H'}_i}\, , \, {{H''}_i}\;} \right\}(i = 1\, , 2, \cdots , 9) $;然后把9个子块的LBP-GD特征按顺序级联成为一个空域增强的表情特征向量$ \mathit{\boldsymbol{H}} = \left\{ {{\alpha _1}{H_1}, {\alpha _2}{H_2}, \cdots , {\alpha _9}{H_9}} \right\} $,其中$ {\alpha _i}({\rm{i}} = 1, 2, \cdots , 9) $为第i个子块的加权系数。具体过程如图 5所示。

      图  5  LBP-GD特征提取过程

    • 图像经提升小波变换后得到的低频分量是原图像的近似描述,低频分量包含图像信号的整体特征,可以稳定的表达面部的表情变化。LBP-GD特征包含表情的纹理及细节信息,在判别表情时可以提供更为精细的确认[16]。因此,本文用提升小波的低频分量特征与LBP-GD特征融合的方法来识别表情。如果提升小波的低频分量特征为$ {y_1} \in {R^{{m_1}}} $,LBP-GD特征为$ {y_2} \in {R^{{m_2}}} $,那么融合后的特征向量$ \mathit{\boldsymbol{z}} \in {R^{{m_1} + {m_2}}} $为:

      $$ \mathit{\boldsymbol{z}} = \left\{ {\, {y_1}\, , {y_2}} \right\} $$ (10)
    • 为验证提出方法的有效性,在JAFFE和CK表情库上分别进行与人相关和与人无关两种类型实验。

      JAFFE表情库包含10位日本女性的7种(高兴、生气、害怕、厌恶、悲哀、吃惊、中性)不同表情,每种表情有2~4张,共213张图像。从JAFFE表情库中选取10个人的6种基本表情图像,共182张。为了保证实验的合理性,与人相关的实验设计为:从每人的6种表情中各选出1幅作为测试集,其余的作为训练集,实验进行3次取平均值。与人无关的实验设计为:选出1人的所有图像为测试集,其余的为训练集,采取十折交叉法,取平均值作为最终识别率。

      CK表情库由123人的图像序列组成,包含6种基本表情(害怕、生气、厌恶、悲哀、高兴、吃惊)、中性和蔑视。从中选出40人的6种基本表情,每种表情各取4张,一共960张,进行与人相关和与人无关的实验。

      首先,对图像进行预处理,以减少其他因素的干扰。在提取LBP-GD特征之前对图像进行分块,由于人脸表情器官所蕴含信息的差异性,本文设计了如图 6所示的一种不规则的分块方式,并对每个子块设置不同的权值系数。在本次实验中,LBP算子中的PR分别取值为8和1,GD算子中的主方向T设为8。进行多次实验发现,当子块的加权系数为$ \{ 5, 3, 5, 3, 2, 3, 1, 5, 1\} $时可以得到较好的表情识别结果,那么相应的LBP-GD特征为$ H = \{ 5{H_1}, 3{H_2}, 5{H_1}, 3{H_4}, 2{H_5}, 3{H_6}, {H_7}, 5{H_8}, {H_9}\} $,其中$ {H_i}(i = 1\, , 2, \cdots , 9) $为第i个子块的LBP-GD特征。所以LBP-GD特征的总维数为$ (59 + 8) \times 9 = 603 $,比传统LBP特征的维数$ (256 \times 9) $极大减少。

      图  6  面部分块方式

      表 1表 2分别表示采用不同的分块方式在不用表情库的识别率。从表 1表 2中的数据可以看出,如果不对图像分块,则识别率很低,主要原因就是丢失了一些结构上的细节信息,所以在提取LBP特征时一般会先对图像进行$ n \times n $分块。把图像按$规则分块后,在JAFFE和CK上的识别率都显著提高。通过对比实验可知,在对图像使用相同分块方式的情况下,LBP-GD特征在两个表情库上的表现都比LBP特征好。观察图 6a可知,规则分块方式会把眼睛、鼻子、嘴划分到不同的子块中,进而分散了表情信息。而本文提出的不规则分块方式根据这些表情器官的结构特点进行分块,能够突出表情变化的主要区域。从表 1表 2中的数据可以得出结论:采用不规则分块方式和LBP-GD特征可以提高表情识别率。

      表 1  采用不同的分块方式在JAFFE上的识别率

      %
      分块方式 与人相关 与人无关
      LBP(不分块) 76.11 45.83
      LBP(3×3规则分块) 85.00 62.31
      LBP-GD(3×3规则分块) 90.16 70.22
      LBP-GD(3×3不规则分块) 96.67 73.52

      表 2  采用不同的分块方式在CK上的识别率

      %
      分块方式 与人相关 与人无关
      LBP(不分块) 81.13 51.23
      LBP(3×3规则分块) 88.38 80.33
      LBP-GD(3×3规则分块) 94.55 87.50
      LBP-GD(3×3不规则分块) 98.81 89.47

      提升小波具有多分辨率的特性,不同分解次数得到的低频分量包含的表情信息不同,所以分解次数的选择就非常重要。选择提升小波的低频分量用作表情特征,对图像进行1~4次分解,在JAFFE和CK上的识别率如表 3~6所示。

      表 3  1~4次的低频分量在JAFFE上的识别率

      %
      分解次数 与人相关 与人无关
      1 95.56 72.21
      2 95.56 71.75
      3 88.89 67.92
      4 80.56 58.75

      表 4  1~4次的低频分量在CK上的识别率

      %
      分解次数 与人相关 与人无关
      1 98.73 90.88
      2 98.10 90.36
      3 94.56 88.40
      4 88.98 71.83

      表 5  1~4次的低频分量在JAFFE上的训练时间

      s
      分解次数 与人相关 与人无关
      1 0.79 1.04
      2 0.67 0.80
      3 0.57 0.74
      4 0.55 0.71

      表 6  1~4次的低频分量在CK上的训练时间

      s
      分解次数 与人相关 与人无关
      1 4.32 5.21
      2 3.27 3.88
      3 3.01 3.51
      4 2.88 3.37

      表 3表 4可以看出,对图像进行1~2次分解时得到的识别率差别不大。但是从第3次分解开始,在两个表情库上识别率都开始下降。因为随着分解次数的增多,低频分量中包含的信息量减少,不能准确描述表情变化,所以放弃3次及以上的小波分解。在数据量方面,2次分解得到的低频分量的向量维数为$ 32 \times 32 $,是1次分解得到的低频分量向量维数的$ 1/4 $。在训练时间方面,由表 5表 6可以看出,2次分解在两个表情库上所用的时间均少于1次分解。综合以上两方面因素,选择2次小波分解来进行实验。

      对图像进行2次小波分解,将得到的低频分量特征和高频分量特征结合来识别表情。表 7表 8分别表示不同情况下,在不同表情库上的识别率。

      表 7  在JAFFE上的识别率

      %
      分量特征 与人相关 与人无关
      LL2 95.56 71.75
      LL2+LH2 94.89 71.09
      LL2+HL2 94.89 72.88
      LL2+HH2 96.00 71.04

      表 8  在CK上的识别率

      %
      分量特征 与人相关 与人无关
      LL2 98.10 90.36
      LL2+LH2 98.87 91.13
      LL2+HL2 97.63 91.27
      LL2+HH2 98.55 89.74

      表 7表 8可以看出,加入不同方向的高频细节分量后,有的方向上的识别率提高,有的方向上的识别率反而下降。主要原因是加入高频分量后,在增加图像细节信息的同时也造成了信息冗余,或者是该方向的高频信息中可能包含与表情无关的信息,进而影响了识别性能。

      相较于高频分量特征,LBP-GD特征可以准确描述不同方向上眼睛、鼻子、嘴等关键表情区域的灰度变化趋势,因此本文采用将LBP-GD特征和提升小波的低频分量特征加权融合的特征提取方法,然后用K近邻分类,实验结果如表 9所示。

      表 9  LBP-GD特征和低频分量特征加权融合的识别率

      %
      表情库 与人相关 与人无关
      JAFFE 97.22 80.40
      CK 99.37 95.42

      表 10可以看出,在与人相关的实验中,本文算法要优于同类算法的识别结果。现阶段,多数表情识别都是基于与人相关的实验,考虑到应用方面,与人无关的实验更有研究价值。从表 9可知,本文采用的特征融合方法不仅在与人相关的实验中取得较高的识别率,在与人无关的实验中也能实现不错的分类结果,有较高的实用性,同时过程较为简单,易于实现。

      表 10  算法性能比较(与人相关)

      算法 JAFFE(识别率/%) CK(识别率/%)
      HCBP[17] 95.30 97.70
      LDP + SVM[18] 90.10 ± 4.90 96.40±0.90
      Gabor多方向特征融合+分块统计[19] 95.67 96.17
      本文算法 97.22 99.37
    • 本文将提升小波与LBP-GD特征结合,可以得到较高的表情识别率。首先,由于人脸表情器官所蕴含信息的差异性,本文设计了一种不规则的分块方式,并为每个子块设置不同的权值系数。其次,LBP-GD特征可以有效刻画纹理的方向信息,同时保持LBP本身的优点,因此对表情变化的描述更加高效。表情图像经过提升小波分解后得到的低频分量集中了原图中的大部分信息,并且维数少,大大减少了数据量。实验结果表明,将提升小波的低频分量特征和LBP-GD特征结合的特征提取方法能够准确的提取脸部的表情信息,并且计算量小、具有较高的识别率。

参考文献 (19)

目录

    /

    返回文章
    返回