-
面部表情蕴含着丰富的情绪变化和心理活动,是一种重要的非语言交往手段。文献[1]认为,55%的面部表情、38%的声音以及7%的语言构成了人类的情感表达。人脸表情识别目前已经是机器视觉、人工智能、情感计算等领域的一个研究热点,一般分为预处理、特征提取、表情分类3个部分[2]。
目前,主流的表情特征提取方法有:活动外观模型(active appearance model,AAM)[3],Gabor小波变换[4-5],主成分分析法(principle component analysis,PCA)[6]以及局部二元模式(LBP)[7-12]等。在这些方法中,AAM能够描述对象的纹理和形状两种属性,但是难以确定初始参数,并且计算复杂。PCA倾向于图像整体,很难分别局部表情的差异。Gabor小波提取的是多尺度多方向信息,由此产生的高维特征向量不利于算法的实时处理。相比于Gabor小波特征,LBP具有灰度和旋转不变性,同时在一定程度上可以抑制光照的影响,计算简单,是一种有效的局部纹理描述算子。在识别表情时,传统LBP算法很难精确描述不同方向上额头、眼睛、嘴巴等关键表情区域的灰度变化趋势,分类效果不太理想。所以本文提出了一种融合了梯度方向的LBP-GD算子,不仅保持了LBP本身的优点,同时可以描述纹理的方向信息。
目前小波分析在图像处理领域应用广泛。提升小波具有空间域局部性的特征,可以实现图像的高低频分离,高频分量主要包含图像的细节信息,低频分量则汇集了图像的主要信息。本文采用LBP-GD特征与提升小波的低频分量特征融合的特征提取方法,然后用K近邻方法进行表情分类。在JAFFE和Cohn-Kanade(CK)表情库上的识别结果验证了该方法的可行性。
-
提升算法的中心思想是把小波滤波器分解为多个基本模块,分步完成。提升方案为:分裂、预测和更新[14],如图 2所示。
1) 分裂
把输入信号$ {s_j} = \{ {s_{j, k}}\} $分为两个互斥的子集,子集的长度是$ {s_j} $长度的一半。通常是将$ {s_j} $分裂为偶数序列$ {e_{j - 1}} $和奇数序列$ {o_{j - 1}} $,即:
$$ S({s_j}) = \{ {e_{j - 1}}, {o_{j - 1}}\} $$ (1) 式中,$ {e_{j - 1}} = \{ {e_{j - 1, k}} = {s_{j - 1, 2k}}\} $;$ {o_{j - 1}} = \{ {o_{j - 1, k}} = {s_{j - 1, 2k + 1}}\} $。
2) 预测
预测的核心是利用$ {e_{j - 1}} $与$ {o_{j - 1}} $之间的相关性,用$ {e_{j - 1}} $来预测$ {o_{j - 1}} $。差值$ {d_{j - 1}} $对应于$ {s_j} $的高频分量,$ {g_p}(p = 0, 1, \cdots , P - 1) $表示预测算子:
$$ {d_{j - 1}} = {o_{j - 1}} - P({e_{j - 1}}) $$ (2) 3) 更新
为了保留$ {s_j} $的整体特征,还需要一个更新过程:
$$ {s_{j - 1}} = {e_{j - 1}} + U({d_{j - 1}}) $$ (3) 式中,$ {s_{j - 1}} $是$ {s_j} $的低频分量;$ {g_p}(p = 0, 1, \cdots , P - 1) $是更新算子。
经过以上操作,输入信号$ {s_j} $分解为低频分量$ {s_{j - 1}} $和高频分量$ {d_{j - 1}} $;低频分量$ {s_{j - 1}} $可以继续分解,重复上述3个步骤,$ {s_{j - 1}} $分解为$ {s_{j - 2}} $和$ {d_{j - 2}} $;经过n次分解后,$ {s_j} $可表示为$ \{ {s_{j - n}}, {d_{j - n}}, {d_{j - n + 1}}, \cdots , {d_{j - 1}}\} $。其中$ {s_{j - n}} $是$ {s_j} $的低频分量,而$ \{ {d_{j - n}}, {d_{j - n + 1}}, \cdots , {d_{j - 1}}\} $则是$ {s_j} $的由低到高的高频分量序列。
图像经提升变换后可以获得4个子图,依次是:低频子图(LL)、水平高频子图(HL)、垂直高频子图(LH)及对角高频子图(HH)。经过k次分解后,低频分量的大小变为原图的$ 1/{4^k} $倍,如图 3所示。
-
LBP是一种用来描述图像局部特征的算子,其定义为:在像素$ 3 \times 3 $邻域内,如果邻域像素值大于中心像素值,那么编码为1;反之,为0,如图 4所示。
由于LBP算子不能分析不同尺度和频率的纹理特征,文献[7]提出了LBP圆形算子。假设$ {g_c} $为圆形邻域的中心像素值,则$ {g_p}(p = 0, 1, \cdots , P - 1) $就是以R为半径的圆环上对称分布的P个邻域的像素值。
像素点$ {g_c} $的LBP值可以用公式表示为:
$$ {\rm{LB}}{{\rm{P}}_{P, R}} = \sum\limits_{p = 0}^{P - 1} {s({g_p} - {g_c}){2^p}\;, \;s(x) = \left\{ \begin{array}{l} 1\, \, {\rm{ }}x \ge 0\\ 0\, {\rm{ }}x < 0 \end{array} \right.} $$ (4) 通常用LBP模式的统计直方图来描述图像的信息,上面的圆形算子会产生$ {2^P} $种LBP模式,这就使得直方图维数过多,并且直方图也过于稀疏,因此,文献[12]又提出一种均匀模式(uniform pattern)用来对LBP降维。当某个LBP模式对应的二进制数由0到1或由1到0的变化不多于两次时,那么这个LBP模式就是一个均匀模式类,可以表示为:
$$ \begin{array}{c} U({\rm{LB}}{{\rm{P}}_{P, R}}) = \left| {s({g_{p - 1}} - {g_c}) - s({g_0} - {g_c})} \right| + \\ \, \sum\limits_{p = 1}^{P - 1} {\left| {s({g_p} - {g_c}) - s({g_{p - 1}} - {g_c})} \right|} \le 2 \end{array} $$ (5) 由此可知,均匀模式$ {\rm{LBP}}_{P, R}^{{u_2}} $有$ P(P - 1) + 3 $种模式,与传统LBP模式相比,种类大为减少,降低了特征维度,而没有丢失重要信息。同时,均匀模式可以很好的消除一些噪声的影响,使提取的特征愈加准确。
-
梯度方向是指中心像素点与相邻像素点的方向角度的变化率[15-16]。如式(6)所示:
$$ \theta ({g_c}) = \arctan \left( {\frac{{{v_1}}}{{{v_2}}}} \right) $$ (6) 式中,$ {v_1} = {g_7} - {g_3} $;$ {v_2} = {g_5} - {g_1} $。
为了方便计算,把$ \theta $量化为$ T $个主方向。量化之前,做映射:$ f:\theta \to \theta ' $,其中:
$$ \theta ' = \arctan 2({v_1}, {v_2}) $$ (7) $$ \arctan 2({v_1}, {v_2}) = \left\{ \begin{array}{l} \quad \theta \quad \quad {v_1} > 0, {v_2} > 0\\ \, \theta + {\rm{ \mathsf{ π} }}\;\;\;\;\;{v_1} > 0, {v_2} < 0\\ \, \theta - {\rm{ \mathsf{ π} }}\;\quad {v_1} < 0, {v_2} < 0\\ \quad \theta \;\;\, \;\quad {v_1} < 0, {v_2} > 0 \end{array} \right. $$ (8) 式中,$ \theta \in [ - {\rm{ \mathsf{ π} }}/2, {\rm{ \mathsf{ π} }}/2] $;$ \theta ' \in [0, 2{\rm{ \mathsf{ π} }}] $。
量化函数为:
$$ {\varphi _t} = {f_q}(\theta ') = \frac{{2t}}{T}{\rm{ \mathsf{ π} }} $$ (9) 式中,$ t = \bmod \left( {\left[ {\frac{{\theta '}}{{2{\rm{ \mathsf{ π} }}/T}} + \frac{1}{2}} \right]\;\, , \;T} \right) $。
如$ T=8 $,这$ T $个主方向就是$ {\varphi _t} = t{\rm{ \mathsf{ π} }}/4\; $,$ (t = 0, 1, \cdots , T - 1) $,即$ [{\varphi _t} - {\rm{ \mathsf{ π} }}/T\;, \;{\varphi _t} + {\rm{ \mathsf{ π} }}/T] $内的值被量化为$ {\varphi _t} $。
-
相较于人脸识别,表情识别的难度更大,所以对表情细节特征的提取特别关键。由于LBP很难描述纹理方向的微小变化,因此,本文在LBP特征中加入梯度方向信息,也就是LBP-GD算子。首先,把图像分为9个互不重叠的子块,提取每个子块的GD特征$ {H''_i}(\, i = 1\, , 2, \cdots , 9) $和LBP特征$ {H'_i}(\, i = 1\, , 2, \cdots , 9) $,并把两种特征融合,就获得了每个子块的LBP-GD特征$ {H_i} = \left\{ {\, {{H'}_i}\, , \, {{H''}_i}\;} \right\}(i = 1\, , 2, \cdots , 9) $;然后把9个子块的LBP-GD特征按顺序级联成为一个空域增强的表情特征向量$ \mathit{\boldsymbol{H}} = \left\{ {{\alpha _1}{H_1}, {\alpha _2}{H_2}, \cdots , {\alpha _9}{H_9}} \right\} $,其中$ {\alpha _i}({\rm{i}} = 1, 2, \cdots , 9) $为第i个子块的加权系数。具体过程如图 5所示。
-
图像经提升小波变换后得到的低频分量是原图像的近似描述,低频分量包含图像信号的整体特征,可以稳定的表达面部的表情变化。LBP-GD特征包含表情的纹理及细节信息,在判别表情时可以提供更为精细的确认[16]。因此,本文用提升小波的低频分量特征与LBP-GD特征融合的方法来识别表情。如果提升小波的低频分量特征为$ {y_1} \in {R^{{m_1}}} $,LBP-GD特征为$ {y_2} \in {R^{{m_2}}} $,那么融合后的特征向量$ \mathit{\boldsymbol{z}} \in {R^{{m_1} + {m_2}}} $为:
$$ \mathit{\boldsymbol{z}} = \left\{ {\, {y_1}\, , {y_2}} \right\} $$ (10) -
为验证提出方法的有效性,在JAFFE和CK表情库上分别进行与人相关和与人无关两种类型实验。
JAFFE表情库包含10位日本女性的7种(高兴、生气、害怕、厌恶、悲哀、吃惊、中性)不同表情,每种表情有2~4张,共213张图像。从JAFFE表情库中选取10个人的6种基本表情图像,共182张。为了保证实验的合理性,与人相关的实验设计为:从每人的6种表情中各选出1幅作为测试集,其余的作为训练集,实验进行3次取平均值。与人无关的实验设计为:选出1人的所有图像为测试集,其余的为训练集,采取十折交叉法,取平均值作为最终识别率。
CK表情库由123人的图像序列组成,包含6种基本表情(害怕、生气、厌恶、悲哀、高兴、吃惊)、中性和蔑视。从中选出40人的6种基本表情,每种表情各取4张,一共960张,进行与人相关和与人无关的实验。
首先,对图像进行预处理,以减少其他因素的干扰。在提取LBP-GD特征之前对图像进行分块,由于人脸表情器官所蕴含信息的差异性,本文设计了如图 6所示的一种不规则的分块方式,并对每个子块设置不同的权值系数。在本次实验中,LBP算子中的P和R分别取值为8和1,GD算子中的主方向T设为8。进行多次实验发现,当子块的加权系数为$ \{ 5, 3, 5, 3, 2, 3, 1, 5, 1\} $时可以得到较好的表情识别结果,那么相应的LBP-GD特征为$ H = \{ 5{H_1}, 3{H_2}, 5{H_1}, 3{H_4}, 2{H_5}, 3{H_6}, {H_7}, 5{H_8}, {H_9}\} $,其中$ {H_i}(i = 1\, , 2, \cdots , 9) $为第i个子块的LBP-GD特征。所以LBP-GD特征的总维数为$ (59 + 8) \times 9 = 603 $,比传统LBP特征的维数$ (256 \times 9) $极大减少。
用表 1、表 2分别表示采用不同的分块方式在不用表情库的识别率。从表 1、表 2中的数据可以看出,如果不对图像分块,则识别率很低,主要原因就是丢失了一些结构上的细节信息,所以在提取LBP特征时一般会先对图像进行$ n \times n $分块。把图像按$规则分块后,在JAFFE和CK上的识别率都显著提高。通过对比实验可知,在对图像使用相同分块方式的情况下,LBP-GD特征在两个表情库上的表现都比LBP特征好。观察图 6a可知,规则分块方式会把眼睛、鼻子、嘴划分到不同的子块中,进而分散了表情信息。而本文提出的不规则分块方式根据这些表情器官的结构特点进行分块,能够突出表情变化的主要区域。从表 1、表 2中的数据可以得出结论:采用不规则分块方式和LBP-GD特征可以提高表情识别率。
表 1 采用不同的分块方式在JAFFE上的识别率
% 分块方式 与人相关 与人无关 LBP(不分块) 76.11 45.83 LBP(3×3规则分块) 85.00 62.31 LBP-GD(3×3规则分块) 90.16 70.22 LBP-GD(3×3不规则分块) 96.67 73.52 表 2 采用不同的分块方式在CK上的识别率
% 分块方式 与人相关 与人无关 LBP(不分块) 81.13 51.23 LBP(3×3规则分块) 88.38 80.33 LBP-GD(3×3规则分块) 94.55 87.50 LBP-GD(3×3不规则分块) 98.81 89.47 提升小波具有多分辨率的特性,不同分解次数得到的低频分量包含的表情信息不同,所以分解次数的选择就非常重要。选择提升小波的低频分量用作表情特征,对图像进行1~4次分解,在JAFFE和CK上的识别率如表 3~6所示。
表 3 1~4次的低频分量在JAFFE上的识别率
% 分解次数 与人相关 与人无关 1 95.56 72.21 2 95.56 71.75 3 88.89 67.92 4 80.56 58.75 表 4 1~4次的低频分量在CK上的识别率
% 分解次数 与人相关 与人无关 1 98.73 90.88 2 98.10 90.36 3 94.56 88.40 4 88.98 71.83 表 5 1~4次的低频分量在JAFFE上的训练时间
s 分解次数 与人相关 与人无关 1 0.79 1.04 2 0.67 0.80 3 0.57 0.74 4 0.55 0.71 表 6 1~4次的低频分量在CK上的训练时间
s 分解次数 与人相关 与人无关 1 4.32 5.21 2 3.27 3.88 3 3.01 3.51 4 2.88 3.37 由表 3、表 4可以看出,对图像进行1~2次分解时得到的识别率差别不大。但是从第3次分解开始,在两个表情库上识别率都开始下降。因为随着分解次数的增多,低频分量中包含的信息量减少,不能准确描述表情变化,所以放弃3次及以上的小波分解。在数据量方面,2次分解得到的低频分量的向量维数为$ 32 \times 32 $,是1次分解得到的低频分量向量维数的$ 1/4 $。在训练时间方面,由表 5和表 6可以看出,2次分解在两个表情库上所用的时间均少于1次分解。综合以上两方面因素,选择2次小波分解来进行实验。
对图像进行2次小波分解,将得到的低频分量特征和高频分量特征结合来识别表情。表 7、表 8分别表示不同情况下,在不同表情库上的识别率。
表 7 在JAFFE上的识别率
% 分量特征 与人相关 与人无关 LL2 95.56 71.75 LL2+LH2 94.89 71.09 LL2+HL2 94.89 72.88 LL2+HH2 96.00 71.04 表 8 在CK上的识别率
% 分量特征 与人相关 与人无关 LL2 98.10 90.36 LL2+LH2 98.87 91.13 LL2+HL2 97.63 91.27 LL2+HH2 98.55 89.74 从表 7和表 8可以看出,加入不同方向的高频细节分量后,有的方向上的识别率提高,有的方向上的识别率反而下降。主要原因是加入高频分量后,在增加图像细节信息的同时也造成了信息冗余,或者是该方向的高频信息中可能包含与表情无关的信息,进而影响了识别性能。
相较于高频分量特征,LBP-GD特征可以准确描述不同方向上眼睛、鼻子、嘴等关键表情区域的灰度变化趋势,因此本文采用将LBP-GD特征和提升小波的低频分量特征加权融合的特征提取方法,然后用K近邻分类,实验结果如表 9所示。
表 9 LBP-GD特征和低频分量特征加权融合的识别率
% 表情库 与人相关 与人无关 JAFFE 97.22 80.40 CK 99.37 95.42 从表 10可以看出,在与人相关的实验中,本文算法要优于同类算法的识别结果。现阶段,多数表情识别都是基于与人相关的实验,考虑到应用方面,与人无关的实验更有研究价值。从表 9可知,本文采用的特征融合方法不仅在与人相关的实验中取得较高的识别率,在与人无关的实验中也能实现不错的分类结果,有较高的实用性,同时过程较为简单,易于实现。
Feature Fusion of Wavelet and LBP-GD for Facial Expression Recognition
-
摘要: 针对局部二值模式(LBP)不能描述纹理方向变化的问题,提出了一种融合了梯度方向的LBP-GD算子。LBP-GD算子不仅保持了LBP本身的优点,还可以细致刻画纹理的方向信息。由于人脸表情器官所蕴含信息的差异性,设计了一种不规则的分块方式,把图像分为9个互不重叠的子块并且设置不同的权值系数,然后提取每个子块的LBP-GD特征。最后,将LBP-GD特征与提升小波的低频分量特征加权融合,用K近邻方法进行分类。在JAFFE和Cohn-Kanade表情库上验证了该方法的有效性。实验结果表明,该方法比单独使用LBP-GD特征和提升小波特征具有更好的识别效果。Abstract: Aiming at the problem that local binary pattern (LBP) cannot describe the change of texture direction, an LBP-gradient direction (LBP-GD) operator which combines gradient direction with LBP is proposed. LBP-GD operator not only keeps the advantages of LBP, but also describes texture direction in detail. Due to the difference of information contained in facial expression organs, an irregular dividing method is designed. The image is divided into 9 non-overlapping sub-blocks with different weighted values, then LBP-GD feature of each sub-block is extracted. Finally, the LBP-GD feature is weightily fused with low-frequency components obtained by lifting wavelet (LW) transform, and the K-nearest neighbor classifier is applied for expression classification. The effectiveness of this approach has been demonstrated on the JAFFE and Cohn-Kanade facial expression databases. Experimental results show that the proposed method achieves better performance than LW and LBP-GD feature alone.
-
表 1 采用不同的分块方式在JAFFE上的识别率
% 分块方式 与人相关 与人无关 LBP(不分块) 76.11 45.83 LBP(3×3规则分块) 85.00 62.31 LBP-GD(3×3规则分块) 90.16 70.22 LBP-GD(3×3不规则分块) 96.67 73.52 表 2 采用不同的分块方式在CK上的识别率
% 分块方式 与人相关 与人无关 LBP(不分块) 81.13 51.23 LBP(3×3规则分块) 88.38 80.33 LBP-GD(3×3规则分块) 94.55 87.50 LBP-GD(3×3不规则分块) 98.81 89.47 表 3 1~4次的低频分量在JAFFE上的识别率
% 分解次数 与人相关 与人无关 1 95.56 72.21 2 95.56 71.75 3 88.89 67.92 4 80.56 58.75 表 4 1~4次的低频分量在CK上的识别率
% 分解次数 与人相关 与人无关 1 98.73 90.88 2 98.10 90.36 3 94.56 88.40 4 88.98 71.83 表 5 1~4次的低频分量在JAFFE上的训练时间
s 分解次数 与人相关 与人无关 1 0.79 1.04 2 0.67 0.80 3 0.57 0.74 4 0.55 0.71 表 6 1~4次的低频分量在CK上的训练时间
s 分解次数 与人相关 与人无关 1 4.32 5.21 2 3.27 3.88 3 3.01 3.51 4 2.88 3.37 表 7 在JAFFE上的识别率
% 分量特征 与人相关 与人无关 LL2 95.56 71.75 LL2+LH2 94.89 71.09 LL2+HL2 94.89 72.88 LL2+HH2 96.00 71.04 表 8 在CK上的识别率
% 分量特征 与人相关 与人无关 LL2 98.10 90.36 LL2+LH2 98.87 91.13 LL2+HL2 97.63 91.27 LL2+HH2 98.55 89.74 表 9 LBP-GD特征和低频分量特征加权融合的识别率
% 表情库 与人相关 与人无关 JAFFE 97.22 80.40 CK 99.37 95.42 -
[1] 王丽, 李瑞峰, 王珂.多尺度局部二值模式傅里叶直方图特征的表情识别[J].计算机应用, 2014, 34(7):2036-2039. http://d.old.wanfangdata.com.cn/Periodical/jsjyy201407042 WANG Li, LI Rui-feng, WANG Ke. Multi-scale local binary pattern flourier histogram features for facial expression recognition[J]. Journal of Computer Applications, 2014, 34(7):2036-2039. http://d.old.wanfangdata.com.cn/Periodical/jsjyy201407042 [2] JABID T, KABIR M H, CHAE O. Robust facial expression recognition based on local directional pattern[J]. ETRI Journal, 2010, 32(5):784-794. doi: 10.4218/etrij.10.1510.0132 [3] TANG Fang-qi, DENG Ben-zai. Facial expression recognition using AAM and local facial features[C]//International Conference on Natural Computation. Haikou, China: IEEE, 2007: 632-635. [4] AHSAN T, JABID T, CHONG U P. Facial expression recognition using local transitional pattern on gabor filtered facial images[J]. IETE Technical Review, 2013, 30(1):47-52. doi: 10.4103/0256-4602.107339 [5] 刘军, 景晓军, 孙松林, 等.一种用于人脸识别的基于主导近邻像素的局部Gabor空间直方图特征[J].北京邮电大学学报, 2015, 38(1):51-54. http://d.old.wanfangdata.com.cn/Periodical/bjyddx201501010 LIU Jun, JING Xiao-jun, SUN Song-lin, et al. Feature of local gabor spatial histogram based on dominant neighboring pixel for face recognition[J]. Journal of Beijing University of Posts and Telecommunications, 2015, 38(1):51-54. http://d.old.wanfangdata.com.cn/Periodical/bjyddx201501010 [6] MEHER S S, MABEN P. Face recognition and facial expression identification using PCA[C]//Advance Computing Conference. Gurgaon, India: IEEE, 2014: 1093-1098. [7] OJALA T, PIETIKAINEN M, HARWOOD D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1):51-59. doi: 10.1016/0031-3203(95)00067-4 [8] 张洁玉, 赵鸿萍, 陈曙.自适应阈值及加权局部二值模式的人脸识别[J].电子与信息学报, 2014, 36(6):1327-1333. http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201406009 ZHANG Jie-yu, ZHAO Hong-ping, CHEN Shu. Face recognition based on weighted local binary pattern with adaptive threshold[J]. Journal of Electronics & Information Technology, 2014, 36(6):1327-1333. http://d.old.wanfangdata.com.cn/Periodical/dzkxxk201406009 [9] LIU Wei-feng, WANG Yan-jiang, LI Shu-juan. LBP feature extraction for facial expression recognition[J]. Journal of Information & Computational Science, 2011, 8(3):412-421. http://d.old.wanfangdata.com.cn/OAPaper/oai_doaj-articles_113a18712c0c6bd0b9279c8438ce13d5 [10] SHAN Cai-feng, GONG Shao-gang, MCOWAN P W. Facial expression recognition based on local binary patterns:a comprehensive study[J]. Image and Vision Computing, 2009, 27(6):803-816. doi: 10.1016/j.imavis.2008.08.005 [11] WANG Xun, LIU Xin-gang, LU Ling-yun, et al. A new facial expression recognition method based on geometric alignment and LBP features[C]//2014 IEEE 17th International Conference on Computational Science and Engineering. Kolkata: IEEE, 2014: 1734-1737. [12] 黄非非.基于LBP的人脸识别研究[D].重庆: 重庆大学, 2009. HUANG Fei-fei. Research on face recognition based on LBP operator[D]. Chongqing: Chongqing University, 2009. [13] 王文成.基于局部特征分析的人脸表情识别问题研究[D].济南: 山东大学, 2011. WANG Wen-cheng. Facial expression recognition based on local features analysis[D]. Jinan: Shandong University, 2011. [14] 董玉龙, 姜威.基于提升小波和FLD的人脸表情识别[J].光学技术, 2012, 38(5):579-582. http://d.old.wanfangdata.com.cn/Periodical/gxjs201205013 DONG Yu-long, JIANG Wei. Facial expression recognition based on lifting wavelet and LBP[J]. Optical Techque, 2012, 38(5):579-582. http://d.old.wanfangdata.com.cn/Periodical/gxjs201205013 [15] CHEN J, SHAN S, HE C, et al. WLD:a robust local image descriptor[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2010, 32(9):1705-1720. doi: 10.1109/TPAMI.2009.155 [16] 李玉.基于特征融合的人脸表情识别[D].天津: 中国民航大学, 2016. LI Yu. Facial expression recognition method based on feature fusion[D]. Tianjin: Civil Aviation University of China, 2016. [17] 胡敏, 李堃, 王晓华, 等.基于直方图加权HCBP的人脸表情识别[J].电子测量与仪器学报, 2015, 29(7):953-960. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201507003 HU Min, LI Kun, WANG Xiao-hua, et al. Facial expression recognition based on histogram weighted HCBP[J]. Journal of Electronic Measurement and Instrumentation, 2015, 29(7):953-960. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201507003 [18] JABID T, KABIR M H, CHAE O. Robust facial expression recognition based on local directional pattern[J]. International Journal of Security & Its Applications, 2013, 7(5):784-794. doi: 10.4218/etrij.10.1510.0132 [19] 刘娟, 胡敏, 黄忠. Gabor多方向特征融合与分块统计的表情识别[J].电子测量与仪器学报, 2015, 29(11):1698-1705. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201511021 LIU Juan, HU Min, HUANG Zhong. Expression recognition based on gabor multi-orientation features fusion and block statistics[J]. Journal of Electronic Measurement and Instrumentation, 2015, 29(11):1698-1705. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201511021