-
随着社会的快速发展,竞争压力、成功标准和工作节奏都在发生着巨大变化,国民的焦虑感也在与日倶增。调查结果显示,在我国不同GDP水平的城市之间,不同性别和不同年龄的人群之间,国民心理健康素养均处于中等偏低水平[1]。精神压力过大可能会引发各种疾病,如高血压[2]、中风[3]等生理疾病和广泛性焦虑障碍[4]等心理疾病。以放松减压为目标的情绪调节及放松状态评估对提升国民身心健康有重要现实意义。
放松状态是一个复杂的主观体验,放松状态评估通常用于验证放松情绪诱发方法是否有效。放松状态的不同会引起主观感受、生理特征和外在行为的变化,因此可以通过检测这些变化识别放松情绪。主观感受可以通过请受试者填写调查问卷或二维情绪量表获得,但目前缺乏统一的问卷范本和量化标准。行为信号主要包括受试者的语调、表情、姿势和运动等外在表现,容易受主观意识的控制,带有强烈的个体特征和主观判断。不同于行为信号,情绪变化引起的心跳、脉搏和体温等生理信号的变化与自主神经系统相关,通常难以被受试者有意识地进行控制[5]。因此,基于生理信号中包含的潜在信息进行情绪识别更加真实可靠。
当前,用于情绪识别的生理信号主要包括脑电(electroencephalography, EEG)信号[6]、心电(electrocardiography, ECG)信号[7]、心率(heart rate, HR)信号[8]和皮肤温度(skin temperature, SKT)等。其中,脑电信号在精确性上有较大优势,被广泛应用于测谎[9]、运动想象[10]和情绪感知[11]等场景。但无论是脑电信号还是心电信号,都需要借助专业的生理仪进行采集,采集设备包含数量繁多的电极贴片,采集过程容易带来不适感,影响受试者的放松体验。
本文使用附着型人体传感器采集受试者的心率信号,以降低生理信号采集导致的放松情绪诱发困难。心率变异性(heartratevariability, HRV)是指连续心跳间R-R间期的微小涨落,是反应交感神经和副交感变化的重要指标,不仅能够提供个体自主反应灵活性的信息[12],更可以补充交感和副交感两种不同神经系统各自对心脏活动的影响[13]。在不同的放松状态下,包括自主神经系统在内的各大机能系统会产生一系列的生物功能变化。一般来讲,个体处于放松状态时,心率会下降,心率变异性则会上升。不过,心率信号还会受到性别、人格特质和生活习惯等个体差异因素的影响,目前缺少针对其测量的标准化分析方法及其与情绪等变量的关系研究。为此,本文基于心率信号对放松状态进行建模与评估。使用混合音频诱发受试者产生放松情绪,从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号,从心率信号中提取时域特征、频域特征和心拍数,基于多层感知机和长短时记忆网络构建放松评估模型,以实现放松状态的准确识别。
-
本实验采用TDK附着型人体传感器SilmeeTM bar type lite采集受试者的心率信号。从穿戴测量设备并开始采集生理数据到实验结束,全程约70 min,包含4200个时间点。提取心率信号中的心拍间隔(R-R interval, RRI),定义低于RRI平均值70%或高于平均值150%的数据点为异常点。当异常点占总采集点比例超过20%时,认定对该受试者采集的数据无效,更换为同年龄段同性别其他受试者。
-
根据实验流程,提取每个session中播放音频时的心率数据。在采集过程中,受试者的呼吸、身体运动、体温变化和出汗都可能会导致心率信号产生漂移现象[24],而电极与皮肤接触会产生直流偏移。采用以0.5 Hz为截止频率的高通滤波器消除直流偏移和基线漂移,使用低通滤波器对信号进行平滑,通过二阶Butterworth滤波器实现滤波操作。
-
心率信号的情绪特征主要由心拍特征和心率变异性表达。提取心率信号片段的心拍数和心率变异性特征用于建模受试者放松状态。心拍数为1 min内的心脏搏动数,通常人体处于放松状态时心拍数减小。心率变异性的特征提取主要基于频域分析和时域分析。
频域分析是将HRV信号分解为不同能量的频域成分,通过分析信号能量随频率的分布观察交感神经与迷走神经功能的活动变化。基础状态下,正常人的HRV信号频谱的频域范围在0~0.04 Hz,其中0.15~0.40 Hz为高频信息(high frequency, HF),是副交感神经活动指标,通常人体处于放松状态时,HF增大。本文选取高频信息的标准化数据(HFnu)作为频域特征。
HRV的时域分析是对提取到的连续心跳间R-R间期进行数学计算,以此评估自主神经系统对心率变化的调节情况。时域特征中,连续相邻心跳间R-R间隔差的均方根(root mean square of successive differences, RMSSD)为副交感神经活动指标,通常人体处于放松状态时,RMSSD增大,其计算公式为:
$$ {\rm{RMSSD}} = \sqrt {\frac{1}{{N - 1}}\sum\limits_{i = 1}^{N - 1} {{{\left( {{x_i} - {x_{i + 1}}} \right)}^2}} } $$ (1) 式中,
$ x_i $ 为RRI的值;N为最近60 s内的RRI个数。 -
使用混合音频诱发受试者产生放松情绪后,从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号,从心率信号中提取时域特征、频域特征和心拍数,基于提取特征对放松状态进行建模与评估,模型构建流程如图2所示。
本文提出的基于心率信号的放松状态评估模型如图3所示。模型采用双路径网络,一条路径以基于心率变异性信号的频域特征HFnu和时域特征RMSSD为输入
$ {x_{{\rm{HRV}}}} \in {R^{{{B}} \times {{2}} \times {{T}}}} $ ,另一条路径以基于心拍信号的心拍数特征为输入$ {x_{{\rm{HR}}}} \in {R^{B \times 1 \times T}} $ ,其中$ B $ 为Batch数,T为时间序列。所有样本中使用的放松状态诱发音频均为7 min,即420个时间节点,其中0~89 s为放松状态诱发初期,390~419 s为数据采集末期,舍弃这两个不稳定阶段的数据,以剩余的90~389 s的特征数据作为放松模型的输入。对于每条路径上的输入数据,使用多层感知机网络将其映射至低维空间特征表达,所有中间层使用线性修正单元(rectified linear unit, ReLU)作为激活函数,并使用批归一化层(batch normalization, BN)防止模型过拟合,得到表达能力及可分辨能力强的低维特征,将单个样本的输入特征分别由
$ 300 \times 2 $ 和$ 300 \times 1 $ 压缩至$ 75 \times 1 $ 和$ 37 \times 1 $ 。同时,使用多层长短时记忆网络突出心率信号时序性,记忆信号的内在联系,挖掘心率信号的深层次特征并进行学习和映射,帮助模型捕获这些特征向量中存在的时间动态,输出$ 37 \times 1 $ 的特征向量。融合拼接所有特征向量,使用全连接层和SoftMax激活函数得到不同放松状态的概率值,实现基于心率信号的放松状态评估:
$$ {p_i}\left( {y|x} \right) = {\text{softmax}}({{\boldsymbol{w}}^x}h + {{\boldsymbol{b}}^x}) $$ (2) $$ {\text{softmax}}(i) = \frac{{{{\rm{e}}^i}}}{{\displaystyle\sum\limits_j {{{\rm{e}}^j}} }} $$ (3) 式中,
$ {{\boldsymbol{w}}^x} $ 和$ {{\boldsymbol{b}}^x} $ 分别为SoftMax函数的权重和偏置项。 -
本文在NVIDIA Geforce RTX 3090 24 G上基于深度学习框架Pytorch进行了模型的训练,设置迭代次数为100,batch size为4,初始学习率为0.0001,使用Adam算法[25]迭代优化,学习率随迭代轮数以 0.01的系数进行线性衰减,帮助模型在训练后期以更小的幅度进行更新。为了提高模型的性能,训练过程中使用dropout操作防止模型过拟合。使用交叉熵函数(cross entropy loss, CEL)计算训练损失率:
$$ L\left( \theta \right) = - \frac{1}{N}\sum\limits_{i = 0}^{N - 1} {\sum\limits_{k = 1}^{K - 1} {{y_{i,k}}\left( {{{\log }_2}\left( {{p_{i,k}}} \right)} \right) + \lambda {{\left\| \theta \right\|}^2}} } $$ (4) $$ \theta = \theta + \alpha \frac{{\partial L\left( \theta \right)}}{{\partial \theta }} $$ (5) 式中,
$ \theta $ 为模型参数;$ y $ 为样本真实标签;第$ i $ 个样本被预测为放松状态$ k $ 的概率为$ {p_{i,k}} $ ;$ N $ 为样本总数;$ \lambda $ 为正则化项;$ \alpha $ 为学习率。 -
使用4个统计评价指标评估模型的性能,分别是分类准确度(accuracy, ACC)、精准率(precision, PRE)、召回率(recall, REC)和F1分数(F1-score, F1),并使用测试得到的混淆矩阵进行计算。其中,准确度为所有正确分类的样本在总样本中的占比,是衡量模型分类性能最直观的一个指标;精确率表示所有为被预测为某类放松状态的样本中,确实为该类放松状态的样本占比,反映样本属于该类别的可能性,精确率越高表示发生误诊的比率越低;召回率表示某类放松状态样本中被正确分类的样本占比,召回率越高表示发生漏诊的比率越低;F1分数是一个全面的评估指标,是精确率和召回率的调和平均数,F1分数越高则模型分类的性能越好。这4个评价指标的计算公式如下:
$$ {\rm{ACC}} = \frac{{{\rm{TP}} + {\rm{TN}}}}{{{\rm{TP}} + {\rm{FP}} + {\rm{TN}} + {\rm{FN}}}} \times 100{\text{%}} $$ (6) $$ {\rm{PRE}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}} \times 100{\text{%}} $$ (7) $$ {\rm{REC}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} \times 100{\text{%}} $$ (8) $$ {\rm{F}}1 = 2 \times \frac{{{\rm{PRE}} \times {\rm{REC}}}}{{{\rm{PRE}} + {\rm{REC}}}} $$ (9) 式中,TP为真阳性,表示属于某类放松状态且被正确分类的样本;TN表示不属于某类放松状态且被正确分类的样本;FP表示不属于某类放松状态但被分为该类的样本;FN表示属于某类放松状态但未被分为该类的样本。
-
图4为本文提出的放松状态评估模型对各类放松状态的预测结果混淆矩阵示意图,图中−2、−1、0、1、2分别表示RS−2、RS−1、RS−0、RS+1、RS+2这5种放松状态。可以看出,模型对于RS−1和RS−0两种中性放松状态的分类效果最好,对十分放松RS+2状态的正确率也有90.9%,而对焦虑紧张状态RS−2和相对放松状态RS+1的识别准确率则较低。
由于本实验以诱发受试者放松状态为目标,且实验环境较为温暖舒适,因此大部分受试者没有在实验过程中感到紧张焦虑,诱发放松状态为RS−2的样本量较少,导致模型对RS−2状态的识别准确低。
为验证本文模型的有效性,与其他基于心率信号的模型分类算法[23, 26]做对比,实验结果如表1所示。
表 1 不同方法的放松状态识别结果
评估模型 放松状态 PRE/% REC/% F1 ACC/% 文献[23] RS−2 0.00 0.00 0.00 45.00 RS−1 46.67 46.67 46.67 RS−0 52.63 58.82 55.55 RS+1 100.00 6.67 12.51 RS+2 32.14 81.82 46.15 文献[26] RS−2 100.00 20.00 33.33 88.33 RS−1 92.30 100.00 95.99 RS−0 85.00 100.00 91.89 RS+1 93.33 93.33 93.33 RS+2 81.82 81.82 81.82 本文 RS−2 100.00 80.00 88.89 93.33 RS−1 92.31 100.00 96.00 RS−0 94.44 100.00 97.14 RS+1 92.86 86.67 89.48 RS+2 90.91 90.91 92.92 文献[23]基于多层卷积神经网络对心率信号进行放松状态评估,文献[26]使用多层感知机网络对ECG信号进行情绪识别。由于这些模型适用于不同数据集下的不同分类任务,因此本文在保留原文献整体模型结构的基础上,调整了网络层数和卷积核大小,选取最优结果做对比。实验结果表明,本文方法具备最优的放松状态识别性能,能够为情绪调节与放松状态评估提供一种新的可靠方法。
Evaluation Model of Relaxation State under Mixed Audio Based on Heart Rate Signal
-
摘要: 以放松减压为目标的情绪调节及放松状态评估有助于提升国民身心健康。针对降低生理信号采集导致的放松情绪诱发困难,使用附着型人体传感器采集受试者的心率信号进行放松状态识别,使用混合音频诱发受试者产生放松情绪,从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号,从心率信号中提取时域特征、频域特征和心拍数。基于多层感知机和长短时记忆网络构建放松评估模型,实现放松状态识别。实验结果表明,相比于目前的研究成果,该放松识别模型具有更优的分类性能,能够为情绪调节与放松状态评估问题提供一种新的可靠解决方法。Abstract: Emotion regulation and relaxation state assessment aiming at relaxation and stress reduction can help improve the physical and mental health of the people. In order to reduce the difficulty of inducing relaxation caused by the acquisition of physiological signals, this paper uses the attached human sensor to collect the heart rate signal of the subjects to identify the relaxation state. Mixed audio is used to induce the subjects to produce a relaxed mood, and the relaxed state label is converted from the two-dimensional mood scale. The heart rate signal of the subject is collected, and the time domain feature, frequency domain feature and heart rate are extracted from the heart rate signal. Based on multilayer perceptron and long-short-term memory network, a relaxation evaluation model is constructed to realize relaxation state recognition. The experimental results show that, compared with the current research results, the relaxation recognition model proposed in this paper has better classification performance, and may provide a new and reliable method for emotion regulation and relaxation state assessment.
-
表 1 不同方法的放松状态识别结果
评估模型 放松状态 PRE/% REC/% F1 ACC/% 文献[23] RS−2 0.00 0.00 0.00 45.00 RS−1 46.67 46.67 46.67 RS−0 52.63 58.82 55.55 RS+1 100.00 6.67 12.51 RS+2 32.14 81.82 46.15 文献[26] RS−2 100.00 20.00 33.33 88.33 RS−1 92.30 100.00 95.99 RS−0 85.00 100.00 91.89 RS+1 93.33 93.33 93.33 RS+2 81.82 81.82 81.82 本文 RS−2 100.00 80.00 88.89 93.33 RS−1 92.31 100.00 96.00 RS−0 94.44 100.00 97.14 RS+1 92.86 86.67 89.48 RS+2 90.91 90.91 92.92 -
[1] 江光荣, 李丹阳, 任志洪, 等. 中国国民心理健康素养的现状与特点[J]. 心理学报, 2021, 53(2): 182-198. doi: 10.3724/SP.J.1041.2021.00182 JIANG G R, LI D Y, REN Z H, et al. The status quo and characteristics of Chinese mental health literacy[J]. Acta Psychologica Sinica, 2021, 53(2): 182-198. doi: 10.3724/SP.J.1041.2021.00182 [2] RUTLEDGE T, HOGAN B E. A quantitative review of prospective evidence linking psychological factors with hypertension development[J]. Psychosomatic Medicine, 2002, 64(5): 758-766. [3] CLAUDIA E G, IQBAL S, SEEMA Y, et al. Stress exacerbates global ischemia-induced inflammatory response: Intervention by progesterone[J]. Stroke, 2017, 48(s1): 83. [4] DUMAN R S. Neurobiology of stress, depression, and rapid acting antidepres-sants: Remodeling synaptic connections[J]. Depression and Anxiety, 2014, 31(4): 291-296. doi: 10.1002/da.22227 [5] ARYA R, KUMAR A, BHUSHAN M. Affect recognition using brain signals: A survey[M]//Computational Methods and Data Engineering. Singapore: Springer, 2021: 529-552. [6] ZHANG Z, ZHONG S H and LIU Y. GANSER: A self-supervised data augmentation framework for EEG-based emotion recognition[J]. 2022, doi: 10.1109/TAFFC.2022.3170369. [7] SIHEM N, SALIM B, MATTHIEU H, et al. A new data augmentation convolutional neural network for human emotion recognition based on ECG signals[J]. Biomedical Signal Processing and Control, 2022, 75: 103580. doi: 10.1016/j.bspc.2022.103580 [8] SINGSON L N B, SANCHEZ M T U R, VILLAVERDE J F. Emotion recognition using short-term analysis of heart rate variability and ResNet architecture[C]//Proceedings of the 13th International Conference on Computer and Automation Engineering. Los Alamitos: IEEE Computer Society Press, 2021: 15-18. [9] 高军峰, 司慧芳, 于晓琳, 等. 多导脑电复杂度特征的谎言测试研究[J]. 电子科技大学学报, 2017, 46(4): 636-640. doi: 10.3969/j.issn.1001-0548.2017.04.026 GAO J F, SI H F, YU X L, et al. Study of lie detection using complexity feature of multichannel EEG[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(4): 636-640. doi: 10.3969/j.issn.1001-0548.2017.04.026 [10] 郜东瑞, 周晖, 冯李逍, 等. 基于特征融合和粒子群优化算法的运动想象脑电信号识别方法[J]. 电子科技大学学报, 2021, 50(3): 467-475. doi: 10.12178/1001-0548.2020107 GAO D R, ZHOU H, FENG L X, et al. Recognition of electroencephalographic signals in motor imaging based on feature fusion and particle swarm optimization[J]. Journal of University of Electronic Science and Technology of China, 2021, 50(3): 467-475. doi: 10.12178/1001-0548.2020107 [11] 赖永秀, 高婷婷, 吴丹, 等. 音乐情绪感知的脑电研究[J]. 电子科技大学学报, 2008, 37(2): 301-304. doi: 10.3969/j.issn.1001-0548.2008.02.039 LAI Y X, GAO T T, WU D, et al. Research on electroencephalogram of musical emotion perception[J]. Journal of University of Electronic Science and Technology of China, 2008, 37(2): 301-304. doi: 10.3969/j.issn.1001-0548.2008.02.039 [12] APPELHANS B M, LUECKEN L J. Heart rate variability as an index of regulated emotional responding[J]. Review of general psychology, 2006, 10(3): 229-240. doi: 10.1037/1089-2680.10.3.229 [13] 易欣, 葛列众, 刘宏艳. 正负性情绪的自主神经反应及应用[J]. 心理科学进展, 2015, 23(1): 72-84. doi: 10.3724/SP.J.1042.2015.00072 YI X, GE L Z, LIU H Y. Autonomic nervous system’s response in positive and negative emotion and the applications[J]. Advances in Psychological Science, 2015, 23(1): 72-84. doi: 10.3724/SP.J.1042.2015.00072 [14] VAN R M, LOBEL A, HARRIS O, et al. DEEP: A biofeedback virtual reality game for children at-risk for anxiety[C]//Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing Systems. Rome: ACM Press, 2016: 1989-1997. [15] AMORES J, RICHER R, ZHAO N, et al. Promoting relaxation using virtual reality, olfactory interfaces and wearable EEG[C]//Proceedings of the IEEE 15th International Conference on Wearable and Implantable Body Sensor Networks. Piscataway: IEEE Press, 2018: 98-101. [16] HUANG B, HAO X, LONG S, et al. The benefits of music listening for induced state anxiety: Behavioral and physiological evidence[J]. Brain Sciences, 2021, 11(10): 1332. doi: 10.3390/brainsci11101332 [17] CIBEIRA N, MASEDA A, LORENZO-LÓPEZ L, et al. Bright light therapy in older adults with moderate to very severe dementia: Immediate effects on behavior, mood, and physiological parameters[J]. Healthcare, 2021, 9(8): 1065. [18] ÇIÇEK S C, DEMIR Ş, YILMAZ D, et al. The effect of aromatherapy on blood pressure and stress responses by inhalation and foot massage in patients with essential hypertension: Randomized clinical trial[J]. Holistic Nursing Practice, 2022, 36(4): 209-222. doi: 10.1097/HNP.0000000000000526 [19] STEWART J, GARRIDO S, HENSE C, et al. Music use for mood regulation: Self-awareness and conscious listening choices in young people with tendencies to depression[J]. Frontiers in Psychology, 2019, 10(5): 1199. [20] CHENNAFI M, KHAN M A, LI G, et al. Study of music effect on mental stress relief based on heart rate variability[C]//Proceedings of the 2018 IEEE Asia Pacific Conference on Circuits and Systems. Piscataway: IEEE Press, 2018: 131-134. [21] ALDUJAILI M J, EBRAHIMI M A, FATLAWI A. Speech emotion recognition based on SVM and KNN classifications fusion[J]. International Journal of Electrical and Computer Engineering, 2021, 11(2): 1259. [22] ACHARYA U R, OH S L, HAGIWARA Y, et al. A deep convolutional neural network model to classify heartbeats[J]. Computers in Biology and Medicine, 2017, 89(10): 389-396. [23] WANG Z, HU C Y. Detection of human relaxation level based on deep learning[C]//Proceedings of the International Conference on Frontier Computing. Singapore: World Scientific Publishing Company, 2022: 71-80. [24] APPATHURAI A, CAROL J J, RAJA C, et al. A study on ECG signal characterization and practical implementation of some ECG characterization techniques[J]. Measurement, 2019, 147(12): 106384. [25] KINGMA D P, BA J. Adam: A method for stochastic optimization[EB/OL]. (2015-05-09). http://arxiv.org/abs/1412.6980. [26] YU J, LIU G Y, FANG Y H, et al. Emotional induction study of video in menstrual cycle through ECG signal[C]// Proceedings of the 11th International Conference on Communication Software and Networks. Piscataway: IEEE Press, 2019: 661-665.