留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

混合音频下心率信号感知的放松状态评估模型

张雅斓 董子瑞 杜飞龙 魏云 卢瑞东 班晓娟

张雅斓, 董子瑞, 杜飞龙, 魏云, 卢瑞东, 班晓娟. 混合音频下心率信号感知的放松状态评估模型[J]. 电子科技大学学报, 2023, 52(2): 289-295. doi: 10.12178/1001-0548.2022366
引用本文: 张雅斓, 董子瑞, 杜飞龙, 魏云, 卢瑞东, 班晓娟. 混合音频下心率信号感知的放松状态评估模型[J]. 电子科技大学学报, 2023, 52(2): 289-295. doi: 10.12178/1001-0548.2022366
ZHANG Yalan, DONG Zirui, DU Feilong, WEI Yun, LU Ruidong, BAN Xiaojuan. Evaluation Model of Relaxation State under Mixed Audio Based on Heart Rate Signal[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(2): 289-295. doi: 10.12178/1001-0548.2022366
Citation: ZHANG Yalan, DONG Zirui, DU Feilong, WEI Yun, LU Ruidong, BAN Xiaojuan. Evaluation Model of Relaxation State under Mixed Audio Based on Heart Rate Signal[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(2): 289-295. doi: 10.12178/1001-0548.2022366

混合音频下心率信号感知的放松状态评估模型

doi: 10.12178/1001-0548.2022366
基金项目: 广东省自然科学基金(2021A1515012285)
详细信息
    作者简介:

    张雅斓(1992 − ),女,博士,主要从事人工智能、人机交互与三维可视化等方面的研究

    通讯作者: 班晓娟,E-mail:banxj@ustb.edu.cn
  • 中图分类号: TP39

Evaluation Model of Relaxation State under Mixed Audio Based on Heart Rate Signal

  • 摘要: 以放松减压为目标的情绪调节及放松状态评估有助于提升国民身心健康。针对降低生理信号采集导致的放松情绪诱发困难,使用附着型人体传感器采集受试者的心率信号进行放松状态识别,使用混合音频诱发受试者产生放松情绪,从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号,从心率信号中提取时域特征、频域特征和心拍数。基于多层感知机和长短时记忆网络构建放松评估模型,实现放松状态识别。实验结果表明,相比于目前的研究成果,该放松识别模型具有更优的分类性能,能够为情绪调节与放松状态评估问题提供一种新的可靠解决方法。
  • 图  1  实验模式示意图

    图  2  放松状态评估模型构建流程图

    图  3  放松状态评估模型

    图  4  评估模型对各类放松状态的预测结果混淆矩阵示意图

    表  1  不同方法的放松状态识别结果

    评估模型放松状态PRE/%REC/%F1ACC/%
    文献[23]RS−20.000.000.0045.00
    RS−146.6746.6746.67
    RS−052.6358.8255.55
    RS+1100.006.6712.51
    RS+232.1481.8246.15
    文献[26]RS−2100.0020.0033.3388.33
    RS−192.30100.0095.99
    RS−085.00100.0091.89
    RS+193.3393.3393.33
    RS+281.8281.8281.82
    本文RS−2100.0080.0088.8993.33
    RS−192.31100.0096.00
    RS−094.44100.0097.14
    RS+192.8686.6789.48
    RS+290.9190.9192.92
    下载: 导出CSV
  • [1] 江光荣, 李丹阳, 任志洪, 等. 中国国民心理健康素养的现状与特点[J]. 心理学报, 2021, 53(2): 182-198. doi:  10.3724/SP.J.1041.2021.00182

    JIANG G R, LI D Y, REN Z H, et al. The status quo and characteristics of Chinese mental health literacy[J]. Acta Psychologica Sinica, 2021, 53(2): 182-198. doi:  10.3724/SP.J.1041.2021.00182
    [2] RUTLEDGE T, HOGAN B E. A quantitative review of prospective evidence linking psychological factors with hypertension development[J]. Psychosomatic Medicine, 2002, 64(5): 758-766.
    [3] CLAUDIA E G, IQBAL S, SEEMA Y, et al. Stress exacerbates global ischemia-induced inflammatory response: Intervention by progesterone[J]. Stroke, 2017, 48(s1): 83.
    [4] DUMAN R S. Neurobiology of stress, depression, and rapid acting antidepres-sants: Remodeling synaptic connections[J]. Depression and Anxiety, 2014, 31(4): 291-296. doi:  10.1002/da.22227
    [5] ARYA R, KUMAR A, BHUSHAN M. Affect recognition using brain signals: A survey[M]//Computational Methods and Data Engineering. Singapore: Springer, 2021: 529-552.
    [6] ZHANG Z, ZHONG S H and LIU Y. GANSER: A self-supervised data augmentation framework for EEG-based emotion recognition[J]. 2022, doi:  10.1109/TAFFC.2022.3170369.
    [7] SIHEM N, SALIM B, MATTHIEU H, et al. A new data augmentation convolutional neural network for human emotion recognition based on ECG signals[J]. Biomedical Signal Processing and Control, 2022, 75: 103580. doi:  10.1016/j.bspc.2022.103580
    [8] SINGSON L N B, SANCHEZ M T U R, VILLAVERDE J F. Emotion recognition using short-term analysis of heart rate variability and ResNet architecture[C]//Proceedings of the 13th International Conference on Computer and Automation Engineering. Los Alamitos: IEEE Computer Society Press, 2021: 15-18.
    [9] 高军峰, 司慧芳, 于晓琳, 等. 多导脑电复杂度特征的谎言测试研究[J]. 电子科技大学学报, 2017, 46(4): 636-640. doi:  10.3969/j.issn.1001-0548.2017.04.026

    GAO J F, SI H F, YU X L, et al. Study of lie detection using complexity feature of multichannel EEG[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(4): 636-640. doi:  10.3969/j.issn.1001-0548.2017.04.026
    [10] 郜东瑞, 周晖, 冯李逍, 等. 基于特征融合和粒子群优化算法的运动想象脑电信号识别方法[J]. 电子科技大学学报, 2021, 50(3): 467-475. doi:  10.12178/1001-0548.2020107

    GAO D R, ZHOU H, FENG L X, et al. Recognition of electroencephalographic signals in motor imaging based on feature fusion and particle swarm optimization[J]. Journal of University of Electronic Science and Technology of China, 2021, 50(3): 467-475. doi:  10.12178/1001-0548.2020107
    [11] 赖永秀, 高婷婷, 吴丹, 等. 音乐情绪感知的脑电研究[J]. 电子科技大学学报, 2008, 37(2): 301-304. doi:  10.3969/j.issn.1001-0548.2008.02.039

    LAI Y X, GAO T T, WU D, et al. Research on electroencephalogram of musical emotion perception[J]. Journal of University of Electronic Science and Technology of China, 2008, 37(2): 301-304. doi:  10.3969/j.issn.1001-0548.2008.02.039
    [12] APPELHANS B M, LUECKEN L J. Heart rate variability as an index of regulated emotional responding[J]. Review of general psychology, 2006, 10(3): 229-240. doi:  10.1037/1089-2680.10.3.229
    [13] 易欣, 葛列众, 刘宏艳. 正负性情绪的自主神经反应及应用[J]. 心理科学进展, 2015, 23(1): 72-84. doi:  10.3724/SP.J.1042.2015.00072

    YI X, GE L Z, LIU H Y. Autonomic nervous system’s response in positive and negative emotion and the applications[J]. Advances in Psychological Science, 2015, 23(1): 72-84. doi:  10.3724/SP.J.1042.2015.00072
    [14] VAN R M, LOBEL A, HARRIS O, et al. DEEP: A biofeedback virtual reality game for children at-risk for anxiety[C]//Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing Systems. Rome: ACM Press, 2016: 1989-1997.
    [15] AMORES J, RICHER R, ZHAO N, et al. Promoting relaxation using virtual reality, olfactory interfaces and wearable EEG[C]//Proceedings of the IEEE 15th International Conference on Wearable and Implantable Body Sensor Networks. Piscataway: IEEE Press, 2018: 98-101.
    [16] HUANG B, HAO X, LONG S, et al. The benefits of music listening for induced state anxiety: Behavioral and physiological evidence[J]. Brain Sciences, 2021, 11(10): 1332. doi:  10.3390/brainsci11101332
    [17] CIBEIRA N, MASEDA A, LORENZO-LÓPEZ L, et al. Bright light therapy in older adults with moderate to very severe dementia: Immediate effects on behavior, mood, and physiological parameters[J]. Healthcare, 2021, 9(8): 1065.
    [18] ÇIÇEK S C, DEMIR Ş, YILMAZ D, et al. The effect of aromatherapy on blood pressure and stress responses by inhalation and foot massage in patients with essential hypertension: Randomized clinical trial[J]. Holistic Nursing Practice, 2022, 36(4): 209-222. doi:  10.1097/HNP.0000000000000526
    [19] STEWART J, GARRIDO S, HENSE C, et al. Music use for mood regulation: Self-awareness and conscious listening choices in young people with tendencies to depression[J]. Frontiers in Psychology, 2019, 10(5): 1199.
    [20] CHENNAFI M, KHAN M A, LI G, et al. Study of music effect on mental stress relief based on heart rate variability[C]//Proceedings of the 2018 IEEE Asia Pacific Conference on Circuits and Systems. Piscataway: IEEE Press, 2018: 131-134.
    [21] ALDUJAILI M J, EBRAHIMI M A, FATLAWI A. Speech emotion recognition based on SVM and KNN classifications fusion[J]. International Journal of Electrical and Computer Engineering, 2021, 11(2): 1259.
    [22] ACHARYA U R, OH S L, HAGIWARA Y, et al. A deep convolutional neural network model to classify heartbeats[J]. Computers in Biology and Medicine, 2017, 89(10): 389-396.
    [23] WANG Z, HU C Y. Detection of human relaxation level based on deep learning[C]//Proceedings of the International Conference on Frontier Computing. Singapore: World Scientific Publishing Company, 2022: 71-80.
    [24] APPATHURAI A, CAROL J J, RAJA C, et al. A study on ECG signal characterization and practical implementation of some ECG characterization techniques[J]. Measurement, 2019, 147(12): 106384.
    [25] KINGMA D P, BA J. Adam: A method for stochastic optimization[EB/OL]. (2015-05-09). http://arxiv.org/abs/1412.6980.
    [26] YU J, LIU G Y, FANG Y H, et al. Emotional induction study of video in menstrual cycle through ECG signal[C]// Proceedings of the 11th International Conference on Communication Software and Networks. Piscataway: IEEE Press, 2019: 661-665.
  • [1] 张桃红, 郭学强, 郑瀚, 罗继昌, 王韬, 焦力群, 唐安莹.  Dual-Path Vision Transformer用于急性缺血性脑卒中辅助诊断 . 电子科技大学学报, 2024, 53(2): 307-314. doi: 10.12178/1001-0548.2023081
    [2] 崔少国, 张乐迁, 文浩.  GCFF-Net:一种面向视网膜血管精细分割的多层级图卷积特征融合神经编解码网络 . 电子科技大学学报, 2024, 53(): 1-11. doi: 10.12178/1001-0548.2023131
    [3] 刘丽娜, 王韬, 周一飞, 程志炯, 李方硕, 张昱航, 徐杰.  基于神经网络的配网电气拓扑识别算法 . 电子科技大学学报, 2023, 52(2): 247-253. doi: 10.12178/1001-0548.2022072
    [4] 邵爱斌, 杨洋.  致病氨基酸变异预测的新型融合模型 . 电子科技大学学报, 2022, 51(1): 25-31. doi: 10.12178/1001-0548.2021334
    [5] 周丰丰, 牛甲昱.  细胞穿膜肽识别问题的多特征融合卷积网络预测算法 . 电子科技大学学报, 2022, 51(4): 494-499. doi: 10.12178/1001-0548.2021391
    [6] 邢佳亮, 郭强, 刘建国.  融合局部聚类特征的银行间网络重构研究 . 电子科技大学学报, 2021, 50(5): 782-787. doi: 10.12178/1001-0548.2021085
    [7] 刘韵婷, 靳佳晖, 陈亮, 张景异.  融合特征编码的面部表情编辑技术 . 电子科技大学学报, 2021, 50(5): 741-748. doi: 10.12178/1001-0548.2020373
    [8] 候少麒, 梁杰, 殷康宁, 刘学婷, 殷光强.  基于空洞卷积金字塔的目标检测算法 . 电子科技大学学报, 2021, 50(6): 843-851. doi: 10.12178/1001-0548.2021032
    [9] 谭露露, 张鑫鑫, 周银座.  多特性融合图卷积方法的分子生物活性预测 . 电子科技大学学报, 2021, 50(6): 921-929. doi: 10.12178/1001-0548.2021158
    [10] 郜东瑞, 周晖, 冯李逍, 张云霞, 彭茂琴, 张永清.  基于特征融合和粒子群优化算法的运动想象脑电信号识别方法 . 电子科技大学学报, 2021, 50(3): 467-475. doi: 10.12178/1001-0548.2020107
    [11] 赵夫群, 戴翀, 耿国华.  基于特征融合的文物碎片模型检索 . 电子科技大学学报, 2021, 50(2): 225-230. doi: 10.12178/1001-0548.2020281
    [12] 董帅, 李文生, 张文强, 邹昆.  基于多视图循环神经网络的三维物体识别 . 电子科技大学学报, 2020, 49(2): 269-275. doi: 10.12178/1001-0548.2019017
    [13] 周雪, 陈科鑫, 冯媛媛, 邹见效.  基于超像素的多特征融合的水平集轮廓跟踪 . 电子科技大学学报, 2018, 47(5): 745-752. doi: 10.3969/j.issn.1001-0548.2018.05.017
    [14] 张良, 李玉, 刘婷婷, 郝凯锋.  融合小波和LBP-GD特征的人脸表情识别 . 电子科技大学学报, 2018, 47(5): 654-659. doi: 10.3969/j.issn.1001-0548.2018.05.003
    [15] 闫海, 李国辉, 李建勋.  雷达抗欺骗式干扰信号特征提取方法 . 电子科技大学学报, 2015, 44(1): 50-54. doi: 10.3969/j.issn.1001-0548.2015.01.008
    [16] 雷刚, 蒲亦菲, 张卫华, 周激流.  张量典型相关分析及其在人脸识别中的应用 . 电子科技大学学报, 2012, 41(3): 435-440. doi: 10.3969/j.issn.1001-0548.2012.03.022
    [17] 郭磊, 唐斌, 刘刚.  基于辐射源信号特征信息的JPDA无源跟踪算法 . 电子科技大学学报, 2007, 36(1): 27-29.
    [18] 滕颖, 倪得兵, 唐小我.  放松规制条件下电信企业进入决策研究 . 电子科技大学学报, 2006, 35(2): 275-278.
    [19] 陈怀新, 南建设, 肖先赐.  基于统计特征主分量的信号调制识别 . 电子科技大学学报, 2004, 33(3): 231-234,238.
    [20] 居琰, 汪同庆, 彭建, 王贵新, 刘建胜, 袁祥辉.  特征融合用于手写体汉字识别研究 . 电子科技大学学报, 2002, 31(3): 229-233.
  • 加载中
图(4) / 表(1)
计量
  • 文章访问数:  3857
  • HTML全文浏览量:  1115
  • PDF下载量:  80
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-10-24
  • 修回日期:  2022-12-23
  • 网络出版日期:  2023-04-03
  • 刊出日期:  2023-03-28

混合音频下心率信号感知的放松状态评估模型

doi: 10.12178/1001-0548.2022366
    基金项目:  广东省自然科学基金(2021A1515012285)
    作者简介:

    张雅斓(1992 − ),女,博士,主要从事人工智能、人机交互与三维可视化等方面的研究

    通讯作者: 班晓娟,E-mail:banxj@ustb.edu.cn
  • 中图分类号: TP39

摘要: 以放松减压为目标的情绪调节及放松状态评估有助于提升国民身心健康。针对降低生理信号采集导致的放松情绪诱发困难,使用附着型人体传感器采集受试者的心率信号进行放松状态识别,使用混合音频诱发受试者产生放松情绪,从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号,从心率信号中提取时域特征、频域特征和心拍数。基于多层感知机和长短时记忆网络构建放松评估模型,实现放松状态识别。实验结果表明,相比于目前的研究成果,该放松识别模型具有更优的分类性能,能够为情绪调节与放松状态评估问题提供一种新的可靠解决方法。

English Abstract

张雅斓, 董子瑞, 杜飞龙, 魏云, 卢瑞东, 班晓娟. 混合音频下心率信号感知的放松状态评估模型[J]. 电子科技大学学报, 2023, 52(2): 289-295. doi: 10.12178/1001-0548.2022366
引用本文: 张雅斓, 董子瑞, 杜飞龙, 魏云, 卢瑞东, 班晓娟. 混合音频下心率信号感知的放松状态评估模型[J]. 电子科技大学学报, 2023, 52(2): 289-295. doi: 10.12178/1001-0548.2022366
ZHANG Yalan, DONG Zirui, DU Feilong, WEI Yun, LU Ruidong, BAN Xiaojuan. Evaluation Model of Relaxation State under Mixed Audio Based on Heart Rate Signal[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(2): 289-295. doi: 10.12178/1001-0548.2022366
Citation: ZHANG Yalan, DONG Zirui, DU Feilong, WEI Yun, LU Ruidong, BAN Xiaojuan. Evaluation Model of Relaxation State under Mixed Audio Based on Heart Rate Signal[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(2): 289-295. doi: 10.12178/1001-0548.2022366
  • 随着社会的快速发展,竞争压力、成功标准和工作节奏都在发生着巨大变化,国民的焦虑感也在与日倶增。调查结果显示,在我国不同GDP水平的城市之间,不同性别和不同年龄的人群之间,国民心理健康素养均处于中等偏低水平[1]。精神压力过大可能会引发各种疾病,如高血压[2]、中风[3]等生理疾病和广泛性焦虑障碍[4]等心理疾病。以放松减压为目标的情绪调节及放松状态评估对提升国民身心健康有重要现实意义。

    放松状态是一个复杂的主观体验,放松状态评估通常用于验证放松情绪诱发方法是否有效。放松状态的不同会引起主观感受、生理特征和外在行为的变化,因此可以通过检测这些变化识别放松情绪。主观感受可以通过请受试者填写调查问卷或二维情绪量表获得,但目前缺乏统一的问卷范本和量化标准。行为信号主要包括受试者的语调、表情、姿势和运动等外在表现,容易受主观意识的控制,带有强烈的个体特征和主观判断。不同于行为信号,情绪变化引起的心跳、脉搏和体温等生理信号的变化与自主神经系统相关,通常难以被受试者有意识地进行控制[5]。因此,基于生理信号中包含的潜在信息进行情绪识别更加真实可靠。

    当前,用于情绪识别的生理信号主要包括脑电(electroencephalography, EEG)信号[6]、心电(electrocardiography, ECG)信号[7]、心率(heart rate, HR)信号[8]和皮肤温度(skin temperature, SKT)等。其中,脑电信号在精确性上有较大优势,被广泛应用于测谎[9]、运动想象[10]和情绪感知[11]等场景。但无论是脑电信号还是心电信号,都需要借助专业的生理仪进行采集,采集设备包含数量繁多的电极贴片,采集过程容易带来不适感,影响受试者的放松体验。

    本文使用附着型人体传感器采集受试者的心率信号,以降低生理信号采集导致的放松情绪诱发困难。心率变异性(heartratevariability, HRV)是指连续心跳间R-R间期的微小涨落,是反应交感神经和副交感变化的重要指标,不仅能够提供个体自主反应灵活性的信息[12],更可以补充交感和副交感两种不同神经系统各自对心脏活动的影响[13]。在不同的放松状态下,包括自主神经系统在内的各大机能系统会产生一系列的生物功能变化。一般来讲,个体处于放松状态时,心率会下降,心率变异性则会上升。不过,心率信号还会受到性别、人格特质和生活习惯等个体差异因素的影响,目前缺少针对其测量的标准化分析方法及其与情绪等变量的关系研究。为此,本文基于心率信号对放松状态进行建模与评估。使用混合音频诱发受试者产生放松情绪,从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号,从心率信号中提取时域特征、频域特征和心拍数,基于多层感知机和长短时记忆网络构建放松评估模型,以实现放松状态的准确识别。

    • 诱发情绪的方法主要包括自我诱发、情境诱发和事件诱发。自我诱发通过引导受试者的主观回忆诱发情绪,情境诱发通过让受试者玩游戏等方式使其处在产生情绪的场景中,事件诱发则是向受试者呈现视觉、听觉和嗅觉等情绪刺激材料。情境诱发方法通常与虚拟现实技术相结合,文献[14]创作了虚拟现实生物反馈游戏来预防和治疗儿童焦虑症,文献[15]研发了一款集成头戴式显示器和嗅觉项链的虚拟现实系统诱发放松状态。事件诱发方法通常借助音乐[16]、灯光[17]或肢体接触[18]使受试者进入放松状态。

      在众多放松情绪诱发方法中,音乐具有综合性认知加工特点,能够以非侵入、不接触的方式与受试者交互,使受试者无意识地进入设定的气氛情境中。同时,相比于气味、温度等诱发材料,音乐能够精准控制、实时调节。文献[19]提出用音乐调节情绪和提升幸福感来治疗抑郁症患者。文献[20]基于心率变异性评估不同类型音乐的放松效果。

      放松状态评估是一个情感计算问题,通常定义为有监督的机器学习。诱发受试者进入不同程度的放松状态并采集生理数据后,对生理信号进行预处理并提取信号特征,建立恰当的分类模型对放松状态进行评估。常用的分类方法包括支持向量机[21]、卷积神经网络[22]和长短时记忆网络[23]等。

    • 本次实验共有55位受试者参与,其中有效参与者42人,为北京市内招募到的10~19岁、20~29岁、30~39岁、40~49岁、50~59岁、60~69岁和70岁以上各6人,每组男女各半,即受试者在各年龄段均匀分布。对受试者要求如下:没有耳疾或听力障碍;没有服用干扰听力功能及影响心情放松的药物;没有曾经被诊断为精神、神经疾病;没有心律不齐、心脏疾病、循环系统疾病;没有安装心脏或神经起搏器;没有接受过头部手术;没有疝气等既往史,能长时间保持同一姿势;没有感染过新型冠状病毒。所有受试者均在实验开始前被告知实验内容,并签署《知情同意书》,实验结束后获得相应报酬。

    • 受试者被要求实验开始前12 h内禁止饮用咖啡和酒精,禁止服用对精神状态产生影响的食品或药物;实验开始前3 h内禁止吸烟;实验前一晚睡眠充足。实验空间内背景噪音低于40 dBA,温度控制在24℃~26℃,湿度为50%。

      实验通过向受试者交替播放一段由竖琴和钢琴演奏的纯音乐或融合20 kHz以上频率的声音与音乐的混合音频诱发不同的放松状态。实验开始后,会先播放一遍纯音乐使受试者熟悉实验任务。实验分为4个可重复的小节,每个小节包含2 min的情绪平复、7 min的音频播放、1 min的问卷填写和3 min的平板小游戏,每个小节的实验模式如图1所示。

      图  1  实验模式示意图

    • 使用二维情绪量表(two-dimensional mood scale, TDMS)使受试者通过自我心理状态监测来测量所诱发情绪的种类与稳定性。开始播放音频前,要求受试者使用二维情绪量表描述其在聆听音频前的情绪状态。在播放音频后,受试者会进行与初始自我评估相同维度的情绪状态描述。根据情绪量表计算情绪空间,将测量结果换算为以舒适度为横坐标、唤醒度为纵坐标的二维量图。以受试者的自我评估的“舒适度”指标作为放松状态标签,将放松状态分为5类,按放松程度由低到高分别标记为RS−2、RS−1、RS−0、RS+1、RS+2,其中RS−2表示受试者感到紧张焦虑,RS−0表示受试者处于日常状态,RS+2表示受试者感到十分放松。

    • 本实验采用TDK附着型人体传感器SilmeeTM bar type lite采集受试者的心率信号。从穿戴测量设备并开始采集生理数据到实验结束,全程约70 min,包含4200个时间点。提取心率信号中的心拍间隔(R-R interval, RRI),定义低于RRI平均值70%或高于平均值150%的数据点为异常点。当异常点占总采集点比例超过20%时,认定对该受试者采集的数据无效,更换为同年龄段同性别其他受试者。

    • 根据实验流程,提取每个session中播放音频时的心率数据。在采集过程中,受试者的呼吸、身体运动、体温变化和出汗都可能会导致心率信号产生漂移现象[24],而电极与皮肤接触会产生直流偏移。采用以0.5 Hz为截止频率的高通滤波器消除直流偏移和基线漂移,使用低通滤波器对信号进行平滑,通过二阶Butterworth滤波器实现滤波操作。

    • 心率信号的情绪特征主要由心拍特征和心率变异性表达。提取心率信号片段的心拍数和心率变异性特征用于建模受试者放松状态。心拍数为1 min内的心脏搏动数,通常人体处于放松状态时心拍数减小。心率变异性的特征提取主要基于频域分析和时域分析。

      频域分析是将HRV信号分解为不同能量的频域成分,通过分析信号能量随频率的分布观察交感神经与迷走神经功能的活动变化。基础状态下,正常人的HRV信号频谱的频域范围在0~0.04 Hz,其中0.15~0.40 Hz为高频信息(high frequency, HF),是副交感神经活动指标,通常人体处于放松状态时,HF增大。本文选取高频信息的标准化数据(HFnu)作为频域特征。

      HRV的时域分析是对提取到的连续心跳间R-R间期进行数学计算,以此评估自主神经系统对心率变化的调节情况。时域特征中,连续相邻心跳间R-R间隔差的均方根(root mean square of successive differences, RMSSD)为副交感神经活动指标,通常人体处于放松状态时,RMSSD增大,其计算公式为:

      $$ {\rm{RMSSD}} = \sqrt {\frac{1}{{N - 1}}\sum\limits_{i = 1}^{N - 1} {{{\left( {{x_i} - {x_{i + 1}}} \right)}^2}} } $$ (1)

      式中,$ x_i $为RRI的值;N为最近60 s内的RRI个数。

    • 使用混合音频诱发受试者产生放松情绪后,从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号,从心率信号中提取时域特征、频域特征和心拍数,基于提取特征对放松状态进行建模与评估,模型构建流程如图2所示。

      本文提出的基于心率信号的放松状态评估模型如图3所示。模型采用双路径网络,一条路径以基于心率变异性信号的频域特征HFnu和时域特征RMSSD为输入$ {x_{{\rm{HRV}}}} \in {R^{{{B}} \times {{2}} \times {{T}}}} $,另一条路径以基于心拍信号的心拍数特征为输入$ {x_{{\rm{HR}}}} \in {R^{B \times 1 \times T}} $,其中$ B $为Batch数,T为时间序列。所有样本中使用的放松状态诱发音频均为7 min,即420个时间节点,其中0~89 s为放松状态诱发初期,390~419 s为数据采集末期,舍弃这两个不稳定阶段的数据,以剩余的90~389 s的特征数据作为放松模型的输入。

      图  2  放松状态评估模型构建流程图

      图  3  放松状态评估模型

      对于每条路径上的输入数据,使用多层感知机网络将其映射至低维空间特征表达,所有中间层使用线性修正单元(rectified linear unit, ReLU)作为激活函数,并使用批归一化层(batch normalization, BN)防止模型过拟合,得到表达能力及可分辨能力强的低维特征,将单个样本的输入特征分别由$ 300 \times 2 $$ 300 \times 1 $压缩至$ 75 \times 1 $$ 37 \times 1 $。同时,使用多层长短时记忆网络突出心率信号时序性,记忆信号的内在联系,挖掘心率信号的深层次特征并进行学习和映射,帮助模型捕获这些特征向量中存在的时间动态,输出$ 37 \times 1 $的特征向量。

      融合拼接所有特征向量,使用全连接层和SoftMax激活函数得到不同放松状态的概率值,实现基于心率信号的放松状态评估:

      $$ {p_i}\left( {y|x} \right) = {\text{softmax}}({{\boldsymbol{w}}^x}h + {{\boldsymbol{b}}^x}) $$ (2)
      $$ {\text{softmax}}(i) = \frac{{{{\rm{e}}^i}}}{{\displaystyle\sum\limits_j {{{\rm{e}}^j}} }} $$ (3)

      式中,$ {{\boldsymbol{w}}^x} $$ {{\boldsymbol{b}}^x} $分别为SoftMax函数的权重和偏置项。

    • 本文在NVIDIA Geforce RTX 3090 24 G上基于深度学习框架Pytorch进行了模型的训练,设置迭代次数为100,batch size为4,初始学习率为0.0001,使用Adam算法[25]迭代优化,学习率随迭代轮数以 0.01的系数进行线性衰减,帮助模型在训练后期以更小的幅度进行更新。为了提高模型的性能,训练过程中使用dropout操作防止模型过拟合。使用交叉熵函数(cross entropy loss, CEL)计算训练损失率:

      $$ L\left( \theta \right) = - \frac{1}{N}\sum\limits_{i = 0}^{N - 1} {\sum\limits_{k = 1}^{K - 1} {{y_{i,k}}\left( {{{\log }_2}\left( {{p_{i,k}}} \right)} \right) + \lambda {{\left\| \theta \right\|}^2}} } $$ (4)
      $$ \theta = \theta + \alpha \frac{{\partial L\left( \theta \right)}}{{\partial \theta }} $$ (5)

      式中,$ \theta $为模型参数;$ y $为样本真实标签;第$ i $个样本被预测为放松状态$ k $的概率为$ {p_{i,k}} $$ N $为样本总数;$ \lambda $为正则化项;$ \alpha $为学习率。

    • 使用4个统计评价指标评估模型的性能,分别是分类准确度(accuracy, ACC)、精准率(precision, PRE)、召回率(recall, REC)和F1分数(F1-score, F1),并使用测试得到的混淆矩阵进行计算。其中,准确度为所有正确分类的样本在总样本中的占比,是衡量模型分类性能最直观的一个指标;精确率表示所有为被预测为某类放松状态的样本中,确实为该类放松状态的样本占比,反映样本属于该类别的可能性,精确率越高表示发生误诊的比率越低;召回率表示某类放松状态样本中被正确分类的样本占比,召回率越高表示发生漏诊的比率越低;F1分数是一个全面的评估指标,是精确率和召回率的调和平均数,F1分数越高则模型分类的性能越好。这4个评价指标的计算公式如下:

      $$ {\rm{ACC}} = \frac{{{\rm{TP}} + {\rm{TN}}}}{{{\rm{TP}} + {\rm{FP}} + {\rm{TN}} + {\rm{FN}}}} \times 100{\text{%}} $$ (6)
      $$ {\rm{PRE}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}} \times 100{\text{%}} $$ (7)
      $$ {\rm{REC}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}} \times 100{\text{%}} $$ (8)
      $$ {\rm{F}}1 = 2 \times \frac{{{\rm{PRE}} \times {\rm{REC}}}}{{{\rm{PRE}} + {\rm{REC}}}} $$ (9)

      式中,TP为真阳性,表示属于某类放松状态且被正确分类的样本;TN表示不属于某类放松状态且被正确分类的样本;FP表示不属于某类放松状态但被分为该类的样本;FN表示属于某类放松状态但未被分为该类的样本。

    • 图4为本文提出的放松状态评估模型对各类放松状态的预测结果混淆矩阵示意图,图中−2、−1、0、1、2分别表示RS−2、RS−1、RS−0、RS+1、RS+2这5种放松状态。可以看出,模型对于RS−1和RS−0两种中性放松状态的分类效果最好,对十分放松RS+2状态的正确率也有90.9%,而对焦虑紧张状态RS−2和相对放松状态RS+1的识别准确率则较低。

      图  4  评估模型对各类放松状态的预测结果混淆矩阵示意图

      由于本实验以诱发受试者放松状态为目标,且实验环境较为温暖舒适,因此大部分受试者没有在实验过程中感到紧张焦虑,诱发放松状态为RS−2的样本量较少,导致模型对RS−2状态的识别准确低。

      为验证本文模型的有效性,与其他基于心率信号的模型分类算法[23, 26]做对比,实验结果如表1所示。

      表 1  不同方法的放松状态识别结果

      评估模型放松状态PRE/%REC/%F1ACC/%
      文献[23]RS−20.000.000.0045.00
      RS−146.6746.6746.67
      RS−052.6358.8255.55
      RS+1100.006.6712.51
      RS+232.1481.8246.15
      文献[26]RS−2100.0020.0033.3388.33
      RS−192.30100.0095.99
      RS−085.00100.0091.89
      RS+193.3393.3393.33
      RS+281.8281.8281.82
      本文RS−2100.0080.0088.8993.33
      RS−192.31100.0096.00
      RS−094.44100.0097.14
      RS+192.8686.6789.48
      RS+290.9190.9192.92

      文献[23]基于多层卷积神经网络对心率信号进行放松状态评估,文献[26]使用多层感知机网络对ECG信号进行情绪识别。由于这些模型适用于不同数据集下的不同分类任务,因此本文在保留原文献整体模型结构的基础上,调整了网络层数和卷积核大小,选取最优结果做对比。实验结果表明,本文方法具备最优的放松状态识别性能,能够为情绪调节与放松状态评估提供一种新的可靠方法。

    • 以放松减压为目标的情绪调节及放松状态评估有助于提升国民身心健康。本文选取各年龄段、男女各半的42名受试者基于心率信号构建放松状态评估模型。使用混合音频诱发受试者产生放松情绪,从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号,从心率信号中提取时域特征、频域特征和心拍数,基于多层感知机和长短时记忆网络构建放松评估模型,以实现放松状态的准确识别。实验结果表明,相比于目前的研究成果,本文的放松识别模型具有更优的分类性能。

参考文献 (26)

目录

    /

    返回文章
    返回