Evaluation Model of Relaxation State under Mixed Audio Based on Heart Rate Signal

诱发情绪的方法主要包括自我诱发、情境诱发和事件诱发。自我诱发通过引导受试者的主观回忆诱发情绪，情境诱发通过让受试者玩游戏等方式使其处在产生情绪的场景中，事件诱发则是向受试者呈现视觉、听觉和嗅觉等情绪刺激材料。情境诱发方法通常与虚拟现实技术相结合，文献[14]创作了虚拟现实生物反馈游戏来预防和治疗儿童焦虑症，文献[15]研发了一款集成头戴式显示器和嗅觉项链的虚拟现实系统诱发放松状态。事件诱发方法通常借助音乐^[16]、灯光^[17]或肢体接触^[18]使受试者进入放松状态。

在众多放松情绪诱发方法中，音乐具有综合性认知加工特点，能够以非侵入、不接触的方式与受试者交互，使受试者无意识地进入设定的气氛情境中。同时，相比于气味、温度等诱发材料，音乐能够精准控制、实时调节。文献[19]提出用音乐调节情绪和提升幸福感来治疗抑郁症患者。文献[20]基于心率变异性评估不同类型音乐的放松效果。

放松状态评估是一个情感计算问题，通常定义为有监督的机器学习。诱发受试者进入不同程度的放松状态并采集生理数据后，对生理信号进行预处理并提取信号特征，建立恰当的分类模型对放松状态进行评估。常用的分类方法包括支持向量机^[21]、卷积神经网络^[22]和长短时记忆网络^[23]等。

本次实验共有55位受试者参与，其中有效参与者42人，为北京市内招募到的10～19岁、20～29岁、30～39岁、40～49岁、50～59岁、60～69岁和70岁以上各6人，每组男女各半，即受试者在各年龄段均匀分布。对受试者要求如下：没有耳疾或听力障碍；没有服用干扰听力功能及影响心情放松的药物；没有曾经被诊断为精神、神经疾病；没有心律不齐、心脏疾病、循环系统疾病；没有安装心脏或神经起搏器；没有接受过头部手术；没有疝气等既往史，能长时间保持同一姿势；没有感染过新型冠状病毒。所有受试者均在实验开始前被告知实验内容，并签署《知情同意书》，实验结束后获得相应报酬。

受试者被要求实验开始前12 h内禁止饮用咖啡和酒精，禁止服用对精神状态产生影响的食品或药物；实验开始前3 h内禁止吸烟；实验前一晚睡眠充足。实验空间内背景噪音低于40 dBA，温度控制在24℃～26℃，湿度为50%。

实验通过向受试者交替播放一段由竖琴和钢琴演奏的纯音乐或融合20 kHz以上频率的声音与音乐的混合音频诱发不同的放松状态。实验开始后，会先播放一遍纯音乐使受试者熟悉实验任务。实验分为4个可重复的小节，每个小节包含2 min的情绪平复、7 min的音频播放、1 min的问卷填写和3 min的平板小游戏，每个小节的实验模式如图1所示。

使用二维情绪量表(two-dimensional mood scale, TDMS)使受试者通过自我心理状态监测来测量所诱发情绪的种类与稳定性。开始播放音频前，要求受试者使用二维情绪量表描述其在聆听音频前的情绪状态。在播放音频后，受试者会进行与初始自我评估相同维度的情绪状态描述。根据情绪量表计算情绪空间，将测量结果换算为以舒适度为横坐标、唤醒度为纵坐标的二维量图。以受试者的自我评估的“舒适度”指标作为放松状态标签，将放松状态分为5类，按放松程度由低到高分别标记为RS−2、RS−1、RS−0、RS+1、RS+2，其中RS−2表示受试者感到紧张焦虑，RS−0表示受试者处于日常状态，RS+2表示受试者感到十分放松。

本实验采用TDK附着型人体传感器Silmee^TM bar type lite采集受试者的心率信号。从穿戴测量设备并开始采集生理数据到实验结束，全程约70 min，包含4200个时间点。提取心率信号中的心拍间隔(R-R interval, RRI)，定义低于RRI平均值70%或高于平均值150%的数据点为异常点。当异常点占总采集点比例超过20%时，认定对该受试者采集的数据无效，更换为同年龄段同性别其他受试者。

根据实验流程，提取每个session中播放音频时的心率数据。在采集过程中，受试者的呼吸、身体运动、体温变化和出汗都可能会导致心率信号产生漂移现象^[24]，而电极与皮肤接触会产生直流偏移。采用以0.5 Hz为截止频率的高通滤波器消除直流偏移和基线漂移，使用低通滤波器对信号进行平滑，通过二阶Butterworth滤波器实现滤波操作。

心率信号的情绪特征主要由心拍特征和心率变异性表达。提取心率信号片段的心拍数和心率变异性特征用于建模受试者放松状态。心拍数为1 min内的心脏搏动数，通常人体处于放松状态时心拍数减小。心率变异性的特征提取主要基于频域分析和时域分析。

频域分析是将HRV信号分解为不同能量的频域成分，通过分析信号能量随频率的分布观察交感神经与迷走神经功能的活动变化。基础状态下，正常人的HRV信号频谱的频域范围在0～0.04 Hz，其中0.15～0.40 Hz为高频信息(high frequency, HF)，是副交感神经活动指标，通常人体处于放松状态时，HF增大。本文选取高频信息的标准化数据(HFnu)作为频域特征。

HRV的时域分析是对提取到的连续心跳间R-R间期进行数学计算，以此评估自主神经系统对心率变化的调节情况。时域特征中，连续相邻心跳间R-R间隔差的均方根(root mean square of successive differences, RMSSD)为副交感神经活动指标，通常人体处于放松状态时，RMSSD增大，其计算公式为：

式中，$ x_i $为RRI的值；N为最近60 s内的RRI个数。

使用混合音频诱发受试者产生放松情绪后，从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号，从心率信号中提取时域特征、频域特征和心拍数，基于提取特征对放松状态进行建模与评估，模型构建流程如图2所示。

本文提出的基于心率信号的放松状态评估模型如图3所示。模型采用双路径网络，一条路径以基于心率变异性信号的频域特征HFnu和时域特征RMSSD为输入$ {x_{{\rm{HRV}}}} \in {R^{{{B}} \times {{2}} \times {{T}}}} $，另一条路径以基于心拍信号的心拍数特征为输入$ {x_{{\rm{HR}}}} \in {R^{B \times 1 \times T}} $，其中$ B $为Batch数，T为时间序列。所有样本中使用的放松状态诱发音频均为7 min，即420个时间节点，其中0～89 s为放松状态诱发初期，390～419 s为数据采集末期，舍弃这两个不稳定阶段的数据，以剩余的90～389 s的特征数据作为放松模型的输入。

对于每条路径上的输入数据，使用多层感知机网络将其映射至低维空间特征表达，所有中间层使用线性修正单元(rectified linear unit, ReLU)作为激活函数，并使用批归一化层(batch normalization, BN)防止模型过拟合，得到表达能力及可分辨能力强的低维特征，将单个样本的输入特征分别由$ 300 \times 2 $和$ 300 \times 1 $压缩至$ 75 \times 1 $和$ 37 \times 1 $。同时，使用多层长短时记忆网络突出心率信号时序性，记忆信号的内在联系，挖掘心率信号的深层次特征并进行学习和映射，帮助模型捕获这些特征向量中存在的时间动态，输出$ 37 \times 1 $的特征向量。

融合拼接所有特征向量，使用全连接层和SoftMax激活函数得到不同放松状态的概率值，实现基于心率信号的放松状态评估：

式中，$ {{\boldsymbol{w}}^x} $和$ {{\boldsymbol{b}}^x} $分别为SoftMax函数的权重和偏置项。

本文在NVIDIA Geforce RTX 3090 24 G上基于深度学习框架Pytorch进行了模型的训练，设置迭代次数为100，batch size为4，初始学习率为0.0001，使用Adam算法^[25]迭代优化，学习率随迭代轮数以 0.01的系数进行线性衰减，帮助模型在训练后期以更小的幅度进行更新。为了提高模型的性能，训练过程中使用dropout操作防止模型过拟合。使用交叉熵函数(cross entropy loss, CEL)计算训练损失率：

式中，$ \theta $为模型参数；$ y $为样本真实标签；第$ i $个样本被预测为放松状态$ k $的概率为$ {p_{i,k}} $；$ N $为样本总数；$ \lambda $为正则化项；$ \alpha $为学习率。

使用4个统计评价指标评估模型的性能，分别是分类准确度(accuracy, ACC)、精准率(precision, PRE)、召回率(recall, REC)和F1分数(F1-score, F1)，并使用测试得到的混淆矩阵进行计算。其中，准确度为所有正确分类的样本在总样本中的占比，是衡量模型分类性能最直观的一个指标；精确率表示所有为被预测为某类放松状态的样本中，确实为该类放松状态的样本占比，反映样本属于该类别的可能性，精确率越高表示发生误诊的比率越低；召回率表示某类放松状态样本中被正确分类的样本占比，召回率越高表示发生漏诊的比率越低；F1分数是一个全面的评估指标，是精确率和召回率的调和平均数，F1分数越高则模型分类的性能越好。这4个评价指标的计算公式如下：

式中，TP为真阳性，表示属于某类放松状态且被正确分类的样本；TN表示不属于某类放松状态且被正确分类的样本；FP表示不属于某类放松状态但被分为该类的样本；FN表示属于某类放松状态但未被分为该类的样本。

图4为本文提出的放松状态评估模型对各类放松状态的预测结果混淆矩阵示意图，图中−2、−1、0、1、2分别表示RS−2、RS−1、RS−0、RS+1、RS+2这5种放松状态。可以看出，模型对于RS−1和RS−0两种中性放松状态的分类效果最好，对十分放松RS+2状态的正确率也有90.9%，而对焦虑紧张状态RS−2和相对放松状态RS+1的识别准确率则较低。

由于本实验以诱发受试者放松状态为目标，且实验环境较为温暖舒适，因此大部分受试者没有在实验过程中感到紧张焦虑，诱发放松状态为RS−2的样本量较少，导致模型对RS−2状态的识别准确低。

为验证本文模型的有效性，与其他基于心率信号的模型分类算法^{[23, 26]}做对比，实验结果如表1所示。

文献[23]基于多层卷积神经网络对心率信号进行放松状态评估，文献[26]使用多层感知机网络对ECG信号进行情绪识别。由于这些模型适用于不同数据集下的不同分类任务，因此本文在保留原文献整体模型结构的基础上，调整了网络层数和卷积核大小，选取最优结果做对比。实验结果表明，本文方法具备最优的放松状态识别性能，能够为情绪调节与放松状态评估提供一种新的可靠方法。

以放松减压为目标的情绪调节及放松状态评估有助于提升国民身心健康。本文选取各年龄段、男女各半的42名受试者基于心率信号构建放松状态评估模型。使用混合音频诱发受试者产生放松情绪，从二维情绪量表中换算获得放松状态标签。采集受试者的心率信号，从心率信号中提取时域特征、频域特征和心拍数，基于多层感知机和长短时记忆网络构建放松评估模型，以实现放松状态的准确识别。实验结果表明，相比于目前的研究成果，本文的放松识别模型具有更优的分类性能。