留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于脑电信号空域特征的紧急制动行为识别

袁月婷 闫光辉 常文文 张玉婵

袁月婷, 闫光辉, 常文文, 张玉婵. 基于脑电信号空域特征的紧急制动行为识别[J]. 电子科技大学学报, 2024, 53(1): 84-91. doi: 10.12178/1001-0548.2022380
引用本文: 袁月婷, 闫光辉, 常文文, 张玉婵. 基于脑电信号空域特征的紧急制动行为识别[J]. 电子科技大学学报, 2024, 53(1): 84-91. doi: 10.12178/1001-0548.2022380
YUAN Yueting, YAN Guanghui, CHANG Wenwen, ZHANG Yuchan. Emergency Braking Behavior Recognition Based on Spatial Features of EEG[J]. Journal of University of Electronic Science and Technology of China, 2024, 53(1): 84-91. doi: 10.12178/1001-0548.2022380
Citation: YUAN Yueting, YAN Guanghui, CHANG Wenwen, ZHANG Yuchan. Emergency Braking Behavior Recognition Based on Spatial Features of EEG[J]. Journal of University of Electronic Science and Technology of China, 2024, 53(1): 84-91. doi: 10.12178/1001-0548.2022380

基于脑电信号空域特征的紧急制动行为识别

doi: 10.12178/1001-0548.2022380
基金项目: 国家自然科学基金(62062049, 62366028);甘肃省教育厅青年博士支持项目(2023QB-038)
详细信息
    作者简介:

    袁月婷,主要从事脑电信号分析方面的研究

    通讯作者: E-mail:yanghacademic@163.com
  • 中图分类号: TP391

Emergency Braking Behavior Recognition Based on Spatial Features of EEG

图(7) / 表(1)
计量
  • 文章访问数:  4081
  • HTML全文浏览量:  1017
  • PDF下载量:  25
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-11-08
  • 修回日期:  2023-04-25
  • 网络出版日期:  2024-01-27
  • 刊出日期:  2024-01-30

基于脑电信号空域特征的紧急制动行为识别

doi: 10.12178/1001-0548.2022380
    基金项目:  国家自然科学基金(62062049, 62366028);甘肃省教育厅青年博士支持项目(2023QB-038)
    作者简介:

    袁月婷,主要从事脑电信号分析方面的研究

    通讯作者: E-mail:yanghacademic@163.com
  • 中图分类号: TP391

摘要: 基于脑电信号对紧急制动行为的分类识别和预测,是开发以人为中心的智能辅助驾驶系统的关键问题。为实现对驾驶过程中紧急制动和正常驾驶行为的分类识别,提出了基于PLV的特征表示方法来构建功能性脑网络,结合对网络特征参数的统计分析,确定显著性差异的特征参数,以及通过对数欧式距离提取脑电信号空域特征,并结合机器学习算法完成对紧急制动和正常驾驶行为的分类识别。实验结果表明,针对17名被试的紧急制动和正常驾驶的分类准确率均高于84%,最高准确率达到95.7%;对功能性脑网络的分析结果表明,在两种驾驶行为过程中,脑区间的交互都涉及全脑区,且在紧急制动过程中,脑区间的交互主要出现在额−中央−颞叶区,这与紧急制动下大脑更专注于判断决策相符。研究结果对理解驾驶过程中,尤其是紧急制动过程中驾驶员对应脑区间的依赖关系,以及开发智能辅助驾驶系统在驾驶过程中提前识别紧急制动意图具有一定的参考价值。

English Abstract

袁月婷, 闫光辉, 常文文, 张玉婵. 基于脑电信号空域特征的紧急制动行为识别[J]. 电子科技大学学报, 2024, 53(1): 84-91. doi: 10.12178/1001-0548.2022380
引用本文: 袁月婷, 闫光辉, 常文文, 张玉婵. 基于脑电信号空域特征的紧急制动行为识别[J]. 电子科技大学学报, 2024, 53(1): 84-91. doi: 10.12178/1001-0548.2022380
YUAN Yueting, YAN Guanghui, CHANG Wenwen, ZHANG Yuchan. Emergency Braking Behavior Recognition Based on Spatial Features of EEG[J]. Journal of University of Electronic Science and Technology of China, 2024, 53(1): 84-91. doi: 10.12178/1001-0548.2022380
Citation: YUAN Yueting, YAN Guanghui, CHANG Wenwen, ZHANG Yuchan. Emergency Braking Behavior Recognition Based on Spatial Features of EEG[J]. Journal of University of Electronic Science and Technology of China, 2024, 53(1): 84-91. doi: 10.12178/1001-0548.2022380
  • 汽车出行给人们生活带来便利的同时,也造成了严重的交通安全问题。世界卫生组织2018年发布的数据显示,每年约有130万人死于交通事故[1]。据统计,95%的交通事故在一定程度上是由驾驶员的人为因素造成,驾驶员的不当驾驶行为是引发交通事故的重要原因[2-5]。为了降低人为因素导致的交通事故率,提高驾驶过程的安全性和可靠性,人们对智能驾驶辅助系统提出了更高的要求。目前的驾驶辅助系统主要通过车载传感器(如激光雷达、GPS及摄像头等)来记录和分析车辆及环境信息[3, 5-6],然而,该系统性能易受到外界因素的影响,如天气、照明情况等。近年来,基于脑−机接口的智能驾驶辅助系统的研发以及驾驶员在特定环境下对应大脑认知机制的研究日益受到关注,有望通过脑−机接口构建驾驶辅助系统,通过对驾驶员状态和驾驶行为的检测和识别,及时调整控制策略,提高驾驶安全[7]。因此,基于便携式脑电信号(Electroencephalogram, EEG)采集设备,就驾驶过程对应大脑认知特性展开广泛研究,探讨驾驶员在驾驶行为中的神经相关性特征,结合机器学习算法,实现对驾驶行为更为可靠、安全的识别和预测,是目前急需解决的问题。

    驾驶员在紧急情况下的驾驶行为是研究人员关注的重点问题,并且希望通过研究紧急情况下的驾驶行为来减少交通事故的发生率。文献[8]在模拟驾驶环境中利用事件相关脑电(Event Related Potential, ERP)来研究驾驶员紧急制动过程中的神经相关性特征,能够在汽车踏板响应前130 ms检测到紧急制动意图。随后他们在实车驾驶实验中复现了该实验,以评估其对现实世界的适用性,结果与模拟研究的结果相似[9]。文献[10]将文献[8]的实验扩展到了多种模拟驾驶场景中,提出了一种综合准备电位、事件相关去同步电位和事件相关电位的特征组合方法,并应用于不同制动情况(紧急制动、软制动和无制动)下的制动意图检测,结果显示该方法优于仅使用ERP特征。文献[6]利用循环卷积神经网络研究了紧急制动情况下视觉感知诱发的早期ERP信号,结果显示利用该信号识别刹车意图的时间比制动踏板早了380 ms。文献[3, 5]基于EEG时域特征,使用支持向量机和卷积神经网络对紧急制动意图的识别率分别为71.1%和71.8%。文献[4, 11-12]就紧急制动过程中脑电信号在频域的神经相关性特征开展了一系列研究,提出了基于EEG功率谱密度特征的紧急制动意图检测方法,该方法最早能在420 ms之前检测到紧急制动意图。文献[13]探讨了基于脑电信号间连通性特征的紧急制动意图检测方法,基于有向传递函数来讨论脑区间的有效连通性,最佳预处理方法的平均AUC为0.8632,表明连通特征具有良好的分类性能。此外,文献[14]基于脑电信号各频段功率谱和自回归模型特征,结合多层感知神经网络可在制动动作开始前600 ms检测到紧急制动意图,准确率高达91%。文献[15]就紧急制动、软制动和正常驾驶意图对应脑电信号从时域、频域和时频域特征融合的角度展开分析,基于正则化线性判别分类器,利用组合特征对3种状态的识别率达到78.33%。综上所述,基于脑电信号的时域和频域特征,可实现对紧急制动和正常驾驶意图的分类识别,从而完成对紧急制动的提前检测,对驾驶员进行预警或提醒,且不对驾驶人的操作行为产生干扰,给驾驶员的生命安全提供最大程度的保障[16]。然而,目前所提出的特征提取主要集中在时域、频域和时频域中,对空间域特征的研究较少。此外,对驾驶行为的功能性脑网络特征,特别是对能够表征不同脑区间依赖关系的功能网络特征了解甚少。

    因此,本文提出了一种基于EEG的空间域特征的紧急制动行为检测方法,通过采集全脑区的脑电信号,对5个常用频段分别构建功能性脑网络来分析紧急制动和正常驾驶行为过程中对应脑区间的依赖关系,并使用多种机器学习算法来评估功能性脑网络中具有显著性差异的特征参数的分类性能,及由对数欧式距离计算得到的空域特征的分类性能。对结果进行分析讨论,进一步挖掘其背后的神经生理原因,为辅助驾驶设备在紧急情况发生时检测驾驶员的制动意图提供科学的定量分析方法。随着该研究的不断成熟,脑−机接口可以通过脑神经信号来推断驾驶员的动作意图或即将执行的动作(如踩踏板、转动方向盘等),该研究对于无法自主控制四肢的残疾人的驾驶领域提供借鉴意义和理论支持[17]

    • 为实现对紧急制动行为的识别,分析脑区间的依赖关系,本文提出了脑电空域特征的紧急制动行为识别方法,其技术路线如图1所示。

      图  1  技术路线图

    • 对文献[8]发布的公开数据集展开研究,该数据集含18个受试者,实验任务是受试者驾驶一辆有方向盘、油门和刹车的虚拟赛车,并以100 km/h的速度紧紧跟随一辆由电脑控制的领头车辆。当两车距离在20 m内时,领头车辆偶尔突然减速至60~80 km/h,且制动灯闪烁,受试者在该情况下立即执行紧急制动,避免撞车。每个受试者执行任务45 min,进行了3次实验,因此从每个受试者身上采集135 min的连续数据,使用脑电帽从59个头皮部位和2个眼电图(EOG)部位采集EEG数据,数据集的采样率为200 Hz。选取该数据集的原因是该数据集包含较多的受试者,将原始脑电信号经过预处理后送入机器学习算法中会得到较好的效果。

    • 驾驶过程对应脑电信号的预处理主要包括坏电极标注、降采样、皮层电极定位、剔除坏电极、滤波、驾驶行为对应数据分段、基线校准、伪迹剔除、坏电极插值以及重参考等过程。使用EEGLAB工具包在MATLAB中对原始数据进行预处理,在将原始数据转为EEGLAB中可使用的格式后,进行皮层电极定位,选择了59个电极通道,电极通道如图2所示。截断数据段,即根据原始数据中相应的标签分别对紧急制动和正常驾驶行为对应数据段选择动作起始点之前7 s到之后3 s的时间段(即一个epoch数据段的长度为10 s)。由于领头车辆减速具有偶然性,每个被试分段后epoch数量并不相同。为提高性能,首先剔除眼电电极带来的伪迹,并在ICA前进行平均参考,然后使用独立成分分析方法(Independent Component Analysis, ICA)去除脑电数据中的伪迹,最后辅以手动删除坏段,得到预处理后的数据,由于第7个受试者的数据异常,因此本研究中使用了17个受试者的脑电数据,然后对于每个受试者所有的epoch,根据epoch中的event来创建标签文件,并按照标签文件将epoch进行二分类,将紧急制动行为和正常驾驶行为对应的epoch分开保存,为了统一处理,选取最小数目168分别为每个受试者的brake和normal对应的epoch数目,因此共有5712个epoch数据段。

      图  2  脑电通道位置示意图

    • 人脑是生物界最复杂精密的器官之一,由左、右脑组成,负责协调机体功能。大脑中有数量庞大的神经元,这些神经元的自发活动以及受到刺激后产生的反应又通过突触互相连接,形成了一个具有多节点且连接复杂的动态脑网络。图3为脑区划分示意图,额叶(Frontal Lobe)分为前额叶和后额叶,前额叶主要负责沟通管理、计划判断、创造领导等,后额叶负责逻辑推理、语言功能、空间想象等。此外,额叶中还包含运动皮质区。顶叶(Parietal Lobe)与体觉相关,如体觉辨识、感受、工艺欣赏等,整合感官的信息。颞叶(Temporal Lobe)靠近耳朵,主要是和听觉相关,包括听觉辨识、听觉感受等。枕叶(Occipital Lobe)是大脑的视觉处理中心,包括视觉辨识、视觉感受、观察理解、图像欣赏等。

      图  3  脑区划分示意图

    • 车辆驾驶涉及多个认知过程,主要包括视觉注意、空间感知、判断决策以及执行控制等方面,需要大脑各个区域之间的协调和配合来共同完成。而基于复杂网络理论的功能脑网络分析为这种脑区间的协调和交互以及对应脑信息的加工处理机制的研究提供了有效途径。功能性脑网络的构建可基于相位同步[18]等方法,锁相可用于非线性、混沌系统的分析,因为大脑的非线性性,因而用锁相来度量脑区间的相互关系是合理的。相位锁值(Phase Locking Value, PLV)是任意两个信号之间平均相位差的绝对值[19],介于0~1之间,当值为1时,表示两个信号相位同步,值为0时,表示两个信号相位不同步。因此,本文采用相位锁值来构建功能性脑网络,测量不同脑区间的功能连接。以下是PLV的计算步骤。

      1)对原始信号进行带通滤波,考虑到EEG具有高时间分辨率的优点,最好使用有限脉冲响应(Finite Impulse Response, FIR)滤波器进行滤波,因为FIR滤波器是在时域中对信号进行滤波。

      2)利用希尔伯特变换计算信号的瞬时相位。对于t时的信号$ x(t) $进行希尔伯特变换$ \hat x(t) $,可定义为:

      $$ \hat x(t) = H[x(t)] = x(t)*\frac{1}{{{\text{π}}t}} = \frac{1}{{\text{π}}}\int_{ - \infty }^\infty {\frac{{x(\tau )}}{{t - \tau }}} {\text{d}}\tau $$ (1)

      因此,瞬时相位$ {\phi _x}(t) $为:

      $$ {\phi _x}(t) = \arctan \frac{{\hat x(t)}}{{x(t)}} $$ (2)

      由此可以确定两个信号$ x(t) $$ y(t) $之间的相位差$ {\phi _{xy}}(t) = {\phi _x}(t) - {\phi _y}(t) $

      3)计算PLV:

      $$ {\text{PL}}{{\text{V}}_t} = \frac{1}{N}\left| {\sum\limits_{n = 1}^{\text{N}} {\exp ({\rm{j}}\theta (t,n))} } \right| $$ (3)

      式中,N表示实验的个数,即trial n[1, 2, ···, N];$ \theta (t,n) $表示瞬时相位差。

      为了更好表征脑电信号在不同频段下的依赖关系,将脑电信号滤波为5个频段,分别为:δ(0.5~4 Hz)、θ(4~8 Hz)、α(8~12 Hz)、β(12~32 Hz)、γ(32~80 Hz),以每个epoch长度(即10 s),对每个频段的脑电信号进行截取,构造PLV矩阵。PLV矩阵构造如下:选择脑电图帽上的59个通道作为节点,计算每两个通道之间的PLV值,可以得到一个59×59的PLV矩阵,对所有被试进行上述操作后得到170个PLV矩阵。

    • 功能性脑网络构建的关键是对节点和边的定义,以及阈值的选取。将节点定义为脑电信号的电极位置,即59个节点;边定义为节点之间在功能连接层面的关系,即PLV矩阵的连接权值。鉴于脑网络复杂,且存在大量的弱连接,它们可能是由噪声引起的,并不能代表脑区之间的连接关系,因此选择合适的阈值来构建功能性脑网络很有必要。为此,分别将5个频段下PLV矩阵中的连接权值组成一个权值向量,该向量的频率直方图如图4所示,以上四分位点作为最终的阈值。依据上述方法,得到的δθαβγ频段的阈值分别为0.880 8、0.673 1、0.641 9、0.497 5和0.420 3。将大于阈值的连接边权值保留,小于阈值的连接边权值设置为0,以及所有权重在主对角线上(自连接)设置为0,因此得到了节点之间连边的关系,构建功能性脑网络。

      图  4  5个频段对应的PLV频率直方图分布及阈值选择

    • 对于构建好的功能性脑网络,可对其进行拓扑测度。通过对网络拓扑测度进行统计分析,可以更好地了解脑区间的相互连接变化机制。选择复杂网络中常用的网络特征参数来对不同频段下的脑电信号进行统计分析,即度(D)、介数中心性(BC)、聚类系数(C)、全局效率(Ge)、加权传递性(T)、模块度(MOD)。 度是指与该节点有连边的其他节点的数目,一个节点的度越大就意味着这个节点越重要。介数中心性(Betweenness Centrality, BC)是指最短路径介数中心性,即网络中节点的所有最短路径的分数,BC值高的节点参与大量最短路径,BC值越高,该节点越重要,用来确定网络中最中心的节点,其公式为:

      $$ {\rm{BC}}(i) = \sum\limits_{i \ne s \ne t} {\frac{{d_{st}^i}}{{{d_{st}}}}} $$ (4)

      式中,$ {d_{st}} $为节点$ s $$ t $的最短路径的数目;$ d_{st}^i $为节点$ s $$ t $的所有最短路径中经过节点$ i $的最短路径的数目。

      复杂网络并不是完全随机的,而是有明显的聚类效应,可用聚类系数(Clustering Coefficient)来衡量,因此聚集系数C是用来衡量网络的局部聚集性:

      $$ C = \frac{1}{N}\left(\sum\limits_{i = 1}^n {\frac{{2{E_i}}}{{{k_i}({k_i} - 1)}}}\right) $$ (5)

      式中,N为节点数;$ {k_i} $为与节点$ i $$ {k_i} $条边将它与其他节点相连。

      全局效率(Global Efficiency, GE)[20]定义为任意两节点的最短路径的平均值的倒数,当两节点之间没有路径时,路径长度为$ {d_{ij}} $=+∞,则$ 1/{d_{ij}} $=0,GE的公式为:

      $$ {\rm{GE}} = \frac{{\displaystyle\sum\limits_{i \ne j} {\dfrac{1}{{{d_{ij}}}}} }}{{N(N - 1)}} $$ (6)

      加权传递性(Transitivity)是网络中三角形的比率,意味着当ijjk之间存在连接时,ik之间也存在连接[21],其公式为:

      $$ T = \frac{{2\displaystyle\sum\limits_{j,\;k} {{{({w_{i,\;j}}{w_{j,\;k}}{w_{k,\;i}})}^{1/3}}} }}{{{k_i}({k_i} - 1)}} $$ (7)

      式中,$ \displaystyle\sum\limits_{j,\;k} {{{({w_{i,\;j}}{w_{j,\;k}}{w_{k,\;i}})}^{1/3}}} $是与节点连接的三角形数目。

      模块度用来量化网络划分为子模块的程度[22],其公式为:

      $$ {\rm{MOD}} = \frac{1}{{2m}}\sum\limits_{ij} {[{A_{ij}} - {P_{ij}}]} \delta ({g_i},{g_j}) $$ (8)

      $ {g_i} $=$ {g_i} $时,$ \delta ({g}_{i},{g}_{j}) $=1;否则$ \delta ({g}_{i},{g}_{j}) $=0。

    • 为了探索脑电信号的空间域特征,本文尝试使用对数欧氏距离(Log-Euclidean Distance)来定量分析,即在5个频段中分别计算每两个PLV矩阵的距离测度,形成距离矩阵,每两个PLV矩阵间的对数欧式距离为:

      $$ {d_{{\rm{LE}}}}({{\boldsymbol{M}}_p},{{\boldsymbol{M}}_q}) = \sqrt {\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^N {{{(\log ({x_{ij}}(p)) - \log ({x_{ij}}(q)))}^2}} } } $$ (9)

      式中,$ {\boldsymbol{M}}_p $$ {\boldsymbol{M}}_q $分别表示第$ p $个和第$ q $个PLV矩阵;N表示矩阵大小,本文中为59。

    • 对预处理后得到的5 712个epoch数据段,分别计算PLV矩阵,并在5个频段下对PLV矩阵选取合适的阈值,完成对所有PLV矩阵连接边权值的筛选,即大于该阈值的权值边保留,小于该阈值的连边权值设置为0,并将自连接的权值设置为0,构建功能性脑网络,图5为5个频段下对应的紧急制动和正常驾驶的脑功能网络拓扑连接图,参考图2图3的脑区划分图,在两种驾驶行为过程中,脑区间的交互都涉及全脑区,这与驾驶过程中需要大脑各个区域之间的协调和配合来共同完成相一致。对比来看,在正常驾驶过程中,脑网络连接更均匀分布,而在紧急制动过程中,尤其是在$\theta $$\alpha $$\gamma $频段下,脑区间的交互主要出现在额−中央−颞叶区,这与紧急制动下大脑更专注于判断决策相符。

      图  5  功能性网络拓扑连接图

      对5个频段内的阈值化PLV矩阵的网络特征参数进行统计分析,结果表明在$ \theta $频段中的6个网络特征参数均具有显著性差异(t-test, p<0.05),其他频段下上述特征参数没有表现出显著性差异,如表1所示。

      表 1  阈值PLV矩阵下网络特征参数的差异性

      网络特征参数频段
      $\delta $$ \theta $$ \alpha $$\beta $$\gamma $
      D**
      BC***
      C*****
      Ge**
      T*****
      MOD**
      -表示没有显著性差异,*表示 p < 0.05,**表示p < 0.01

      因此将$\theta $频段下的6个网络特征参数组成特征向量:

      $$ {{\boldsymbol{V}}}_{{\rm{para}}}=(D,{\rm{BC}},C,{\rm{Ge}},T,{\rm{MOD}}) $$ (10)

      以该向量组成特征向量矩阵,使用支持向量机(Support Vector Machine, SVM)、决策树(Decision Tree, DT)、朴素贝叶斯(Naive Bayes, NB)和K最近邻算法(K-Nearest Neighbor, KNN)等机器学习算法进行训练分类,完成对紧急制动和正常驾驶行为的识别。对其进行十折交叉验证后得到的平均准确率如图6所示,4种分类算法的准确率分别为74.39%、78.18%、77.23%和74.69%,所有分类器准确率均在74%以上,其中决策树分类准确率最高,证明了该方法的有效性,但其分类准确率具有很大的提升空间。

      为了提高对紧急制动和正常驾驶行为的识别准确率,本文使用对数欧氏距离来表征EEG信号的空域特征,对上述计算得到的5个频段下的距离矩阵,将其作为特征矩阵送入支持向量机、决策树、线性判别分析和逻辑回归等分类算法,图7为十折交叉验证后5个频段下不同分类器分类准确率,整体准确率在84%以上,在$ \theta $$\alpha $频段下分类准确率可达到95%以上,在$\alpha $频段下使用线性判别分析算法可得到最高准确率95.7%。由结果可见,使用矩阵测度可更好地提取脑电信号的空域特征,对驾驶过程中的紧急制动行为具有更好的分类效果。

      图  6  不同分类器的分类准确率

      图  7  5个频段下不同分类器的分类准确率

    • 通过PLV来度量驾驶过程中紧急制动和正常驾驶行为对应脑区间的相互关系,构建了5个频段下的功能性脑网络,基于对网络特征参数的统计分析,确定具有显著性特征的参数,并使用支持向量机、决策树、朴素贝叶斯和K最近邻算法等分类算法完成对紧急制动和正常驾驶行为的识别,分类准确率均在74%以上。为了提高分类识别效果,使用了对数欧式距离来提取脑电信号的空域特征,形成距离矩阵,使用机器学习算法对该特征进行分类识别,分类准确率均在84%以上,最高准确率可达到95.7%,证明了该方法对于识别紧急制动行为的有效性。针对功能性脑网络的分析表明,在紧急制动和正常驾驶过程对应的脑区间的交互都涉及全脑区,这也与驾驶过程中需要大脑各个区域之间的协调和配合来共同完成相一致,以及在正常驾驶过程中,脑网络连接更均匀分布,而在紧急制动过程中,脑区间的交互主要出现在额−中央−颞叶区,这与紧急制动下大脑更专注于判断决策相符。研究结果对开发基于脑电的智能辅助驾驶系统来预测紧急制动意图具有一定的参考价值。

参考文献 (22)

目录

    /

    返回文章
    返回