Study on EEG of Stereoscopic Deep Motion Perception

首先通过主观实验找到可区分的两类立体深度运动视频(舒适与否)，然后用于脑电实验。

参与主观实验的被试共19名，其中男生11名，年龄在20～25岁之间，具有正常或矫正正常的视力。所有被试实验前均签署了协议，实验结束后获得相应报酬。

本实验采用Maya软件来模拟立体深度运动场景刺激视频。素材包括7种不同速度模式的立体视频，分别为：96、128、192、256、312、390、512 cm/s，刺激时长均为4 s。视频背景是蓝天白云，零视差面标记为浅灰色环状物，目标石头通过环中央做前后往复地匀速周期运动，1°和−1°的视差位置分别为起始和终止点。

在主观实验中，采用脑电实验的呈现软件E-prime进行实验，共包含70个试次，分为10个部分，每一部分都随机地呈现一次上文所述的7种模式。在每一部分完成后，被试依次对问卷中眼睛酸痛情况及舒适度情况进行评分^[11]，之后进入下一部分。

从主观试验的被试中选出10人，男女各半参与EEG实验。他们实验前被要求禁止在24 h内喝咖啡、食用含有酒精的食物、服用对精神状态造成影响的药物等。整个脑电实验的实验设备、所处环境均与主观试验相同，脑电数据的采集使用嵌入式64导联脑电帽和Neuroscan国际系统。实验将左耳的脑电电极作为参考电极，系统采样频率为1 000 Hz。

EEG实验一共包含30个部分，每个部分包含8个试次(4种速度模式各两次)，共240个试次，其中每两个试次之间有3 s间隔，每个部分间有2 min间隔以保证被试休息。

每个试次分值为两个问题评分的均值，如下所示：

式中，Mos代表每个试次判断分值；Mos1和Mos2分别代表眼睛酸痛情况、舒适度状况。所有被试在第k个速度模式的最终分值如下式：

式中，k=1, 2, ···, 7，代表速度模式；p代表被试；q代表主观实验子部分。

本文研究发现，舒适度和立体深度运动速度成反比，即快速立体深度运动更易引起不适。本文结论与文献[2]一致，这种现象的产生或许与快速运动物体更难被眼动系统捕捉有关。观察图1可知，在速度96、128 cm/s的模式下，舒适度分值高于4分；在速度390，512 cm/s的模式下，舒适度分值低于2分。可见，两种模式下评分具有显著性差异。

脑电信号极其微弱且采集时会混入伪迹与噪声，因此需要对EEG信号进行预处理，步骤为：1) 1～40 Hz带通滤波器对EEG信号滤波，以去除50 Hz的工频干扰和一些噪声；2) 采用EEG lab工具箱中的独立成分分析去肌电、眼电等伪迹；3) 对EEG信号进行空间滤波，去除空间模糊，突出空间差异性特征^[12]，如下：

式中，U_q表示电极q处幅值，q=1, 2, ···, 60。

单试次的脑电信号分为休息、刺激两个阶段。休息信号为运动场景呈现前2 s的EEG数据，刺激信号为运动场景呈现的4 s EEG数据。对每个被试所有试次两阶段的EEG数据做快速傅里叶变换，谱分辨率为1 Hz，得到3个频带θ(4～8 Hz)、α(8～13 Hz)、β(13～22 Hz)。δ(0.5～4 Hz)频带脑电波发生在深度睡眠期间，含有各种伪迹，不在本文考虑范围。

首先，分别计算各通道在两个阶段EEG信号的相对能量，用于衡量两类标签在两个阶段的差异，如下所示：

式中，i=1, 2, 3，代表θ、α、β频带；q=1, 2, ···, 60，代表通道标签；XE_qi代表q通道上i频带的相对能量。

FFT变换将EEG信号变为频域信号，Daubechies 4小波变换(wavelet transform, WT)将其转换为时频信号。分别计算频域和时频r²值用于筛选两类标签下差异最大的脑区与频带：

式中，N_i代表标签i下的试次数；$\sigma $为两种标签所有试次相关物理量的标准差；y_i为标签i下所有试次相关物理量的均值。

得到不同标签差异最大的频带，采用CSP挑选出信号特征，用支持向量机进行分类。CSP是一种空间滤波器，能够将多通道时域信号通过线性变换投影到低维空间的子空间中，使信号的某类别方差最大化且另一类别方差最小化^[13]，特征提取模型如下：

实验中k=2。x_q是一个N×T的矩阵；N是通道数；T是采样点数；L为投影矩阵，其每一列都是一个空间滤波器；diag(·)代表对矩阵进行对角化操作；取对数是为使脑电特征更符合正态分布。在分类阶段采用高斯核函数训练支持向量机，随机将所有试次按照7:3分为训练集和测试集，最后结果为100次测试结果的均值。

图2为休息、刺激阶段所有被试在3个频带平均相对能量的脑电地形图。

观察图2可知，在θ频带上，两阶段的相对能量分布几乎无差异；在α频带上，相对能量变化集中在额区和顶区，其中主要变化发生在顶区。具体来说，刺激阶段额区相对能量下降明显，顶区相对能量上升明显。事实上，α频带能量变化从前脑区到后脑区呈现扩散趋势，故在此阶段，活跃脑区为顶区而非额区；在β频段上，刺激阶段顶区相对能量上升明显，其他脑区的相对能量下降缓慢。

图3为被试S₂在Pz通道上的频谱能量变化曲线，该图与脑电地形图一致，两个阶段的相对能量在8～15 Hz的频谱范围内(α频带和β频带的一部分)差异明显，其他频带没有明显不同。

为研究在立体深度运动场景刺激阶段，舒适与否标签下，不同频带及脑区最大的频谱变化，计算得到点列r²值。

图4为两类标签下频域r²值脑电地形图分布，观察可得：在α和β频带，顶区是差异最明显的脑区；枕区和中央区的差异逐渐变小；脑区差异最明显的频带集中在α频带；β频带低频的差异脑区与α频带基本一致，与相对能量脑电地形图分析一致。

计算单个被试在α频带的点列r²值，如图5所示，可得：除S₁，其他被试在顶区及其周边部分枕区和中央区的的点列r²值较大。被试S₁的情况或许与个体差异及实验条件的控制误差有关。

在刺激阶段，将每个被试的脑电数据进行小波变换，频谱分辨率为0.5 Hz、时间分辨率为0.5 s，筛选两种签下的EEG信号差别最大的时频段。在该阶段顶区差异最明显，故选择顶区电极Cp3、Cp4计算时频谱的r²值。图6为所有被试的结果均值分布，观察可得，差别最大的频段集中在α频带附近，与频谱点列r²值分析一致。

在时长为4 s的刺激阶段，在刺激呈现后约0.5～2 s之间差异最为明显，其他时间段内差异较小。图7为被试S₄的时频点列r²值分布图，可以看出，最大差别出现在α频带附近，大约在刺激呈现后的0.5～2 s。

经过上述定性分析可得：在刺激阶段，两种标签下EEG信号差异最显著的脑区在顶区、α频带。为验证这一结论，将单个被试在α频带的各脑区EEG信号，通过CSP提取特征并分类，如表1所示。从分类正确率来看，相比其他脑区，除S₁外，其他被试在顶区分类率最高；枕区和中央区的分类率接近，稍低于顶区，高于颞区和额区。所有脑区参与提取特征时，分类率远高于独立的各个脑区。可知，顶区、枕区、中央区及整个脑区有明显的可分性；立体深度视觉感知与多脑区有关。

通过研究两个阶段EEG信号的相对能量，发现α频带能量变化呈现从额区到顶区的扩散趋势，其中在刺激阶段活跃脑区为顶区，是感知深度运动的重要脑区。r²值指出两类标签下EEG信号差异最显著的脑区为顶区、枕区及中央区，说明中央区和枕区也参与了立体深度运动的处理过程。分类结果表明顶区、中央区和枕区为主要可分脑区，其中顶区可分性最大。分类结果与r²值得到的结论一致。

根据相关学者的理论，人类的视觉处理在大脑皮层上主要有两条功能独立的路径：Dorsal通路和Ventral通路，功能为运动追踪和物体识别^[14]，分布情况如图8所示^[15]。

Dorsal通路包括中央区、枕区和顶区，是与物体追踪有关的顶−枕区路径。这能解释为什么被试观看立体深度运动目标时，该通路的EEG更活跃。在两类标签下，EEG信号差异主要体现在该路径上。因此分类率最高的脑区是顶区、枕区和中央区。

深度运动速度不同引起的舒适度可能与运动物体的视觉追踪有关。当立体深度运动速度超过阈值后，被试就会很难捕捉到物体运动，并且产生不适感。顶区皮层的活动与人体感知关系紧密，这能解释为什么顶区的分类率最高。全脑区的EEG信号分类率高于单独脑区现象可以解释为：全脑都参与运动的感知和理解过程，而不是局限在某局部脑区^[16]。在Dorsal通路及整个脑区的分类正确率相对较高，说明立体深度运动诱发的EEG具有识别舒适与否的可行性。

运动物体靠近时，人类需要识别碰撞时间以避免伤害^[7]。本文推测，对碰撞时间的识别困难程度关乎着舒适度感知，运动速度越快，对碰撞时间的识别越困难。根据该机理，可知除了辐辏调节不匹配因素，深度运动也是观看立体视频产生不舒适的重要因素。

本文通过主观实验和脑电实验研究了立体深度运动的认知。首先，主观实验探究了舒适度与深度运动速度之间的关系，并明确了脑电实验所需的两类素材。选择4种速度的视频作为EEG实验中两种模式下的素材。比较两个阶段EEG信号的相对能量，发现顶区的α和β频段较活跃。计算其频域和时频域r²值，得到结论：两类标签下的EEG信号在顶区、中央区和枕区的α频带有显著差异，其中深度运动目标呈现后的0.5~2 s间，α频段差异最为显著。为进一步为验证，对单个脑区和整个脑区的α频段信号通过CSP提取特征并分类，发现5个脑区的分类结果表明顶区的分类率最高。