ISSN 
-
如今，3D显示技术十分火热，且被广泛用于电影、游戏和工业可视化等领域。然而，在观看3D影像时，观众时常会出现眼睛不适、视力模糊、头晕等症状。有学者认为，造成3D观看舒适度与疲劳的因素有失真、串扰、辐辏调节冲突等[1]。文献[2]研究了立体场景中运动目标的尺寸、速度、视差对舒适度的影响，发现相比视差，运动物体的速度更易引起观看不适；视差的变化率和立体运动物体通过零视差面的频率是影响不舒适度的关键因素。文献[3]研究立体运动视频后发现，深度运动对立体观看舒适有重要影响。研究表明，静态图像的舒适视差范围为±1°，视差超过该范围时，将发生频繁的眼动效应且视觉不舒适与眼动密切相关[4]。对于运动影像来说，即使视差在舒适范围内，快速深度运动带来的辐辏调节不匹配仍会产生不舒适感。但是深度运动对视觉感知的影响方面，尚无充分的研究。
传统舒适度评价方法主要是主观方法，该方法费时费力且易受被试影响[5-6]。除主观评价外，还有许多客观方法，如脑电EEG、心电、核磁共振等[3]。其中，EEG作为一种被广泛使用，具有发展前景的立体疲劳与舒适度检测方式，包含许多生理心理信息，可以实时地反映出神经的改变[7]。文献[8]分析了EEG中的暂稳态视觉诱发电位，发现水平方向的视差会使神经传导延迟。文献[9]中的研究表明，脑电辐辏调节冲突量会影响平均大脑活动量，猜测脑电能够反映立体视觉认知活动。文献[10]通过观看立体视频前后的功率谱对3D视疲劳进行估算。立体场景中常出现深度运动，所以有必要结合EEG进行立体深度运动舒适与否的认知研究。
本文基于EEG采用客观实验对两类立体深度运动场景进行探究。文章充分提取EEG的空域、频域和时频特征，在频域和时频域中分别计算r2值用于衡量两类场景的差异，分析两类r2值脑电分布图，发现刺激后的0.5～2 s时间段，顶区的α频带具有差异性；通过共空间模式(common spatial pattern, CSP)提取大脑α频带空域特征，并用支持向量机(support vector machines, SVM)进行分类。结果表明，顶区、中央区以及枕区的分类率高于其他脑区。
-
首先通过主观实验找到可区分的两类立体深度运动视频(舒适与否)，然后用于脑电实验。
-
参与主观实验的被试共19名，其中男生11名，年龄在20～25岁之间，具有正常或矫正正常的视力。所有被试实验前均签署了协议，实验结束后获得相应报酬。
本实验采用Maya软件来模拟立体深度运动场景刺激视频。素材包括7种不同速度模式的立体视频，分别为：96、128、192、256、312、390、512 cm/s，刺激时长均为4 s。视频背景是蓝天白云，零视差面标记为浅灰色环状物，目标石头通过环中央做前后往复地匀速周期运动，1°和−1°的视差位置分别为起始和终止点。
在主观实验中，采用脑电实验的呈现软件E-prime进行实验，共包含70个试次，分为10个部分，每一部分都随机地呈现一次上文所述的7种模式。在每一部分完成后，被试依次对问卷中眼睛酸痛情况及舒适度情况进行评分[11]，之后进入下一部分。
-
从主观试验的被试中选出10人，男女各半参与EEG实验。他们实验前被要求禁止在24 h内喝咖啡、食用含有酒精的食物、服用对精神状态造成影响的药物等。整个脑电实验的实验设备、所处环境均与主观试验相同，脑电数据的采集使用嵌入式64导联脑电帽和Neuroscan国际系统。实验将左耳的脑电电极作为参考电极，系统采样频率为1 000 Hz。
EEG实验一共包含30个部分，每个部分包含8个试次(4种速度模式各两次)，共240个试次，其中每两个试次之间有3 s间隔，每个部分间有2 min间隔以保证被试休息。
-
每个试次分值为两个问题评分的均值，如下所示：
$${\rm{Mos}} = \frac{1}{2}({\rm{Mos1}} + {\rm{Mos2}})$$ (1) 式中，Mos代表每个试次判断分值；Mos1和Mos2分别代表眼睛酸痛情况、舒适度状况。所有被试在第k个速度模式的最终分值如下式：
$$ \begin{split} & {\rm{Mo}}{{\rm{s}}_k} = \sum\limits_{p = 1}^{19} {\sum\limits_{q = 1}^{10} {{\rm{Mo}}{{\rm{s}}_{q,p}}} } \\ & \qquad\overline {{\rm{Mo}}{{\rm{s}}_k}} = {\rm{Mo}}{{\rm{s}}_k}/190 \end{split} $$ (2) 式中，k=1, 2, ···, 7，代表速度模式；p代表被试；q代表主观实验子部分。
本文研究发现，舒适度和立体深度运动速度成反比，即快速立体深度运动更易引起不适。本文结论与文献[2]一致，这种现象的产生或许与快速运动物体更难被眼动系统捕捉有关。观察图1可知，在速度96、128 cm/s的模式下，舒适度分值高于4分；在速度390，512 cm/s的模式下，舒适度分值低于2分。可见，两种模式下评分具有显著性差异。
图 1 立体深度运动舒适度主观评分
-
脑电信号极其微弱且采集时会混入伪迹与噪声，因此需要对EEG信号进行预处理，步骤为：1) 1～40 Hz带通滤波器对EEG信号滤波，以去除50 Hz的工频干扰和一些噪声；2) 采用EEG lab工具箱中的独立成分分析去肌电、眼电等伪迹；3) 对EEG信号进行空间滤波，去除空间模糊，突出空间差异性特征[12]，如下：
$${U_q} = {U_q} - \sum\limits_{p = 1}^{60} {{U_p}/60} $$ (3) 式中，Uq表示电极q处幅值，q=1, 2, ···, 60。
单试次的脑电信号分为休息、刺激两个阶段。休息信号为运动场景呈现前2 s的EEG数据，刺激信号为运动场景呈现的4 s EEG数据。对每个被试所有试次两阶段的EEG数据做快速傅里叶变换，谱分辨率为1 Hz，得到3个频带θ(4～8 Hz)、α(8～13 Hz)、β(13～22 Hz)。δ(0.5～4 Hz)频带脑电波发生在深度睡眠期间，含有各种伪迹，不在本文考虑范围。
首先，分别计算各通道在两个阶段EEG信号的相对能量，用于衡量两类标签在两个阶段的差异，如下所示：
$${\rm{X}}{{\rm{E}}_{q,i}} = {E_{q,i}}\bigg/\sum\limits_{p = 1}^{60} {{E_{p,i}}} $$ (4) 式中，i=1, 2, 3，代表θ、α、β频带；q=1, 2, ···, 60，代表通道标签；XEqi代表q通道上i频带的相对能量。
FFT变换将EEG信号变为频域信号，Daubechies 4小波变换(wavelet transform, WT)将其转换为时频信号。分别计算频域和时频r2值用于筛选两类标签下差异最大的脑区与频带：
$${r^2} = \frac{{{N_1} + {N_2}}}{{{N_1}{N_2}}}\frac{{{{\left( {{y_1} - {y_2}} \right)}^2}}}{{{\sigma ^2}}}$$ (5) 式中，Ni代表标签i下的试次数；
$\sigma $ 为两种标签所有试次相关物理量的标准差；yi为标签i下所有试次相关物理量的均值。得到不同标签差异最大的频带，采用CSP挑选出信号特征，用支持向量机进行分类。CSP是一种空间滤波器，能够将多通道时域信号通过线性变换投影到低维空间的子空间中，使信号的某类别方差最大化且另一类别方差最小化[13]，特征提取模型如下：
$${{f}}({{q}}) = \log \left\{ {\frac{{{\rm{diag}}({{{L}}^{{T}}}{{{x}}_{{q}}}{{x}}_{{q}}^{{T}}{{L}})}}{{\displaystyle\sum\limits_{{{j}} = 1}^{{k}} {{{\left( {{\rm{diag}}({{{L}}^{{T}}}{{{x}}_{{q}}}{{x}}_{{q}}^{{T}}{{L}})} \right)}_{{j}}}} }}} \right\}$$ (6) 实验中k=2。xq是一个N×T的矩阵；N是通道数；T是采样点数；L为投影矩阵，其每一列都是一个空间滤波器；diag(·)代表对矩阵进行对角化操作；取对数是为使脑电特征更符合正态分布。在分类阶段采用高斯核函数训练支持向量机，随机将所有试次按照7:3分为训练集和测试集，最后结果为100次测试结果的均值。
-
图2为休息、刺激阶段所有被试在3个频带平均相对能量的脑电地形图。
图 2 两个阶段平均相对能量的脑电地形图
观察图2可知，在θ频带上，两阶段的相对能量分布几乎无差异；在α频带上，相对能量变化集中在额区和顶区，其中主要变化发生在顶区。具体来说，刺激阶段额区相对能量下降明显，顶区相对能量上升明显。事实上，α频带能量变化从前脑区到后脑区呈现扩散趋势，故在此阶段，活跃脑区为顶区而非额区；在β频段上，刺激阶段顶区相对能量上升明显，其他脑区的相对能量下降缓慢。
图3为被试S2在Pz通道上的频谱能量变化曲线，该图与脑电地形图一致，两个阶段的相对能量在8～15 Hz的频谱范围内(α频带和β频带的一部分)差异明显，其他频带没有明显不同。
-
为研究在立体深度运动场景刺激阶段，舒适与否标签下，不同频带及脑区最大的频谱变化，计算得到点列r2值。
图4为两类标签下频域r2值脑电地形图分布，观察可得：在α和β频带，顶区是差异最明显的脑区；枕区和中央区的差异逐渐变小；脑区差异最明显的频带集中在α频带；β频带低频的差异脑区与α频带基本一致，与相对能量脑电地形图分析一致。
图 3 被试S2两个阶段Pz电极频谱曲线
图 4 在6～18 Hz所有被试的平均r2值脑电地形图
计算单个被试在α频带的点列r2值，如图5所示，可得：除S1，其他被试在顶区及其周边部分枕区和中央区的的点列r2值较大。被试S1的情况或许与个体差异及实验条件的控制误差有关。
图 5 α频带的r2值脑电地形图
在刺激阶段，将每个被试的脑电数据进行小波变换，频谱分辨率为0.5 Hz、时间分辨率为0.5 s，筛选两种签下的EEG信号差别最大的时频段。在该阶段顶区差异最明显，故选择顶区电极Cp3、Cp4计算时频谱的r2值。图6为所有被试的结果均值分布，观察可得，差别最大的频段集中在α频带附近，与频谱点列r2值分析一致。
在时长为4 s的刺激阶段，在刺激呈现后约0.5～2 s之间差异最为明显，其他时间段内差异较小。图7为被试S4的时频点列r2值分布图，可以看出，最大差别出现在α频带附近，大约在刺激呈现后的0.5～2 s。
图 6 所有被试在Cp3和Cp4上的r2均值分布图
图 7 S4在Cp3和Cp4上的r2值分布图
-
经过上述定性分析可得：在刺激阶段，两种标签下EEG信号差异最显著的脑区在顶区、α频带。为验证这一结论，将单个被试在α频带的各脑区EEG信号，通过CSP提取特征并分类，如表1所示。从分类正确率来看，相比其他脑区，除S1外，其他被试在顶区分类率最高；枕区和中央区的分类率接近，稍低于顶区，高于颞区和额区。所有脑区参与提取特征时，分类率远高于独立的各个脑区。可知，顶区、枕区、中央区及整个脑区有明显的可分性；立体深度视觉感知与多脑区有关。
表 1 单个被试在各脑区分类率
% 被试 额 中央 顶 枕区 颞 整个脑区 S1 60.69 66.81 62.08 63.33 55.56 73.00 S2 48.75 54.17 60.14 56.48 52.78 61.11 S3 49.31 56.39 59.31 59.17 51.67 62.36 S4 61.67 60.69 71.00 65.69 59.17 83.33 S5 53.00 57.08 65.14 59.86 52.22 61.39 AVE 54.61 59.03 63.56 60.91 54.28 69.97 -
通过研究两个阶段EEG信号的相对能量，发现α频带能量变化呈现从额区到顶区的扩散趋势，其中在刺激阶段活跃脑区为顶区，是感知深度运动的重要脑区。r2值指出两类标签下EEG信号差异最显著的脑区为顶区、枕区及中央区，说明中央区和枕区也参与了立体深度运动的处理过程。分类结果表明顶区、中央区和枕区为主要可分脑区，其中顶区可分性最大。分类结果与r2值得到的结论一致。
根据相关学者的理论，人类的视觉处理在大脑皮层上主要有两条功能独立的路径：Dorsal通路和Ventral通路，功能为运动追踪和物体识别[14]，分布情况如图8所示[15]。
图 8 Dorsal通路和Ventral通路的大脑皮层分布图
Dorsal通路包括中央区、枕区和顶区，是与物体追踪有关的顶−枕区路径。这能解释为什么被试观看立体深度运动目标时，该通路的EEG更活跃。在两类标签下，EEG信号差异主要体现在该路径上。因此分类率最高的脑区是顶区、枕区和中央区。
深度运动速度不同引起的舒适度可能与运动物体的视觉追踪有关。当立体深度运动速度超过阈值后，被试就会很难捕捉到物体运动，并且产生不适感。顶区皮层的活动与人体感知关系紧密，这能解释为什么顶区的分类率最高。全脑区的EEG信号分类率高于单独脑区现象可以解释为：全脑都参与运动的感知和理解过程，而不是局限在某局部脑区[16]。在Dorsal通路及整个脑区的分类正确率相对较高，说明立体深度运动诱发的EEG具有识别舒适与否的可行性。
运动物体靠近时，人类需要识别碰撞时间以避免伤害[7]。本文推测，对碰撞时间的识别困难程度关乎着舒适度感知，运动速度越快，对碰撞时间的识别越困难。根据该机理，可知除了辐辏调节不匹配因素，深度运动也是观看立体视频产生不舒适的重要因素。
-
本文通过主观实验和脑电实验研究了立体深度运动的认知。首先，主观实验探究了舒适度与深度运动速度之间的关系，并明确了脑电实验所需的两类素材。选择4种速度的视频作为EEG实验中两种模式下的素材。比较两个阶段EEG信号的相对能量，发现顶区的α和β频段较活跃。计算其频域和时频域r2值，得到结论：两类标签下的EEG信号在顶区、中央区和枕区的α频带有显著差异，其中深度运动目标呈现后的0.5~2 s间，α频段差异最为显著。为进一步为验证，对单个脑区和整个脑区的α频段信号通过CSP提取特征并分类，发现5个脑区的分类结果表明顶区的分类率最高。
Study on EEG of Stereoscopic Deep Motion Perception
-
摘要: 立体显示舒适度在很大程度上取决于立体深度运动变化。该文基于脑电EEG技术对两类深度运动的特征进行识别。首先通过主观实验确定脑电实验所用的两类视频素材，计算脑电信号在时域和时频域的点列r2值，并通过共同空间模式提取不同脑区和整个脑区的时频域差异最大的EEG信号的空域特征，采用支持向量机进行信号分类。仿真分析结果证明：刺激时大脑顶区脑电信号的α、β频带相对能量上升；对于两类深度运动，差异最显著的波段集中在顶区的α频带；Dorsal路径上具有相对较高的分类率。这表明，观看立体深度运动场景时，采用EEG去识别舒适度具有可行性。Abstract: Stereoscopic motion in depth is a critical factor affecting visual perception. This paper utilized electroencephalogram (EEG) technique to investigate the effects of motion in depth. Two types of velocities (comfort and discomfort) are selected for the EEG experiment based on subjective results. The squared biserial correlation coefficient r2 is computed. The classification accuracies of different brain areas are obtained by SVM after CSP. The results prove that the EEG sub-band α and β in partial area are more active in stimuli period, and the most discriminative waveband is concentrated on α band is the parietal area for two types of motion-in-depth. The higher accuracy on Dorsal pathways shows that it is feasible to identify two labels caused by motion in depth automatically using EEG.
-
Key words:
- classification features /
- common spatial pattern /
- motion in depth /
- stereoscopic display
-
表 1 单个被试在各脑区分类率
% 被试 额 中央 顶 枕区 颞 整个脑区 S1 60.69 66.81 62.08 63.33 55.56 73.00 S2 48.75 54.17 60.14 56.48 52.78 61.11 S3 49.31 56.39 59.31 59.17 51.67 62.36 S4 61.67 60.69 71.00 65.69 59.17 83.33 S5 53.00 57.08 65.14 59.86 52.22 61.39 AVE 54.61 59.03 63.56 60.91 54.28 69.97 
下载: 导出CSV
-
[1] XIA Z P, CHENG C, LI X H. Visual comfort enhancement study based on visual attention detection for stereoscopic displays[J]. Journal of the Society for Information Display, 2016, 24(10): 633-640. doi: 10.1002/jsid.508 [2] FILIPPO S, WA J T, RON R, et al. Effect of disparity and motion on visual comfort of stereoscopic images[C]//The International Society for Optical Engineering. [S.l.]: Proceedings of SPIE, 2006: 94-103. [3] SUMIO Y, SHI I, TETSUO M, et al. A study of visual fatigue and visual comfort for 3d hdtv/hdtv images[J]. Displays, 2002, 23(4): 191-201. doi: 10.1016/S0141-9382(02)00038-0 [4] OSTBERG. Accommodation and visual fatigue in display work[J]. Displays, 2015, 2(2): 81-85. [5] CHO H, KANG M K, YOON K J, et al. Feasibility study for visual discomfort assessment on stereo images using EEG[C]//International Conference on 3D Imaging (IC3D). [S.l.]: IEEE, 2012, 1-6. [6] ZUO Bo-chao, LIU Yue, GUO Mei, et al. EEG-based assessment of stereoscopic 3D visual fatigue caused by vergence accommodation conflict[J]. Journal of Display Technology, 2015, 11(12): 1076-1083. doi: 10.1109/JDT.2015.2451087 [7] ALEXANDER B. Thickness: Cross-sectional areas and depth of invasion in the prognosis of cutaneous melanoma[J]. Annals of Surgery, 1970, 172(5): 902-908. doi: 10.1097/00000658-197011000-00017 [8] MASAKI E, TAKAGIRO N, FUMIO O. Repeated vergence adaptation causes the decline of visual functions in watching stereoscopic television[J]. Journal of Display Technology, 2005, 1(2): 328-340. doi: 10.1109/JDT.2005.858938 [9] JEREMY F, LEONARD P, FABIEN L, et al. Assessing the zone of comfort in stereoscopic displays using EEG[C]//32nd Annual ACM Conference on Human Factors in Computing Systems. Toronto, Canada: ACM, 2014, 2041-2046. [10] HSU B W, WANG M J. Evaluating the effectiveness of using electroencephalogram power indices to measure visual fatigue[J]. Perceptual and Motor Skills, 2013, 116(1): 235-252. doi: 10.2466/29.15.24.PMS.116.1.235-252 [11] DU S P, MASIA B, HU S M, et al. A metric of visual comfort for stereoscopic motion[J]. ACM Transactions on Graphics, 2013, 32(6): 1-9. [12] LI W, HE Q C, FAN X M, et al. Evaluation of driver fatigue on two channels of EEG data[J]. Neuroscience Letters, 2012, 506(2): 235-239. doi: 10.1016/j.neulet.2011.11.014 [13] GE S, SH Y H, WANG R M. Sinusoidal signal assisted multivariate empirical mode decomposition for brain-computer interfaces[J]. IEEE Journal of Biomedical and Health Informatics, 2018, 22(5): 1373-1384. doi: 10.1109/JBHI.2017.2775657 [14] LESLIE G U, JAMES V H. What and where in the human brain[J]. Current Opinion in Neurobiology, 1994, 4(2): 157-165. doi: 10.1016/0959-4388(94)90066-3 [15] 孙伟鹏. 基于EEG的3D显示中的立体深度运动认知研究[D]. 天津: 天津大学, 2018. SUN Wei-peng. Research on stereoscopic deep motion cognition in 3D display based on EEG[D]. Tianjin: Tianjin University, 2018. [16] ALICE R, ZITA M, GABOR B, et al. Visual pathways serving motion detection in the mammalian brain[J]. Sensors, 2010, 10(4): 3218-3242. doi: 10.3390/s100403218 -
点击查看大图
图(8) / 表(1)
计量
- 文章访问数: 5521
- HTML全文浏览量: 2072
- PDF下载量: 62
- 被引次数: 0
