-
近年来,基于大脑认知事件相关电位(event related potential, ERP)的隐藏信息测试方法得到快速发展[1-3],其相关研究主要涉及以下几个方面:首先,要能够成功地诱发出被试者试图隐藏的信息,实验刺激范式的设计特别重要;其次,如何对诱发得到的脑电位信号进行信息解读,也即提取到能够正确表征隐藏信息所诱发脑电信号的特征量;最后,结合不同的应用场合,选择和开发快速、高效和准确的分类识别算法也是非常关键的一个方面。
目前主流的隐藏信息测试范式都是基于图片刺激对被试诱发ERP来完成[1-2],同时文献[3]研究通过听觉刺激范式实现对隐藏信息的测试,发现听觉刺激测量得到的判别准确率低于视觉刺激,整体测试效果视觉刺激范式相对较好。本文设计了视听同步刺激实验范式,并同视觉刺激进行了对比分析,旨在探究视听同步刺激对隐藏信息测试的效果。同时大量相关研究基于单通道或少数通道(Cz, Pz, Fz)信号的时域和频域分析为主[1-2, 4-5],随着近几年脑网络分析方法在大脑认知研究中的广泛发展和成功应用[6-8],本文把该方法应用到基于脑电信号的隐藏信息测试中,将功能网络参数作为特征量,从而从空间域的角度探究在隐藏信息测试过程中大脑功能状态的变化。对不同状态脑网络特征参数进行分类时,考虑到主流分类器如支持向量机和人工神经网络,存在参数选择困难、容易产生区部最优解以及训练速度慢等特点[4-5],本文设计了基于量子神经网络(QNN)的特征分类方法,对视觉刺激和视听同步刺激的ERP脑功能网络特征进行模式分类和对比分析。
本文设计了基于听觉刺激和视听同步刺激的隐藏信息测试实验,使用Neuroscan-32导脑电记录系统完成被试信号的采集,提取出对隐藏信息敏感的P300信号[9],通过计算全脑区各电极导联之间的互信息来构建脑功能连接网络,以功能网络的基本特征参数作为QNN分类器的输入量,完成对试图隐藏信息状态的检测。同时本文证实了脑网络分析方法和QNN分类器在隐藏信息测试中的可行性以及视听同步刺激在隐藏信息测试范式设计中的效果。
-
研究表明,人的大脑在处理认知任务的过程中需要全脑不同功能区域的协调和合作,但是不同脑区对应于不同的认知功能分配[7, 12],因此最为直接的研究手段是探究不同脑区之间信号的相关程度,来了解不同认知任务在不同脑区的活跃程度以及全脑功能状态的变化。目前文献中有关信号间相互依赖性的算法有很多[13-14],但互信息(mutual information, MI)能够同时表征两个时间序列之间的线性和非线性统计特性[15],可以成功地表现脑区连接中的信息传递关系。因此本文采用互信息来计算全脑区不同电极之间的依赖关系,并构建对应的脑功能网络。
在信息论中,熵用来度量两个信号间的不确定性。对于一离散随机序列X,其对应的输出量为${X_i}$,$i = 1, 2, \cdots, N$,N为序列点数,每一个输出对应的概率为${p_i}$,对应该序列的Shannon熵定义为[14-15]:
$$I(X) = - \sum\limits_{i = 1}^N {{p_i}\ln {p_i}} $$ (1) 基于对熵的定义,可以定义序列X和Y之间的同步关系,将其互信息定义为:
$${\rm{MI}}(X, Y) = \sum {{p_{ij}}\log \frac{{{p_{ij}}}}{{{p_i}{p_j}}}} $$ (2) 式中,${p_{ij}}$为$X = {X_i}$,$Y = {Y_j}$时对应的联合概率密度。
一般脑网络表示为G(V, E),其中,V为网络的节点,对应脑电信号中不同的导联,本文采集有效数据导联为30;E为网络的边[6-7],对应脑电信号中不同导联之间的相互依赖关系,本文中即为上述讨论的MI值。对以上20名被试中有效被试(视听刺激为17名,视觉刺激为16名)在不同实验范式和不同刺激类型下各导联ERP总平均信号计算其各导联之间的MI值,得到不同导联之间的邻接矩阵(30×30),并表示为大脑拓扑结构图的形式,如图 2所示。可以直观地看到,“说谎”组脑网络拓扑连接密度整体大于“说真话”组,同时被试对熟悉人的拓扑连接密度大于对陌生人的连接密度,而视觉刺激和视听同步刺激拓扑结构存在细微差异,但定性表征的差异不够明显。
为了定量表征脑网络特征,本文重点讨论了脑功能网络的两个基本特征量[6-7]:聚集系数C(clustering)和特征路径长度L(path length)。聚集系数表示的是网络的局部聚集能力。对于节点i,如果周围和它相连的节点数为k,也即有k个邻居节点,则将节点i的聚集系数定义为该节点邻居节点间实际的连接边和最多可能的连接边的比值:
$$ C_i^W = \frac{{\sum\limits_{j \ne i} {\sum\limits_{\begin{array}{*{20}{c}} k \ne i \\ k \ne j \end{array}} {{w_{ij}}{w_{ik}}{w_{jk}}} } }}{{\sum\limits_{j \ne i} {\sum\limits_{\begin{array}{*{20}{c}} k \ne i \\ k \ne j \end{array}} {{w_{ik}}{w_{il}}} } }} $$ (3) 式中,w为不同节点i, j, k之间的加权连接边;N为网络的总节点数。则整个网络的聚集系数定义为:
$${C^W} = \frac{1}{N}\sum\limits_{i = 1}^N {C_i^W} $$ (4) 特征路径长度表征了网络的全局特性,对于加权网络,为了处理网络中的孤立节点,一般用全局效率的倒数来计算特征路径长度。首先将某条路径上所有边的长度之和定义为这条路径的加权长度,选择${L_{ij}}$为节点i和j之间的最短路径长度,整个网络的加权长度定义为所有节点对之间最短路径长度的总平均:
$${L^W} = \frac{1}{{(1/N(N - 1))\sum\limits_{i = 1}^N {\sum\limits_{j \ne i}^N {L_{ij}^{ - 1}} } }}$$ (5) 计算所有有效被试以上不同刺激范式和不同状态下的C和L,如图 3所示,图中“*”表示p < 0.05。
可以看出,不管是对视觉刺激还是视听同步刺激,I状态下的C值和L值和P1状态下的值接近,T状态和P2状态的特征值接近。同时就说谎组和真实组的脑网络参数进行了t检验,其结果显示不管是对视听刺激还是视觉刺激,聚集系数和特征路径长度都有显著性差异(视听刺激,C:t=3.975,p=0.001,L:t=3.612,p=0.002;视觉刺激,C:t=3.167,p=0.006,L:t=2.830,p=0.013)。可以得出大脑对熟悉人的信息和陌生人的信息诱发的脑网络参数是有差异的,整体来讲对熟人刺激产生的脑功能网络的C值相对增大,而L值相对减小,表明被试在受到熟人信息刺激的时候大脑各区域局部聚集能力增强,全局连接能力变弱,大脑活动更加集中在某些特定区域内。从图中并不能直观得到视觉刺激和视听刺激之间的差别,因此考虑通过对脑网络参数的量子神经网络分类,来判断和验证脑网络特征对隐藏信息分析的作用。
-
量子神经网络将量子计算的方法应用到人工神经网络中,使其具有较小的网络规模和简单的拓扑结构、更好的稳定性和有效性,具有快速学习和高速信息处理能力[16-17]。本文设计了基于量子门节点的神经网络分类器(quantum gated neural network, QGNN),如图 4所示[18-19]。其中,网络输入为$\left| {{x_1}} \right\rangle, \left| {{x_2}} \right\rangle, \cdots, \left| {{x_n}} \right\rangle $,隐层输出为$\left| {{h_1}} \right\rangle, \left| {{h_2}} \right\rangle, \cdots, \left| {{h_p}} \right\rangle $,神经网络输出为$\left| {{y_1}} \right\rangle, \left| {{y_2}} \right\rangle, \cdots, \left| {{y_m}} \right\rangle $。
对于n维样本空间${\boldsymbol{x}^k} = {[x_1^kx_2^k \cdots x_n^k]^{\rm{T}}}$,第k个样本表示为k,有$k = 1, 2, \cdots, K$,K为样本总数,则其对应的量子态表述为:
$$\left| {{\boldsymbol{R}^k}} \right\rangle = {\left[{\left| {R_1^k} \right\rangle, \left| {R_2^k} \right\rangle, \cdots, \left| {R_n^k} \right\rangle } \right]^{\rm{T}}}$$ (6) 式中,
$$\left| {R_i^k} \right\rangle = {\rm{cos}}\left( {\frac{{2{\rm{ \mathsf{ π} }}(x_i^k - {a_i})}}{{{b_i} - {a_i}}}} \right)\left| 0 \right\rangle + \sin \left( {\frac{{2{\rm{ \mathsf{ π} }}(x_i^k - {a_i})}}{{{b_i} - {a_i}}}} \right)\left| 1 \right\rangle $$ (7) 令$\left| {R_i^k} \right\rangle = {\rm{cos(}}\rho _i^k{\rm{)}}\left| 0 \right\rangle + \sin (\rho _i^k)\left| 1 \right\rangle $,由量子旋转门和多位受控非门运算可得:
$$\left\{ \begin{gathered} \left| {h_i^k} \right\rangle = {\rm{cos(}}\vartheta _i^k{\rm{)}}\left| 0 \right\rangle + \sin (\vartheta _i^k)\left| 1 \right\rangle \hfill \\ \left| {y_l^k} \right\rangle = {\rm{cos(}}\xi _l^k{\rm{)}}\left| 0 \right\rangle + \sin (\xi _l^k)\left| 1 \right\rangle \hfill \\ \end{gathered} \right.$$ (8) 式中,$i = 1, 2, \cdots, n$,$j = 1, 2, \cdots, p$,$l = 1, 2, \cdots, m$,$k = 1, 2, \cdots, K$;样本、隐层、网络输出量子比特对应的概率幅角分别表示为$\rho _i^k$、$\vartheta _j^k$、$\xi _l^k$,则有:
$$\left\{ \begin{gathered} \vartheta _j^k = \arcsin \left[{\prod\limits_{i = 1}^n {\sin (\rho _i^k + {\theta _{ij}})} } \right] \hfill \\ \xi _l^k = \arcsin \left[{\prod\limits_{j = 1}^p {\sin (\vartheta _j^k + {\varphi _{jl}})} } \right] \hfill \\ \end{gathered} \right.$$ (9) 在运算中该层的实际输出一般取各层量子位中状态$\left| 1 \right\rangle $的概率幅值,从而网络层的实际输出为:
$$\left\{ \begin{gathered} h_j^k = \prod\limits_{i = 1}^n {\sin (\rho _j^k + {\theta _{ij}})} \hfill \\ y_l^k = \prod\limits_{j = 1}^p {\sin \left( {\arcsin \left[{\prod\limits_{i = 1}^n {\sin (\rho _i^k + {\theta _{ij}})} } \right]} \right)} \prod\limits_{i = 1}^p {\sin (h_j^k + {\varphi _{jl}})} \hfill \\ \end{gathered} \right.$$ (10) 将网络的误差定义为:
$${d_e} = \frac{1}{2}\sum\limits_{k = 1}^K {\sum\limits_{l = 1}^m {{{(d_l^k - y_l^k)}^2}} } $$ (11) -
本文计算了所有有效被试在所有刺激类型下的脑网络参数C和L,表 1为所有有效被试对应参数值。考虑到实验设计中靶刺激和无关刺激的作用,定义了隐藏信息特征判别系数为:
表 1 所有有效被试在不同状态下脑功能网络特征参数值(聚集系数:C,特征路径长度:L)
状态 特征参数 被试 S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 S13 S14 S15 S16 S17 视觉刺激 C P1 0.19 0.19 0.27 0.26 0.23 0.25 0.26 0.23 0.24 0.24 0.22 0.22 0.23 0.26 0.25 0.26 P2 0.24 0.24 0.22 0.29 0.28 0.29 0.20 0.30 0.25 0.31 0.28 0.29 0.25 0.26 0.30 0.30 L P1 5.65 5.29 3.71 3.77 4.31 3.94 3.98 4.35 4.44 4.12 4.56 4.85 4.52 4.14 4.03 3.82 P2 4.00 4.15 4.70 3.44 3.50 3.45 4.99 3.33 4.14 3.09 3.71 3.40 4.41 4.09 3.33 3.30 视听刺激 C P1 0.25 0.21 0.23 0.26 0.22 0.27 0.25 0.19 0.28 0.23 0.24 0.23 0.24 0.23 0.26 0.26 0.25 P2 0.29 0.26 0.27 0.27 0.26 0.28 0.23 0.28 0.27 0.25 0.26 0.27 0.26 0.25 0.28 0.27 0.26 L P1 4.52 4.35 4.35 3.64 4.42 3.91 3.81 5.20 3.46 4.28 4.11 4.16 4.45 4.14 3.44 3.67 3.89 P2 3.53 3.96 3.54 3.57 3.90 3.88 4.08 3.55 3.57 3.82 3.65 3.55 3.67 3.91 3.38 3.61 3.64 $${\rm{index}} = {\rm{abs}}((I - P)/(T - P))$$ (12) 分别计算不同刺激范式下对应的${\boldsymbol{C}_{{\rm{index}}}}$和${\boldsymbol{L}_{{\rm{index}}}}$,作为量子门神经网络的输入向量,对视觉刺激和视听同步刺激分开处理。
本文通过最小梯度法构建量子神经网络学习算法,通过训练数据得到分类器最佳参数,然后使用测试数据进行分类测试。通过十则交叉验证,最后得到平均分类准确率分别为:视觉刺激80.25%,视听同步刺激81.69%。可以看到视觉刺激和视听同步刺激诱发脑网络特征参数结合量子神经网络对隐藏信息测试能够得到较高的识别准确率,同时视听同步刺激的分类识别率稍高,主要是因为实验过程中视听同步刺激相对单调的视觉刺激更能引起被试注意力的集中以及对隐藏信息的响应。为了同常用分类器进行对比,用SVM对上述同样的参数进行了分类讨论,得到分类正确率为:视觉刺激82.19%,视听同步刺激84.23%。可以看出,对两种刺激范式,SVM分类器能够得到较高的识别率,而且高于本文中重点讨论的QNN分类器。这主要是由于本文中样本数量偏小,QNN的优势并没有表现出来,同时对量子神经网络分类器的结构也有待优化提升。但是这并不影响将QNN引入到隐藏信息测试中,相信随着对QNN研究的深入,将会有更多更加高效的优质QNN分类器出现。
Study of Concealed Information Test Based on Functional Brain Network
-
摘要: 大脑在视觉或听觉刺激作用下对是否隐藏的信息有不同的认知反应,而大脑的这种反应涉及到不同脑区的协同和信息流动。该文基于传统视觉刺激隐藏信息测试方法,设计了视听同步刺激的对比试验;并针对当前测试方法主要集中于脑中央区电极点的这一缺点,通过记录全脑区导联的信号来分析不同脑区神经活动的变化。首先用视觉刺激和视听同步刺激相关脑电位构建了脑功能网络,并计算脑网络聚集系数和特征路径长度作为基本特征量,同时构建了一种量子门节点神经网络分类器,将其应用于脑电特征的分类。实验结果表明,结合脑网络特征和量子神经网络分类器的方法,能够较为准确地识别隐藏信息,同时视听同步刺激效果好于视觉刺激。Abstract: Brain has different cognition responses to the concealed information under visual and auditory stimuli, and this process involves the coordination and information flow between different regions. In this paper, based on the traditional visual stimuli for concealed information, we designed the video-audio synchronization test for comparison. For the defect in current research that mainly focus on the electrodes in central of the brain, we recorded the signals from the whole brain to reflect the neural activity of the brain. Firstly, we constructed the brain functional network using the visual and video-audio stimuli related potentials, then calculated the clustering coefficient and path length as the features of the signals, lastly, we build a quantum gated neural network as the classification for the features. The experimental results show that combining the characteristics of brain network with quantum neural network classifier, the concealed information can be indentified accurately, and the video-audio stimuli is better than visual stimuli.
-
表 1 所有有效被试在不同状态下脑功能网络特征参数值(聚集系数:C,特征路径长度:L)
状态 特征参数 被试 S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 S13 S14 S15 S16 S17 视觉刺激 C P1 0.19 0.19 0.27 0.26 0.23 0.25 0.26 0.23 0.24 0.24 0.22 0.22 0.23 0.26 0.25 0.26 P2 0.24 0.24 0.22 0.29 0.28 0.29 0.20 0.30 0.25 0.31 0.28 0.29 0.25 0.26 0.30 0.30 L P1 5.65 5.29 3.71 3.77 4.31 3.94 3.98 4.35 4.44 4.12 4.56 4.85 4.52 4.14 4.03 3.82 P2 4.00 4.15 4.70 3.44 3.50 3.45 4.99 3.33 4.14 3.09 3.71 3.40 4.41 4.09 3.33 3.30 视听刺激 C P1 0.25 0.21 0.23 0.26 0.22 0.27 0.25 0.19 0.28 0.23 0.24 0.23 0.24 0.23 0.26 0.26 0.25 P2 0.29 0.26 0.27 0.27 0.26 0.28 0.23 0.28 0.27 0.25 0.26 0.27 0.26 0.25 0.28 0.27 0.26 L P1 4.52 4.35 4.35 3.64 4.42 3.91 3.81 5.20 3.46 4.28 4.11 4.16 4.45 4.14 3.44 3.67 3.89 P2 3.53 3.96 3.54 3.57 3.90 3.88 4.08 3.55 3.57 3.82 3.65 3.55 3.67 3.91 3.38 3.61 3.64 -
[1] WINOGRAD M R, ROSENFELD J P. The impact of prior knowledge from participant instructions in a mock crime P300 concealed information test[J]. International Journal of Psychophysiology, 2014, 94(3):478-481. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=JJ0234397140 [2] ABOOTALEBI V, MORAD M H, KHALILZADEH M A. A comparison of methods for ERP assessment in a P300 based GKT[J]. International Journal of Psychophysiology, 2006, 62(7):309-320. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=JJ025643861 [3] 常文文, 王宏, 化成城.基于听觉ERP功能脑网络特征和SVM的测谎方法研究[J].电子学报, 2016, 44(7):1757-1762. doi: 10.3969/j.issn.0372-2112.2016.07.034 CHANG Wen-wen, WANG Hong, HUA Cheng-cheng. Study on lie detection method based on auditory ERP functional brain network characteristic and SVM[J]. Acta Electronica Sinica, 2016, 44(7):1757-1762. doi: 10.3969/j.issn.0372-2112.2016.07.034 [4] 高军峰, 张文佳, 杨勇.基于P300和极限学习机的脑电测谎研究[J].电子科技大学学报, 2014, 43(2):301-305. doi: 10.3969/j.issn.1001-0548.2014.02.028 GAO Jun-feng, ZHANG Wen-jia, YANG Yong, et al. Lie detection study based on P300 and extreme learning machine[J]. Journal of University of Electronic Science and Technology of China, 2014, 43(2):301-305. doi: 10.3969/j.issn.1001-0548.2014.02.028 [5] 高军峰, 王沛, 郑崇勋.基于P300和机器学习的测谎方法研究[J].西安交通大学学报, 2010, 44(10):120-124. http://d.old.wanfangdata.com.cn/Periodical/xajtdxxb201010025 GAO Jun-feng, WANG Pei, ZHENG Chong-xun. Lie detection method based on P300 and machine learning[J]. Journal of Xi'an Jiaotong University, 2010, 44(10):120-124. http://d.old.wanfangdata.com.cn/Periodical/xajtdxxb201010025 [6] STEVENS M C. The contributions of resting state and task-based functional connectivity studies to our understanding of adolescent brain network maturation[J]. Neuroscience & Biobehavioral Reviews, 2016, 70(1):13-32. [7] CAI Shi-min, CHEN Wei, LIU Dong-bai, et al. Complex network analysis of brain functional connectivity under a multi-step cognitive task[J]. Physica A:Statistical Mechanics and Its Applications, 2017, 466(15):663-671. [8] 梁夏, 王金辉, 贺永.人脑连接组研究:脑结构网络和脑功能网络[J].科学通报, 2010, 55(16):1565-1583. http://d.old.wanfangdata.com.cn/Periodical/bjgydxxb201506023 LIANG Xia, WANG Jin-hui, HE Yong. Human connectome:Structural and functional brain networks[J]. Chinese Sci Bull, 2010, 55(16):1565-1583. http://d.old.wanfangdata.com.cn/Periodical/bjgydxxb201506023 [9] BASAR E, SCHURMANN M, DEMIRALP T. Event related oscillations are 'real brain responses' wavelet analysis and new strategies[J]. International Journal of Psychophyciology, 2001, 39(5):91-127. http://www.ncbi.nlm.nih.gov/pubmed/11163891 [10] SCHWEINBERGER S R, NEUMANN M F. Repetition effects in human ERPs to faces[J]. Cortex, 2016, 80(1):141-153. http://www.sciencedirect.com/science/article/pii/S0010945215003780 [11] ALHOK K, WOODS D L, ALGAZI A. Processing of auditory stimuli during auditory and visual attention as revealed by event related potentials[J]. Phychophysiology, 1994, 31(11):469-479. [12] 李凌, 黎源.基于脑电事件相关电位的动能性网络分析[J].电子科技大学学报, 2012, 41(5):791-795. http://www.cqvip.com/QK/90838X/201205/43482566.html LI Ling, LI Yuan. Analysis of brain functional network based on event-related potential[J]. Journal of University of Electronic Science and Technology of China, 2012, 41(5):791-795. http://www.cqvip.com/QK/90838X/201205/43482566.html [13] VAN DIESSEN E, NUMAN T, VAN DELLEN E, et al. Opportunities and methodological challenges in EEG and MEG resting state functional brain network research[J]. Clinical Neurophysiology, 2015, 126(8):1468-1481. doi: 10.1016/j.clinph.2014.11.018 [14] PEREDA E, QUIROGA R Q, BHATTACHARYA J. Nonlinear multivariate analysis of neurophysiological signals[J]. Progress in Neurobiology, 2005, 77(1-2):1-37. doi: 10.1016/j.pneurobio.2005.10.003 [15] ZHONG Liang-yin, LI Jun, ZHANG Yun. Functional brain network analysis of schizophrenic patients with positive and negative syndrome based on mutual information of EEG time series[J]. Biomedical Signal Processing and Control, 2017, 31(1):331-338. http://www.sciencedirect.com/science/article/pii/S1746809416301148 [16] GAO M, LI P. Quantum-inspired neural networks with application[J]. International journal of Computer and Information Technology, 2014, 3(1):83-92. http://d.old.wanfangdata.com.cn/Periodical/kzyjc201706024 [17] NARAYANAN A, MENNEER T. Quantum artificial neural network architectures and components[J]. Information Sciences, 2000, 28(3-4):231-255. http://d.old.wanfangdata.com.cn/NSTLQK/NSTL_QKJJ027135769/ [18] SHAFEE F. Neural networks with quantum gated nodes[J]. Engineering Applications of Artificial Intelligence, 2007, 20(4):429-437. doi: 10.1016/j.engappai.2006.09.004 [19] 杨杰, 占君, 张继传. Matlab神经网络30例[M].北京:电子工业出版社出版, 2014:288-293. YANG Jie, ZHAN Jun, ZHANG Ji-zhuan. 30 cases neural network in Matalb[M]. Beijing:Publishing House of Electronics Industry, 2014:288-293.