ISSN 
-
人工神经网络是一种模拟生物神经系统的计算模型，由许多并行互联的神经元模型组成，通过神经元之间的相互作用来实现信号处理能力[1]，最早可以追溯到1957年提出的基于MP神经元学习算法的感知器模型[2]。经过半个世纪的发展，人工神经网络已经有了一定的理论基础和广泛应用[3-5]。然而，传统的神经网络往往需要大量运算，因此难以执行低成本的学习[6]。
1995年，文献[7]将量子信息理论与人工神经网络相结合，提出了量子神经网络，它为人工神经网络的发展提供了新思路。量子计算可以追溯到1982年费曼提出的量子计算模型，该模型以量子力学为基础，利用量子力学的叠加和纠缠特性存储、处理和传输信息，具有比经典计算机更高的算力[8]。由于量子计算具有极高的并行计算能力，它开始出现在计算机科学的各个领域，如图像处理[9]。
量子神经网络(quantum neural network, QNN)结合了经典神经网络和量子计算的优点，并充分利用了量子计算的并行计算优势。各种QNN模型相继出现，如QBP模型[10-11]、量子McCullochPitts(MP)神经网络[12]、量子场感知器(QPF)[13]、量子BP神经网络[1, 14]、量子Hopfield神经网络[15]、量子深度卷积神经网络(QDCNN)模型[16]、量子前馈神经网络等[17-22]。与传统的神经网络相比，QNN具有更快的信息处理速度、更大的内存容量、更好的稳定性及更少的隐藏神经元数量[23]。随着研究的深入，越来越多QNN被提出，但适用于图像处理的QNN还很少见。
双通道脉冲耦合神经网络(dual channel pulse coupled neural network, DPCNN)在图像处理领域有着广泛应用，在图像融合、图像增强等方面具有优异的性能[24-27]。DPCNN如果以量子计算的形式运行，算法复杂度将会显著降低，但如何将其运行在量子环境下还是一个挑战。
本文以DPCNN为基础，提出双通道量子脉冲耦合神经网络(dual channel quantum pulse coupled neural network, DQPCNN)。首先将输入图像制备为量子态，然后利用一系列的幺正变换实现计算。由复杂度分析可知，量子计算和DPCNN的结合使得DQPCNN模型比经典模型更高效，其有效性也通过仿真实验得以验证。
-
在量子计算中，量子态可以用希尔伯特空间中的向量
$\left| {\boldsymbol{\psi }} \right\rangle $ 表示。希尔伯特空间中向量的标准量子力学符号如式(1)所示。一个量子位的两种可能的状态是
$ \left| 0 \right\rangle $ 和$ \left| 1 \right\rangle $ ，它们对应于经典位的状态0和1。如式(2)所示，一个量子位可以在$ \left| 0 \right\rangle $ 和$ \left| 1 \right\rangle $ 之间以连续状态存在，这种状态称为叠加态。其中，$\alpha $ 和$\beta $ 称为概率振幅，其具有如式(3)所示的限制：量子位的状态是二维复向量空间中的向量。状态
$ \left| 0 \right\rangle $ 和$ \left| 1 \right\rangle $ 称为计算基状态，并构成该向量空间的一组标准正交基。当测量叠加态$ \left| \psi \right\rangle $ 时，只能得到一个组分状态。$ \left| 0 \right\rangle $ 被测的概率是$ {\left| \alpha \right|^2} $ ，$ \left| 1 \right\rangle $ 被测的概率是$ {\left| \beta \right|^2} $ 。在量子计算中，
$ \left| 0 \right\rangle $ 和$ \left| 1 \right\rangle $ 通常表示为式(4)，因此$ \left| \psi \right\rangle $ 被表示为式(5)：与经典数字电路中的逻辑门相似，量子电路中也使用逻辑门来进行计算，而逻辑变换是通过量子态的幺正变换实现的。只需要一个量子位参与的量子逻辑门称为单量子门，如图1所示。常用的量子门如表1所示。
门类型 电路符号 矩阵表示 Hadamard 
${\boldsymbol{H} } {\text{ = } }\dfrac{1}{ {\sqrt 2 } }\left[ {\begin{array}{*{20}{c} } 1&1 \\ 1&{ - 1} \end{array} } \right]$ NOT 
${\bf{NOT} }{\text{ = } }\left[ {\begin{array}{*{20}{c} } 0&1 \\ 1&0 \end{array} } \right]$ Identity 
${\boldsymbol{I} }{\text{ = } }\left[ {\begin{array}{*{20}{c} } 1&0 \\ 0&1 \end{array} } \right]$ CNOT 
${\bf{CNOT} } = \left[ {\begin{array}{*{20}{c} } 1&0&0&0 \\ 0&1&0&0 \\ 0&0&0&1 \\ 0&0&1&0 \end{array} } \right]$ 0CNOT 
${\bf{0CNOT} } = \left[ {\begin{array}{*{20}{c} } 0&1&0&0 \\ 1&0&0&0 \\ 0&0&1&0 \\ 0&0&0&1 \end{array} } \right]$ Swap 
${\bf{swap} } = \left[ {\begin{array}{*{20}{c} } 1&0&0&0 \\ 0&0&1&0 \\ 0&1&0&0 \\ 0&0&0&1 \end{array} } \right]$ -
2017年，文献[28]设计了一种1位量子全加器，并将其组合成一个
$n$ 位量子全加器，如图2所示，可以计算出两个$n$ 位二进制数的和。量子电路如图2d所示，其模块表示如图2c所示。输入$\left| a \right\rangle $ 和$\left| b \right\rangle $ 是需要相加的数，输出$\left| {a + b} \right\rangle $ 是$\left| a \right\rangle $ 和$\left| b \right\rangle $ 的和。
-
2018年，文献[29]设计了一种基于
$n$ 位量子全加器的量子乘法器。该乘法器分为加法和右移两部分。使用如图3所示的右移模块，该模块通过累加和移位计算乘法。量子乘法器如图4所示，$m$ 位量子序列$\left| b \right\rangle $ 为乘数，$n$ 位量子序列$\left| a \right\rangle $ 为被乘数。$\left| {{E_n}} \right\rangle $ 是量子全加器的进位。结果存储在$m + n$ 位量子位序列中。通过忽略小数点来计算两个整数的乘积，然后使用右移操作，可以得到两个小数的积。
-
2018年，文献[29]利用量子乘法器、量子全加器和位置移动电路设计了一种量子图像卷积运算。首先利用位置移动电路计算邻域像素矩阵，然后利用量子乘法器计算像素与卷积核对应权值的乘积，最后利用量子全加器计算卷积结果。
本文使用了一种改进方案[30]。如图5所示，对文献[31]设计的邻域制备电路进行了改进，
${S_{y + }}$ 、${S_{y - }}$ 、${S_{x + }}$ 、${S_{x - }}$ 为文献[32]设计的量子图像循环移位变换，分别表示运算$y = y + 1$ 、$y = y - 1$ 、$x = x + 1$ 、$x = x - 1$ 。${R_p}$ 表示如式(6)所示的QRAM操作[33]，$\left| {xy} \right\rangle $ 是地址寄存器，$\left| p \right\rangle $ 是数据寄存器。计算邻域矩阵时，首先利用量子图像循环移位变换将整个图像沿
$x$ 轴或$y$ 轴移动，导致坐标移位。再用QRAM读取相邻坐标对应的灰度值，得到邻域像素。下文中将图5所示的邻域制备量子电路表示为图6所示的邻域制备模块。进行卷积运算时，需要利用邻域制备模块生成邻域像素矩阵，再对每个像素及其相邻像素分别加权求和。在DPCNN中，卷积器的输入是一个0或1的数，所以不需要进行乘法运算，只需要将输入为1的像素对应的权值相加即可。
根据这一逻辑设计了如图7所示的量子图像卷积模块，更加适用于DQPCNN的运算。图7a为量子卷积电路，其可被表示为图7b所示的量子卷积模块。其中带点的端口表示模块作用于该量子位，而不带点的端口表示模块不作用于该量子位。
$\left| w \right\rangle $ 为卷积核，$\left| p \right\rangle $ 为卷积的输入，$\left| {xy} \right\rangle $ 为坐标，$\left| {p*w} \right\rangle $ 为卷积结果。$\left| {{p^o}} \right\rangle $ 表示式(7)所示的邻域矩阵信息，完成卷积运算后就不再使用了，所以可被略去。
-
本文采用如图8所示的量子比较器[34]。
$a$ 和$b$ 是比较器的输入，${e_1},{e_0}$ 是输出。$a = {a_{n - 1}}{a_{n - 2}} \cdots {a_0}$ ，$b = {b_{n - 1}}{b_{n - 2}} \cdots {b_0}$ ，${a_i},{b_i} \in \{ 0,1\} $ ，$i = n - 1,n - 2, \cdots ,0$ 。若$a > b$ 则${e_1}{e_0} = 10$ ；若$a < b$ 则${e_1}{e_0} = 01$ ；若$a = b$ 则${e_1}{e_0} = 00$ 。
-
DQPCNN迭代如式(8)～式(12)所示[27]：
DPCNN有两个外部输入通道，
${{\boldsymbol{H}}^1}$ 和${{\boldsymbol{H}}^2}$ 代表当前神经元的两个对称通道。式(8)～式(12)中，${\boldsymbol{S}}_{i,j}^1$ 是第1个外部输入刺激；${\boldsymbol{S}}_{i,j}^2$ 是第2个外部输入刺激；${\boldsymbol{H}}_{i,j}^1[n]$ 是第1个输入通道；${\boldsymbol{H}}_{i,j}^2[n]$ 是第2个输入通道；${{\boldsymbol{U}}_{i,j}}[n]$ 是神经元的内部活动；${{\boldsymbol{T}}_{i,j}}[n]$ 是动态阈值；${{\boldsymbol{P}}_{i,j}}[n]$ 代表脉冲输出。互联关系${m_{i,j,k,l}}$ 和${w_{i,j,k,l}}$ 反映了当前神经元与周围神经元之间的关系。${\beta ^1}$ 是${{\boldsymbol{H}}^1}$ 的连接强度或连接系数；${\beta ^2}$ 是${{\boldsymbol{H}}^2}$ 的连接强度或连接系数；${\tau _t}$ 为${{\boldsymbol{T}}_{i,j}}[n]$ 的衰减时间常数；${V_T}$ 表示${{\boldsymbol{T}}_{i,j}}[n]$ 的固有电压势；$\sigma $ 是调整神经元内部活动平均水平的水平因子。 -
DQPCNN的量子电路如图9所示。DQPCNN有两个输入通道，两个输入图像的每两个对应像素都对应着一个神经元。每个神经元的输出都会影响其相邻神经元的输出，并同时受到其他神经元的影响。由于DQPCNN与DPCNN相比具有优异的并行计算能力，它能够同时处理所有像素。当DPCNN进行计算时，处理整张图片需要对每个像素逐一进行串行计算或使用许多相同的电路结构进行并行计算。但在DQPCNN中，量子位序列的不同状态代表不同的像素，一个电路可以同时改变量子位序列的所有可能状态，因此只需要一个电路结构就可以同时处理所有像素。
为了便于区分，带点的端口表示该模块作用于该量子位，不带点的端口表示该模块不作用于该量子位。首先，参数
${\beta ^1}$ 、${\beta ^2}$ 、${{\text{e}}^{ - \frac{1}{{{\tau _t}}}}}$ 和${V_t}$ 被初始化。状态为$\left| 0 \right\rangle $ 的量子位利用NOT门被转换为对应参数的二进制序列形式，这一操作被集合为一个“Initial” 模块。将灰度值表示为0和1之间的二进制数形式。如式(13)所示，给定一个图像
${\boldsymbol{I}}$ 。式中，
${i_{xy}} \in [0,255]$ 代表坐标为$(x,y) \in {[0,{2^n} - 1]^{ \otimes 2}}$ 的位置对应的像素值。如式(14)对${{\boldsymbol{I}}}$ 进行归一化处理。如式(15)，将像素值用
$d$ 位二进制小数表示，误差不超过${2^{ - d}}$ [24]。图9中，
${R_{S1}}$ 、${R_{S2}}$ 、${R_w}$ 、${R_T}$ 为式(6)所示的QRAM操作，分别用于将输入图像${{\boldsymbol{I}}_1}$ 和${{\boldsymbol{I}}_2}$ 、卷积核$w$ 及阈值$ {{\boldsymbol{T}}_{i,j}}[n] $ 的初始值制备为量子态。如式(16)～式(17)，根据QRAM的标准表达式，分别通过
${R_{S1}}$ 模块和${R_{S2}}$ 模块将输入图像${{\boldsymbol{I}}_1}$ 和${{\boldsymbol{I}}_2}$ 制备为量子态。其中$\left| {xy} \right\rangle $ 为坐标信息，$ \left| {\tilde i_{xy}^1} \right\rangle $ 和$ \left| {\tilde i_{xy}^2} \right\rangle $ 分别为${{\boldsymbol{I}}_1}$ 和${{\boldsymbol{I}}_2}$ 的像素灰度值信息。通过
${R_w}$ 和${R_T}$ 制备卷积核$w$ 及阈值${{\boldsymbol{T}}_{i,j}}[n]$ 的初始值参数，输出结果如式(18)所示：式中，
$\left| w \right\rangle $ 是卷积核；$| {{t_{xy}}} \rangle$ 是$ {{\boldsymbol{T}}_{i,j}}[n] $ 的量子形式。由于${\boldsymbol{S}}_{i,j}^1$ 和${\boldsymbol{S}}_{i,j}^2$ 是外部输入刺激，根据式(8)和式(9)，用$ \left| {\tilde i_{xy}^1} \right\rangle $ 表示${\boldsymbol{S}}_{i,j}^1$ 的量子形式，用$ \left| {\tilde i_{xy}^2} \right\rangle $ 表示${\boldsymbol{S}}_{i,j}^2$ 的量子形式。使用量子图像卷积模块，计算
$\left| P \right\rangle $ 与卷积核$\left| w \right\rangle $ 的卷积，$\left| P \right\rangle $ 如式(19)所示：卷积运算后状态如式(20)所示，
$\left| {{\varPsi _{e1}}} \right\rangle$ 表示不重要的辅助量子位，在式(20)中被省略。式中，
$| {{c_{xy}}} \rangle$ 是$\left| P \right\rangle $ 与$\left| w \right\rangle $ 卷积后每个坐标对应的卷积结果；$| {{p_{xy}}} \rangle$ 是${{{\boldsymbol{P}}}_{i,j}}[n]$ 的量子形式；$\left| {{p^o}} \right\rangle $ 代表相邻像素，如式(7)中所示。$| {{p_{xy}}} \rangle$ 和$\left| {{p^o}} \right\rangle $ 在卷积模块中通过${R_P}$ 门获得。如图9所示，
$| {h_{xy}^1} \rangle$ 、$| {h_{xy}^2} \rangle$ 分别是${{\boldsymbol{H}}}_{i,j}^1[n]$ 、${{\boldsymbol{H}}}_{i,j}^2[n]$ 的量子形式；$| {t_{xy}^*} \rangle$ 、$| {u_{xy}^*} \rangle$ 分别是此次计算结束时$| {{t_{xy}}} \rangle$ 、$| {{u_{xy}}} \rangle$ 的值，采用量子乘法器和量子加法器计算它们的结果。然后使用量子比较器来比较$| {t_{xy}^*} \rangle$ 和$| {u_{xy}^*} \rangle$ ，如果${e_1} = 1$ ，那么$u_{xy}^* > t_{xy}^*$ 。用CNOT门将$\left| {{e_1}} \right\rangle = \left| 1 \right\rangle $ 对应的$| {p_{xy}^*} \rangle$ 值设置为$\left| 1 \right\rangle $ 。最后使用Swap门将$| {u_{xy}^*} \rangle$ 、$| {t_{xy}^*} \rangle$ 、$| {p_{xy}^*} \rangle$ 的值与$| {{u_{xy}}} \rangle$ 、$| {{t_{xy}}} \rangle$ 、$| {{p_{xy}}} \rangle$ 交换，集中有用数据。本次计算完成后的状态如式(21)所示。$\left| {{\varPsi _{e2}}} \right\rangle $ 表示不重要的辅助量子位，在式(21)中被省略了。如此，完成了DQPCNN的一次迭代运算，式(21)中
$\left| {p_{xy}^*} \right\rangle $ 即为本次迭代运算的脉冲输出。 -
量子电路的复杂度取决于量子电路中基本门的数量，初级量子门的复杂度为
$O(1)$ [35]。在DQPCNN中使用了各种量子电路模块。首先计算量子全加器和量子乘法器的复杂度。当计算$m$ 量子位二进制数和$n$ 量子位二进制数的乘积时，需要进行$m$ 个右移操作和$m$ 个加法操作。1个右移操作的复杂度是$O(n)$ ，1个量子全加器的复杂度也是$O(n)$ ，所以量子乘法器的复杂度是$O(mn)$ 。邻域制备模块包含10个循环移位操作和9个${R_P}$ 门，循环移位操作的复杂度是$O({n^2})$ ，${R_P}$ 门的复杂度是$O(n)$ ，所以邻域制备模块的复杂度是$O({n^2})$ 。量子比较器的复杂度为$O({n^2})$ ，Swap门的复杂度为$O(1)$ 。假设输入图像大小为
${2^n} \times {2^n}$ ，归一化灰度需要$d$ 位二进制。量子图像卷积操作包含1个邻域制备模块和9个量子全加器，所以其复杂度为$O({n^2})$ 。$R$ 门的复杂度为$O(n)$ 。初始化模块的复杂度为$O(d)$ 。在DQPCNN中使用了1个初始化模块，4个$R$ 门，1个量子图像卷积运算模块，5个量子乘法器，4个量子加法器，3个交换门，1个量子比较器和1个CNOT门，所以DQPCNN的复杂度是$O({n^2} + {d^2})$ 。而对于一个大小为${2^n} \times {2^n}$ 的图像，DPCNN的复杂度为$O({2^{3n}})$ 。图像处理中通常$d$ 为一个小常数，取8、10、12等数，所以在如下对比中被忽略。如图10所示为DPCNN和DQPCNN复杂度随$n$ 的变化趋势。可以看出在$d$ 不大的情况下，DQPCNN的复杂度比DPCNN具有明显下降。
大部分其他QNN模型并未给出量子电路模型和复杂度分析。如表2所示，将DQPCNN与量子前馈神经网络[12]和量子深度卷积神经网络(quantum deep convolutional neural network, QDCNN)[22]进行复杂度对比。其中量子前馈神经网络学习算法中交换测验(swap test)的精确度设为
$1/{d^2}$ ，$m$ 为QDCNN的卷积层数，卷积第一层的特征映射个数设为$P = {2^p}$ ，$k$ 为输出神经元的数量。由于
$d$ 、$m$ 、$p$ 均为小常数，所以在如下对比中被忽略。如图11所示为量子前馈神经网络和DQPCNN复杂度随$n$ 的变化趋势，可以看DQPCNN的复杂度比量子前馈神经网络小。
假设
$n$ 为8，即输入图像大小为$256 \times 256$ ，则DQPCNN、QDCNN复杂度随$k$ 的变化如图12a所示；假设$k$ 为8，则DQPCNN、QDCNN复杂度随$n$ 的变化如图12b所示。可以看出，在$n$ 较小$k$ 较大时DQPCNN复杂度更低，在$n$ 较大$k$ 较小时QDCNN复杂度更低。
-
DQPCNN模型的有效性通过图像融合进行验证，图像融合流程图如图13所示。首先使用QRAM和初始化模块制备DQPCNN的初始参数。然后将待融合的量子图像作为DQPCNN的两个外部输入。使用如图9的量子电路进行计算，计算完成后给出输出结果。
因为图像融合需要从每个源图像中获取尽可能多的信息，所以使用互信息和量子互信息对性能进行评估。DPCNN的输出图像使用互信息进行评估，记作
${\rm{MI}}$ ，计算如式(22)所示；DQPCNN的输出图像，使用量子互信息[36]进行评估，记作QMI。若
$\left| {{\psi _i}} \right\rangle $ 是量子系统的其中一个状态，其对应的概率为${p_i}$ ，则该系统的密度算符定义为：若
${\lambda _i}$ 是$\rho $ 的本征值，其Von Neumann熵可定义为式(24)的形式，则其量子互信息为：由于存储灰度值的量子位
$ \left| {\tilde i_{xy}^1} \right\rangle $ 、$ \left| {\tilde i_{xy}^2} \right\rangle $ 、$\left| {p_{xy}^*} \right\rangle $ ，仅分别与存储坐标信息的量子位$\left| {xy} \right\rangle $ 之间存在纠缠关系，而$ \left| {\tilde i_{xy}^1} \right\rangle $ 、$ \left| {\tilde i_{xy}^2} \right\rangle $ 和$\left| {p_{xy}^*} \right\rangle $ 之间不存在纠缠关系。所以QMI可表示为如下形式，与MI计算结果相同。分别计算输入图像
$A$ 与输出图像$F$ 的互信息MIAF和量子互信息QMIAF，输入图像$B$ 与输出图像$F$ 的互信息MIBF和量子互信息QMIBF，如式(27)～式(28)将其分别相加，以MIAB和QMIAB作为评价标准：实验在装有Intel(R) Core(TM) i56300HQ CPU @ 2.30 GHz、16 GB内存和64位操作系统的经典计算机上模拟。仿真实验使用DQPCNN对医学图像进行融合，根据经验设置如下参数的值为：
${\tau _t} = 83$ ，${V_t} = 4\,000$ ，$\sigma = 1.0$ ，${\beta ^1} = {\beta ^2} = 0.1$ 。卷积核${\boldsymbol{w}}$ 如下所示，且卷积核${\boldsymbol{m}} = {\boldsymbol{w}}$ 。对图14a和14b的图像进行融合，使用DPCNN进行融合的结果如图14c所示，使用DQPCNN进行融合的结果如图14d所示。对图14e和14f的图像进行融合，使用DPCNN进行融合的结果如图14g所示，使用DQPCNN进行融合的结果如图14h所示。
使用DPCNN和DQPCNN进行图像融合输出结果的互信息和量子互信息如表3所示。可见DQPCNN与DPCNN图像融合效果差异不大，仅有由小数精确和计算误差造成的微小差异。
融合模型 图a与图b融合 图c与图d融合 DPCNN 1.2866 4.0990 DQPCNN 1.2967 4.2419 -
本文将量子计算与DPCNN模型相结合，构建了双通道量子脉冲耦合神经网络(DQPCNN)，并基于DQPCNN设计了一种量子图像融合算法。通过仿真实验可知，DQPCNN在图像融合中能够达到与DPCNN相同的效果，其有效性得以验证。通过复杂度分析可知，由于量子计算在并行计算具有优势，DQPCNN具有较低的复杂性。未来将尝试改进DQPCNN的结构，使其更适合量子计算机，并优化输出结果，进一步降低复杂度。
Dual Channel Quantum Pulse Coupled Neural Network
doi: 10.12178/1001-0548.2022101
- Received Date: 2022-04-23
- Accepted Date: 2023-04-13
- Rev Recd Date: 2022-11-15
- Available Online: 2023-05-26
- Publish Date: 2023-05-28
-
Key words:
- image processing /
- pulse coupled neural network /
- quantum image processing /
- quantum neural network
Abstract: Pulse coupled neural networks have been proposed for a variety of applications in the field of image processing. Its improved version, the dual channel pulse coupled neural network, also has excellent performance in the field of image fusion. In order to combine the excellent parallel performance of quantum computing with dual channel pulse coupled neural networks and reduce their algorithmic complexity, the dual channel quantum pulse coupled neural network (DQPCNN) is proposed. In this model, quantum logic gates are used to construct quantum modules, such as quantum full adder, quantum multiplier, quantum comparator and a quantum image convolution module for DQPCNN. And these modules are employed to perform the required calculations for DQPCNN. The effectiveness of the DQPCNN is demonstrated by simulation experiments, and the complexity of the DQPCNN is lower than other models.
| Citation: | WANG Zhaobin, XU Minzhe. Dual Channel Quantum Pulse Coupled Neural Network[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(3): 331-340. doi: 10.12178/1001-0548.2022101
|
DownLoad: