-
近年来,利用厌氧消化生产生物能源成为一种趋势,越来越多的废物管理厂利用厌氧消化分解有机废物来生产甲烷[1]。由于甲烷的可燃性可以用来产生热能和电能,因此利用厌氧消化生产生物能源具有巨大的潜力[2]。但厌氧消化是一个复杂的过程,多样的有机物被厌氧微生物分解成甲烷和硫化氢等产物,所以需要对该问题进行数学建模。机器学习算法的兴起[3]和量子计算领域的发展[4-5]为创建一个精确的沼气预测模型提供了可能。机器学习方法有助于在大规模维度空间的数据中提取信息,新兴的量子算法具有计算效率高的优势,因此机器学习与量子计算的结合是一种趋势。
为了稳定甲烷的产量,必须对厌氧消化过程进行建模,预警调控对系统的运行非常重要。目前对于厌氧消化的建模主要分为线性回归模型和神经网络模型,但线性回归模型仅对具有线性关系的体系有好的预测效果。传统的神经网络模型如卷积神经网络(convolutional neural network, CNN)具有训练时间慢、准确率低等问题,因此本文开发了一种多量子滤波器量子卷积神经网络(quantum convolutional neural network, QCNN)。在计算效率上由于量子态的叠加与并行计算能力的存在,使得量子计算比经典计算具有更高的优势,同时又结合了量子计算和CNN的优点,表现出更优异的性能。量子机器学习领域最早可追溯到1995年,文献[6]最先提出量子神经计算的概念。随后几年又涌现了其他的量子神经网络,如文献[7]提出的基于点神经网络模型,文献[8]提出量子细胞神经网络,文献[9]提出的使用量子叠加态表示网络。其中,卷积神经网络(CNN)是人工神经网络的一个子集,由一系列卷积层和池化层组成,用于收集权重和偏差进行预测,对给定的数据集进行预测[10]。卷积神经网络的输入是2D矩阵,修改它们接受一维输入可以用来回归[11];文献[12]使用机器学习算法模型,通过微生物群落组成预测类型;目前主流的经典算法有人工神经网络[13]、支持向量机[14]、随机森林[15]和KNN[16]等,可以在回归或分类模型中实现预测。遗传算法自20世纪以来已经应用于各种领域[17-19],文献[20]使用GA(genetic algorithm)不仅优化了甲烷生产效率,还确定了厌氧消化的最佳操作时间[20];文献[21]利用GA对乳制品废水进行预测,利用GA减少影响参数。蚁群算法利用化学信息素轨迹解决优化问题[22-24],文献[25]通过ACO(ant colony optimization)连续优化实现了污水污泥和食品废物共消化的最佳基质组成,模拟结果使沼气产量最大化;文献[26]将ACO用于牛粪共消化的参数选择,应用于流程建模和流量预测。此外,输入特征的选择对厌氧消化过程也能产生很大影响。本文提出的模型消除了时间序列数据存在的趋势和季节性偏差的影响,使数据保持平稳,验证了量子体系回归模型预测沼气产量的可行性。
本文实现了一种多量子滤波器的混合量子经典卷积神经网络,旨在完成以下目标:1) 对时间序列数据进行严格的预处理并进行数据类型转换,满足QCNN模型输入;2) 提出一种改进的QCNN模型,模拟输入特征的短期记忆,接受类似的数据时间窗模拟短期记忆,提升预测时间序列数据的性能;3) 对量子体系模型评估,实验证明模型的预测效果。
-
和经典的比特相似,量子计算的基本单位叫做量子比特,量子比特的状态描述了其具有的属性[27]。传统的经典比特用0、1表示,在量子计算理论中,用狄拉克符号表示:
$$ |0\rangle = \left[ {\begin{array}{*{20}{l}} 1 \\ 0 \end{array}} \right]\quad |1\rangle = \left[ {\begin{array}{*{20}{l}} 0 \\ 1 \end{array}} \right] $$ (1) 量子比特处于|0>和|1>之间,称为量子叠加态:
$|\phi \rangle = {a_1}|0\rangle + {a_2}|1\rangle$ ,a1、a2叫做振幅,并且满足$a_1^2 + a_2^2 = 1$ 。当a1、a2任意一个为0时,变成了构成向量空间的正交基。其中,任意一个态都可以写作基在复数空间的线性组合,即:$$ |\phi \rangle = \cos \frac{\theta }{2}|0\rangle + {e^{i\varphi }}\sin \frac{\theta }{2}|1\rangle $$ (2) 量子逻辑门是实现量子变换的关键,可以通过对量子态应用一系列量子逻辑门实现变换,也可以描述为希尔伯特空间上的幺正算符,下面介绍几种常用的量子门。
$$ X = \left[ {\begin{array}{*{20}{l}} 0&1 \\ 1&0 \end{array}} \right]H = \frac{1}{{\sqrt 2 }}\left[ {\begin{array}{*{20}{c}} 1&1 \\ 1&{ - 1} \end{array}} \right] $$ (3) XX(或Ising)类的门有坐标CAN(t,0,0),这构成了威尔室的前缘。这包括身份和CNOT门,如式(4)所示:
$$ \begin{split}& {\text{XX}}(t) = {e^{ - i\frac{\text{π} }{2}tX \otimes X}} =\\ & \left[ {\begin{array}{*{20}{c}} {\cos \left( {\dfrac{\text{π} }{2}t} \right)}&0&0&{ - i\sin \left( {\dfrac{\text{π} }{2}t} \right)} \\ 0&{\cos \left( {\dfrac{\text{π} }{2}t} \right)}&{ - i\sin \left( {\dfrac{\text{π} }{2}t} \right)}&0 \\ 0&{ - i\sin \left( {\dfrac{\text{π} }{2}t} \right)}&{\cos \left( {\dfrac{\text{π} }{2}t} \right)}&0 \\ { - i\sin \left( {\dfrac{\text{π} }{2}t} \right)}&0&0&{\cos \left( {\dfrac{\text{π} }{2}t} \right)} \end{array}} \right] = \\&{{\rm{CAN}}} (t,0,0) \end{split}$$ (4) XX门是两个X门的张量乘积,所谓的张量积,也就是假如给我们两个独立的量子位,一个为状态
$\psi = \left[ {\begin{array}{*{20}{l}} \alpha \\ \beta \end{array}} \right]$ ,另一个为状态$\phi = \left[ {\begin{array}{*{20}{l}} \gamma \\ \delta \end{array}} \right]$ ,相应的两个量子位状态由张量积(或矢量的Kronecker积)确定,其定义如式(5)所示:$$ \psi \otimes \phi = \left[ {\begin{array}{*{20}{l}} \alpha \\ \beta \end{array}} \right] \otimes \left[ {\begin{array}{*{20}{l}} \gamma \\ \delta \end{array}} \right] = \left[ {\begin{array}{*{20}{l}} {\alpha \left[ {\begin{array}{*{20}{l}} \gamma \\ \delta \end{array}} \right]} \\ {\beta \left[ {\begin{array}{*{20}{l}} \gamma \\ \delta \end{array}} \right]} \end{array}} \right] = \left[ {\begin{array}{*{20}{l}} {\alpha \gamma } \\ {\alpha \delta } \\ {\beta \gamma } \\ {\beta \delta } \end{array}} \right] $$ (5) 所以XX门如式(6)所示:
$$ X \otimes X = \left[ {\begin{array}{*{20}{l}} 0&0&0&1 \\ 0&0&1&0 \\ 0&1&0&0 \\ 1&0&0&0 \end{array}} \right] $$ (6) -
CNN是把一个个的神经元以一定的拓扑结构连接起来的网络,组合成更高效的网络架构。经典的CNN(如图1所示)由三部分组成:卷积层、池化层和全连接层,各层神经元以宽、高、深度三维排列。在该架构中,将CNN应用于多变量时间序列回归。CNN的输出权重传递到MLP(multi-layer perception)中,并用于沼气产量估计。沼气的特征作为卷积层的输入,并且在最后的卷积之后,将特征图连接成一个平坦向量,作为沼气产量估计的MLP输入。训练模型使用Adam优化器反向传播,采用LeakyRelu激活函数进行评估,再从卷积算子、偏差项和连续层的特征映射来获得输出。
$$ x_j^l = {{\rm{lrelu}}} \left( {z_j^l} \right) $$ (7) $$ z_j^l = \sum\limits_i {x_i^{l - 1}} \odot k_{ij}^l + b_j^l $$ (8) 式中,
$x_i^{l - 1}$ 和$x_j^l$ 分别是卷积滤波器的输入和输出;$ \odot $ 表示卷积算子;k表示卷积核;b表示偏差项;lrelu()表示LeakyReLu函数;$z_j^l$ 表示LeakyReLu的输入。 -
对于QCNN模型,需要将输入数据X编码成量子态,
${{X}} \to \mathcal{H}$ 也就是执行量子特征映射,$\mathcal{H}$ 是希尔伯特空间,对于量子计算这种映射是必须的。量子位编码将一个数据点${X_i}$ 编码到单个量子位中,即$\left| {\phi \left( {{x_i}} \right)} \right\rangle = \cos \left( {\dfrac{{{x_i}}}{2}} \right)|0\rangle + \sin \left( {\dfrac{{{x_i}}}{2}} \right)|1\rangle$ ,其中,i=1, 2, ···, N。量子编码将$x = {({x_1},{x_2} \cdots {x_n})^{\text{T}}}$ 的输入数据编码到N个量子比特中,如式(9)所示:$$ {U_\phi }(x):x \in {\mathbb{R}^N} \to |\phi (x)\rangle = \otimes _{i = 1}^N\left( {\cos \left( {\frac{{{x_i}}}{2}} \right)|0\rangle + \sin \left( {\frac{{{x_i}}}{2}} \right)|1\rangle } \right) $$ (9) 通过沿X轴和Y轴旋转将输入特征编码。状态准备酉算子
${S_{{x_j}}} = \otimes _{i = 1}^N{U_i}$ 由式(10)给出:$$ {U_i}: = \left[ {\begin{array}{*{20}{c}} {\cos \left( {x_j^{(i)}} \right)}&{ - \sin \left( {x_j^{(i)}} \right)} \\ {\sin \left( {x_j^{(i)}} \right)}&{\cos \left( {x_j^{(i)}} \right)} \end{array}} \right] $$ (10) 如图2所示,将t–2、t–1和t处的输入特征量分别在X轴和Y轴上旋转,应用一系列
${R_x}$ 和${R_y}$ 变换。每根导线接受一个输入量子位,把输入数据转换成量子态的旋转角度,${R_x}$ 和${R_y}$ 分别表示单量子位绕X、Y轴旋转角度$\alpha $ ,如式(11)所示:$$ \begin{split}& {R_x}(\alpha ) = \left( {\begin{array}{*{20}{c}} {\cos \left( {\dfrac{\alpha }{2}} \right)}&{ - i\sin \left( {\dfrac{\alpha }{2}} \right)} \\ { - i\sin \left( {\dfrac{\alpha }{2}} \right)}&{\cos \left( {\dfrac{\alpha }{2}} \right)} \end{array}} \right)\\& {R_y}(\alpha ) = \left( {\begin{array}{*{20}{c}} {\cos \left( {\dfrac{\alpha }{2}} \right)}&{ - \sin \left( {\dfrac{\alpha }{2}} \right)} \\ {\sin \left( {\dfrac{\alpha }{2}} \right)}&{\cos \left( {\dfrac{\alpha }{2}} \right)} \end{array}} \right) \end{split} $$ (11) -
转换后的量子态输入向量进入量子卷积,进行一系列的幺正变换。两个相邻量子位之间应用量子卷积
${U^c}$ 提取特征,通过卷积电路寻找信息的隐藏状态,卷积层由不同的单量子门和双量子门组合形成,${U^p}$ 为量子池化。如图3所示,${U^c}$ 和${U^p}$ 分别是一组最优的参数化量子电路。在单量子旋转门$\left\{ {{R_i} = R\left( {{\alpha _i},{\beta _i},{\gamma _i}} \right)} \right\}$ 中,分别沿X、Y和Z轴旋转角度$\left( {{\alpha _i},{\beta _i},{\gamma _i}} \right)$ ,其中,更新旋转门的参数是随机的,并会在基于共轭梯度法的迭代优化中更新参数。池化层${U^p}$ 对量子位应用量子门,但只追踪一个量子位,降低特征映射的维数,从而减少量子系统的尺寸,最后测量期望值。单比特的参数化量子门如式(12)所示:
$$ \left\{ {\begin{array}{*{20}{l}} {{X^t} \simeq {R_X}(\text{π} t) = {e^{ - i\frac{\text{π} }{2}tX}}} \\ {{Y^t} \simeq {R_Y}(\text{π} t) = {e^{ - i\frac{\text{π} }{2}tY}}} \\ {{Z^t} \simeq {R_Z}(\text{π} t) = {e^{ - i\frac{\text{π} }{2}tZ}}} \end{array}} \right. $$ (12) 两比特的参数化量子门如式(13)所示:
$$ \left\{ {\begin{array}{*{20}{l}} {{U_{{\text{XX}}}}(t) \simeq {e^{ - i\frac{\text{π} }{2}tX \otimes X}}} \\ {{U_{{\text{YY}}}}(t) \simeq {e^{ - i\frac{\text{π} }{2}t\Gamma \otimes I}}} \\ {{U_{{\text{ZZ}}}}(t) \simeq {e^{ - i\frac{\text{π} }{2}tZ \otimes Z}}} \end{array}} \right. $$ (13) 图3中的
${U^{\text{T}}}$ 是一个典型的规范门${U_{\text{CAN}}}$ :$$ {U_{{\text{CAN}}}} = \exp \left( { - i\frac{\text{π} }{2}\left( {{t_x}X \otimes X + {t_y}Y \otimes Y + {t_z}Z \otimes Z} \right)} \right) $$ (14) -
通过研究输入特征的自相关周期,分析得输入特征n的时间窗口为3,将3天的“时间窗”数据提供给模型,作为输入特征的短期记忆。每个电路代表t=t−2、t=t−1、t=t处的离散数据点,这些电路被堆叠并作为QCNN的输入。为了给模型提供历史数据,通过串联t=t−2、t=t−1、t输入的电路构建更大的量子电路。
考虑到电路深度和整体电路表达性,不必使用量子卷积使量子位数降低到一个,可以选择一到两轮量子卷积并将结果输入到经典网络。如表1所示,单量子滤波器QCNN整体电路包含63个参数,比较高的电路深度和较多的可变参数数量可能会导致更大的噪声。本文设计了多量子滤波器QCNN,结合量子的并行计算能力和神经网络的处理信息能力,能达到更好的效果。卷积运算涉及在相邻量子位之间应用量子逻辑门,池运算通过测量量子位或应用多个量子位门来降低量子模型维数。卷积层和池化层依次应用,减少量子系统的维度空间。模型舍弃过多的电路迭代,只采取一轮迭代,应用21个可变参数数量,并将3个量子滤波器的输入分别传递到全连接神经网络以获得MSE(mean square error),从而优化参数。也就是在所有位上应用读出量子比特Z,然后衔接全神经网络,Z轴变换用于测量量子比特的量子态,并获得模型对产生的沼气的估计期望值。模型用微分器作为量子梯度下降函数,并使用Adam优化器估计QCNN参数进行模型训练。在适度的经典辅助下,能实现更好的效果。多滤波器QCNN模型如图4所示。
表 1 单量子滤波器和多量子滤波器QCNN模型对比
Type 滤波器 参数数量 单量子滤波器QCNN 1 63 多量子滤波器QCNN 3 21 如图4所示,在量子门的作用下,辅助比特与其他量子比特相连,用辅助量子比特寄存变换结果。其测量为非线性变换,相当于激活函数作用。在P个量子比特展开的
$o = {2^P}$ 维希尔伯特空间中,量子态$\left| {{\psi _X}} \right\rangle $ 向$\left| {{\psi _W}} \right\rangle $ 上投影,其中,$\left| {{\psi _X}} \right\rangle $ 是携带权重向量${W_i}$ 的量子态,就得到了变换结果$z = \left\langle {{\psi _X}\mid {\psi _W}} \right\rangle $ ,然后通过${U}(\theta )$ 将Z编码到基底$|{t}\rangle$ 上,如式(15)所示:$$ {\mathbf{U}}(\theta )\left| {{\psi _{x}}} \right\rangle = \sum\limits_{j = 0}^n {{c_j}} |t\rangle $$ (15) 把
$z = \left\langle {{\psi _X}\mid {\psi _W}} \right\rangle $ 编码到o维的希尔伯特空间的基地$\mid 11 \cdots \rangle$ 上,即${\mathbf{U}}(\theta )\left| {{\psi _{X}}} \right\rangle$ 与$\mid 11 \cdots \rangle$ 共线,如式(16)所示:$$ {\mathbf{U}}(\theta ) = \left( {\begin{array}{*{20}{l}} {}&{}& \vdots &{} \\ {{W_1}}&{{W_2}}& \cdots &{{W_o}} \end{array}} \right) $$ (16) 酉矩阵
${\text{U}}(\theta )$ 不是唯一的,可以选择不同的量子电路获取更好的效果,因此如何选取电路也是一个重点研究方向。参数化量子电路是一种神经网络的新范式,和权重矩阵不同,以量子门的相位
$\theta $ 作为训练参数,经过PQC(parameterized quantum circuits)的酉变换${\text{U}}(\theta )$ ,读出量子比特获得一个期望值$f(\theta )$ 。对于数据集$\left\{ {{x_i},{y_i}} \right\}$ ,经过量子编码后得到量子态$\left| {{\psi _X}} \right\rangle $ ,再经过参数化量子电路得到期望值$f(\theta )$ ,对$f(\theta )$ 进行观测,测量结果与${y_i}$ 的均方误差(MSE)作为损失函数${\text{L}}(\theta )$ 。在$\theta $ 的更新公式中,要选取适当的$\eta $ ,否则无法进行快速的收敛,如果$\eta $ 过大会使迭代后的参数$\theta _k^\prime $ 进入下一个周期,对于不同深度的电路,也就是电路参数规模,要求不同的参数$\eta $ :$$ \left\{ {\begin{array}{*{20}{c}} {f\left( {{\theta _k}} \right) = \left\langle {{\psi _X}\left| {U_G^\dagger \left( {{\theta _k}} \right)Y{U_G}\left( {{\theta _k}} \right)} \right|{\psi _X}} \right\rangle } \\ {L\left( {{\theta _k}} \right) = \dfrac{1}{n} \displaystyle \sum\limits_k {{{\left| {{y^{\{ k\} }} - f\left( {{\theta _k}} \right)} \right|}^2}} } \\ {\theta _k^\prime = {\theta _k} + \eta \dfrac{{\partial f\left( {{\theta _k}} \right)}}{{\partial {\theta _k}}}} \end{array}} \right. $$ (17) ${{\text{U}}_G}\left( {{\theta _k}} \right)$ 是上面提到的参数化量子门,其中量子门${{\text{U}}_G}\left( {{\theta _k}} \right) = {e^{ - ia\theta G}}$ ;Y为测量算符,如果希望期望值测量结果为0,那么可令${\text{Y}} = \left( {\begin{array}{*{20}{l}} 1&0 \\ 0&0 \end{array}} \right)$ 。因为${{\text{U}}_G}\left( {{\theta _k}} \right)$ 是酉矩阵和厄米阵:$$ {{\text{U}}_G}\left( {{\theta _k}} \right) = {e^{ - i{\theta _k}G}} = I\cos \left( {{\theta _k}} \right) - iG\sin \left( {{\theta _k}} \right) $$ (18) 对
${{\text{U}}_G}\left( {{\theta _k}} \right)$ 进行求导可得:$$\begin{split}& \frac{\partial }{{\partial {\theta _k}}}\left[ {I\cos \left( {{\theta _k}} \right) - iG\sin \left( {{\theta _k}} \right)} \right] = - I\sin \left( {{\theta _k}} \right) - iG\cos \left( {{\theta _k}} \right) = \\& - iG\left[ {I\cos \left( {{\theta _k}} \right) - i{G^{ - 1}}\sin \left( {{\theta _k}} \right)} \right] = - iG{U_G} \end{split} $$ (19) 对整个电路求导得:
$$ \begin{split} \frac{{\partial f(\theta )}}{{\partial \theta }} = &\left\langle {\psi \left| {[iG]U_G^\dagger \left( {{\theta _k}} \right)Y{U_G}\left( {{\theta _k}} \right)} \right|\psi } \right\rangle +\\& \left\langle {\psi \left| {U_G^\dagger \left( {{\theta _k}} \right)Y[ - iG]{U_G}\left( {{\theta _k}} \right)} \right|\psi } \right\rangle = \\&\frac{1}{2}\left\langle {\psi \left| {U_G^\dagger \left( {{\theta _k}} \right)(I + iG)Y{U_G}\left( {{\theta _k}} \right)(I - iG)} \right|\psi } \right\rangle -\\& \frac{1}{2}\left\langle {\psi \left| {U_G^\dagger \left( {{\theta _k}} \right)(I - iG)Y{U_G}\left( {{\theta _k}} \right)(I + iG)} \right|\psi } \right\rangle \\ \end{split}$$ (20) 式(20)完全展开为8项,其中4项能相互抵消,经过变换上式又可变为:
$$\begin{split} & \frac{{\partial f(\theta )}}{{\partial \theta }} = \left\langle {\psi \left| {U_G^\dagger \left( {\theta + \frac{\text{π} }{4}} \right)Y{U_G}\left( {\theta - \frac{\text{π} }{4}} \right)} \right|\psi } \right\rangle = \\&\left[ {f\left( {\theta + \frac{\text{π} }{4}} \right) - f\left( {\theta - \frac{\text{π} }{4}} \right)} \right] \\ \end{split} $$ (21) 具体来说,在量子池化层中所用到的规范门
${U^{\text{T}}}$ ,也就是${U_{\text{CAN}}}$ 。由于双量子门最少需要15个参数,求梯度的话需要执行很多次原电路,可以表示为:$$ \frac{d}{{d\theta }}f(\theta ) = \sum\limits_{i = 1,15} {\frac{\partial }{{\partial {t_i}}}} {f_{{\text{CAN}}}}\left( {{t_1},{t_2}, \ldots ,{t_{15}}} \right)\frac{{d{t_i}}}{{d\theta }} $$ (22) 其中,参数更新公式如下:
$$ \theta _k^\prime = {\theta _k} + \eta \frac{{\partial f\left( {{\theta _k}} \right)}}{{\partial {\theta _k}}} $$ (23) -
根据收集到的厌氧消化过程数据参数与其特性,并结合式(17)的模型更新规则,模型处理数据流程如下(如图5):
1) 将时间序列数据进行严格的预处理,包括随机森林插补缺失值和指数平滑,解决数据不可控的无规则变动影响;
2) 将经典数据转换为量子态的数据编码到QCNN模型,数据经过酉运算量子操作后测量期望值;
3) 在基于Adam优化器的迭代优化过程中更新参数。通过使用量子旋转角更新策略,调整量子概率幅;
4) 如果迭代次数达到最大迭代次数,则退出循环,输出最优解。否则转到步骤2),继续循环;
5) 输出最终的评价指标和预测值;
6) 结束训练。
-
实验所用数据取自伦敦帝国理工学院项目公开的数据集[28],提供了废物管理设施的化学成分和产生沼气的数据。数据跨度为28个月(851天),如表2所示。数据集由27个特征组成,其记录了废物管理设施内储罐的日常化学成分。为确保在预处理期间将最小的噪声引入到特征,需要去除稀疏度大和相关性低的特征,稀疏度表示了数据的稀疏程度。在分析了数据的稀疏程度后,本文从27个输入特征中提取了5个关键输入特征。实验基于Python3.8环境开发,其中Tensorflow库用于开发经典模型,Tensorflow Quantum和Cirq库开发量子模型。其中20个月的数据用作训练数据,验证数据和测试数据分别为4个月。
这些特征是浓缩初级污泥(TPS)、浓缩废活性污泥(TWAS)的Qin、DS%和VS%,以及消化污泥(DS)的Qout、DS%和VS%。在无氧条件下,厌氧细菌将有机物分解为
${\text{CH}}_{4}$ 、${\text{H}}_{2}{\text{S}}$ 等能源,实验数据如表2所示。数据经过平滑处理和插补缺失值处理后得到的数据集特征图如图6所示。表 2 厌氧消化过程数据参数
Primary sludge Thickened Primary sludge Thickened waste activated sludege Digested sludge parameter units Q $ {m}^{3}/d $ DS $ \mathrm{\%} $ VS $ \mathrm{\%} $ Q1 $ {m}^{3}/d $ DS $ \% $ VS $ \% $ QIN $ {m}^{3}/d $ DS $ \% $ VS $ \% $ QOUT $ {m}^{3}/d $ DS $ \% $ VS $ \% $ 1 1197.0 0.18 60.00 199.50 2.01 89.13 241.50 5.01 87.25 428.00 2.09 77.85 2 924.30 0.57 81.81 170.00 2.91 91.30 194.00 5.48 82.17 354.00 1.88 77.41 3 925.68 0.45 72.71 199.50 3.17 91.22 193.50 5.36 84.78 383.00 2.05 75.51 4 811.30 0.39 80.00 245.50 4.49 84.20 324.50 2.08 76.70 392.00 2.92 73.52 5 839.23 0.25 83.30 266.50 3.15 85.50 324.00 2.05 78.30 349.00 2.05 78.30 -
本文设计了4个主要的模型来预测沼气排放量。1) BP网络模型(ANN)[29],BP网络作为一种多层前馈神经网络,通过反向传播不断调整各层的权重和偏置,达到预测产气量的目的。2) 带时间窗的卷积神经网络(CNN),接受长度为n的输入特征,n是观测的自相关周期,向模型提供短期记忆。3) K-近邻算法模型(KNN)[12],是一种机器学习方法,可以应用于消化性能的回归和分类模型中。4) 多量子滤波器QCNN模型(QCNN),在量子卷积神经网络模型基础上加了量子滤波器,并在卷积池化层设计了最优的电路。其中引入CNN模型能体现出量子算法的优势,为了能更好体现出这种优势,还引入了ANN、KNN模型。实验分析部分采用CNN、ANN、KNN、QCNN来分别表示这4种模型,下面将详细讨论这些模型的性能差异。
通过观察图7~图10,将验证集的预测值和真实值进行比较。其中QCNN模型预测精度最好,预测值和实际值大部分吻合,模型KNN和CNN次之,模型ANN表现最差,预测值均高于实际值,模型QCNN可以对甲烷产量进行相当准确的预测。由于ANN模型输入过多的输入变量,导致训练时间过大,带来了较大的全局误差,最后导致精度不足。其中CNN模型也取得了不错的效果,但相对于KNN模型来说准确度较低,这是由于较大的偏差和异常值导致了精度不足。
模型能够取得良好的精度在于本文对数据集进行了预处理,通过指数平滑去除高的噪声,消除数据间的差异;并通过随机森林插补数据缺失值,从而增加数据的完整性。并且多量子滤波器结构可以让模型不易陷入局部最优。
为了更好对比模型的性能,还设计了离散数据模型和时间窗数据模型,离散数据缺乏短期记忆,不能良好的捕捉数据趋势。而时间窗数据能够捕捉数据开始和结束时候的沼气产量趋势。如图11所示,Discrete数据下的ACCURACY和KAPPA值均小于Time-window数据。CNN模型在Discrete数据上的KAPPA值小于Time-window数据下的KAPPA值近0.04,精确度也低了将近8%;QCNN模型在Discrete数据上的ACCURACY也小了将近6%,KAPPA值降低了将近0.2。CNN和QCNN模型在ACCURACY和KAPPA值表现上都出现了不同程度的下降。
如表3所示,量子信息编码增加了量子体系结构的变换,改变了原始RMSE和MAE的规模,记录了RMSE%和MAE%误差指标。对于类似的体系结构,QCNN模型性能优于其他模型。MAPE和MAE值均优于其他经典模型,ACCURACY值为83.308%,KNN的ACCURACY值为80.4%,CNN为77.26%,ANN为74.72%。与经典的CNN模型和KNN算法相比,QCNN能更准确预测沼气生产的趋势。更好的性能归因于QCNN的结构,多量子滤波的模型结构产生了更低的噪声,卷积层和池化层高效的线路组合更易提取信息中的隐藏状态。同时在适度的经典辅助下,得到了更优异的性能。ANFIS[30]是目前不错的预测模型,其RMES和MAE值分别为3.986和0.673,这些指标被本文模型击败。因此,QCNN被认为是以上算法模型中最好的模型。
表 3 模型性能对比
type MAPE ACCURACY RMSE RMSE% MAE MAE% ANN In-Sample
Out-Sample0.309
0.17369.36
74.720.555
0.32533.030
22.4600.431
0.11727.370
17.210CNN In-Sample
Out-Sample0.323
0.22775.32
77.260.418
0.12533.030
20.4500.298
0.09611.010
15.880KNN In-Sample
Out-Sample0.282
0.20078.50
80.400.143
0.32319.671
23.4530.324
0.11219.650
23.430QCNN In-Sample
Out-Sample0.182
0.13285.18
83.300.152
0.11415.440
21.1080.128
0.09028.234
16.412
QCNN Algorithm Based on Multi-Quantum Filter to Predict Anaerobic Digestion Performance
-
摘要: 厌氧消化是可再生能源生产中一种具有前景的技术,沼气是由有机废物通过厌氧消化产生的生物能源,预测厌氧消化产生的沼气产量并进行管控是必要的。设计了一种具有短期记忆的多量子滤波器量子卷积神经网络,利用参数化变分量子电路接受数据“时间窗”以模拟短期记忆,并在多量子滤波结构中舍弃过多的线路迭代和参数数量使其具有更高的表达性。在量子线路框架中,设计了最优的卷积、池化层线路,能够更好地提取特征因子中的隐藏状态;同时对废物管理数据进行严格的预处理,通过指数平滑去除特征中趋势和季节性。该算法的精度达到了83.30%,比CNN模型精度提升了8%,RMSE和MAE值也均优于ANN、KNN、CNN等经典模型。Abstract: Anaerobic digestion is a promising technology in the production of renewable energy, in which biogas is the biological energy generated by anaerobic digestion of organic waste. It is necessary to predict and control biogas yield from anaerobic digestion. A multi-quantum filter quantum convolutional neural network with short-term memory is designed. The designed network utilizes the parameterized variational quantum circuit to accept the data 'time window' so as to simulate the short-term memory, and discards too much circuit iteration and parameter number of the multi-quantum filter to make the filter more expressive. In the quantum circuit framework, the optimal convolution and pooling layer circuits are designed to better extract the hidden states in the feature factors. At the same time, the waste management data are strictly preprocessed, and the trend and seasonality in the characteristics are removed by exponential smoothing. The accuracy of the proposed algorithm reaches 83.30%, which is 8% higher than that of the convolutional neural network model (CNN). The root mean square error (RMSE) and mean absolute error (MAE) values are also better than those of artificial neural network (ANN), K-nearest neighbor (KNN) and CNN classical models.
-
表 1 单量子滤波器和多量子滤波器QCNN模型对比
Type 滤波器 参数数量 单量子滤波器QCNN 1 63 多量子滤波器QCNN 3 21 表 2 厌氧消化过程数据参数
Primary sludge Thickened Primary sludge Thickened waste activated sludege Digested sludge parameter units Q $ {m}^{3}/d $ DS $ \mathrm{\%} $ VS $ \mathrm{\%} $ Q1 $ {m}^{3}/d $ DS $ \% $ VS $ \% $ QIN $ {m}^{3}/d $ DS $ \% $ VS $ \% $ QOUT $ {m}^{3}/d $ DS $ \% $ VS $ \% $ 1 1197.0 0.18 60.00 199.50 2.01 89.13 241.50 5.01 87.25 428.00 2.09 77.85 2 924.30 0.57 81.81 170.00 2.91 91.30 194.00 5.48 82.17 354.00 1.88 77.41 3 925.68 0.45 72.71 199.50 3.17 91.22 193.50 5.36 84.78 383.00 2.05 75.51 4 811.30 0.39 80.00 245.50 4.49 84.20 324.50 2.08 76.70 392.00 2.92 73.52 5 839.23 0.25 83.30 266.50 3.15 85.50 324.00 2.05 78.30 349.00 2.05 78.30 表 3 模型性能对比
type MAPE ACCURACY RMSE RMSE% MAE MAE% ANN In-Sample
Out-Sample0.309
0.17369.36
74.720.555
0.32533.030
22.4600.431
0.11727.370
17.210CNN In-Sample
Out-Sample0.323
0.22775.32
77.260.418
0.12533.030
20.4500.298
0.09611.010
15.880KNN In-Sample
Out-Sample0.282
0.20078.50
80.400.143
0.32319.671
23.4530.324
0.11219.650
23.430QCNN In-Sample
Out-Sample0.182
0.13285.18
83.300.152
0.11415.440
21.1080.128
0.09028.234
16.412 -
[1] APPELS L, BAEYENS J, J DEGRÈVE, et al. Principles and potential of the anaerobic digestion of waste-activated sludge[J]. Progress in Energy & Combustion Science, 2008, 34(6): 755-781. [2] WARD A J, HOBBS P J, HOLLIMAN P J, et al. Optimisation of the anaerobic digestion of agricultural resources[J]. Bioresource Technology, 2008, 99(17): 7928-7940. doi: 10.1016/j.biortech.2008.02.044 [3] GOLBERG D E. Genetic algorithms in search, Optimization, and Machine Learning[J]. Addion Wesley, 1989(102): 36. [4] 张仕斌, 黄曦, 昌燕, 等. 大数据环境下量子机器学习的研究进展及发展趋势[J]. 电子科技大学学报, 2021, 50(6): 802-819. doi: 10.12178/1001-0548.2021332 ZHANG S B, HUANG X, CHANG Y, et al. Research progress and perspectives of quantum machine learning inbig data environment[J]. Journal of University of Electronic Science and Technology, 2021, 50(6): 802-819. doi: 10.12178/1001-0548.2021332 [5] FLURIN E, MARTIN L S, HACOHEN-GOURGY S, et al. Using a recurrent neural network to reconstruct quantum dynamics of a superconducting qubit from physical observations[J]. Physical Review X, 2020, 10(1): 011006. doi: 10.1103/PhysRevX.10.011006 [6] KAK S C. Quantum neural computing[J]. Advances in imaging and electron physics, 1995, 94: 259-313. [7] BEHRMAN E C, NIEMEL J, STECK J E, et al. A quantum dot neural network[C]//Proceedings of the 4th Workshop on Physics of Computation. Boston: Boston University, 1996: 22-24. [8] TOTH G, LENT C S, TOUGAW P D, et al. Quantum cellular neural networks[J]. Superlattices & Microstructures, 2000, 20(4): 473-478. [9] DAN V, MARTINEZ T. An artificial neuron with quantum mechanical properties[M]. Vienna: Springer, 1997: 482-485. [10] ZHANG X, HE K, BAO Y. Error-feedback stochastic modeling strategy for time series forecasting with convolutional neural networks[J]. Neurocomputing, 2021, 459: 234-248. doi: 10.1016/j.neucom.2021.06.051 [11] CHEN S, HE H. Stock prediction using convolutional neural network[C]//IOP Conference: Materials Science and Engineering. [S. l. ]: IOP, 2018, 435: 012026. [12] WANG L, LONG F, LIAO W, et al. Prediction of anaerobic digestion performance and identification of critical operational parameters using machine learning algorithms[J]. Bioresource Technology, 2019, 298: 122495. [13] KHAJEHEI H, AHMADI A, SOLEIMANMEIGOUNI I, et al. Prediction of track geometry degradation using artificial neural network: a case study[J]. International Journal of Rail Transportation, 2022, 10(1): 24-43. doi: 10.1080/23248378.2021.1875065 [14] ZHANG R D, ZHANG X G. Support vector machine prediction modeling for automobile ownership[J]. Journal of Computer and Communications, 2022, 10(6): 37-43. doi: 10.4236/jcc.2022.106004 [15] TU Y S, LIN T A, HAO T S, et al. Classification tree and random forest based prediction models on molecular autofluorescence[J]. Abstr Pap Am Chem S, 2013, 245: 1155. [16] TANG Z Y, CAO H D, XU Y Y, et al. Overall survival time prediction for glioblastoma using multimodal deep KNN[J]. Physics in Medicine and Biology, 2022, 67(13): 5011. [17] CHEN P, XU L, TANG Q, et al. Research on prediction model of tractor sound quality based on genetic algorithm[J]. Applied Acoustics, 2022, 185: 108411. doi: 10.1016/j.apacoust.2021.108411 [18] MOTA B, ALBERGARIA M, PEREIRA H, et al. Climatization and luminosity optimization of buildings using genetic algorithm, random forest, and regression models[J]. Energy Informatics, 2021, 4(2): 1-18. [19] MIRNATEGHI E, MOSALLAM A S. Multi-criteria optimization of energy-efficient cementitious sandwich panels building systems using genetic algorithm[J]. Energies, 2021, 14(18): 6001. doi: 10.3390/en14186001 [20] WOLF C, MCLOONE S, BONGARDS M. Biogas Plant Control and Optimization Using Computational Intelligence Methods[J]. AT-AUTOM, 2009, 57(12): 638-649. [21] VIJAYABHANU R, RAJINIKANTH R. Improving the efficiency of the prediction system for anaerobic wastewater treatment process using Genetic Algorithm[J]. Australian Journal of Basic and Applied Sciences. 2013, 7(10): 119-126. [22] CHAOUCH S, MOUSSA A, BEN MARZOUG I. Colour recipe prediction using ant colony algorithm: principle of resolution and analysis of performances[J]. Coloration Technology, 2019, 135(5): 349-360. doi: 10.1111/cote.12409 [23] WANG J F, WU X L. Personalized original ecotourism route recommendation based on ant colony algorithm[J]. Wireless Communications and Mobile Computing, 2022: 6783567. [24] WU J, FAN M J, LIU Y, et al. A hybrid ant colony algorithm for the winner determination problem.[J]. Mathematical Biosciences and Engineering, 2022, 19(3): 3202-3222. doi: 10.3934/mbe.2022148 [25] VERDAGUER M, MOLINOS-SENANTE M, POCH M. Optimal management of substrates in anaerobic co-digestion: An ant colony algorithm approach[J]. Waste Management, 2016, 50: 49-54. doi: 10.1016/j.wasman.2016.01.047 [26] VENKATESWARLU2 E J S. Evaluation of anaerobic biofilm reactor kinetic parameters using ant colony optimization[J]. Environmental Engineering Science, 2013, 30(9): 527-535. doi: 10.1089/ees.2012.0158 [27] HORVAT S, GAO X, DAKIć B. Universal quantum computation via quantum controlled classical operations[J]. Journal of Physics A:Mathematical and Theoretical, 2022, 55(7): 075301. doi: 10.1088/1751-8121/ac4393 [28] LAKSHIT D. Multi-variate regression for time series waste-to-energy anaerobic digestion data on quantum architecture[DB/OL]. [2021-08-01]. https://github.com/Rawdatas/raw_data. [29] GUO R X, ZOU D X, LIU Y P. A predictive model for combined anaerobic digestion gas production based on an artificial neural network[J]. Journal of Beijing University of Chemical Technology (Natural Science), 2021, 48(1): 17-24. [30] RAMACHANDRAN A, RUSTUM R, ADELOYE A J. Review of anaerobic digestion modeling and optimization using nature-inspired techniques[J]. Processes, 2019, 7(12): 953. doi: 10.3390/pr7120953