ISSN 
-
近年来，以深度学习[1-5]为代表的数据驱动学习在物理和工程领域取得革命性成果，克服了传统物理模型复杂求解的难题。然而也面临以下问题：1）监督学习需要大量训练数据，在特殊工程领域数据获取是一大难题；2）数据稀疏性易使模型陷入过拟合而导致泛化能力变差；3）纯数据驱动学习方式未考虑实际工程场景隐含的某种物理知识，可解释性较差。因此一种内嵌物理知识的神经网络（Physics Informed Neural Networks, PINN）[6-7]逐渐兴起，其结合数据驱动与物理模型的优势，在先验知识条件下仅利用少量训练数据即可训练出满足物理约束规则的模型，因此在高维物理场预测任务中得到越来越广泛的应用。
PINN不仅能够像传统神经网络一样学习到训练数据样本的分布规律，而且能学习到数学方程描述的物理定律。文献[8]提出可用于解决非线性偏微分方程（Partial Differential Equation, PDE）求解问题的PINN深度学习框架，构建出表征物理量隐含关系的机器学习模型。文献[9]将物理模型的控制方程与卷积神经网络结合，实现无需标签数据训练条件下的非线性系统预测。文献[10]利用卷积递归结构的PhyCRNet，用于空间特征提取和时间演化学习，并在多个非线性PDEs验证求解性能。文献[11]以DenseNet为框架，构建基于有限差分法（Finite Difference Method, FDM）物理约束的自编码神经网络，实现非线性系统的动态建模。
PINN将数据约束方程作为机器学习模型[12]的先验知识，赋予流体力学等工程领域新的物理内涵与认知。文献[13]利用PINN神经网络模型的预测能力实现流动物理模型重建。文献[14]将结构化的深度神经网络与基于物理定律的非线性偏微分方程组耦合，实现温度场预测。这些PINNs将物理控制方程作为限制施加到神经网络训练中，因而能用更少的数据样本学习到更具泛化能力的模型。然而当前物理控制方程约束多为时域数据处理，如频分复用（Frequency Division Mutiplexing, FDM）、有限元法（Finite Element Method, FEM）[15-16]等近似数据分布，由此也带来低计算效率、严格边界条件限制[17]等问题。
因此，本文提出一种基于频域控制方程约束的物理神经网络非线性系统预测方法，在PINN框架下构建时序特征交替更新的非线性预测网络模型，在频域建立基于傅里叶谱方法（Fourier Spectrum Method, FSM）的物理控制方程约束，解决时域计算低效问题，时空数据在网络模型与频域控制约束耦合下实现无标签数据加速训练，完成系统演化学习。
-
以偏微分方程为代表的非线性演化方程是描述物理、化学、天文等现代科学领域非线性现象的数学模型，定义如下：
$$ \begin{split} &u\left(x,t\right)+\mathcal{F}\left(x,u\left(x,t\right)\right)=0,\;\;x\in {\varOmega },t\in \left[0,T\right]\\ &\qquad\qquad \mathcal{B}\left(u\right)=b\left(x,t\right),\;\;x\in \mathcal{D} \end{split}$$ (1) 式中，
$ u\left(x,t\right) $ 为包含空间$ x $ 和时间$ t $ 的状态变量；$ \mathcal{B} $ 算子描述了初值或边界条件；$ \mathcal{F}(\cdot ) $ 为包含n阶导数在内的非线性控制方程，由此可描述出具有随机初始状态的任意瞬态PDE系统。PINN在物理约束学习条件下，使用神经网络架构来逼近时空演化的非线性动力系统物理模型，设神经网络参数化表达为
$ {u}_{\theta } $ ，使得：$$ {u}_{\theta }\left(x,t\right)\approx u\left(x,t\right) $$ (2) 整个模型输入数据为状态
$ \mathcal{X} $ ，则PINN可表述为：$$ \begin{split} &\quad {u\left(x,t\right)}^{n+1}=f({\mathcal{X}}^{n+1},\theta )\\ &{\mathcal{X}}^{n}\equiv \{{u}^{n-1},{u}^{n-2},\cdots ,{u}^{n-k-1}\} \end{split} $$ (3) 式中，
$ f(\cdot ) $ 为训练的深度学习模型；$ \theta $ 为神经网络可学习参数。当前n时刻系统输入状态$ {\mathcal{X}}^{n} $ 由$ k+1 $ 个先前状态组成，用于预测$ n+1 $ 时刻系统状态$ {u}^{n+1} $ ，同时该状态也作为$ {\mathcal{X}}^{n+1} $ 的输入状态之一。因此，对于特定时间步长的预测模型，可得：$$ {u}^{n+1}= f(f\left({\mathcal{X}}^{n},\theta \right),f({\mathcal{X}}^{n-1},\theta ),\cdots, f({\mathcal{X}}^{n-k},\theta ),\theta ) $$ (4) 由上式可知，在任意数量的时间步长情况下也仅使用
$ n=0 $ 时刻随机初始状态数据即可完成训练，无需传统深度学习所需的大量监督数据。物理约束过程可视为单个时间步长条件下的系统演化优化问题，通过将神经网络与控制方程耦合，最小化模型预测与物理控制之间的损失函数：
$$ {{\rm{argmin}}}_{\theta }\parallel f({\mathcal{X}}^{n+1},\theta )-{F}_{\Delta T}({u}^{n+1},{\mathcal{F}}_{\Delta x}(\cdot \left)\right){\parallel }_{2}^{2} $$ (5) 式中，
$ {F}_{\Delta T} $ 为将模型预测状态作为初始边界条件的物理控制方程，由于时空散点信息都被包含在$ u $ 中，非线性系统状态数据流时空特征与物理控制方程预测效率均影响模型效率。 -
为增强神经网络信息的表达能力，提高演化控制速度，本文在网络模型结构与训练学习机制两方面进行了改进，采用CliqueNet网络[18]实现多尺度特征交替更新，同时改变传统时域FDM方法，在频域建立基于FSM的物理控制方程约束，并与CliqueNet网络耦合，在模拟物理规则约束下进行无标签数据训练，实现快速物理控制方程预测，提高计算效率，避免了严格边界条件等计算限制。频域物理控制约束神经网络总体架构如图1所示。
基于频域控制约束的非线性系统预测模型主要由输入状态
$ \mathcal{X} $ 、CliqueNet网络、频域控制约束组成。训练阶段，任意时刻n的非线性系统输入状态$ \mathcal{X} $ 经CliqueNet网络交替更新编码$ {f}_{{\rm{encoder}}} $ 、融合解码$ {f}_{{\rm{decoder}}} $ 处理后，实现下一时刻的状态预测，再结合频域控制约束模块，根据控制方程的残差项来构造损失函数。预测阶段，根据初始系统状态$ \mathcal{X} $ 与CliqueNet网络，即可实现特定时间步长演化。对于任一随机初始状态，时间步长演化输入状态如下：
$$\begin{split} &\qquad {\mathcal{X}}^{1}=\{{u}^{0},{u}^{0},\cdots ,{u}^{0}\}\\ &\qquad {\mathcal{X}}^{2}=\{{u}^{1},{u}^{0},\cdots ,{u}^{0}\}\\ &{\mathcal{X}}^{n}=\left\{{u}^{n-1},{u}^{n-2},\cdots ,{u}^{n-1-k}\right\} \end{split}$$ (6) 模型预测为：
$$ {u}^{n+1} = f\left({\mathcal{X}}^{n},\theta \right)={f}_{{\rm{decoder}}} \circ {f}_{{\rm{encoder}}} ( {\mathcal{X}}^{n+1} ) $$ (7) 频域约束控制利用FSM对非线性方程进行快速傅里叶变换，将系统转换为只含时间微分的方程组，然后通过基于时间步长的数值格式实现未来时刻的系统状态预测。设时间步长为
$ {T}_{\Delta t} $ ，系统下一时刻状态$ {\tilde {u}}^{n+1} $ 演化过程如下：$$ {\tilde {u}}^{n+1}={\rm{FSM}}({\mathcal{U}}^{n+1},{T}_{\Delta t}) $$ (8) 其中，
$ {\mathcal{U}}^{n+1} $ 取决于所使用的时间积分方法，如使用显式前向欧拉法，$ {\mathcal{U}}^{n+1} $ 只与前一时刻系统状态相关，$ {\mathcal{U}}^{n+1}=\left\{{u}^{n}\right\} $ ；如利用隐式后向欧拉法，$ {\mathcal{U}}^{n+1} $ 则与当前时刻状态和前一时刻状态均相关，即$ {\mathcal{U}}^{n+1}=\left\{{{u}^{n+1}，u}^{n}\right\} $ 。PINN学习的是数据隐含的物理控制规则，对于M批次的训练场景，经过N个时间步长演化后，模型$ {L}_{2} $ 损失定义如下：$$ \mathcal{L}=\frac{1}{M}\sum _{j=1}^{M}\sum _{i=1}^{N}\parallel {\tilde {u}}_{j}^{i}-{u}_{j}^{i}\parallel _{2}^{2} $$ (9) 为最大限度获取时空特征信息，本文将CliqueNet网络作为时序数据特征提取主干网络。CliqueNet是一种比DenseNet[19]更稠密、卷积单元利用率更高的网络结构，主要由若干Block组成，其内部结构如图2所示。任一Block中任意两层间均双向连接，特征信息流跨域连接、交替更新实现反馈最大化，并通过注意力机制[20]反复精炼。
图 1 频域物理控制约束神经网络总体架构
图 2 CliqueNet内部结构
本文使用包含3个Block的CliqueNet，特征信息通过Stage-I与Stage-II交替更新，每一层输出为：
$$ {X}_{i}^{k}=\mathcal{G}\left({\sum} _{l < i}{W}_{li}{X}_{l}^{k}+{\sum }_{m > i}{W}_{mi}{X}_{m}^{k-1}\right) $$ (10) 式(10)可见，第
$ k $ 阶段第$ i $ 层特征由第$ i $ 层后面的$ m(m > i) $ 层的上阶段输出，和第$ i $ 层前面的$ l $ 层当前阶段输出共同计算得到，相邻两层网络权重$ {W}_{ij} $ 是更新后复用的，每一层都接收来自最近更新的反馈信息，自上而下的精炼过程实现空间注意力机制。Stage-II通过注意力提炼后包含更多高级特征信息，并与当前Block的输入一起作为当前Block输出特征，最终通过融合解码实现多尺度特征表达。 -
为克服传统时域物理约束控制带来的计算效率低、边界条件严格等问题，本文在频域建立基于FSM的物理控制方程约束，并与前述深度网络耦合，在模拟物理规则约束下进行无标签数据学习。令
$ u\left(x\right) $ 为在$ {x}_{i}\in \{h,2h,\cdots ,2{\text π}-h,2{\text π}\} $ 上的离散采样函数，$ h=2{\text π}/N $ ，其DFT$ {u}_{j} $ 与IDFT$ {u}_{j} $ 分别表示为：$$ {\hat{u}}_{k}=h\sum _{j=1}^{N}{{\rm{e}}}^{-ik{x}_{j}}{u}_{j}\;\;k=-\frac{N}{2}+1,-\frac{N}{2}+2,\cdots ,\frac{N}{2} $$ (11) $$ {u}_{j}=\frac{1}{2{\text π}}\sum _{k=-N/2+1}^{N/2}{{\rm{e}}}^{ik{x}_{j}}{\hat{u}}_{k}\;\;j=1,2,\cdots ,N $$ (12) 已知对于含偏微分的函数
$ \dfrac{{\partial }^{v}{u}_{j}}{\partial {x}^{v}} $ ，其傅里叶变换形式为：$$ {\rm{FFT}}\left(\frac{{\partial }^{v}{u}_{j}}{\partial {x}^{v}}\right)\equiv (ik{)}^{v}{\hat{u}}_{k} $$ (13) 由此，再结合显式−隐式混合方法（Implicit-Explicit Method, IEM）实现长时非线性系统状态演化控制。由式(1)可得：
$$ \frac{{\hat{u}}_{k}^{n+1}-{\hat{u}}_{k}^{n}}{\tau }={\rm{FFT}}\left(\mathcal{F}\left({u}_{k}^{n},{u}_{k}^{n+1}\right)\right) $$ (14) 式中，
$ \tau $ 为时间步长。最终将$ {\hat{u}}_{k}^{n+1} $ 进行IDFT计算，实现PINN在频域下高效准确的物理控制约束。 -
在基于频域控制约束的物理神经网络算法中，时间变量t不是显式输入，因此该模型没有限制预测范围或初始条件。实际在训练过程中，模型可探索系统规律和学习动态，如从初始状态开始后数个时间步长，逐步增加到数百个时间步长，以此发现可能缺失的系统动态，从而缓解长时演化预测的累计误差问题。模型整体训练算法步骤如下。
算法1 基于频域控制约束的物理神经网络训练算法
输入：网络模型
$ f(\cdot ,\theta ) $ ；训练次数epochs；学习率$ \eta $ ；训练步数p；初始状态$ {u}_{0} $ 输出：训练后的网络模型
$ f(\cdot ,\theta ) $ FOR epoch=1 to epochs DO
T = 180 × min(epoch/75, 1.0)+ 20；
⊳限制步数
$ {\mathcal{X}}^{1} $ $ \leftarrow $ {$ {u}_{0},{u}_{0},{u}_{0},{u}_{0},{u}_{0} $ }; ⊳模型输入FOR i = 1 to T DO
$ {u}^{i}\leftarrow f({\mathcal{X}}^{i},\mathrm{\theta }) $ ; ⊳正向预测$ {\widehat{u}}^{i} $ =$ {\rm{FSM}}({\mathcal{U}}^{i},{T}_{\Delta t}) $ ；⊳频域约束控制$ {\mathcal{L}}^{i}={\mathcal{L}}^{i-1} $ + MSE($ {u}^{i},{\widehat{u}}^{i} $ ); ⊳ 网络训练损失IF Mod(i, p)==0 THEN
$ \theta \leftarrow \theta -\eta \partial {\mathcal{L}}^{i}/\partial \theta $ ; ⊳更新网络参数$ {\mathcal{L}}^{i}=0 $ $ {\mathcal{X}}^{i+1} $ $ \leftarrow $ {$ {u}_{0},{\mathcal{X}}^{i}\left[0\right],{\mathcal{X}}^{i}\left[1\right],\dots ,{\mathcal{X}}^{i}[k-1] $ };⊳输入更新
该算法利用多时间步数的反向传播，物理规则约束方法为基于FSM的任意时间步长预测，训练中还限制了预测时间步数以减少训练时间及避免梯度消失问题。模型预测算法如下。
算法2 基于频域控制约束的物理神经网络预测算法
输入：训练后的网络模型
$ f(\cdot ,\theta ) $ ; 测试系统初始状态$ {u}_{0} $ ；演化时间步数$ {T}_{{\rm{max}}} $ ；输出：测试系统预测状态
$ {u}_{{\rm{out}}} = [{u}_{0},{u}^{1},{u}^{2},\cdots , {u}^{{T}_{{\rm{max}}}}] $ $ {\mathcal{X}}^{1}\leftarrow $ {$ {u}_{0},{u}_{0},{u}_{0},{u}_{0},{u}_{0} $ }; ⊳模型输入FOR n = 1 to
$ {T}_{{\rm{max}}} $ DO$ {u}^{n}\leftarrow f({\mathcal{X}}^{n},\mathrm{\theta }) $ ；⊳模型预测$ {u}_{\mathrm{o}\mathrm{u}\mathrm{t}}\left[n\right]={u}^{n} $ $ {\mathcal{X}}^{n+1} $ $ \leftarrow $ {$ {u}_{0},{\mathcal{X}}^{n}\left[0\right],{\mathcal{X}}^{n}\left[1\right],\cdots ,{\mathcal{X}}^{n}[k-1] $ };⊳输入更新
-
本文选取Burgers方程进行湍流预测实验，通过引入物理约束方程控制方法，在模型训练效率、长时演化预测效果以及准确率方面进行对比分析。 Burgers方程是模拟激波传播和反射的非线性偏微分方程，可应用于所有数学领域，尤其是同时含有偏分项与非线性项，被视为描述如流体力学、气体动力学、交通流动力学等众多物理模型的代表性方程。
一维Burgers系统描述如下：
$$\begin{split} &\qquad\quad {u}_{t}+u{u}_{x}-v{u}_{xx}=0 \\ & u\left(0,t\right)=u\left(L,t\right)\;\;\;\;x\in \left[0,L\right],t\in [0,T] \end{split}$$ (15) 本文设
$ v=0.002\;5，L=1，T=2\;{\rm{s}} $ ，令时间步长$ \tau =0.005\;\mathrm{s} $ ，采用Backward Euler方法，其频域物理控制方程约束为：$$ \frac{{\hat{u}}_{k}^{n+1}-{\hat{u}}_{k}^{n}}{\tau }=-\frac{ik}{2}{{\hat{u}}_{k}^{n2}}+v({ik)}^{2}{\hat{u}}_{k}^{n+1} $$ (16) 令
$ {k}_{1}=jk,{k}_{2}=(jk{)}^{2} $ ， 系统状态$ {\hat{u}}_{k}^{n+1} $ 更新为：$$ {\hat{u}}_{k}^{n+1}=\frac{{\hat{u}}_{k}^{n}-0.5 \tau {k}_{1}{{\hat{u}}_{k}^{n2}}}{1-\tau {k}_{2}} $$ (17) 最终通过IDFT实现时域状态物理约束：
$$ {{u}_{k}^{n+1}={\rm{IFFT}}(\hat{u}}_{k}^{n+1}) $$ (18) -
本次实验环境为Python 3.8，4路NVIDIA GeForce RTX 3090 24 GB显卡。文中所有对比模型均在同一软硬件环境下运行。
PINN模型与物理控制规则约束耦合，并不依赖传统神经网络基于监督数据的训练方式。因此，基于频域物理约束控制的PINN仅利用初始状态，通过无监督数据、短时训练方式进行物理规则学习，基于频域FSM方法构建物理约束，实现未知系统状态长时演化预测。
针对Burgers系统，随机设置2560组初始系统状态用于训练，同时选取另外200组不同初始系统状态作为测试数据，其中50组可作为验证数据，并利用FEM方法得到实际演化数据。其中Burgers系统训练与测试数据部分初始状态如图3所示。
图 3 非线性系统初始状态
本文所提模型主要参数设置如表1所示。
表 1 模型主要参数
模型参数名称 设置值 梯度下降法 Adam 学习率η 1.0×10−3 η衰减率 0.99 最大训练次数epochs 200 Burgers系统初始状态组数 2560 训练mini-batch 256 模型输入状态数k 5 -
为充分验证本文提出模型的有效性，在网络架构与物理规则约束两方面进行实验对比研究，表2为不同模型在Burgers系统上的验证MSE对比，基准PINN模型为文献[11]提出的主流Auto-regressive Network网络+时域FDM的PINN预测模型，因此对比模型为该基准模型及其变体，分别进行时域FDM与频域FSM物理控制约束。
表中MSE为均方误差，
$ \mathrm{e}\mathrm{p} $ 为迭代周期。可以看出，随着训练次数的增加，所有模型各时刻系统验证MSE均随之下降，同时随演化时间的增加累计误差也逐渐增大。文献[11]提出的模型在迭代周期10次训练时，在演化时间t为0.25、0.5、1、1.5、2 s时系统验证预测MSE分别为1.82、4.04、4.80、4.77、4.76，而同时刻CliqueNet+FDM系统由于多尺度反馈注意力机制，验证预测MSE下降为0.23、0.36、0.56、0.71、0.76，实现更快的规则学习。在利用频域FSM控制约束物理方程模型后，学习效率进一步提升，CliqueNet+FSM系统验证预测MSE能够达到0.11、0.09、0.10、0.05、0.08。随着训练进行，在t≤0.25 s和t≤0.5 s短时预测情况下，经前期迭代周期20次训练后，本文模型系统验证预测MSE，较基准模型预测MSE，分别从0.42、1.72降为0.06、0.08，MSE分别下降了 86%、95%。在t≤2 s长时预测情况下，经充分训练后（epochs=200）系统验证预测MSE从0.05降为0.01，降低了80%。
表 2 不同模型训练过程中验证MSE对比
模型 系统时间/s $ {{\rm{MSE}}}_{{\rm{ep}}=10} $ $ {{\rm{MSE}}}_{{\rm{ep}}=20} $ $ {{\rm{MSE}}}_{{\rm{ep}}=40} $ $ {{\rm{MSE}}}_{{\rm{ep}}=80} $ $ {{\rm{MSE}}}_{{\rm{ep}}=160} $ $ {{\rm{MSE}}}_{{\rm{ep}}=200} $ Auto-regressive Network + FDM $ t=0.25 $ 1.82 0.42 0.08 0.02 0.03 0.01 $ t=0.5 $ 4.04 1.72 0.06 0.06 0.09 0.02 $ t=1.0 $ 4.80 0.07 0.12 0.10 0.10 0.04 $ t=1.5 $ 4.77 6.03 0.07 0.16 0.07 0.05 $ t=2.0 $ 4.76 6.02 0.10 0.19 0.06 0.04 DenseNet + FSM $ t=0.25 $ 0.24 0.19 0.09 0.05 0.09 0.01 $ t=0.5 $ 0.49 0.56 0.33 0.09 0.14 0.02 $ t=1.0 $ 0.86 1.23 0.94 0.12 0.2 0.03 $ t=1.5 $ 1.05 2.37 1.67 0.13 0.19 0.05 $ t=2.0 $ 1.52 3.43 2.99 0.15 0.19 0.06 CliqueNet + FDM $ t=0.25 $ 0.23 0.17 0.01 0.00 0.00 0.00 $ t=0.5 $ 0.36 0.09 0.03 0.01 0.01 0.02 $ t=1.0 $ 0.56 0.04 0.03 0.01 0.02 0.02 $ t=1.5 $ 0.71 0.06 0.04 0.04 0.03 0.02 $ t=2.0 $ 0.76 0.08 0.05 0.02 0.01 0.03 CliqueNet + FSM $ t=0.25 $ 0.11 0.06 0.00 0.01 0.00 0.00 $ t=0.5 $ 0.09 0.08 0.02 0.01 0.01 0.01 $ t=1.0 $ 0.10 0.11 0.03 0.03 0.02 0.02 $ t=1.5 $ 0.05 0.10 0.02 0.04 0.02 0.02 $ t=2.0 $ 0.08 0.08 0.02 0.04 0.02 0.01 长时三维演化预测效果展示如图4所示。图中采样周期
$ {T}=0.05\;{\rm{s}} $ ，可见频域控制约束PINN模型能够较好预测Burgers系统长时演化，特别是在前1 s演化阶段系统预测状态几乎与实际状态完全一致，后1 s偶有微小波动，但整体与实际演化路径仍然保持一致。
图 4 Burgers系统预测性能对比三维展示
图5为更多测试系统状态预测的二维展示。以上测试系统初始状态均为随机，且训练过程从未出现过。可见基于频域物理控制的PINN面向未知初始系统状态，能够较好地预测长时演化路径。基于FSM的频域约束控制方法能够避免大量的时域数值计算，能够有效加快网络训练速度，图6为测试系统预测MSE对比，可见本文模型在具备高效计算的同时，在长时演化预测准确率方面，较基准PINN模型也具有优势，能更好地适应系统演化预测。
图 5 Burgers系统预测对比二维展示（从上到下依次为实际演化路径、基于频域约束的PINN预测以及损失
$ {L}_{1} $ ）
图 6 测试MSE对比
-
本文提出了一种基于频域控制方程约束的物理神经网络湍流预测研究。利用卷积神经网络搭建面向时序数据高维特征提取的CliqueNet模型，实现多尺度编码特征信息交替更新；然后将频域FSM与基于CliqueNet结构的非线性预测网络耦合，在模拟物理规则约束下进行无标签数据训练，Burgers系统预测结果表明本文方法较现有主流PINN方法能更快学习物理规则约束，在非线性演化系统预测任务中具备更高的准确率，在流体力学、气体动力等工程领域具有实用价值。
Nonlinear System Prediction Method of Physical Neural Networks Based on Frequency Domain Control Constraints
-
摘要: 针对现有物理信息神经网络利用数值模拟近似物理控制方程带来的高计算代价、边界条件限制等问题，提出一种基于频域控制约束的物理神经网络非线性系统预测方法。首先构建时序特征交替更新的非线性预测网络模型，再在频域建立基于傅里叶谱方法（FSM）的物理控制方程约束，时空数据在网络模型与频域控制约束耦合下实现无标签数据加速训练，完成系统演化学习。最后在Burgers系统上进行湍流预测验证，实验结果表明该方法可在物理规则约束下实现无标签非线性复杂建模，对比主流PINN模型及其变体，具有更快的学习速度与预测准确率。在t≤0.25 s、t≤0.5 s短时预测情况下，经前期20次训练后系统预测均方误差（MSE）相比主流基准模型同期预测，MSE降低了86%与95%，在t≤2 s长时预测情况下，经充分训练后系统预测MSE能降低80%。Abstract: To address the problems of high computational cost and boundary condition limitations associated with the existing physical information neural network using numerical simulation to approximate the physical control equations, a nonlinear system prediction method of physical neural networks based on frequency domain control constraints is proposed. Firstly, a nonlinear prediction network model with alternating updates of temporal features is constructed, followed by a physical control equation constraint based on the Fourier spectrum method (FSM) in the frequency domain, and then the spatio-temporal data are trained without labels under the coupling of the network model and the frequency domain control constraint to complete the system evolution learning. The experimental results show that the proposed method can achieve unlabeled nonlinear complex modeling under physical rule constraints, and has faster learning speed and prediction accuracy compared with the mainstream Physics Informed Neural Network (PINN) model and its variants. In the case of t≤0.25 s and t≤0.5 s short-time prediction, the Mean Square Error (MSE) of the system is reduced by 86% and 95% compared with that of the mainstream baseline model in the same period of time after 20 times of pre-training, and the MSE of the system can be reduced by 80% in the case of t≤2 s long-time prediction after sufficient training.
-
表 1 模型主要参数
模型参数名称 设置值 梯度下降法 Adam 学习率η 1.0×10−3 η衰减率 0.99 最大训练次数epochs 200 Burgers系统初始状态组数 2560 训练mini-batch 256 模型输入状态数k 5 
下载: 导出CSV
表 2 不同模型训练过程中验证MSE对比
模型 系统时间/s $ {{\rm{MSE}}}_{{\rm{ep}}=10} $ $ {{\rm{MSE}}}_{{\rm{ep}}=20} $ $ {{\rm{MSE}}}_{{\rm{ep}}=40} $ $ {{\rm{MSE}}}_{{\rm{ep}}=80} $ $ {{\rm{MSE}}}_{{\rm{ep}}=160} $ $ {{\rm{MSE}}}_{{\rm{ep}}=200} $ Auto-regressive Network + FDM $ t=0.25 $ 1.82 0.42 0.08 0.02 0.03 0.01 $ t=0.5 $ 4.04 1.72 0.06 0.06 0.09 0.02 $ t=1.0 $ 4.80 0.07 0.12 0.10 0.10 0.04 $ t=1.5 $ 4.77 6.03 0.07 0.16 0.07 0.05 $ t=2.0 $ 4.76 6.02 0.10 0.19 0.06 0.04 DenseNet + FSM $ t=0.25 $ 0.24 0.19 0.09 0.05 0.09 0.01 $ t=0.5 $ 0.49 0.56 0.33 0.09 0.14 0.02 $ t=1.0 $ 0.86 1.23 0.94 0.12 0.2 0.03 $ t=1.5 $ 1.05 2.37 1.67 0.13 0.19 0.05 $ t=2.0 $ 1.52 3.43 2.99 0.15 0.19 0.06 CliqueNet + FDM $ t=0.25 $ 0.23 0.17 0.01 0.00 0.00 0.00 $ t=0.5 $ 0.36 0.09 0.03 0.01 0.01 0.02 $ t=1.0 $ 0.56 0.04 0.03 0.01 0.02 0.02 $ t=1.5 $ 0.71 0.06 0.04 0.04 0.03 0.02 $ t=2.0 $ 0.76 0.08 0.05 0.02 0.01 0.03 CliqueNet + FSM $ t=0.25 $ 0.11 0.06 0.00 0.01 0.00 0.00 $ t=0.5 $ 0.09 0.08 0.02 0.01 0.01 0.01 $ t=1.0 $ 0.10 0.11 0.03 0.03 0.02 0.02 $ t=1.5 $ 0.05 0.10 0.02 0.04 0.02 0.02 $ t=2.0 $ 0.08 0.08 0.02 0.04 0.02 0.01
下载: 导出CSV
-
[1] DONG S, WANG P, ABBAS K. A survey on deep learning and its applications[J]. Computer Science Review, 2021, 40: 100379. doi: 10.1016/j.cosrev.2021.100379 [2] 鹿天柱, 钱晓超, 何舒, 等. 一种基于深度学习的时间序列预测方法[J]. 控制与决策, 2021, 36(3): 645-652. LU T Z, QIAN X C, HE S, et al. A time series prediction method based on deep learning[J]. Control and Decision, 2021, 36(3): 645-652. [3] SIRIGNANO J, MACART J F, FREUND J B. DPM: A deep learning PDE augmentation method with application to large-eddy simulation[J]. Journal of Computational Physics, 2020, 423: 109811. doi: 10.1016/j.jcp.2020.109811 [4] 范兴奎, 刘广哲, 王浩文, 等. 基于量子卷积神经网络的图像识别新模型[J]. 电子科技大学学报, 2022, 51(5): 642-650. doi: 10.12178/1001-0548.2022279 FAN X K, LIU G Z, WANG H W, et al. A new model of image recognition based on quantum convolutional neural network[J]. Journal of University of Electronic Science and Technology of China, 2022, 51(5): 642-650. doi: 10.12178/1001-0548.2022279 [5] QIAN K, TIAN L. Data-driven physical law learning model for chaotic robot dynamics prediction[J]. Applied Intelligence, 2022, 52(10): 11160-11171. [6] 李野, 陈松灿. 基于物理信息的神经网络: 最新进展与展望[J]. 计算机科学, 2022, 49(4): 254-262. doi: 10.11896/jsjkx.210500158 LI Y, CHEN S C. Physics-informed neural networks: Recent advances and prospects[J]. Computer Science, 2022, 49(4): 254-262. doi: 10.11896/jsjkx.210500158 [7] QIAN K, TIAN L, BAO J T. Frequency-domain physical constrained neural network for nonlinear system dynamic prediction[J]. Engineering Applications of Artificial Intelligence, 2023, 122: 1-11. [8] RAISSI M, PERDIKARIS P, KARNIADAKIS G E. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations[J]. Journal of Computational physics, 2019, 378: 686-707. doi: 10.1016/j.jcp.2018.10.045 [9] ZHU Y, KOUTSOURELAKIS P S. Physics-constrained deep learning for high-dimensional surrogate modeling and uncertainty quantification without labeled data[J]. Journal of Computational Physics, 2019, 394: 56-81. doi: 10.1016/j.jcp.2019.05.024 [10] REN P, RAO C, LIU Y, et al. PhyCRNet: Physics-informed convolutional-recurrent network for solving spatiotemporal PDEs[J]. Computer Methods in Applied Mechanics and Engineering, 2022, 389: 114399. doi: 10.1016/j.cma.2021.114399 [11] GENEVA N, ZABARAS N. Modeling the dynamics of PDE systems with physics-constrained deep auto-regressive networks[J]. Journal of Computational Physics, 2020, 403: 109056. doi: 10.1016/j.jcp.2019.109056 [12] 唐伟强, 龙文堃, 孙丽娟, 等. 基于聚类方法和神经网络的非线性系统多模型自适应控制[J]. 系统工程与电子技术, 2019, 41(9): 2100-2106. doi: 10.3969/j.issn.1001-506X.2019.09.25 TANG W Q, LONG W K, SUN L J, et al. Multiple model adaptive control of nonlinear systems based on clustering method and neural network[J]. Systems Engineering and Electronics, 2019, 41(9): 2100-2106. doi: 10.3969/j.issn.1001-506X.2019.09.25 [13] 尧少波, 何伟峰, 陈丽华, 等. 融合物理的神经网络方法在流场重建中的应用[J]. 空气动力学学报, 2022, 40(5): 30-38. YAO S B, HE W F, CHEN L H, et al. Physics informed neural network in flowfield reconstruction[J]. Acta Aerodynamica Sinica, 2022, 40(5): 30-38. [14] 陆至彬, 瞿景辉, 刘桦, 等. 基于物理信息神经网络的传热过程物理场代理模型的构建[J]. 化工学报, 2021, 72(3): 1496-1503. doi: 10.11949/0438-1157.20201879 LU Z B, QU J H, LIU H, et al. Surrogate modeling for physical fields of heat transfer processes based on physics-informed neural network[J]. CIESC Journal, 2021, 72(3): 1496-1503. doi: 10.11949/0438-1157.20201879 [15] DEHGHAN M, ABBASZADEH M. Error estimate of finite element/finite difference technique for solution of two-dimensional weakly singular integro-partial differential equation with space and time fractional derivatives[J]. Journal of Computational and Applied Mathematics, 2019, 356: 314-328. doi: 10.1016/j.cam.2018.12.028 [16] LEHRENFELD, OLSGANSKII M. An Eulerian finite element method for PDEs in time-dependent domains[J]. ESAIM: Mathematical Modelling and Numerical Analysis, 2019, 53(2): 585-614. doi: 10.1051/m2an/2018068 [17] 周延九, 崔宝同. 一类半线性抛物型偏微分方程描述的分布参数系统的边界控制[J]. 控制与决策, 2019, 34(12): 2594-2602. ZHOU Y J, CUI B T. Boundary control of the distributed parameter systems described by a class of semi-linear parabolic partial differential equations[J]. Control and Decision, 2019, 34(12): 2594-2602. [18] YANG Y, ZHONG Z, SHEN T, et al. Convolutional neural networks with alternately updated clique[C]//Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 2413-2422. [19] ZHU Y, NEWSAM S. Densenet for dense flow[C]//Proc of IEEE International Conference on Image Processing (ICIP). Beijing: IEEE, 2017: 790-794. [20] LI J, JIN K, ZHOU D, et al. Attention mechanism-based CNN for facial expression recognition[J]. Neurocomputing, 2020, 411: 340-350. doi: 10.1016/j.neucom.2020.06.014 -
点击查看大图
图(6) / 表(2)
计量
- 文章访问数: 2086
- HTML全文浏览量: 681
- PDF下载量: 9
- 被引次数: 0
