Nonlinear System Prediction Method of Physical Neural Networks Based on Frequency Domain Control Constraints

以偏微分方程为代表的非线性演化方程是描述物理、化学、天文等现代科学领域非线性现象的数学模型，定义如下：

式中，$ u\left(x,t\right) $为包含空间$ x $和时间$ t $的状态变量；$ \mathcal{B} $算子描述了初值或边界条件；$ \mathcal{F}(\cdot ) $为包含n阶导数在内的非线性控制方程，由此可描述出具有随机初始状态的任意瞬态PDE系统。

PINN在物理约束学习条件下，使用神经网络架构来逼近时空演化的非线性动力系统物理模型，设神经网络参数化表达为$ {u}_{\theta } $，使得：

整个模型输入数据为状态$ \mathcal{X} $，则PINN可表述为：

式中，$ f(\cdot ) $为训练的深度学习模型；$ \theta $为神经网络可学习参数。当前n时刻系统输入状态$ {\mathcal{X}}^{n} $由$ k+1 $个先前状态组成，用于预测$ n+1 $时刻系统状态$ {u}^{n+1} $，同时该状态也作为$ {\mathcal{X}}^{n+1} $的输入状态之一。因此，对于特定时间步长的预测模型，可得：

由上式可知，在任意数量的时间步长情况下也仅使用$ n=0 $时刻随机初始状态数据即可完成训练，无需传统深度学习所需的大量监督数据。

物理约束过程可视为单个时间步长条件下的系统演化优化问题，通过将神经网络与控制方程耦合，最小化模型预测与物理控制之间的损失函数：

式中，$ {F}_{\Delta T} $为将模型预测状态作为初始边界条件的物理控制方程，由于时空散点信息都被包含在$ u $中，非线性系统状态数据流时空特征与物理控制方程预测效率均影响模型效率。

为增强神经网络信息的表达能力，提高演化控制速度，本文在网络模型结构与训练学习机制两方面进行了改进，采用CliqueNet网络^[18]实现多尺度特征交替更新，同时改变传统时域FDM方法，在频域建立基于FSM的物理控制方程约束，并与CliqueNet网络耦合，在模拟物理规则约束下进行无标签数据训练，实现快速物理控制方程预测，提高计算效率，避免了严格边界条件等计算限制。频域物理控制约束神经网络总体架构如图1所示。

基于频域控制约束的非线性系统预测模型主要由输入状态$ \mathcal{X} $、CliqueNet网络、频域控制约束组成。训练阶段，任意时刻n的非线性系统输入状态$ \mathcal{X} $经CliqueNet网络交替更新编码$ {f}_{{\rm{encoder}}} $、融合解码$ {f}_{{\rm{decoder}}} $处理后，实现下一时刻的状态预测，再结合频域控制约束模块，根据控制方程的残差项来构造损失函数。预测阶段，根据初始系统状态$ \mathcal{X} $与CliqueNet网络，即可实现特定时间步长演化。

对于任一随机初始状态，时间步长演化输入状态如下：

模型预测为：

频域约束控制利用FSM对非线性方程进行快速傅里叶变换，将系统转换为只含时间微分的方程组，然后通过基于时间步长的数值格式实现未来时刻的系统状态预测。设时间步长为$ {T}_{\Delta t} $，系统下一时刻状态$ {\tilde {u}}^{n+1} $演化过程如下：

其中，$ {\mathcal{U}}^{n+1} $取决于所使用的时间积分方法，如使用显式前向欧拉法，$ {\mathcal{U}}^{n+1} $只与前一时刻系统状态相关，$ {\mathcal{U}}^{n+1}=\left\{{u}^{n}\right\} $；如利用隐式后向欧拉法，$ {\mathcal{U}}^{n+1} $则与当前时刻状态和前一时刻状态均相关，即$ {\mathcal{U}}^{n+1}=\left\{{{u}^{n+1}，u}^{n}\right\} $。PINN学习的是数据隐含的物理控制规则，对于M批次的训练场景，经过N个时间步长演化后，模型$ {L}_{2} $损失定义如下：

为最大限度获取时空特征信息，本文将CliqueNet网络作为时序数据特征提取主干网络。CliqueNet是一种比DenseNet^[19]更稠密、卷积单元利用率更高的网络结构，主要由若干Block组成，其内部结构如图2所示。任一Block中任意两层间均双向连接，特征信息流跨域连接、交替更新实现反馈最大化，并通过注意力机制^[20]反复精炼。

本文使用包含3个Block的CliqueNet，特征信息通过Stage-I与Stage-II交替更新，每一层输出为：

式(10)可见，第$ k $阶段第$ i $层特征由第$ i $层后面的$ m(m > i) $层的上阶段输出，和第$ i $层前面的$ l $层当前阶段输出共同计算得到，相邻两层网络权重$ {W}_{ij} $是更新后复用的，每一层都接收来自最近更新的反馈信息，自上而下的精炼过程实现空间注意力机制。Stage-II通过注意力提炼后包含更多高级特征信息，并与当前Block的输入一起作为当前Block输出特征，最终通过融合解码实现多尺度特征表达。

为克服传统时域物理约束控制带来的计算效率低、边界条件严格等问题，本文在频域建立基于FSM的物理控制方程约束，并与前述深度网络耦合，在模拟物理规则约束下进行无标签数据学习。令$ u\left(x\right) $为在$ {x}_{i}\in \{h,2h,\cdots ,2{\text π}-h,2{\text π}\} $上的离散采样函数，$ h=2{\text π}/N $，其DFT$ {u}_{j} $与IDFT$ {u}_{j} $分别表示为：

已知对于含偏微分的函数$ \dfrac{{\partial }^{v}{u}_{j}}{\partial {x}^{v}} $，其傅里叶变换形式为：

由此，再结合显式−隐式混合方法（Implicit-Explicit Method, IEM）实现长时非线性系统状态演化控制。由式(1)可得：

式中，$ \tau $为时间步长。最终将$ {\hat{u}}_{k}^{n+1} $进行IDFT计算，实现PINN在频域下高效准确的物理控制约束。

在基于频域控制约束的物理神经网络算法中，时间变量t不是显式输入，因此该模型没有限制预测范围或初始条件。实际在训练过程中，模型可探索系统规律和学习动态，如从初始状态开始后数个时间步长，逐步增加到数百个时间步长，以此发现可能缺失的系统动态，从而缓解长时演化预测的累计误差问题。模型整体训练算法步骤如下。

算法1　基于频域控制约束的物理神经网络训练算法

输入：网络模型$ f(\cdot ,\theta ) $；训练次数epochs；学习率$ \eta $；训练步数p；初始状态$ {u}_{0} $

输出：训练后的网络模型$ f(\cdot ,\theta ) $

FOR epoch=1 to epochs DO

　　T = 180 × min(epoch/75, 1.0)+ 20；

　　⊳限制步数

　　$ {\mathcal{X}}^{1} $ $ \leftarrow $ {$ {u}_{0},{u}_{0},{u}_{0},{u}_{0},{u}_{0} $}; ⊳模型输入

　　FOR i = 1 to T DO

　　　　$ {u}^{i}\leftarrow f({\mathcal{X}}^{i},\mathrm{\theta }) $; ⊳正向预测

　　　　$ {\widehat{u}}^{i} $=$ {\rm{FSM}}({\mathcal{U}}^{i},{T}_{\Delta t}) $；⊳频域约束控制

　　　　$ {\mathcal{L}}^{i}={\mathcal{L}}^{i-1} $ + MSE($ {u}^{i},{\widehat{u}}^{i} $); ⊳ 网络训练损失

　　　　IF Mod(i, p)==0 THEN

　　　　　$ \theta \leftarrow \theta -\eta \partial {\mathcal{L}}^{i}/\partial \theta $; ⊳更新网络参数

　　　　　$ {\mathcal{L}}^{i}=0 $

　　　　$ {\mathcal{X}}^{i+1} $ $ \leftarrow $ {$ {u}_{0},{\mathcal{X}}^{i}\left[0\right],{\mathcal{X}}^{i}\left[1\right],\dots ,{\mathcal{X}}^{i}[k-1] $};

　　　　　　　　　　　　⊳输入更新

该算法利用多时间步数的反向传播，物理规则约束方法为基于FSM的任意时间步长预测，训练中还限制了预测时间步数以减少训练时间及避免梯度消失问题。模型预测算法如下。

算法2　基于频域控制约束的物理神经网络预测算法

输入：训练后的网络模型$ f(\cdot ,\theta ) $; 测试系统初始状态$ {u}_{0} $；演化时间步数$ {T}_{{\rm{max}}} $；

输出：测试系统预测状态$ {u}_{{\rm{out}}} = [{u}_{0},{u}^{1},{u}^{2},\cdots , {u}^{{T}_{{\rm{max}}}}] $

$ {\mathcal{X}}^{1}\leftarrow $ {$ {u}_{0},{u}_{0},{u}_{0},{u}_{0},{u}_{0} $}; ⊳模型输入

FOR n = 1 to $ {T}_{{\rm{max}}} $DO

　　$ {u}^{n}\leftarrow f({\mathcal{X}}^{n},\mathrm{\theta }) $；⊳模型预测

　　$ {u}_{\mathrm{o}\mathrm{u}\mathrm{t}}\left[n\right]={u}^{n} $

　　$ {\mathcal{X}}^{n+1} $ $ \leftarrow ${$ {u}_{0},{\mathcal{X}}^{n}\left[0\right],{\mathcal{X}}^{n}\left[1\right],\cdots ,{\mathcal{X}}^{n}[k-1] $};

　　　　　　　　　　　　⊳输入更新

本文选取Burgers方程进行湍流预测实验，通过引入物理约束方程控制方法，在模型训练效率、长时演化预测效果以及准确率方面进行对比分析。 Burgers方程是模拟激波传播和反射的非线性偏微分方程，可应用于所有数学领域，尤其是同时含有偏分项与非线性项，被视为描述如流体力学、气体动力学、交通流动力学等众多物理模型的代表性方程。

一维Burgers系统描述如下：

本文设$ v=0.002\;5，L=1，T=2\;{\rm{s}} $，令时间步长$ \tau =0.005\;\mathrm{s} $，采用Backward Euler方法，其频域物理控制方程约束为：

令 $ {k}_{1}=jk,{k}_{2}=(jk{)}^{2} $， 系统状态$ {\hat{u}}_{k}^{n+1} $更新为：

最终通过IDFT实现时域状态物理约束：

本次实验环境为Python 3.8，4路NVIDIA GeForce RTX 3090 24 GB显卡。文中所有对比模型均在同一软硬件环境下运行。

PINN模型与物理控制规则约束耦合，并不依赖传统神经网络基于监督数据的训练方式。因此，基于频域物理约束控制的PINN仅利用初始状态，通过无监督数据、短时训练方式进行物理规则学习，基于频域FSM方法构建物理约束，实现未知系统状态长时演化预测。

针对Burgers系统，随机设置2560组初始系统状态用于训练，同时选取另外200组不同初始系统状态作为测试数据，其中50组可作为验证数据，并利用FEM方法得到实际演化数据。其中Burgers系统训练与测试数据部分初始状态如图3所示。

本文所提模型主要参数设置如表1所示。

为充分验证本文提出模型的有效性，在网络架构与物理规则约束两方面进行实验对比研究，表2为不同模型在Burgers系统上的验证MSE对比，基准PINN模型为文献[11]提出的主流Auto-regressive Network网络+时域FDM的PINN预测模型，因此对比模型为该基准模型及其变体，分别进行时域FDM与频域FSM物理控制约束。

表中MSE为均方误差，$ \mathrm{e}\mathrm{p} $为迭代周期。可以看出，随着训练次数的增加，所有模型各时刻系统验证MSE均随之下降，同时随演化时间的增加累计误差也逐渐增大。文献[11]提出的模型在迭代周期10次训练时，在演化时间t为0.25、0.5、1、1.5、2 s时系统验证预测MSE分别为1.82、4.04、4.80、4.77、4.76，而同时刻CliqueNet+FDM系统由于多尺度反馈注意力机制，验证预测MSE下降为0.23、0.36、0.56、0.71、0.76，实现更快的规则学习。在利用频域FSM控制约束物理方程模型后，学习效率进一步提升，CliqueNet+FSM系统验证预测MSE能够达到0.11、0.09、0.10、0.05、0.08。

随着训练进行，在t≤0.25 s和t≤0.5 s短时预测情况下，经前期迭代周期20次训练后，本文模型系统验证预测MSE，较基准模型预测MSE，分别从0.42、1.72降为0.06、0.08，MSE分别下降了 86%、95%。在t≤2 s长时预测情况下，经充分训练后（epochs=200）系统验证预测MSE从0.05降为0.01，降低了80%。

长时三维演化预测效果展示如图4所示。图中采样周期$ {T}=0.05\;{\rm{s}} $，可见频域控制约束PINN模型能够较好预测Burgers系统长时演化，特别是在前1 s演化阶段系统预测状态几乎与实际状态完全一致，后1 s偶有微小波动，但整体与实际演化路径仍然保持一致。

图5为更多测试系统状态预测的二维展示。以上测试系统初始状态均为随机，且训练过程从未出现过。可见基于频域物理控制的PINN面向未知初始系统状态，能够较好地预测长时演化路径。基于FSM的频域约束控制方法能够避免大量的时域数值计算，能够有效加快网络训练速度，图6为测试系统预测MSE对比，可见本文模型在具备高效计算的同时，在长时演化预测准确率方面，较基准PINN模型也具有优势，能更好地适应系统演化预测。

本文提出了一种基于频域控制方程约束的物理神经网络湍流预测研究。利用卷积神经网络搭建面向时序数据高维特征提取的CliqueNet模型，实现多尺度编码特征信息交替更新；然后将频域FSM与基于CliqueNet结构的非线性预测网络耦合，在模拟物理规则约束下进行无标签数据训练，Burgers系统预测结果表明本文方法较现有主流PINN方法能更快学习物理规则约束，在非线性演化系统预测任务中具备更高的准确率，在流体力学、气体动力等工程领域具有实用价值。