本算法采用跟文献[15]中相同的小波神经网络结构。为便于论述本文算法，本节将简单描述该神经网络的特性。关于其更为详细内容，可以参见文献[15]。

图  1  小波神经网络结构

本算法针对三层结构的小波神经网络，其以小波父函数（尺度函数）$\phi (x)$作为激励函数，结构如图1所示，其中${\{{c_k}\}_{k \in \mathbb{Z}}}$表示输出层权值，${{\text{2}}^j}$表示输入层权值，${\{ k\} _{k \in \mathbb{Z}}}$表示阈值，这里$ j \in \mathbb{Z} $（见文献[15]）。神经网络解析表达可以写为：

将单维尺度函数替换成多维尺度函数，式(1)所示单维小波网络可以拓展为多维小波网络^[15-16]。如果令$\{ {c_{\boldsymbol k}}\} = {\{ {c_{{k_1}, \cdots ,{k_d}}}\} _{{k_1}, \cdots ,{k_d} \in \mathbb{Z}}}$，$\boldsymbol M = [{M_1}, \cdots ,{M_d}]$，$\boldsymbol N = [{N_1}, \cdots ,{N_d}]$， $\boldsymbol k = [{k_1}, \cdots ,{k_d}]$，$\boldsymbol x = [{x_1}, \cdots ,{x_d}]$，$\boldsymbol j = [{j_1}, \cdots , {j_d}]$, ${2^{\boldsymbol j}} = [{2^{{j_1}}}, \cdots ,{2^{{j_d}}}]$，那么多维小波网络可以表述为：

式中，${2^{\boldsymbol j}} \circ \boldsymbol x{\text{ = [}}{2^{{j_{\text{1}}}}}{x_{\text{1}}}, \cdots ,{2^{{j_d}}}{x_d}]$表示向量${2^{\boldsymbol j}}$和向量$\boldsymbol x$之间的点积；${2^{{j_d}}}$表示神经网络在${x_d}$方向上的输入层权值。此外$\phi ({2^{\boldsymbol j}} \circ \boldsymbol x - \boldsymbol k){\text{ = }}\phi ({2^{{j_{\text{1}}}}}{x_{\text{1}}} - {k_{\text{1}}}, \cdots ,{2^{{j_d}}}{x_d} - {k_d})= $$\phi ({2^{{j_1}}}{x_1} - {k_1}) \times \cdots \times \phi ({2^{{j_d}}}{x_d} - {k_d}) $表示由张量积生成的多维尺度函数^[15-16]。

为简便起见，首先讨论一维（单输入）情况下的算法，然后再扩展到高维。由小波采样理论可知，插值尺度函数$ {\{ S_{{\boldsymbol{j}},{\boldsymbol{k}}}^\phi ({{x}})\} _{{\boldsymbol{k}} \in \mathbb{Z}}} $和单位正交尺度函数$ \{ {\theta _{{\boldsymbol{j}},{\boldsymbol{k}}}}({{x}})\} $之间存在一一映射，即：

式中，${\{ {\lambda _k}\} _{k \in \mathbb{Z}}} \in {l^2}(\mathbb{Z})$；$ {\theta _{j,k}}(x) = \theta ({2^j}x - k) $。

设${f_s}(x) \in {V_j}$为建模对象函数，${V_j}$表示$ {\{ {\phi _{j,k}}(x)\} _{k \in \mathbb{Z}}} $张成的尺度函数空间。令${\boldsymbol{Q}}{\text{ = [}}{\lambda _{k - n}}{{\text{]}}_{k \times n}} $表示在第$k$行、第$n$列、以${\lambda _{k - n}}$为元素的矩阵，那么基于式(3)，构建准则函数：

式中，${{\boldsymbol{F}}_s}$，${{\boldsymbol{F}}_{ne}}$分别表示以${\{ {f_s}(k \cdot T)\} _{k \in \mathbb{Z}}}$，${\{ {f_{ne}}(k \cdot T)\} _{k \in \mathbb{Z}}}$为元素的向量，而矩阵${\boldsymbol{\varLambda }}$表示为：

显然式(3)表明序列${\{ {\lambda _k}\} _{k \in \mathbb{Z}}}$可以构成Riesz基$ {\{ S_{j,k}^\phi (x)\} _{k \in \mathbb{Z}}} $和$ \{ {\theta _{j,k}}(x)\} $的可逆性。基于此，这里引入以下定理。

定理1　式(5)中${\boldsymbol{\varLambda}} $为正定阵

证明：令：

显然对于任何${{\boldsymbol{F}}_s} \in {l^2}(\mathbb{Z})$，总存在唯一${{\boldsymbol{F}}_{s,\lambda }} \in {l^2}(\mathbb{Z})$。下面说明任何${{\boldsymbol{F}}_{s,\lambda }} \in {l^2}(\mathbb{Z})$对应的${{\boldsymbol{F}}_s} \in {l^2}(\mathbb{Z})$也是唯一。假设$ {f_{s,\lambda }}(n \cdot T) $表示$ {{\boldsymbol{F}}_{s,\lambda }} $中第$n$个元素（这里$T$表示对${f_s}(x)$的采样间隔），那么由式(3)和式(6)可得：

由于$ {\{ \theta (x - n)\} _{n \in \mathbb{Z}}} $和$ {\{ {S^\phi }(x - m)\} _{m \in \mathbb{Z}}} $都构成${V_0}$的Riesz基（这里${V_0}$是${\{ \phi (x - k)\} _{k \in \mathbb{Z}}}$张成的空间），因此对于任何$ {\{ {f_s}(m \cdot T)\} _{m \in \mathbb{Z}}} $$ \in {l^2}(\mathbb{Z}) $，使得式(8)成立的${\{ {f_{s,\lambda }}(n \cdot T)\} _{n \in \mathbb{Z}}} \in $${l^2}(\mathbb{Z})$都是唯一的。这反过来意味着对于任何${\{ {f_{s,\lambda }}(n \cdot T)\} _{n \in \mathbb{Z}}} \in {l^2}(\mathbb{Z})$，只存在唯一的$ {\{ {f_s}(m \cdot T)\} _{m \in \mathbb{Z}}} $ $ \in {l^2}(\mathbb{Z}) $使得式(7)成立，因而从${\{ {f_s}(m \cdot T)\} _{m \in \mathbb{Z}}}$到${\{ {f_{s,\lambda }}(n \cdot T)\} _{n \in \mathbb{Z}}}$的映射，具有可逆性。

因为式(6)是可逆映射，所以矩阵$ {\boldsymbol{Q}} $必为可逆矩阵。式(6)意味着：

由式(6)和(8)可知，当$ {{\boldsymbol{F}}_s} \ne {\bf{0}} $时：

即${\boldsymbol{\varLambda }}$为正定阵。证毕。

显然对于${{\boldsymbol{F}}_s}$，${{\boldsymbol{F}}_{ne}} \in {l^2}(\mathbb{R})$，当${\boldsymbol{\varLambda}} $为正定阵时，式(4)可以有效衡量$ {f_s}(x) $和$ {f_{ne}}(x) $之间的距离平方。为此这里提出用式(4)作为算法的准则函数。

由小波理论及式(3)可知，小波网络输入层的权值${2^j}$决定了逼近空间，而输出层权值$ {\{ {c_{j,k}}\} _{k \in \mathbb{Z}}} $对应函数(被建模对象)在逼近空间中的坐标。基于这种特点及式(4)所示准则函数，这里提出一种新的神经网络训练算法。在该算法中，将依据训练样本分布确定输入权值$ {2^J} $，而基于样本误差确定输出层权值。

考虑一维均匀分布的样本集合${\left\{ {k \cdot T,{f_s}(k \cdot T)} \right\}_{k \in \mathbb{Z}}}$，这里$T$表示输入值之间的间隔，$k \cdot T$表示第$k$个输入值，${f_s}(k \cdot T)$表示第$k$个输出值。同时基于归一技术，这里假设存在$J \in \mathbb{Z}$，使得：

此时由小波采样理论可知，如果${f_s}(x) \in {V_J}$（这里${V_J}$表示$ {\{ {\phi _{J,k}}(x)\} _{k \in \mathbb{Z}}} $张成的函数空间），总有下式成立：

这里${f_s}(x)$表示被建模对象的函数形式，${S^\phi }(x)$表示插值尺度函数。

因为${\{ {S^\phi }({2^J}x - k)\} _{k \in \mathbb{Z}}}$和${\{ \phi ({2^J}x - k)\} _{k \in \mathbb{Z}}}$同时构成Riesz基，因此式(12)意味着存在唯一的系数${\{ c_{J,k}^0\} _{k \in \mathbb{Z}}}$，使得：

式(12)表明如果利用$ \phi (x) $作为激励函数，那么输入层权值为${2^j} = {2^J}$的小波网络$ {f_{ne}}(x) $，具有足够的逼近能力，建立${f_s}(x) \in {V_J}$的数学模型，这里$J$由式(10)确定。为此，本算法的输入层权值${2^j}$将由采样间隔$T$确定，即输入层权值$ {2^j} $满足条件：

式中，$q = J - j$。

当输入层权值${2^j}$确定后，由式(1)可知，在样本位置上的神经网络输出，可以表示为：

式中，$ {\boldsymbol{\varPhi}} = {\left[ {{\phi _{j,m}}(n \cdot T)} \right]_{n,m}} $；$T$表示样本间隔。基于式(14)，神经网络训练可以表述为以下迭代过程：

式中，向量$ {{\boldsymbol{E}}^{(k)}} $和$ {{\boldsymbol{C}}^{(k)}} $分别表示第$k$步的插值误差和输出层权值；矩阵$ {{\boldsymbol{A}}_f} $表示误差反馈系数。事实上，当式(13)成立时，$ {{\boldsymbol{\varPhi}} ^{\rm{T}}}{\boldsymbol{\varLambda \varPhi}} $为可逆矩阵^[17]。因此这里可以得到以下收敛算法。

定理 2　设$ {\lambda _A} $为满足$ |1 - {\lambda _A}| \lt 1 $的常数，那么选取反馈矩阵为${{\boldsymbol{A}}_f} = {\lambda _A}{({{\boldsymbol{\varPhi}} ^{\rm{T}}}{\boldsymbol{\varLambda \varPhi}} )^{ - 1}}{{\boldsymbol{\varPhi}} ^{\rm{T}}}{\boldsymbol{\varLambda}} $时，输出层权值$C$总可以通过式(15)，收敛到：

并且在收敛点$ {C^0} $上，准则函数式(4)减为最小。

证明：将$ {{\boldsymbol{E}}^{(k + 1)}} = {{\boldsymbol{F}}_s} - {\boldsymbol{\varPhi}} {{\boldsymbol{C}}^{(k + 1)}} $代入$ {{\boldsymbol{C}}^{(k + 1)}} = {{\boldsymbol{C}}^{(k)}} + {{\boldsymbol{A}}_f}{{\boldsymbol{E}}^{(k)}} $，可得：

简化可得：

设定${{\boldsymbol{B}}^{(k)}} \in {l^2}(\mathbb{Z})$为另一迭代过程（跟${{\boldsymbol{C}}^{(k)}}$迭代过程的初始值不同），在第$k$步的输出层权值为：

那么由式(18)和式(19)可得：

式中，$|| \cdot |{|_{{l^2}}}$表示${l^2}(\mathbb{Z})$空间的范数。式(20)意味着当$ |1 - {\lambda _A}| \lt 1 $时，有：

这意味着式(18)为压缩映射。因此根据压缩映射定理，式(18)将收敛于唯一的固定点${{\boldsymbol{C}}^o}$。固定点${{\boldsymbol{C}}^o}$满足：

可解得式(16)。

另一方面，由式(4)可知：

将$ {{\boldsymbol{C}}^0}{\text{ = }}{\left( {{{\boldsymbol{\varPhi}} ^{\rm{T}}}{\boldsymbol{\varLambda \varPhi }}} \right)^{ - 1}}{{\boldsymbol{\varPhi }}^{\rm{T}}}{\boldsymbol{\varLambda}} {{\boldsymbol{F}}_s} $代入式(23)，可得：

因为$ {\boldsymbol{\varLambda}} $为正定阵，因此矩阵$ {{\boldsymbol{\varPhi }}^{\rm{T}}}{\boldsymbol{\varLambda \varPhi}} $主对角线上的元素为正，因此式(24)意味着$ {{\boldsymbol{C}}^0} $为准则函数$ {{\boldsymbol{F}}_C}({f_s},{f_{ne}}) $的最小值点。证毕。

定理2意味着无论如何选择输出层权值的初始值，只要按照式(13)确定输入层权值，并依据式(16)确定反馈系数，那么式(15)总可以收敛到固定点$ {{\boldsymbol{C}}^0} $，在该点上插值误差减为最小。这表明本文提出的算法具有全局收敛性。

因为多维尺度函数由单维尺度函数通过张量积生成，所以单维小波神经网络的性质，很容易拓展到多维的情况。设定${{\boldsymbol F}_s} $, ${{\boldsymbol F}_{ne}} $分别表示多维样本以及多维小波网络在样本位置的输出：

由张量积性质可知，式(2)所示多维小波神经网络的输出$ {\boldsymbol F_{ne}} $可以表示成：

式中，$ {{\boldsymbol{\varPhi }}_i} $表示在${x_i}$方向上的矩阵$ {\boldsymbol{\varPhi }}$；$ \otimes $表示矩阵Kronecker积，而：

跟式(3)相似，在多维情况下，有：

式中，$ \theta ({2^{\boldsymbol j}} \circ \boldsymbol x - \boldsymbol k) = \theta ({2^{{j_1}}}{x_1} - {k_1}{\text{)}} \times \cdots \times \theta {\text{(}}{{\text{2}}^{{j_d}}}{x_d} - {k_d}{\text{)}} $；$ {S^\phi }({2^{\boldsymbol j}} \circ \boldsymbol x) = $ $ {S^\phi }({2^{{j_1}}}{x_1}) \times \cdots {S^\phi }({2^{{j_d}}}{x_d}) $。由${L^2}({\mathbb{R}^d})$空间内积算子性质可得式(29)中$ {\lambda _{\boldsymbol k}} = {\lambda _{{k_1}}} \times \cdots \times {\lambda _{{k_d}}} $，这里$ {\{ {\lambda _{{k_i}}}\} _{{k_i} \in \mathbb{Z}}} $表示在${x_i}$方向上的系数${\{ {\lambda _k}\} _{k \in \mathbb{Z}}}$，即当${k_i} = k$时，$ {\lambda _{{k_i}}} = {\lambda _k} $。

令$ {{\boldsymbol{Q}}_i} = {{\text{[}}{\lambda _{{n_i} - {k_i}}}{\text{]}}_{{n_i},{k_i}}} $表示在$({k_i},{n_i})$位置上的矩阵，这里${k_i},{n_i} \in \mathbb{Z}$。显然$ {{\boldsymbol{Q}}_i} $对应于在${x_i}$方向上的$Q$矩阵。基于$ {Q_i} $构建矩阵：

那么由矩阵Kronecker积的性质可得：

令${2^{\boldsymbol j}} = [{2^{{j_1}}}, \cdots ,{2^{{j_i}}}, \cdots ,{2^{{j_d}}}]$表示多维情况下的输入层权值，其中${2^{{j_i}}}$表示在${x_i}$方向上输入层权值的分量。由定理1可知，当${2^{{j_i}}}$满足式(13)时，即：

式(31)中$ {{\boldsymbol{\varLambda }} _i} $为正定阵。如果对应于每个${x_i}$方向上的$ {{\boldsymbol{\varLambda }} _i} $都为正定阵，那么根据Kronecker积的性质，意味着$ {{\boldsymbol{\varLambda }} }$也为正定阵。

与式(4)相似，这里设定多维准则函数为：

与式(16)相类似，在多维情况下，当输入层权值确定后，输出层权值训练过程可以表示为：

式中，$ {\boldsymbol E^{(k)}} $, $ {\boldsymbol C^{(k)}} $ 和 $ {\boldsymbol A_f} $ 分别表示神经网络在第$k$步的插值误差、输出层权值和反馈系数矩阵。

对比式(15)和(35)，以及式(4)和式(34)，可以发现，单维神经网络和多维神经网络的迭代过程是相似的。这意味只要${{{{\boldsymbol{\varPhi }}}}^{\rm{T}}}{{{\boldsymbol{\varLambda }}}} {{{\boldsymbol{\varPhi }}}}$具有可逆性，那么在定理2的证明中，只要简单地将矩阵${\boldsymbol{\varPhi }}$、${{\boldsymbol{F}}_s}$、${{\boldsymbol{A}}_f}$替换成${{\boldsymbol{\varPhi }}}$、${\boldsymbol F_s}$、${\boldsymbol A_f}$，那么单维迭代收敛算法同样适用于多维情况。

事实上，根据张量积的性质，可以获得以下推论。

推论1　矩阵${{ {{\boldsymbol{\varPhi }}}}^T}{{{\boldsymbol{\varLambda }} }}{{{\boldsymbol{\varPhi }}}}$可逆的充要条件是输入层权值满足式(33)。

证明：由式(27)和式(30)，及矩阵性质可得：

将式(31)和式(36)代入${{{{\boldsymbol{\varPhi }}}}^{\rm{T}}}{{{\boldsymbol{\varLambda }}}}{ {{\boldsymbol{\varPhi }}}}$，可得：

式(37)和矩阵Kronecker积的性质意味着$ {{{{\boldsymbol{\varPhi }}}}^{\rm{T}}}{{{\boldsymbol{\varLambda }} }}{{{\boldsymbol{\varPhi }}}}$可逆，当且仅当$ {\boldsymbol{\varPhi }}_i^{\rm{T}}{{\boldsymbol{\varLambda }} _i}{{\boldsymbol{\varPhi }}_i} $可逆。由文献[16]可知，当${{\boldsymbol{\varLambda }} _i}$为正定阵时，$ {\boldsymbol{\varPhi }}_i^{\rm{T}}{{\boldsymbol{\varLambda }} _i}{{\boldsymbol{\varPhi }}_i} $可逆的充要条件为式(33)成立，因此推论1成立。证毕。

推论1意味着如果按式(33)选择输入层权值，那么${{\boldsymbol \Phi} ^{\rm{T}}}{{{\boldsymbol{\varLambda }} }}{{{\boldsymbol{\varPhi }}}}$为可逆矩阵。跟单维训练算法相似，如果构建矩阵${\boldsymbol A_f} = {\lambda _A}{({{{{\boldsymbol{\varPhi }}}}^{\rm{T}}}{{{\boldsymbol{\varLambda }} }}{\boldsymbol \Phi} )^{ - 1}}{{{{\boldsymbol{\varPhi }}}}^{\rm{T}}}{{{\boldsymbol{\varLambda }} }} $那么式(35)收敛，且在收敛值${\boldsymbol C^0} = {({{{\boldsymbol{\varPhi }}}^{\rm{T}}}{{\boldsymbol{\varLambda }} }{{\boldsymbol{\varPhi }}})^{ - 1}}{{{\boldsymbol{\varPhi }}}^{\rm{T}}}{{\boldsymbol{\varLambda }} }{\boldsymbol F_s} $上，使得准则函数式(34)减为最小。

根据小波理论，当$ \boldsymbol j \to + \infty $时，式(2)中的神经网络$ {f_{ne}}(\boldsymbol x) $可以逼近${L^2}({\mathbb{R}^d})$空间中的任何元素^[15]。由于$ {\{ \phi ({2^{\boldsymbol j}} \circ \boldsymbol x - \boldsymbol k)\} _{k \in \mathbb{Z}}} $可以构成${V_{\boldsymbol j}}$空间中的Riesz基，因此这里总假设对象函数${f_s}(\boldsymbol x) \in {V_{\boldsymbol j}}$，这里${V_{\boldsymbol j}}$表示由$ {\{ \phi ({2^{\boldsymbol j}} \circ \boldsymbol x - \boldsymbol k)\} _{\boldsymbol k \in {\mathbb{Z}^d}}} $张成的尺度函数空间。

由于${V_{\boldsymbol j}} \subset {L^2}({\mathbb{R}^d})$，因此这里采用${L^2}$范数来表示逼近误差：

式中，$ \displaystyle\int_{ - \infty }^{ + \infty } {|f(\boldsymbol x){|^2}{\rm{d}}\boldsymbol x} = \displaystyle\int_{ - \infty }^{ + \infty } \cdots \displaystyle\int_{ - \infty }^{ + \infty } {|f({x_1}, \cdots ,{x_d}){|^2}} {\rm{d}}{x_1} \cdots {\rm{d}}{x_d} $；$ {\left\| \cdot \right\|_{{L^2}}} $表示${L^2}$范数范数。基于$ e({{\boldsymbol{f}}_s},{{\boldsymbol{f}}_{ne}}) $及准则式(34)，有以下定理。

定理3　当式(33)成立时，逼近误差式(38)可以表示为：

证明：当式(33)成立时，由插值基的性质可得：

将式(29)代入式(40)可得：

因为$ {\{ \theta ({2^{\boldsymbol J}} \circ \boldsymbol x - \boldsymbol n)\} _{\boldsymbol n \in {\mathbb{Z}^d}}} $为正交基，将式(41)代入式(38)可得：

另一方面，将式(34)的矩阵展开，可得：

由式(42)和式(43)可得式(39)。证毕。

所谓的过拟合，就是准则函数减小，而逼近误差增大的情况。然而式(39)意味着，如果采用本文设计的准则函数，那么准则函数的减小，就等于逼近误差的减小。因此本文提出的准则函数可以有效抑制过拟合的发生，继而保证本文算法的泛化能力。

正则化是一种有效的抗过拟合技术，且被广泛应用于系统建模。为验证本文算法的有效性，本文算法将应用于建立多维模型(四维模型)，并跟正则化技术进行比较。

设定仿真中的建模对象函数为：

这里$ {\{ {a_{{k_1},{k_2},{k_3},{k_4}}}\} _{{k_1} \in [1, \cdots ,4], \cdots ,{k_4} \in [1, \cdots ,4]}} $为在区间$ [0.5, 1.5] $上均匀分布的随机数。仿真在区域$[ - 20,20] \times [ - 20,20] \times [ - 20,20] \times [ - 20,20] $上使用间隔为$1/8$的样本训练神经网络。用间隔为$1/16$的样本验证模型精度和泛化能力。

在工程实践中，噪声常常服从正态和均匀分布。为检验算法的抗噪声能力，这里在训练样本中，分别加入以下4种工程实践中常见的噪声。

1）均值为0，方差为${\sigma ^2} = {10^{ - 3}} $且满足正态分布的平稳随机噪声。

2）均值为0，方差为${\sigma ^2} = 3.0 \times {10^{ - 4}} $且满足均匀分布的平稳随机噪声。

3）均值为0，方差为${\sigma ^2}(r) = {10^{ - 5}} + {10^{ - 5}}{r^3} $且满足正态分布的非平稳随机噪声。

4）均值为0，方差为${\sigma ^2}(r) = 0.5 \times {10^{ - 4}} + {10^{ - 4}}{r^3} $且满足均匀分布的非平稳随机噪声。

其中，$r = \sqrt {x_1^2 + x_2^2 + x_3^2 + x_4^2} $表示原本点到原点的距离，$ - 20 \leqslant {x_i} \leqslant 20 (i = 1, \cdots ,4 )$，$0 \leqslant r \leqslant 40 $。令${n_s}({x_1},{x_2},{x_3},{x_4})$表示在坐标$({x_1},{x_2},{x_3},{x_4})$处的噪声幅值。对于某次随机噪声实现，将具有相同距离$r$的${n_s}({x_1},{x_2},{x_3},{x_4})$分为一组，并求取相应的绝对平均值$|\widetilde {{n_s}(r)}|$。以$r$为横坐标，噪声平均绝对值为纵坐标，绘制$|\widetilde {{n_s}(r)}|$，分布如图2所示。

图中，第1和第2种噪声，属于较为常见的平稳随机过程，因此可以较好地检验算法对于普通噪声的抑制能力。第3和第4种噪声的方差随位置的变化而变化，即在靠近原点($r = 0$)的地方能量较小，而在远离原点时能量较大。因此第3和第4种噪声属于非平稳随机过程。这类噪声可以有效地检验本算法对噪声变化的鲁棒性。

图  2  随机噪声实现的$|\widetilde {{n_s}(r)}|$

由经典小波采样理论可知，Daubechies多分辨分析的尺度函数空间存在插值基。这满足本文算法激励函数的选取要求。为此这里选用四阶Daubechies尺度函数$\phi (x)$作为激活函数。

小波网络准则函数，由式(3)中的参数$ {\{ {\lambda _k}\} _{k \in \mathbb{Z}}} $决定。由经典小波采样理论可知，对于Daubechies小波，有：

式中，$ \hat \phi (w) $表示$ \phi (x) $的傅里叶变换。另一方面，四阶Daubechies尺度函数$ \phi (x) $的傅里叶变换满足：

将(46)代入(45)可得：

且${\lambda _k} = 0$($k \ne - 1, \cdots ,6$)。这样基于式(47)可以构建矩阵${{\boldsymbol{Q}}_i} = {\text{[}}{\lambda _{k - n}}{\text{]}}$和${{\boldsymbol{\varLambda }} _i} = {\boldsymbol{Q}}_i^{\rm{T}}{{\boldsymbol{Q}}_i}$($i = 1, \cdots ,4$)，进而应用式(31)和(34)构建对应的准则函数：

在本仿真中，将采用文献[12]中的经典正则化技术。正则化神经网络具有与RBF网络相似的结构，其准则函数可表示为：

式中，$\mu \left\| {\tilde D{f_{ne}}(x,y)} \right\|$表示正则化项；$\tilde D$为微分类算子；$\mu $为正则化参数，其决定了神经网络输出平滑度和样本误差之间的折中程度。

微分算子$\tilde D$决定了正则化神经网络激励函数的选取。注意到式(44)中，对象函数是高斯函数的线性组合，为此仿真中通过选取微分算子$\tilde D$，使得正则化神经网络的激励函数为高斯函数。此外通过尝试，发现对于图2的4种噪声，当$\mu = 0.02$时正则化神经网络可以获得最好的逼近结果，因此仿真中，本文算法将跟$\mu = 0.02$时的正则化神经网络的学习结果进行比较。

令${e_{ap}}({x_1},{x_2},{x_3},{x_4}) = {f_s}({x_1},{x_2},{x_3},{x_4}) - {f_{ne}}({x_1},{x_2}, {x_3}, {x_4}) $表示神经网络${f_{ne}}({x_1}, \cdots ,{x_4})$和建模对象${f_s}({x_1}, \cdots , {x_4})$之间的误差。仿真重复500次试验，每次试验随机产生参数$ {\{ {a_{{k_1},{k_2},{k_3},{k_4}}}\} _{{k_1} \in [1, \cdots ,4], \cdots ,{k_4} \in [1, \cdots ,4]}} $和噪声${n_s}({x_1},{x_2},{x_3},{x_4})$。将两种神经网络500次试验误差取绝对值，其相应的统计值如表1所示。

从表1可以看出，在平稳正态和均匀噪声条件下，小波网络的最大绝对误差和平均绝对误差分别小于正则化网络的最大绝对误差和平均绝对误差。另一方面，在非平稳正态和均匀噪声条件下，正则化网络的最大绝对误差和平均绝对误差也大于小波网络的平均绝对误差和平均绝对误差。

上述情况说明无论是在平稳还是非平稳噪声条件下，小波神经网络的抗噪声能力都要远好于正则化技术。从表1的数据还可以看出，相比于正则化技术，小波网络在克服非平稳噪声上拥有更大的优势。

满足正态分布和均匀分布的两种非平稳随机噪声，其统计特性（方差）随距离$r$的变化而变化，为阐明上述现象，这里将在相同距离$r$上的误差${e_{ap}}({x_1},{x_2},{x_3},{x_4})$分成一组，并求取绝对平均值$|\widetilde {{e_{ap}}(r)}|$。以$r$为横坐标、$|\widetilde {{e_{ap}}(r)}|$为纵坐标绘制误差分布图，如图3所示。将横坐标分成4个区间，即$[0,10)$（A区间）、$[10,20)$（B区间）、$[20,30)$（C区间）、$[30,40]$（D区间）。然后统计各个区间上逼近误差的平均值，如表2所示。

图  3  神经网络逼近误差$|\widetilde {{e_{ap}}(r)}|$

由图2c和图2d可知，随着距离$r$逐渐增大，无论是小波网络还是正则化网络的逼近误差都随之变大。然而由表2可知，对于非平稳正态噪声，在A区间，正则化网络误差是小波网络误差的2.20倍，但是在D区间，正则化网络误差扩大为小波网络误差的2.42倍。类似地，对于非平稳均匀噪声，在A区间，正则化网络为小波网络的2.27倍，在D区间，逐渐扩大为2.33倍。这主要是因为正则化技术抑制噪声的能力，主要取决于式(49)中参数$ \mu $的选取。$ \mu $较大时，虽然可以在$D$区间较好地抑制强噪声，但容易导致噪声较小的$A$区间丢失信号的细节。反之较小的$ \mu $参数虽然有助于保持$A$区间的信号细节，却难以抑制$D$区间的强噪声。因此当噪声能量变化时，很难选取合理的参数$ \mu $。这意味着在噪声统计特性发生变化时，小波网络可以获得更高的逼近精度，因此小波网络相比正则化技术对噪声更具鲁棒性。

应用插值基和正交基之间的映射关系，本文构建了新型准则函数。同时利用该准则函数，证明了当输入层权值满足条件时，总可以获得反馈矩阵，使得训练迭代具有全局收敛性，进而提出了相应的训练算法，并将该算法推广至多维的情况。此外，本文还证明了该算法能够使准则函数的减小等价于逼近误差的减小，因而可以有效避免过拟合。最后仿真结果验证了本文算法的有效性。