Detail Enhancement-Based Fusion Network for Multi-Energy Digital Radiography Images

巢式连接架构最初被用于医学图像分割任务^[27]。在深度学习网络中，跨越连接可以保留更多信息，然而当跨越连接的跨度较长时，语义鸿沟会造成不理想的结果。因此，巢式连接采用上采样和短跨越的连接方式代替长跨越连接，如图1所示。

巢式结构利用密集的跨越连接可以限制特征图之间语义鸿沟的负面影响，同时让更多的信息被保留，从而获得更好的融合结果。

Inception模块通过多个卷积核提取图像不同尺度的信息进行融合，得到图像更好的表征。如图2所示，Inception模块具有4条分支，其中每个卷积块均由卷积层、激活函数和批量归一化层组成。每条支路都使用1×1卷积核来降低通道数，减少参数量，前3条支路具有3种不同大小的感受野，即1×1、3×3和5×5，其中第3条支路用两个3×3卷积核代替5×5卷积核，在达到相同作用的同时进一步减少参数量。对于第4条支路，虽然与第2条支路的感受野相同，获得相同维数的输出，但输出的内容却不同，增加了特征融合的多样性。最终，将4条支路上提取的不同尺度特征累加作为Inception模块的输出。Inception模块使得网络的深度和宽度也都得到了增加，提升了网络的泛化能力。

本文提出的融合网络采用巢式连接架构，网络结构框架如图3所示，包含3个部分：编码器、融合策略以及解码器。为了在提取特征时能够捕获更大的感受野，使提取特征的语义更加丰富，编码器和解码器中的卷积块均采用Inception模块作为卷积块，实现多尺度特征提取和重构。

编码器是由特征提取的主支路和边缘特征提取的辅支路组成的双支路网络，如图4所示。编码器中右侧的主支路先用一个1×1卷积层增加输入图像的特征通道数，然后用4个卷积块提取图像的全局特征，每个卷积块的输出通过最大值池化进行下采样，以获取网络传输方向上的多尺度特征。为增强特征复用能力，编码器在主支路上添加密集的旁路连接。左侧的辅支路用于提取边缘和细节特征，在该支路中，本文在5×5的LOG边缘检测算子的基础上，通过逐元素乘以一个学习因子$ \alpha $，设计了可训练的LOG卷积层，如图5所示。在LOG算子的基础上设计可训练边缘提取层，是因为LOG算子在检测边缘时可实现对噪声的抑制，防止噪声对边缘特征的干扰。$ \alpha $初始值设为1，通过网络反向传播机制，其数值可随网络训练自适应地调整。LOG卷积在单通道上享有同一可学习因子$ \alpha $，但不同通道上的$ \alpha $经训练后不再相同。LOG卷积逐通道作用于输入图像，由于每个通道的$ \alpha $不同，输出包含不同强度边缘信息的特征图。边缘特征提取辅支路首先经过LOG层提取浅层边缘特征，然后经过4个卷积块并采用密集的旁路连接提取深层多尺度边缘细节信息。辅支路结构与主支路结构对称，因此对应深度的特征图具有相同维度。为增强图像细节特征，本文将辅支路各层的输出特征图都添加到主支路的对应层的特征图上，对主支路提取的图像特征进行补充和增强，得到多尺度增强特征图。最后，添加了边缘特征信息的各层特征图进入解码器重构图像。

解码器网络由6个卷积块和一个卷积层组成，上采样采用插值方法，并采用巢式连接结构将6个卷积块连接起来，让解码器中深层的特征图和编码器中浅层的特征图相结合，避免了编码器和解码器之间的语义鸿沟，保证编码器网络能够在不同尺度上提取更多的深度特征，保留更多的信息，以获得更好的融合结果。

本文提出的融合方法为两阶段：网络训练阶段和融合阶段。在训练阶段，图3中编解码器间的融合策略被移除，网络只包含编解码器，通过训练得到一个自动编解码器网络，训练框架如图6所示。在这个网络中，编码器能够提取多尺度的、边缘增强的深度特征，解码器从这些特征中重建输入图像，网络参数设置如表1所示。

在训练阶段，为了提高编解码器网络的性能，本文提出了一种新的基于图像块的损失函数，称为局部能量一致性损失$ {L_{{\text{patch}}}} $，其定义为输入图像和输出图像“局部能量图”的$ {L_{\text{1}}} $范数值，具体为：

式中，$ {E_{{\text{local}}}} $为局部能量函数；$ {E_{{\text{local}}}}\left( {\boldsymbol{I}} \right) $和$ {E_{{\text{local}}}}\left( {\boldsymbol{O}} \right) $分别为输入图像I和输出图像O的“局部能量图”；$ {E_{{\text{local}}}}\left( {{\boldsymbol{I}}\left( {x,y} \right)} \right) $为图像I中像素点$ \left( {x,y} \right) $的局部能量；$ {N_{x,y}} $为像素点$ \left( {x,y} \right) $的邻域，能量图中的每一个点由图像I中该点像素与其8邻域像素的差值平方和计算得到。

由于局部能量一致性损失$ {L_{{\text{patch}}}} $是基于图像块计算得到的，它体现了网络输出与输入的局部性误差。本文将其与基于像素一致性的损失函数一起指导网络训练，复合损失函数定义为：

式中，$ \lambda $为权重参数；$ {L_{{\rm{pixel}}}} $为基于像素水平的全局一致性损失函数，其定义为：

$ {L_{{\text{pixel}}}} $计算了I和O的Frobenius范数，可以保证编解码网络的重构图像在像素级水平上更接近输入图像。$ {L_{{\text{pixel}}}} $体现了网络输出与输入的全局性误差，而局部能量一致性损失$ {L_{{\text{patch}}}} $体现了网络输出与输入的局部性误差。因此，复合损失函数不仅可以在全局一致性方面指导网络训练，也可以在局部一致性方面进行约束。由于$ {L_{{\text{pixel}}}} $和$ {L_{{\text{patch}}}} $之间的数量级不同，利用$ \lambda $权衡$ {L_{{\text{pixel}}}} $和$ {L_{{\text{patch}}}} $之间的比例。

网络训练时，为了能够训练出更适用于DR图像的编码器网络和解码器网络，采集了8000张1024×1024的DR图像作为训练数据集，这些图像来自7种不规则工件的多能DR图像，由于图像尺寸较大，DR图像先被缩放到256×256大小，然后再输入网络进行训练。本文使用SGD算法对损失函数进行了优化，学习率初始化为10⁻⁴，每2个epoch下降为上一次学习率的1/3，复合损失函数的权重参数$ \lambda $设为10，训练总次数设为10 epoch。参数$ \lambda $的数值通过多次实验后设定，实验时设置了不同数量级的$ \lambda $(1, 10, 100, 1000, 10000)，实验结果证实：当参数$ \lambda $=10时，融合结果在人眼视觉和质量评价参数方面整体最优。本文网络参数存储空间为13.79 MB。

实验平台采用配置为Intel Core i9-10900K CPU，主频3.7 GHz，运行内存64 GB以及NVIDIA RTX3090显卡，搭载64位Windows10系统的台式机，编程环境为Python 3.9.2，深度学习工具包为Pytorch 1.8.1。

训练阶段的目的是获得自动编解码器网络，并没有对多能DR图像进行融合。融合时，在训练好的编码器和解码器之间添加融合策略，对双编码提取的多尺度增强特征进行融合，并将融合后的多尺度特征输入到解码器进行重构。

本文采用基于通道注意力和空间注意力的融合策略。空间注意力告诉网络“融合哪里”，而通道注意力告诉网络“融合什么”，两种融合机制互补，从而抑制图像中曝光不足、过曝光等不良区域，同时突出待融合图像中良好的特征区域。由于基于注意力机制的融合策略不需要学习参数，因此在训练阶段不需要对融合策略进行训练。

本文提出的融合网络可对多张DR图像进行融合，假设将待融合的K张不同能量的DR图像输入模型，由于输入的图像数量是K张，编码器的每一层多尺度Inception结构都会输出K组特征图，利用融合策略对每一层的K组特征图进行融合，即融合策略模块的输入为K组特征图。令$ {\boldsymbol{\varPhi }}_k^m \in {R^{W \times H \times C}} $(m∈{1,2,3,4}, k∈{1,2,···,K})表示第k组第m层的特征图，W、H和C分别为该层特征图的长、宽及通道数。对每一层的K组特征图分别使用通道注意力模块和空间注意力模块进行融合，并将两个融合模块的输出取均值，作为特征图融合结果，融合过程如图7a所示。

通道注意力模块使用平均池化对K组特征图$ {\boldsymbol{\varPhi }}_k^m \in {R^{W \times H \times C}} $计算各自的通道注意力系数$ {\overset{\frown} \beta } _k^m \in {R^{{\text{1}} \times {\text{1}} \times C}} $，如式(5)所示，然后用当前特征图的注意力系数除以所有注意力系数之和得到归一化的通道注意力系数$ \beta _k^m \in {R^{{\text{1}} \times {\text{1}} \times C}} $，并以此作为通道融合的权重，如式(6)所示。再将特征图与归一化的通道注意力系数相乘、累加，得到通道方向上的特征融合结果$ {\boldsymbol{\tilde \varPhi }}_f^m \in {R^{W \times H \times C}} $，如式(7)所示。

式中，P(·)是全局池化操作；c∈{1,2,···,c}为特征图$ {\boldsymbol{\varPhi }}_k^m $和注意力系数$ \beta _k^m $的第c个通道。通道方向上的融合过程如图7b所示。

除了通道方向上的融合外，基于空间注意力模块进行多尺度特征图融合。类似地，首先对K组特征图$ {\boldsymbol{\varPhi }}_k^m \in {R^{W \times H \times C}} $计算各自的空间注意力系数$ {\overset{\frown} h} _k^m \in {R^{W \times H \times 1}} $，如式(8)所示，然后用当前特征图的空间注意力系数除以所有空间注意力系数得到归一化的空间注意力系数$ h_k^m \in {R^{W \times H \times 1}} $，如式(9)所示，并将其复制C个通道以匹配特征图的维度，输出的空间注意力系数为$ h_k^m \in {R^{W \times H \times C}} $。再将特征图与对应的空间注意力系数相乘、累加，得到空间注意力融合策略的结果$ {\boldsymbol{\hat \varPhi }}_f^m \in {R^{W \times H \times C}} $，如式(10)所示，融合过程如图7c所示。

式中，||·||₁指L1范数；(x,y)指多尺度特征的对应位置。

然后将两个融合模块的输出取均值，作为该层最终的特征融合结果$ {\boldsymbol{\varPhi }}_f^m $：

为验证本文所提网络的性能，对没有参与训练的3种工件，在不同X射线电压下分别采集7个照射角，共21组DR图像进行测试，采集参数如表2所示。图8显示了来自3种测试工件的3组待融合图像，可以看出，当电压较小时，DR图像中较厚的区域较黑，难以感知该部分的细节信息；当电压增大时，厚区域的细节能够依次显现出来，但是薄区域处产生了过曝光。为了验证算法的可行性与有效性，将提出的融合网络与现有的9种融合方法进行对比，这些对比方法包括：基于结构块分解的多曝光图像融合^[31]、基于多尺度结构块分解的多曝光图像融合^[32]、基于自适应权值的多曝光图像融合^[33]、基于密集SIFT和引导滤波的多曝光图像融合^[34]、多尺度变换和稀疏表示的图像融合^[18]、基于模糊熵和稀疏表示的图像融合方法^[19]、IFCNN网络^[35]、DenseFuse网络^[23]以及NestFuse网络^[27]。上述这些融合方法均在公开的代码基础上实现，前6种方法为传统方法，相关参数根据能达到的最优视觉效果进行设置，后3种为基于深度学习的融合方法，均在本文的DR数据集上进行训练得到融合网络模型。

图9～图11显示了不同融合方法对图8中3组待融合DR图像的融合结果。为了更好地观察融合结果，截取感兴趣区域(region of interest, ROI)并放大显示在图中的顶部或底部，ROI由矩形标记。可以看出，基于结构块的方法(文献[31]和文献[32])得到的融合图像具有较好的对比度和完整性，但细节对比度有待提高，如图9a、10a、11a和图9b、10b、11b所示。自适应权值方法(文献[33])的融合图像整体灰度值较低，工件中厚的区域较暗，边界比较模糊，如图9c、10c、11c所示。文献[34]方法的融合图像整体较亮，工件中较厚区域比较清晰，但是工件较薄区域过于明亮，不能很好地显示细节部分，如图9d所示。相比之下，两种基于字典学习和稀疏表示的融合方法(文献[18]和文献[19])在结构完整性方面比前几种方法好，能够保留一些细小的结构，如图9d和图9f中箭头指向的部位。特别是文献[19]的方法，在对比度方面有了很大的提升，不足的是该方法在灰度陡变处产生了黑色晕影，如图9f中椭圆所圈之处。IFCNN、DenseFuse和NestFuse这3种融合网络的整体融合效果相近，其中IFCNN的对比度稍好，但仍然无法清晰地显示较厚区域的内部结构。图9j、10j、11j为利用本文提出的融合网络得到的融合图像，不仅工件的结构信息完整，而且对比度较高，图像完整清晰地显示复杂工件的信息。

为了进一步验证算法的可行性与有效性，本文采用多种量化指标对不同方法的融合结果进行定量分析，包括：熵(Entropy)^[36]、平均梯度(average gradient, AG)^[37]、无参考结构清晰度(no-reference structural sharpnes, NRSS)^[38]、互信息(mutual information，MI) ^[39]以及基于视觉感知一致性的视觉信息保真度(visual information fidelity, VIF)^[40]。熵值体现了图像中的信息量，熵越大表示图中包含的信息越多。AG体现了图像中的边缘锐度，AG越大表明边缘越清晰。NRSS利用低通滤波器为待评估图像构造参考图像，进而通过评价参考图像与待评估图像的结构相似度来评价图像的清晰度，NRSS越大表明图像结构越清晰。AG、NRSS和Entropy值均为无参考图像的质量评价指标，而MI和VIF为需要参考图像的质量评价指标，分别表示融合图像与源图之间的相关性以及保真度，MI和VIF越大表明融合图像保留了源图像中更多的特征信息。

表3～表5列出了图9～图11中不同方法融合结果的质量评价参数，最好的指标值用粗体标记。可以看出，在每一组实验中，本文提出的融合网络都有最多的最优值和次优值，表明提出的融合网络能够在融合后的图像中保留更多的细节信息和特征信息。

本文方法是基于深度学习的融合网络，因此对几种网络方法进行了融合时间对比：当融合两张图时，本文方法为1.80 s，Densefuse为0.96 s，NestFusion为1.10 s，IFCNN为1.00 s。由于本文采用了双路编码器，因此融合时间比其他3种网络方法长。

本文提出的双编码巢式连接融合网络与NestFuse均是在巢式连接架构的基础上提出来的，与NestFuse相比，在编解码器中采用多尺度Inception结构作为基础卷积块，代替了NestFuse网络中的两层卷积操作，并在编码器中通过设计LOG卷积模块增加了边缘特征提取支路。为了研究不同模块对网络性能的影响，本文进行了一组消融实验。记A表示在本文提出的损失函数指导下进行训练的NestFuse网络，B表示在本文网络的基础上去掉编码器中的边缘提取支路网络，C表示本文提出的融合网络。将A、B两个网络在8000张DR图像组成的数据集上进行训练，并从量化指标与视觉效果两方面比较其与本文网络的测试结果。

本文利用5个质量指标对消融网络的融合性能进行评价，表6给出了消融网络及本文网络对21组DR图像融合结果的平均质量评价指标，指标的最好值用粗体标出。从表6中可以看出，B与A的指标接近，除了VIF外，其他指标都略高于A，说明Inception结构可以在一定程度上提高网络的融合性能。相比之下，C的编码器中增加了边缘特征提取支路，除了Entropy小幅度提高，其他融合指标都有明显的提升，说明边缘特征提取支路在融合图像中的对比度体现方面起着决定性作用。

消融网络融合图像的视觉效果如图12所示，显示了A、B、C网络对图8中的3组DR图像的融合效果，可以看出A网络和B网络的融合结果相似，但都不具备增强效果，而本文网络降噪图像更清晰、对比度更强，说明本文网络具有更好的融合性能。

本文提出了一种基于细节增强的多能DR融合网络。该融合网络不仅能够完整再现复杂工件的内部结构，而且增强了融合图像的细节，便于发现工件内部的缺陷。

然而，本文提出的融合网络是通过两阶段实现的，即网络训练和融合过程是分开进行的，并没有对融合策略模块进行训练，未来需要改进融合策略，加入能够训练的网络模块，实现端到端的融合网络。