Improved YOLOX SAR Near-Shore Area Ship Detection Method

当前最新提出的YOLO系列算法中效果最优的单阶段目标检测算法YOLOX^[8]，其大致分为3个组成部分：主干网络、特征聚合网络与检测头。主干网络采用CSPDarknet来对图像进行特征提取，其主要组成部分CBS由卷积(convolution)、批量归一化(batch-normalization, BN)和激活函数(silu)组成，YOLOX在主干网络前通过采用Focus模块将输入的高分辨率图像拆分成多个低分辨率的特征图，以减少传统下采样操作产生的信息损失，而在主干网络提取特征后通过空间金字塔池化层(spatial pyramid pooling, SPP)来提取不同尺寸的空间特征信息，提升模型对不同尺寸目标的鲁棒性。此外，主干网络中的CSPLayer通过其残差结构可以将特征图的梯度变化集成到了最后的输出中，减少网络参数与运算量，并同样用于特征聚合网络PAFPN中以加强网络特征聚合能力，是目标特征提取的关键网络。

而YOLOX检测头采用Decoupled Head对提取的特征进行解耦，使回归与分类任务分成两部分，cls特征图负责学习目标的类别信息，reg与obj特征图则负责学习目标的位置及存在信息，以有效提高网络的检测精度，实现高精度的船只目标检测。最后在预测端将不同尺度的特征向量进行融合，通过SimOTA方法对融合的特征向量进行正样本筛选匹配，得到与真实样本近似的预测候选框，以消除先前YOLO系列检测算法中对先验Anchor设置的依赖，减少冗余候选框造成的无意义计算资源消耗，其网络结构如图1所示。

CSPDarknet主干网络的设计能够有效提取船只目标的细节信息，但设有对细节信息做出有效聚焦，忽略了能有效提升网络检测性能的目标空间结构信息与内部通道信息。因此引入注意力模块对原有网络结构进行改进，目前主流注意力机制模块有SE^[9]、CBAM^[10]、CA^[11]等，其中模块CA作为通道域的最新进展，对输入的特征图沿水平坐标与垂直坐标方向进行平均池化以对每个通道进行编码，此步骤相较于SE通道注意力模块而言对不同方向的空间信息进行了筛选，以嵌入到通道信息中，实现了空间信息的引入。进一步地，坐标注意力机制采用1*1卷积进行通道信息学习，该步骤结合了ECANet注意力机制^[12]的思想，采用1*1卷积替代了原SE通道注意力模块中的全连接层，以提升注意力模块的运行效率与精度，但该模块对空间域信息特征的利用仍不够全面。因此，本文结合BAM注意力模块^[13]的构造思想，将坐标注意力模块加以改进并引入到特征提取网络中，学习目标空间结构信息与通道信息，引导神经网络更有效地提取目标特征，提高网络对SAR图像船只目标的特征表达能力，实现近岸船只目标信息的有效提取，改进后的坐标注意力模块如图2所示。

改进后的坐标注意力模块BCA通过结合空间域信息学习模块分支对输入维度为C×H×W的特征图m进行空间域与通道域的特征聚焦，原坐标注意力机制作为通道分支沿水平坐标与垂直坐标方向进行尺寸为(H,1)和(1,W)的平均池化，对每个通道进行编码，得到两个一维向量，当高度为h时，向量第c个通道的输出如式(1)所示；当宽度为w时，第c个通道的输出如式(2)所示。

两个一维向量沿着空间维度进行特征聚合压缩通道，而后级联生成两个特征图n^h和n^w，用大小为1的卷积核进行卷积，如式(3)所示，生成水平方向与垂直方向的空间信息特征图t；再沿空间维度将特征图t分成两个单张量t^h和t^w，利用两个大小为1的卷积对张量进行卷积，如式(4)和式(5)所示，得到与输入特征图同样的通道数；最后将经过激活函数运算后的值作为通道域注意力权重，与输入特征图相乘，得到权值调整后的特征图S如式(6)所示，实现对特征图通道域信息的加强。

式中，δ为卷积运算；σ为sigmoid激活函数运算。

空间分支则通过引入1×1卷积将输入维度为C×H×W的特征图m进行通道挤压，变化为1×H×W的空间特征图，再将经过激活函数运算后的值作为空间域注意力权重，与输入特征图进行相乘得到权值调整后的特征图Q，实现对特征图空间域信息的加强。最终将通道分支输出的加强特征图S与空间分支输出的加强特征图Q进行相加，得到空间信息与通道信息融合的最终特征图。

改进前后的特征提取网络AttCSPLayer如图3所示，在原始CSPLayer网络初步卷积提取产生的特征图后，将改进坐标注意力机制作用于输出的特征图中，根据通道域信息与空间域信息调整特征图的权重，再进行各层级特征融合提取。

基于水平框的船只检测在近岸情形下表现不佳，且无法提供船只的方位角信息，不利于近岸船只调度任务进行。为此本文采用旋转目标框进行目标检测，增加角度分类头学习目标的角度信息，使检测头能同时输出船只目标位置与方位角估计信息，改进后的旋转检测头如图4所示。

图4中旋转检测头的reg特征图为目标的位置信息，其输出为(x, y, w, h)，θ特征图为目标的角度信息，其输出为目标在0°～180°之间的概率，取最大概率的角度作为预测角度值，构成预测旋转目标框(x, y, w, h, θ)，通过式(7)将旋转目标框(x, y, w, h, θ)转化为二维高斯分布(μ, Σ)，以计算目标真实分布与模型预测分布之间的KL散度^[14]作为损失值进行反向传播优化，其中KL散度计算公式如式(8)所示，特别地，设目标角度值为0，计算位置信息的损失梯度，可得式(9)。

式中，D_kl为两分布间的KL散度距离；N_p代表模型预测旋转框转化的二维高斯分布；N_t代表真实数据旋转框转化的二维高斯分布；Tr为求矩阵的迹。目标旋转框转化为二维高斯分布的示意图如图5所示，通过式(7)将旋转目标框转化为二维高斯分布，每个目标框转化的高斯分布受目标的长宽与角度影响，大小形状不尽相同。由式(9)可知其梯度权重受1/w²和1/h²影响，使得模型可根据目标的尺度来动态调整权重，当目标尺度较小或纵横比较大时，模型通过反向传播学习损失，会增大相应方向的梯度，便于有效地进行位置偏移的优化，提高船只目标中心位置的定位精度。

引入改进坐标注意力机制与旋转目标框后的算法结构如图6所示，在原有YOLOX网络结构基础上，采用改进坐标注意力机制改进特征提取网络结构，提高网络对船只目标信息的聚焦；增加角度分类头学习目标的角度信息。在训练阶段读取数据集的目标旋转框信息(x, y, w, h, θ)并将其转化为二维高斯分布(μ, Σ)，而后与旋转检测头输出的特征向量进行特征匹配，得到与目标分布相近的预测分布信息，通过计算预测分布与目标分布的KL散度作为旋转框损失值训练网络，使网络模型根据目标的尺度与角度来动态调整位置偏移权重，提升网络在近岸区域下对船只目标位置的定位精度，实现高精度的船只目标检测。

本文使用公开的offical-ssdd数据集^[15]，该数据集对近岸船只目标与远海船只目标进行了划分，并提供了经过二次校验后的船只目标精确标注，数据集样本采用C波段的Radarsat-2、Sentinel-1卫星以及X波段的TerrraSAR-X卫星的SAR图像的裁剪得到数据，共包含1 160张图像、2 587只船舶目标，其中928张图像、2 041只船舶作为训练集，232张图像、546只船舶作为测试集，平均每张图像有2.23个船只，包含5×4像素的小目标船只到384×251像素的大目标船只，涉及了大片远海区域和近岸区域目标，测试集共172只近岸区域船舶目标，374只远海区域船舶目标，背景多样。

实验采用Pytorch深度学习框架，基于CUDA11.4和cuDNN8.2.4加速训练，基于TensorRT部署推理，YOLOX根据不同的网络深度与宽度，由浅到深可以分为YOLOXnano、YOLOXtiny、YOLOXs和YOLOXm等多个模型，本文采用最轻量的模型YOLOXnano进行实验，在此基础上进行改进并与其原始网络对比，最后再跟其他一些改进方法进行测试对比。输入到模型的图像大小设为416×416，batch size大小为128，训练优化器采用Adam优化器更新网络参数，其中学习率(learning rate)和权值衰减(weight decay)参数设为0.001和0.000 5，旋转目标框损失函数采用KLD_Loss，损失权重为5，目标角度损失采用CSL_Loss^[16]，损失权重为0.1，置信度损失采用BCE_Loss，损失权重为1；计算机具体配置为 Intel® Xeon® E52640，2.40 GHz，显卡为2*P5000[Pascal Quadro]，显存2×16 GB；部署平台选用嵌入式平台(NVIDIA Jetson AGX Xavier)，显存32 GB；算法的训练和测试均在GPU加速下完成。

深度学习需要足够的训练样本作为支撑，相较于光学图像，SAR图像数据难以大量获取，为了充分利用有限的训练数据，加强模型泛化能力，抑制过拟合现象^[17]，本文通过随机缩放、随机旋转、mosaic拼接、mixup变化等方法对训练数据进行进行实时数据增强，效果如图7所示。

本文采用平均精度(average precision, AP)作为SAR图像船只检测模型性能的评价指标，计算式为：

式中，TP为模型正确检测的船只目标数量；FP为误检船只目标数量；FN为漏检船只目标数量；精确率P表示正确检测的船只目标数量在全部检测结果中的比率；召回率R表示正确检测的船只目标数量占所有船只目标真实数量的比率。以P为纵轴，R为横轴，绘制出PR曲线，曲线与横坐标围成的面积为AP值，Ap50为交并比阈值设为0.5时的AP值。

利用本文算法在offical-ssdd数据集上进行检测，对采用不同改进方案的YOLOX检测算法结果进行对比，以检测精度Ap50作为算法检测精度性能指标，实验结果如表1所示。表中YOLOX为原始网络不加任何改进的检测结果；CA_YOLOX为引入了坐标注意力机制到特征提取网络中进行改进的YOLOX算法；BCA_YOLOX为引入了改进后坐标注意力机制到特征提取网络中进行改进的YOLOX算法；R_YOLOX为引入了旋转框方法到检测头中进行改进的YOLOX算法；本文方法则是结合了改进坐标注意力机制与旋转框的YOLOX算法。从表1可以看出，引入坐标注意力机制后算法模型的精确率有所提升，召回率差异减少，误检严重问题得到改善，引入改进坐标注意力机制后算法模型的精确率进一步提升。引入旋转框后算法模型在近岸区域的精确率有所提升，召回率基本保持一致，能更有效地定位出目标的正确位置。通过结合改进坐标注意力机制与旋转框方法，本文方法在近岸区域的检测精度高于其他算法，拥有更好的检测性能，在offical-ssdd数据集近岸区域检测的Ap50值相较于YOLOX算法提升了18.77%，引入注意力机制与旋转框方法都提高了近岸区域下船只目标的检测平均精度，同时引入改进坐标注意力机制与旋转框这两种改进方法后，网络的检测性能最好。

为验证本文所提检测网络的性能，在offical-ssdd数据集上完成本文方法与YOLOv3^[18]、YOLOv5^[19]和Faster R-CNN算法的对比实验，结果如表2所示。从表中可以看出，本文方法相较除YOLOX以外的其他算法，模型计算参数最少，总体测试检测精度最优，网络推理延时最低，且能获取船只目标方位角信息，满足实时处理需求。

本文实验检测结果如图8所示。对于紧密排列的邻岸大目标，传统YOLOX算法会出现漏检现象，或如图8b所示只输出一个大的目标框，而本文算法则能有效地检测并区分邻近排列的船只，如图8c所示。

对于在港口中停靠的船只(图9a)，采用传统YOLOX算法进行检测时，出现了误检与漏检现象，将陆地建筑误检为船只目标，对港口停靠紧密的船只则只输出一个较大的目标框，无法有效区分排列紧密的船只目标，如图9b所示。而本文方法则有效检测并区分各船只目标，没有错检现象，如图9c所示。

从图10可以看出，传统YOLOX算法采用水平框检测，船只越大水平框引入的背景信息越多，模型对大船只目标的关注度不够，导致输出预测框置信度较低。本文算法预测框置信度明显提升，且预测框可以更精确地涵盖目标区域，输出更精确的目标位置信息，检测更为准确。

对于近岸小目标，传统YOLOX算法会出现漏检现象，如图11所示，难以检测出停靠在岸边的小目标船只。而本文方法则能对近岸小目标进行有效检测，但由于近岸场景下，近岸建筑产生的强散射点与临近的船只特征相近，在特征提取的过程中引入背景干扰信息过多，导致近岸区域小目标的检测置信度较低，仅在50%～60%之间。

在海岛周围区域，从图12可以看出，传统YOLOX算法将岛屿误检为船只目标，而本文方法则是将海面杂波散射点误检为船只目标。这是由于本文方法采用旋转框检测，对异于周围海面背景下的杂波散射点更为敏感，导致误检现象。而传统YOLOX采用水平框检测，在周围背景干扰下对海面杂波散射点的关注度降低，其对船只目标输出的预测框置信度也较低，在检测阈值设为0.5的情况下不会将杂波散射点视为船只目标，但会将区域亮度信息较为明显的岛屿错检为船只目标。

从图13也可以看出，本文方法对异于周围海面背景下的散射信息更为敏感，将海面杂波散射点误检为船只目标，而传统YOLOX算法对海面散射信息的关注度较低，因此未产生误检现象。在近海区域，本文方法预测框置信度较传统YOLOX算法有明显提升。

本文方法在远海场景不同海况情形下检测效果如图14所示，可以看到，对于不同海况情形下的远海场景目标，本文方法依旧可有效进行检测。综上所述，对于SAR船只目标检测任务，本文方法在近岸和远海场景下都能取得良好的效果，能够在复杂背景下识别船只目标，并且能更好地处理多尺度问题，得到更加精准的检测框。

本文提出了基于改进坐标注意力机制与旋转目标框的单阶段检测网络方法。在构建特征提取网络时加入改进坐标注意力机制准确提取感兴趣区域，同时选用旋转目标框获得船只方位角信息，提高检测精度。经offical-ssdd数据集实验验证，改进的YOLOX检测算法的检测精度在近岸情形下较YOLOX模型提升了18.77%，与主流YOLOv5检测算法相比，本文模型计算参数量减少了84.2%，推理耗时缩减至1/3，总体检测精度提升了4.1%，满足实时处理需求，验证了本方法的有效性。本文方法虽较基于水平框检测方法能得到更精准的目标框，但对SAR图像近岸场景中的大船只目标中心定位仍有待进一步提升。后续仍需进一步扩充数据集，优化网络结构，减小网络对近岸船只的定位偏移量。