ISSN 
-
由于井下地层因素复杂，抽油杆柱运动到井下抽油泵的过程中存在许多不明因素均易引发抽油机故障，降低生产抽油效率，甚至造成油井安全事故。载荷(P)和位移(S)是抽油机驴头在上下往复运动时产生的参数，二者构成的闭合曲线即为示功图，它可实时反映气、油、水、砂、蜡等井内因素对抽油机工况的影响[1]，因此基于示功图的抽油机故障诊断是数字化油田中一项重要研究内容。
抽油机状态采集频繁，传统示功图人工分析法需要消耗大量的人力、物力，且受专业经验影响而难于推广。人工神经网络(artificial neural network, ANN)具有良好的非线性逼近能力，BP神经网络[2-3]、RBF[4]、小波神经网络[5]、极限学习机[6]、自组织神经网络[7-8]等模型相继被应用到抽油机故障诊断中，正逐步取代传统的人工分析。但受限于模型的内部机制，这些方法存在以下不足：1) 特征提取时直接将示功图的上百个位移−载荷数据对作为输入，造成神经网络模型内部映射结构复杂，严重影响模型的诊断精度；2) 故障诊断是以示功图轮廓特征为基础，而位移−载荷的直接点对点的输入神经网络模型，无法有效提取示功图的轮廓特征。
近年来，随着大规模数据集的不断涌现和计算机GPU计算能力的不断提高，以卷积神经网络(convolutional neural networks, CNN)为代表的深度学习模型，如VGG-16[9]、ResNet[10]、DenseNet[11]等，已成为模式识别、目标检测、语言处理等研究领域的研究热点。自2018年开始，文献[12-14]尝试应用CNN进行抽油机故障诊断的探索性研究，取得了较好的应用效果。但直接应用CNN诊断工况存在如下问题：1) CNN模型计算密集、参数数量庞大，训练需耗费极大的GPU计算资源，需要较大的存储和运行内存，而部分抽油机工况检测设备的硬件性能和功耗较低，直接运行此模型难度较大；2)部分工况示功图轮廓特征区分度较低，如气体影响、供液不足、固定漏失、游动漏失等，直接卷积提取轮廓特征的诊断精度并不理想。
通过CNN诊断抽油机故障需要重点研究的问题：1) 有效提取示功图的轮廓特征，并加强对区分度高的轮廓特征提取；2) 降低模型存储，提高模型的适用性。为此，本文采用深度分离卷积作为CNN特征提取的基础架构，提出一种正则化注意力卷积模块，该模块可以嵌入到CNN的任意两个连续卷积层中，通过通道压缩、注意力和通道失活，实现特征加强和抑制；其次，提出一种注意力损失函数使得模型训练关注难分的示功图样本，进一步提高模型的诊断能力。为方便表述，将上述过程构建的CNN命名为轻量注意力卷积神经网络(lightweight attention convolutional neural network, LA-CNN)。仿真实验通过油田某矿的抽油机工况数据集对模型有效性进行验证。
HTML
-
深度分离卷积[15]通过深度卷积和点卷积，将标准卷积通道和空间的联合映射分离成二者单独映射，有效减少模型参数数量和空间存储。2017年，Google引入深度分离卷积，提出MobileNet-V1[16]，其模型参数仅为4.2 MB，存储空间为17 MB，适用低功耗的嵌入式便携设备。2018年，Google进一步提出MobileNet-V2[17]。为方便描述，记卷积核为
$({D_K},{D_K},C)$ ，其中卷积核的宽、高一致，统一用${D_K}$ 表示，$C$ 为通道。深度分离卷积是将原有跨通道计算的$N$ 个$({D_K},{D_K},M)$ 标准卷积转成转换成$M$ 个$({D_K},{D_K},1)$ 的深度卷积和跨通道的$N$ 个$(1,1,M)$ 的点卷积。记输入特征图为$\{ {D_F},{D_F},M\} $ ，输出特征图为${\rm{\{ }}{D_F},{D_F},N{\rm{\} }}$ ，其中${D_F}$ 为特征图的宽和高，则各卷积计算量如下：1) 标准卷积为：
2) 深度卷积为：
3) 点卷积为：
深度分离卷积和标准卷积的计算量对比如下，即深度分离卷积计算量仅相当于标准卷积的
$1/D_K^2$ ：
-
近年来，仿照人类感知系统的注意力机制可快速、有效地定位目标信息，抑制无关信息和节省计算资源，是目前国内外研究的热点问题，在细粒度识别[18-19]、目标检测[20-21]、图像描述[22-23]等领域均有应用。文献[24]提出SENet，通过通道的压缩、扩展完成注意力的计算，虽然在ImageNet大规模数据集上的分类精度较高，但由于缺乏正则化机制，对于规模较小的抽油机工况数据集，却容易出现过拟合。目前增强CNN对小规模数据集泛化能力的重要方法是Dropout，随机设置神经元的输出或者连接权值为零，但该方法仅限于在全连接层中使用。卷积层的基本信息单位是通道，不是神经元，因此Dropout并不适用于卷积层。
为此，为提高示功图的轮廓特征提取，本文提出了一种可嵌入连续深度分离卷积层正则化注意力模块，该模块首先利用全局池化计算对上一个卷积层输出特征图中的每个通道进行压缩，并引入一个全连接层来构建通道注意力向量；然后计算通道选择掩码，建立适用于通道的正则化机制，完成通道的失活。模块的具体结构如图1所示。
-
1) 通道聚合
使用最大、平均和随机3种全局池化，沿通道方向压缩特征图的每个通道空间维度，从多个角度完成空间信息的聚。为方便描述，记上一个深度分离卷积输出特征图为
${{U}} = [{u_1},{u_2}, \cdots ,{u_C}]$ ，${u_i} \in {{\mathbb{R}}^{H \times W}}$ ，$C$ 为通道数，H和W分别为特征图的高和宽。按全局最大池化，将每个${u_i}$ 压缩到通道注意力分量${s_{\max }}$ ，具体定义为：按全局平均和随机池化的计算，分别压缩每个
${u_i}$ 到通道注意力分量${s_{{\rm{mean}}}}$ 和${s_{{\rm{sto}}}}$ 中，这两个分量的具体定义为：式中，
${p_c}(i,j)$ 为通道中某元素的选择概率：2) 通道注意力
将通道注意力分量
${s_{\max }}$ 、${s_{{\rm{mean}}}}$ 和${s_{{\rm{sto}}}}$ 作为全连接层的输入，通过与权值参数的逐点相乘、累加和激活函数完成聚合，进一步增加非线性，并通过模型训练不断更新、计算每个通道对样本的注意力。因此，通道注意力${{s}} = [{s_1},{s_2}, \cdots ,{s_C}]$ 的定义如下：式中，
$\sigma $ 是sigmoid函数；$\delta $ 是ReLu函数；${w_0}$ 和${w_1}$ 为全连接层的权值，这些参数对于3个通道注意力分量是共享的。3) 通道正则化
根据通道注意力构建通道注意力掩码
${{m}} = [{m_1}, {m_2}, \cdots ,{m_C}]$ ，其中掩码${m_i}$ 标识某通道是否被激活，第$i$ 个通道被选择的概率定义为：如果某通道选择概率
${p_i}$ 大于随机选择概率，则通道被激活，否则失活。即通道的选择概率越大，则通道越容易被激活。因此，掩码${m_i}$ 可定义为：4) 正则化注意力特征图
根据通道注意力
${{s}}$ 和通道注意力掩码${{m}}$ ，在原始特征图${{U}}$ 的基础上，构建正则化注意力特征图${{X}} \in {{\mathbb{R}}^{C \times H \times W}}$ ，具体定义为：式中，
$ \otimes $ 代表逐点相乘。 -
在抽油机工况数据集中，出砂、杆断、活塞脱出、正常等工况的示功图轮廓特征区分较为明显，具体如图2所示。这些样本在模型训练过程中较易识别正确，而气体影响、供液不足的示功图特征较为相近，诊断错误率较高。由于易分样本对模型的训练贡献较小，难分样本较大地影响着模型训练和后期的诊断精度，因此模型训练应较多的关注此类样本。
标准CNN训练使用的交叉熵损失函数为：
式中，
$y$ 是样本的实际类别；$\tilde y$ 是样本在全连接层的Softmax输出；$T$ 是样本的类别数。
根据式(8)，交叉熵损失函数无法有效区分难分样本和易分样本，所有样本在训练中被等同对待，若易分样本数量高于难分样本，导致模型训练时难分负样本被易分正样本“淹没”。本文受注意力机制启发，提出了注意力损失函数，定义为：
式中，
${(1 - {\tilde y_j})^k}$ 是调节系数；$k$ 是控制调节系数${(1 - {\tilde y_j})^k}$ 的变化速度的调节因子。根据式(9)，本文的注意力损失函数存在以下特性：1) 对于易分样本，样本预测概率
${\tilde y_j} \to 1$ ，调节系数${(1 - {\tilde y_j})^k} \to 0$ ，训练损失${L_{{\rm{A - CE}}}}(y,\tilde y) \to 0$ ，损失贡献被有效抑制，消除对训练过程的主导性；2) 对于难分样本，样本预测概率${\tilde y_j} \to 0$ ，调节系数${(1 - {\tilde y_j})^k} \to 1$ ，训练损失所受影响较小。值得注意的是，相对于易分样本的损失抑制，难分样本的训练损失贡献呈指数级扩大，因此训练主要关注难分样本；3) 当易分样本转变为难分样本时，会再次引起模型的训练注意。
2.1. 正则化注意力卷积模块
2.2. 注意力交叉熵损失函数
-
本文实验对10种常见的抽油机工况进行诊断，具体包括：正常、固定凡尔漏失、游动凡尔漏失、杆断、出砂、结蜡、活塞碰泵、活塞脱出、气体影响、供液不足，每种示功图如图2所示。选取大庆油田某油矿40台抽油机的示功图样本25 963个，每个样本对应工况已在生产过程中通过人工标注完成。为保持样本平衡，本文实验对故障工况的样本进行数据增强，方法包括位移载荷偏移、旋转、平移，最后样本集共包含工况样本18 500个。模型训练过程中，采用5-fold交叉验证，即工况样本集平均分成5份，每次取其中4份作为训练集，剩余1份作为测试集。实验过程中将示功图的载荷、位移绘制成示功图，然后转换为224×224像素图像。
-
本文为验证LA-CNN有效性，对比模型包括VGG-16[9]、ResNet-50[10]、MobileNet-V1[16]和MobileNet-V2[17]，其中前两种是经典CNN，后两种是轻量CNN。此外还与其他示功图工况诊断方法对比，包括文献[3]的BP网络诊断法、文献[25]的UKF-RBF诊断法。表1为不同CNN模型的训练时间和抽油机故障诊断精度对比。
实验结果表明：1) 在硬件资源和功耗较低的抽油机故障检测设备上，很难直接运行深度学习模型VGG-16和ResNet-50；2) 在模型存储上，使用深度分离卷积的MobileNet-V1，MobileNet-V2和本文的LA-CNN模型相对于深度学习模型VGG-16均缩减了近50倍左右，LA-CNN相对于模型MobileNet-V1，几乎没有变化；3) 在模型精度上，MobileNet-V1和MobileNet-V2模型的故障诊断精度相对较低，分别为87.5%和88.8%，不能很好地满足故障诊断实际要求。但引入注意力的机制后，LA-CNN的诊断精度比MobileNet模型有明显的提高，达到95.1%，仅比VGG-16的诊断精度低0.6个百分点，满足抽油机故障诊断的精度要求；4) 浅层神经网络诊断示功图存在精度较低的不足，如文献[3]和文献[25]的BP和RBF，主要受限于模型输入无法有效体现载荷和位移的映射关系，示功图轮廓的表征特征鲁棒性较差。
本文LA-CNN模型在不同测试数据集上的每种工况的诊断结果如表2所示，可明显看出LA-CNN在抽油机的大多数工况上都获得了较高的诊断准确率，其中正常、供液不足、结蜡、出砂、活塞碰泵、活塞脱出、杆断的诊断精度均超过94%。图3为MobielNet-V1、MobielNet-V2、VGG-16和LA-CNN的抽油机故障诊断结果的混淆矩阵对比，其中坐标轴0～9依次代表正常、气体影响、供液不足、固定凡尔漏失、双凡尔漏失、结蜡、出砂、活塞碰泵、活塞脱出、杆断，纵轴表示样本的真实工况标签，水平轴表示样本的预测标签，对角线则表示测试集中各种工况样本诊断正确的数量。
模型 参数数量/Million 模型大小/Mb 训练时间/h 诊断率/% ResNet-50 25.5 97.3 131.8 90.3 VGG-16 138.3 527.6 147.5 95.7 MobileNet-V1 4.2 16.0 5.8 87.5 MobileNet-V2 3.4 12.9 4.1 88.8 BP 0.3 1.3 0.4 74.2 UKF-RBF 0.4 1.7 0.7 86.4 LA-CNN 4.5 17.1 5.4 95.1 
测试集 正常 气体影响 供液不足 固定凡尔漏失 双凡尔漏失 结蜡 出砂 活塞碰泵 活塞脱出 杆断 整体平均 1 97.3 90.6 94.2 90.6 90.8 98.4 97.3 96.2 98.7 99.1 95.3 2 96.2 91.5 95.3 90.9 88.6 98.1 95.7 95.6 98.3 98.4 94.9 3 96.8 93.1 94.1 91.5 89.6 97.7 96.8 98.4 97.4 98.3 95.4 4 96.1 92.2 93.6 91.6 90.3 97.9 94.8 96.4 98.5 98.9 95.0 5 95.7 92.2 92.8 91.9 89.3 95.2 97.6 96.7 98.4 98.7 94.9 整体平均 96.4 91.9 94.0 91.3 89.7 97.5 96.4 96.7 98.3 98.7 95.1 为进一步验证本文的正则化注意力模块和注意力损失函数的有效性，通过融合实验进行性能对比分析，包括深度分离卷积、正则化注意力和注意力损失函数间的不同组合，对比指标是模型训练时间和故障诊断精度。表3为LA-CNN的融合实验性能对比，实验结果表明：1) 在CNN中嵌入正则化注意力模块后，增加的训练时间可以忽略不计，但诊断精度明显提高；2) 引入注意力损失函数，通过控制样本损失权重调节样本贡献，使模型训练过程中较多地关注难分负样本，比仅使用注意力机制又提高2.9个百分点。
深度分离卷积 正则化注意力 注意力损失函数 训练时间/h 精度对比/% √ 4.1 87.6 √ √ 4.2 92.2 √ √ √ 5.4 95.1 此外，为验证注意力损失函数中的调节因子
$k$ 对模型性能的影响，将其分别作为LA-CNN、VGG-16和MobileNet的损失函数，并给出各个取值时不同模型的故障诊断精度对比，从而从实验分析角度给出$k$ 的最终取值。图4是$k$ 不同取值时不同模型的抽油机故障诊断准确率对比。
实验结果表明
$k = 3$ 时，各个模型的故障诊断精度均达到理想状态，其中LA-CNN达到95.1%。主要原因如下：1)
$k = 0$ 时，各个模型仍然使用的是交叉熵损失函数，所有样本对损失的贡献权重相等；2)
$k \in [1,3]$ 时，易分样本的损失权重逐步得到抑制，模型训练关注难分样本；3)
$k > 3$ 时，易分样本对模型训练损失的贡献基本被抑制到0，同时难分负样本的数量较少，模型诊断能力下降。
3.1. 工况数据集
3.2. 实验结果及分析
-
本文介绍了一种轻量型卷积神经网络LA-CNN及抽油机故障诊断应用，将位移−载荷的轮廓曲线转换为图像，直接使用卷积神经网络提取图形的轮廓特征。在模型结构上采用了深度分离卷积来降低模型存储，为提高抽油机故障诊断精度，适应小规模工况样本集，提出正则化注意力模块和注意力损失函数，对特征图的通道特征进行抑制或加强，建立适用于通道的失活机制，训练过程更多关注难分样本。这种正则化注意力机制可有效提高模型的诊断精度。仿真结果表明，LA-CNN导出后的模型参数仅占5.4 Mb，可满足检测设备硬件和功耗低的要求，并具有较高的故障诊断精度。最后通过融合实验进一步验证所提正则化注意力模块和注意力损失函数的有效性。该方法的研究为大数据环境下的卷积神经网络开展基于示功图的抽油机故障诊断提供了一种新的思路。
本文的研究工作得到了东北石油大学青年基金(2017PYZL-06, 2018YDL-22)和东北石油大学优秀中青年科研创新团队(KYCXTD201903)的资助，在此表示感谢！
DownLoad: