留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于卷积神经网络的抽油机故障诊断

杜娟 刘志刚 宋考平 杨二龙

杜娟, 刘志刚, 宋考平, 杨二龙. 基于卷积神经网络的抽油机故障诊断[J]. 电子科技大学学报, 2020, 49(5): 751-757. doi: 10.12178/1001-0548.2019205
引用本文: 杜娟, 刘志刚, 宋考平, 杨二龙. 基于卷积神经网络的抽油机故障诊断[J]. 电子科技大学学报, 2020, 49(5): 751-757. doi: 10.12178/1001-0548.2019205
DU Juan, LIU Zhi-gang, SONG Kao-ping, YANG Er-long. Fault Diagnosis of Pumping Unit Based on Convolutional Neural Network[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(5): 751-757. doi: 10.12178/1001-0548.2019205
Citation: DU Juan, LIU Zhi-gang, SONG Kao-ping, YANG Er-long. Fault Diagnosis of Pumping Unit Based on Convolutional Neural Network[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(5): 751-757. doi: 10.12178/1001-0548.2019205

基于卷积神经网络的抽油机故障诊断

doi: 10.12178/1001-0548.2019205
基金项目: 国家自然科学基金(61502094, 51774090, 51104030);黑龙江省自然科学基金(LH2020F003)
详细信息
    作者简介:

    杜娟(1980-),女,博士,副教授,主要从事抽油机智能故障诊断、深度学习方面的研究

    通讯作者: 刘志刚,E-mail: dqpilzg@163.com
  • 中图分类号: TP183

Fault Diagnosis of Pumping Unit Based on Convolutional Neural Network

  • 摘要: 为提高抽油机的故障诊断性能、减少诊断模型的硬件存储,设计了基于轻量注意力卷积神经网络和示功图的故障诊断方法。首先,将示功图的位移−载荷数据转换为图像,诊断模型的基础结构采用深度分离卷积,提出一种可嵌入连续卷积层的正则化注意力模块,对每个卷积层的通道进行压缩、注意力计算,并根据注意力建立通道失活机制,输出具有特征抑制或加强的注意力特征图。其次,在模型学习算法上,提出注意力损失函数抑制易分样本对模型训练损失的贡献,使模型训练关注难分样本。最后通过仿真实验验证有效性,结果表明该模型硬件存储仅为5.4 MB,故障诊断精度达95.1%,满足抽油机工况检测的诊断精度要求。
  • 图  1  嵌入两个连续深度分离卷积层的正则化注意力模块

    图  2  10种常见的抽油机工况对应的示功图

    图  3  不同模型诊断抽油机故障的混淆矩阵对比

    图  4  调节因子对故障诊断性能的影响

    表  1  5种深度卷积神经网络模型的训练和诊断结果对比

    模型 参数数量/Million 模型大小/Mb 训练时间/h 诊断率/%
    ResNet-50 25.5 97.3 131.8 90.3
    VGG-16 138.3 527.6 147.5 95.7
    MobileNet-V1 4.2 16.0 5.8 87.5
    MobileNet-V2 3.4 12.9 4.1 88.8
    BP 0.3 1.3 0.4 74.2
    UKF-RBF 0.4 1.7 0.7 86.4
    LA-CNN 4.5 17.1 5.4 95.1
    下载: 导出CSV

    表  2  LA-CNN模型的不同测试集的故障诊断准确率 %

    测试集 正常 气体影响 供液不足 固定凡尔漏失 双凡尔漏失 结蜡 出砂 活塞碰泵 活塞脱出 杆断 整体平均
    1 97.3 90.6 94.2 90.6 90.8 98.4 97.3 96.2 98.7 99.1 95.3
    2 96.2 91.5 95.3 90.9 88.6 98.1 95.7 95.6 98.3 98.4 94.9
    3 96.8 93.1 94.1 91.5 89.6 97.7 96.8 98.4 97.4 98.3 95.4
    4 96.1 92.2 93.6 91.6 90.3 97.9 94.8 96.4 98.5 98.9 95.0
    5 95.7 92.2 92.8 91.9 89.3 95.2 97.6 96.7 98.4 98.7 94.9
    整体平均 96.4 91.9 94.0 91.3 89.7 97.5 96.4 96.7 98.3 98.7 95.1
    下载: 导出CSV

    表  3  LA-CNN模型的融合实验对比

    深度分离卷积 正则化注意力 注意力损失函数 训练时间/h 精度对比/%
    4.1 87.6
    4.2 92.2
    5.4 95.1
    下载: 导出CSV
  • [1] 陈德春, 肖良飞, 张瑞超, 等. 基于电功图的抽油机井工况诊断模型[J]. 中国石油大学学报(自然科学版), 2017, 41(2): 108-115.

    CHEN De-chun, XIAO Liang-fei, ZHANG Rui-chao, et al. A diagnosis model on working condition of pumping unit in oil wells based on electrical diagrams[J]. Journal of China University of Petroleum (Edition of Natural Science), 2017, 41(2): 108-115.
    [2] JAMI A, HEYNS P S. Impeller fault detection under variable flow conditions based on three feature extraction methods and artificial neural networks[J]. Journal of Mechanical Science and Technology, 2018, 32(9): 4079-4087. doi:  10.1007/s12206-018-0807-3
    [3] SHI X J, ZHANG J, ZHU X D. Research on intelligent diagnosis of oil pumping well based on optimized BP neural network[C]//The 37th Chinese Control Conference. Wuhan, China: [s.n.], 2018: 5670-5674.
    [4] YU D L, LI Y M, SUN H, et al. A fault diagnosis method for oil well pump using radial basis function neural network combined with modified genetic algorithm[J]. Journal of Control Science and Engineering, 2017, 17: 1-7.
    [5] WU W, SUN W, WEI H X. A fault diagnosis of suck rod pumping system based on wavelet packet and RBF network[J]. Advanced Material Research, 2011, 189-193: 2665-2669. doi:  10.4028/www.scientific.net/AMR.189-193.2665
    [6] LI K, HAN Y, WANG T. A novel prediction method for down-hole working conditions of the beam pumping unit based on 8-directions chain codes and online sequential extreme learning machine[J]. Journal of Petroleum Science and Engineering, 2018, 160: 285-301. doi:  10.1016/j.petrol.2017.10.052
    [7] XU L, XU S J, YIN H W. Application of BP neural network and self-organizing competitive neural network to fault diagnosis of suck rod pumping system[J]. ACTA Petrolei Sinica, 2006, 27(2): 107-112.
    [8] LIU J, JAISWAL A, YAO K T, et al. Autoencoder-derived features as inputs to classification algorithms for predicting well failures[C]//Society of Petroleum Engineers. Garden Grove, USA: [s.n.], 2015: 1-6.
    [9] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]//The 2015 International Conference on Learning Representations (ICLR). San Diego, USA: [s.n.], 2015: 1-14.
    [10] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE, 2016: 770-778.
    [11] HUANG G, LIU Z, MAATEN L V, et al. Densely connected convolutional networks[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017: 4700-4708.
    [12] SHARAF S. Beam pump dynamometer card prediction using artificial neural networks[J]. KnE Engineering, 2018, 32(1): 198-212.
    [13] PENG Y, ZHAO R D, ZHANG X S, et al. Innovative convolutional neural networks applied in dynamometer cards generation[C]//Society of Petroleum Engineers. California, USA: [s.n.], 2019: 1-9.
    [14] 刘宝军. 基于CNN 卷积神经网络的示功图诊断技术[J]. 西安石油大学学报(自然科学版), 2018, 33(5): 70-82.

    LIU Bao-jun. Research on diagnostic technique of indicator diagram based on CNN convolution neural network[J]. Journal of Xi’an Shiyou University (Natural Science Edition), 2018, 33(5): 70-82.
    [15] SIFRE L. Rigid-motion scattering for image classification [D]. Paris: CMAP Ecole Polytechnique, 2014.
    [16] HOWARD A, ZHU M L, CHEN B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[J]. Applied Intelligence, 2019, 50(1): 107-118.
    [17] SANDLER M, HOWARD A, ZHU M L, et al. MobileNetV2: Inverted residuals and linear bottlenecks [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, USA: IEEE, 2018: 4510-4520.
    [18] LIU Z G, DU J, WANG M, et al. ADCM: Attention dropout convolutional module[J]. Neurocomputing, 2020, 394: 95-104. doi:  10.1016/j.neucom.2020.02.007
    [19] JADERBERG M, SIMONYAN K, ZISSRMAN A, et al. Spatial transformer networks[C]//Proceedings of Neural Information Processing Systems (NIPS). Montréal, Canada: [s.n.], 2015: 2017-2025.
    [20] LIU Z G, LI D Y, GE S S, et al. Small traffic sign detection from large image[J]. Applied Intelligence, 2019, 50(1): 1-13.
    [21] WANG C, BAI X, WANG S, et al. Multiscale visual attention networks for object detection in VHR remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(2): 310-314. doi:  10.1109/LGRS.2018.2872355
    [22] XU K, BA J, KIROS R, et al. Show, attend and tell: Neural image caption generation with visual attention[C]// Proceedings of the 32nd International Conference on Machine Learning (ICML). Lille, France: [s.n.], 2015: 2048-2057.
    [23] LIU Z G, DU J, TIAN F, et al. MR-CNN: A multi-scale region-based convolutional neural network for small traffic sign recognition[J]. IEEE Access, 2019, 7(1): 57120-57128.
    [24] HU J, SHEN L, ALBANIE S. Squeeze-and-excitation networks[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City, USA: IEEE, 2018: 7132-7141.
    [25] ZHOU W, LI X, YI J, et al. A novel UKF-RBF method based on adaptive noise factor for fault diagnosis in pumping unit[J]. IEEE Transactions on Industrial Informatics, 2019, 15(3): 1415-1424. doi:  10.1109/TII.2018.2839062
  • [1] 巩彬, 安爱民, 石耀科, 杜先君.  基于IMODA自适应深度信念网络的复杂模拟电路故障诊断方法 . 电子科技大学学报, 2024, 53(3): 327-344. doi: 10.12178/1001-0548.2023047
    [2] 刘勇国, 高攀, 兰荻, 朱嘉静.  ECA-SKNet:玉米单倍体种子的卷积神经网络识别模型 . 电子科技大学学报, 2023, 52(6): 866-871. doi: 10.12178/1001-0548.2022361
    [3] 齐鹏文, 李渊, 李岩, 罗龙, 赵云龙.  基于注意力模型的输电线路隐患检测 . 电子科技大学学报, 2023, 52(2): 240-246. doi: 10.12178/1001-0548.2022063
    [4] 赵学功, 邓佳坤, 魏浩然, 彭真明.  基于卷积神经网络的眼底图像微血管瘤检测方法 . 电子科技大学学报, 2021, 50(6): 915-920. doi: 10.12178/1001-0548.2021186
    [5] 李享, 黄洪钟, 黄鹏, 李彦锋.  基于动态贝叶斯网络的电源系统可靠性分析与故障诊断 . 电子科技大学学报, 2021, 50(4): 603-608. doi: 10.12178/1001-0548.2020416
    [6] 周书田, 颜信, 谢镇汕.  一种增强人脸识别模型训练稳定性的损失函数 . 电子科技大学学报, 2021, 50(1): 59-62. doi: 10.12178/1001-0548.2020226
    [7] 田文洪, 曾柯铭, 莫中勤, 吝博强.  基于卷积神经网络的驾驶员不安全行为识别 . 电子科技大学学报, 2019, 48(3): 381-387. doi: 10.3969/j.issn.1001-0548.2019.03.012
    [8] 邓钰, 雷航, 李晓瑜, 林奕欧.  用于目标情感分类的多跳注意力深度模型 . 电子科技大学学报, 2019, 48(5): 759-766. doi: 10.3969/j.issn.1001-0548.2019.05.016
    [9] 郭继昌, 李翔鹏.  基于卷积神经网络和密度分布特征的人数统计方法 . 电子科技大学学报, 2018, 47(6): 806-813. doi: 10.3969/j.issn.1001-0548.2018.06.002
    [10] 唐贤伦, 刘庆, 张娜, 周家林.  混合PSO优化卷积神经网络结构和参数 . 电子科技大学学报, 2018, 47(2): 230-234. doi: 10.3969/j.issn.1001-0548.2018.02.011
    [11] 邵继业, 谢昭灵, 杨瑞.  基于GA-PSO优化BP神经网络的压缩机气阀故障诊断 . 电子科技大学学报, 2018, 47(5): 781-787. doi: 10.3969/j.issn.1001-0548.2018.05.023
    [12] 陈俊周, 汪子杰, 陈洪瀚, 左林翼.  基于级联卷积神经网络的视频动态烟雾检测 . 电子科技大学学报, 2016, 45(6): 992-996. doi: 10.3969/j.issn.1001-0548.2016.06.020
    [13] 秦志光, 陈浩, 丁熠, 蓝天, 陈圆, 沈广宇.  基于多模态卷积神经网络的脑血管提取方法研究 . 电子科技大学学报, 2016, 45(4): 573-581. doi: 10.3969/j.issn.1001-0548.2016.04.010
    [14] 姜书艳, 罗刚, 夏登明, 李琦, 宋国明.  片上网络互连线延迟故障测试方法研究 . 电子科技大学学报, 2016, 45(4): 557-563. doi: 10.3969/j.issn.1001-0548.2016.04.008
    [15] 李旻, 咸卫明, 龙兵, 王厚军.  基于特征优选模拟电路故障诊断方法 . 电子科技大学学报, 2014, 43(4): 557-561. doi: 10.3969/j.issn.1001-0548.2014.04.015
    [16] 张健, 徐红兵, 王情.  多重分形谱在集成电路动态电流故障诊断中的应用 . 电子科技大学学报, 2011, 40(4): 544-548.
    [17] 雷霖, 代传龙, 王厚军, 赵旭.  粗糙集-神经网络集成的WSN节点故障诊断 . 电子科技大学学报, 2008, 37(4): 565-568.
    [18] 杨俊华, 尚志恩, 吕锋.  基于布尔差分的数字逻辑电路故障诊断 . 电子科技大学学报, 2005, 34(4): 517-520.
    [19] 王厚军, 陈相富, 陈光.  基于总线观测的微机故障诊断专家系统研究 . 电子科技大学学报, 1998, 27(2): 161-165.
    [20] 潘中良, 陈光.  模拟电路故障诊断的神经网络专家系统方法 . 电子科技大学学报, 1997, 26(4): 405-408.
  • 加载中
图(4) / 表(3)
计量
  • 文章访问数:  7300
  • HTML全文浏览量:  2222
  • PDF下载量:  65
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-09-09
  • 修回日期:  2020-04-16
  • 网络出版日期:  2020-09-29
  • 刊出日期:  2020-09-23

基于卷积神经网络的抽油机故障诊断

doi: 10.12178/1001-0548.2019205
    基金项目:  国家自然科学基金(61502094, 51774090, 51104030);黑龙江省自然科学基金(LH2020F003)
    作者简介:

    杜娟(1980-),女,博士,副教授,主要从事抽油机智能故障诊断、深度学习方面的研究

    通讯作者: 刘志刚,E-mail: dqpilzg@163.com
  • 中图分类号: TP183

摘要: 为提高抽油机的故障诊断性能、减少诊断模型的硬件存储,设计了基于轻量注意力卷积神经网络和示功图的故障诊断方法。首先,将示功图的位移−载荷数据转换为图像,诊断模型的基础结构采用深度分离卷积,提出一种可嵌入连续卷积层的正则化注意力模块,对每个卷积层的通道进行压缩、注意力计算,并根据注意力建立通道失活机制,输出具有特征抑制或加强的注意力特征图。其次,在模型学习算法上,提出注意力损失函数抑制易分样本对模型训练损失的贡献,使模型训练关注难分样本。最后通过仿真实验验证有效性,结果表明该模型硬件存储仅为5.4 MB,故障诊断精度达95.1%,满足抽油机工况检测的诊断精度要求。

English Abstract

杜娟, 刘志刚, 宋考平, 杨二龙. 基于卷积神经网络的抽油机故障诊断[J]. 电子科技大学学报, 2020, 49(5): 751-757. doi: 10.12178/1001-0548.2019205
引用本文: 杜娟, 刘志刚, 宋考平, 杨二龙. 基于卷积神经网络的抽油机故障诊断[J]. 电子科技大学学报, 2020, 49(5): 751-757. doi: 10.12178/1001-0548.2019205
DU Juan, LIU Zhi-gang, SONG Kao-ping, YANG Er-long. Fault Diagnosis of Pumping Unit Based on Convolutional Neural Network[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(5): 751-757. doi: 10.12178/1001-0548.2019205
Citation: DU Juan, LIU Zhi-gang, SONG Kao-ping, YANG Er-long. Fault Diagnosis of Pumping Unit Based on Convolutional Neural Network[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(5): 751-757. doi: 10.12178/1001-0548.2019205
  • 由于井下地层因素复杂,抽油杆柱运动到井下抽油泵的过程中存在许多不明因素均易引发抽油机故障,降低生产抽油效率,甚至造成油井安全事故。载荷(P)和位移(S)是抽油机驴头在上下往复运动时产生的参数,二者构成的闭合曲线即为示功图,它可实时反映气、油、水、砂、蜡等井内因素对抽油机工况的影响[1],因此基于示功图的抽油机故障诊断是数字化油田中一项重要研究内容。

    抽油机状态采集频繁,传统示功图人工分析法需要消耗大量的人力、物力,且受专业经验影响而难于推广。人工神经网络(artificial neural network, ANN)具有良好的非线性逼近能力,BP神经网络[2-3]、RBF[4]、小波神经网络[5]、极限学习机[6]、自组织神经网络[7-8]等模型相继被应用到抽油机故障诊断中,正逐步取代传统的人工分析。但受限于模型的内部机制,这些方法存在以下不足:1) 特征提取时直接将示功图的上百个位移−载荷数据对作为输入,造成神经网络模型内部映射结构复杂,严重影响模型的诊断精度;2) 故障诊断是以示功图轮廓特征为基础,而位移−载荷的直接点对点的输入神经网络模型,无法有效提取示功图的轮廓特征。

    近年来,随着大规模数据集的不断涌现和计算机GPU计算能力的不断提高,以卷积神经网络(convolutional neural networks, CNN)为代表的深度学习模型,如VGG-16[9]、ResNet[10]、DenseNet[11]等,已成为模式识别、目标检测、语言处理等研究领域的研究热点。自2018年开始,文献[12-14]尝试应用CNN进行抽油机故障诊断的探索性研究,取得了较好的应用效果。但直接应用CNN诊断工况存在如下问题:1) CNN模型计算密集、参数数量庞大,训练需耗费极大的GPU计算资源,需要较大的存储和运行内存,而部分抽油机工况检测设备的硬件性能和功耗较低,直接运行此模型难度较大;2)部分工况示功图轮廓特征区分度较低,如气体影响、供液不足、固定漏失、游动漏失等,直接卷积提取轮廓特征的诊断精度并不理想。

    通过CNN诊断抽油机故障需要重点研究的问题:1) 有效提取示功图的轮廓特征,并加强对区分度高的轮廓特征提取;2) 降低模型存储,提高模型的适用性。为此,本文采用深度分离卷积作为CNN特征提取的基础架构,提出一种正则化注意力卷积模块,该模块可以嵌入到CNN的任意两个连续卷积层中,通过通道压缩、注意力和通道失活,实现特征加强和抑制;其次,提出一种注意力损失函数使得模型训练关注难分的示功图样本,进一步提高模型的诊断能力。为方便表述,将上述过程构建的CNN命名为轻量注意力卷积神经网络(lightweight attention convolutional neural network, LA-CNN)。仿真实验通过油田某矿的抽油机工况数据集对模型有效性进行验证。

    • 深度分离卷积[15]通过深度卷积和点卷积,将标准卷积通道和空间的联合映射分离成二者单独映射,有效减少模型参数数量和空间存储。2017年,Google引入深度分离卷积,提出MobileNet-V1[16],其模型参数仅为4.2 MB,存储空间为17 MB,适用低功耗的嵌入式便携设备。2018年,Google进一步提出MobileNet-V2[17]。为方便描述,记卷积核为 $({D_K},{D_K},C)$ ,其中卷积核的宽、高一致,统一用 ${D_K}$ 表示, $C$ 为通道。深度分离卷积是将原有跨通道计算的 $N$ $({D_K},{D_K},M)$ 标准卷积转成转换成 $M$ $({D_K},{D_K},1)$ 的深度卷积和跨通道的 $N$ $(1,1,M)$ 的点卷积。记输入特征图为 $\{ {D_F},{D_F},M\} $ ,输出特征图为 ${\rm{\{ }}{D_F},{D_F},N{\rm{\} }}$ ,其中 ${D_F}$ 为特征图的宽和高,则各卷积计算量如下:

      1) 标准卷积为:

      $${\rm{coun}}{{\rm{t}}_0} = {D_K}{D_K}MN{D_F}{D_F}$$

      2) 深度卷积为:

      $${\rm{coun}}{{\rm{t}}_1} = {D_K}{D_K}M{D_F}{D_F}$$

      3) 点卷积为:

      $${\rm{coun}}{{\rm{t}}_{\rm{2}}} = MN{D_F}{D_F}$$

      深度分离卷积和标准卷积的计算量对比如下,即深度分离卷积计算量仅相当于标准卷积的 $1/D_K^2$

      $$\frac{{{\rm{coun}}{{\rm{t}}_1} + {\rm{coun}}{{\rm{t}}_2}}}{{{\rm{coun}}{{\rm{t}}_0}}}{\rm{ = }}\frac{1}{N} + \frac{1}{{D_K^2}} \approx \frac{1}{{D_K^2}}$$
    • 近年来,仿照人类感知系统的注意力机制可快速、有效地定位目标信息,抑制无关信息和节省计算资源,是目前国内外研究的热点问题,在细粒度识别[18-19]、目标检测[20-21]、图像描述[22-23]等领域均有应用。文献[24]提出SENet,通过通道的压缩、扩展完成注意力的计算,虽然在ImageNet大规模数据集上的分类精度较高,但由于缺乏正则化机制,对于规模较小的抽油机工况数据集,却容易出现过拟合。目前增强CNN对小规模数据集泛化能力的重要方法是Dropout,随机设置神经元的输出或者连接权值为零,但该方法仅限于在全连接层中使用。卷积层的基本信息单位是通道,不是神经元,因此Dropout并不适用于卷积层。

      为此,为提高示功图的轮廓特征提取,本文提出了一种可嵌入连续深度分离卷积层正则化注意力模块,该模块首先利用全局池化计算对上一个卷积层输出特征图中的每个通道进行压缩,并引入一个全连接层来构建通道注意力向量;然后计算通道选择掩码,建立适用于通道的正则化机制,完成通道的失活。模块的具体结构如图1所示。

      图  1  嵌入两个连续深度分离卷积层的正则化注意力模块

    • 1) 通道聚合

      使用最大、平均和随机3种全局池化,沿通道方向压缩特征图的每个通道空间维度,从多个角度完成空间信息的聚。为方便描述,记上一个深度分离卷积输出特征图为 ${{U}} = [{u_1},{u_2}, \cdots ,{u_C}]$ ${u_i} \in {{\mathbb{R}}^{H \times W}}$ $C$ 为通道数,HW分别为特征图的高和宽。按全局最大池化,将每个 ${u_i}$ 压缩到通道注意力分量 ${s_{\max }}$ ,具体定义为:

      $$s_{\max }^c = \max {u_c}(i,j)$$ (1)

      按全局平均和随机池化的计算,分别压缩每个 ${u_i}$ 到通道注意力分量 ${s_{{\rm{mean}}}}$ ${s_{{\rm{sto}}}}$ 中,这两个分量的具体定义为:

      $$s_{{\rm{mean}}}^c = \frac{1}{{|HW|}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {{u_c}(i,j)} } $$ (2)
      $$s_{{\rm{sto}}}^c = \sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {{p_c}(i,j){u_c}(i,j)} } $$ (3)

      式中, ${p_c}(i,j)$ 为通道中某元素的选择概率:

      $${p_c}(i,j) = {{{u_c}(i,j)} \Bigg/ {\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {{u_c}(i,j)} } }}$$

      2) 通道注意力

      将通道注意力分量 ${s_{\max }}$ ${s_{{\rm{mean}}}}$ ${s_{{\rm{sto}}}}$ 作为全连接层的输入,通过与权值参数的逐点相乘、累加和激活函数完成聚合,进一步增加非线性,并通过模型训练不断更新、计算每个通道对样本的注意力。因此,通道注意力 ${{s}} = [{s_1},{s_2}, \cdots ,{s_C}]$ 的定义如下:

      $${{s}} = \sigma ({w_1}\delta ({w_0}{s_{\max }}) + {w_1}\delta ({w_0}{s_{{\rm{mean}}}}) + {w_1}\delta ({w_0}{s_{{\rm{sto}}}}))$$ (4)

      式中, $\sigma $ 是sigmoid函数; $\delta $ 是ReLu函数; ${w_0}$ ${w_1}$ 为全连接层的权值,这些参数对于3个通道注意力分量是共享的。

      3) 通道正则化

      根据通道注意力构建通道注意力掩码 ${{m}} = [{m_1}, {m_2}, \cdots ,{m_C}]$ ,其中掩码 ${m_i}$ 标识某通道是否被激活,第 $i$ 个通道被选择的概率定义为:

      $${p_i} = \frac{{{{\rm{e}}^{{s_i}}}}}{{\displaystyle\sum\limits_{i = 1}^C {{{\rm{e}}^{{s_i}}}} }}$$ (5)

      如果某通道选择概率 ${p_i}$ 大于随机选择概率,则通道被激活,否则失活。即通道的选择概率越大,则通道越容易被激活。因此,掩码 ${m_i}$ 可定义为:

      $$ {m_i} = \left\{ {\begin{array}{*{20}{l}} 1&{{p_i} > = \dfrac{{{{\rm{e}}^{{\rm{rand}}(0,1)}}}}{{\displaystyle\sum\limits_{i = 1}^C {{{\rm{e}}^{{s_i}}}} }}}\\ 0&{{\text{其他}}} \end{array}} \right. $$ (6)

      4) 正则化注意力特征图

      根据通道注意力 ${{s}}$ 和通道注意力掩码 ${{m}}$ ,在原始特征图 ${{U}}$ 的基础上,构建正则化注意力特征图 ${{X}} \in {{\mathbb{R}}^{C \times H \times W}}$ ,具体定义为:

      $$ \begin{split} &\qquad\qquad{{X}} = [{x_1},{x_2}, \cdots ,{x_C}] = \\ & [{m_1} \times {s_1} \otimes {u_1},{m_2} \times {s_2} \otimes {u_2}, \cdots ,{m_C} \times {s_C} \otimes {u_C}] \end{split}$$ (7)

      式中, $ \otimes $ 代表逐点相乘。

    • 在抽油机工况数据集中,出砂、杆断、活塞脱出、正常等工况的示功图轮廓特征区分较为明显,具体如图2所示。这些样本在模型训练过程中较易识别正确,而气体影响、供液不足的示功图特征较为相近,诊断错误率较高。由于易分样本对模型的训练贡献较小,难分样本较大地影响着模型训练和后期的诊断精度,因此模型训练应较多的关注此类样本。

      标准CNN训练使用的交叉熵损失函数为:

      $${L_{{\rm{CE}}}}(y,\tilde y) = \sum\limits_{j = 1}^T {{y_j}\log {{\tilde y}_j}} $$ (8)

      式中, $y$ 是样本的实际类别; $\tilde y$ 是样本在全连接层的Softmax输出; $T$ 是样本的类别数。

      图  2  10种常见的抽油机工况对应的示功图

      根据式(8),交叉熵损失函数无法有效区分难分样本和易分样本,所有样本在训练中被等同对待,若易分样本数量高于难分样本,导致模型训练时难分负样本被易分正样本“淹没”。本文受注意力机制启发,提出了注意力损失函数,定义为:

      $${L_{{\rm{A - CE}}}}(y,\tilde y) = \sum\limits_{j = 1}^T {{y_j}{{(1 - {{\tilde y}_j})}^k}\log {{\tilde y}_j}} $$ (9)

      式中, ${(1 - {\tilde y_j})^k}$ 是调节系数; $k$ 是控制调节系数 ${(1 - {\tilde y_j})^k}$ 的变化速度的调节因子。

      根据式(9),本文的注意力损失函数存在以下特性:1) 对于易分样本,样本预测概率 ${\tilde y_j} \to 1$ ,调节系数 ${(1 - {\tilde y_j})^k} \to 0$ ,训练损失 ${L_{{\rm{A - CE}}}}(y,\tilde y) \to 0$ ,损失贡献被有效抑制,消除对训练过程的主导性;2) 对于难分样本,样本预测概率 ${\tilde y_j} \to 0$ ,调节系数 ${(1 - {\tilde y_j})^k} \to 1$ ,训练损失所受影响较小。值得注意的是,相对于易分样本的损失抑制,难分样本的训练损失贡献呈指数级扩大,因此训练主要关注难分样本;3) 当易分样本转变为难分样本时,会再次引起模型的训练注意。

    • 本文实验对10种常见的抽油机工况进行诊断,具体包括:正常、固定凡尔漏失、游动凡尔漏失、杆断、出砂、结蜡、活塞碰泵、活塞脱出、气体影响、供液不足,每种示功图如图2所示。选取大庆油田某油矿40台抽油机的示功图样本25 963个,每个样本对应工况已在生产过程中通过人工标注完成。为保持样本平衡,本文实验对故障工况的样本进行数据增强,方法包括位移载荷偏移、旋转、平移,最后样本集共包含工况样本18 500个。模型训练过程中,采用5-fold交叉验证,即工况样本集平均分成5份,每次取其中4份作为训练集,剩余1份作为测试集。实验过程中将示功图的载荷、位移绘制成示功图,然后转换为224×224像素图像。

    • 本文为验证LA-CNN有效性,对比模型包括VGG-16[9]、ResNet-50[10]、MobileNet-V1[16]和MobileNet-V2[17],其中前两种是经典CNN,后两种是轻量CNN。此外还与其他示功图工况诊断方法对比,包括文献[3]的BP网络诊断法、文献[25]的UKF-RBF诊断法。表1为不同CNN模型的训练时间和抽油机故障诊断精度对比。

      实验结果表明:1) 在硬件资源和功耗较低的抽油机故障检测设备上,很难直接运行深度学习模型VGG-16和ResNet-50;2) 在模型存储上,使用深度分离卷积的MobileNet-V1,MobileNet-V2和本文的LA-CNN模型相对于深度学习模型VGG-16均缩减了近50倍左右,LA-CNN相对于模型MobileNet-V1,几乎没有变化;3) 在模型精度上,MobileNet-V1和MobileNet-V2模型的故障诊断精度相对较低,分别为87.5%和88.8%,不能很好地满足故障诊断实际要求。但引入注意力的机制后,LA-CNN的诊断精度比MobileNet模型有明显的提高,达到95.1%,仅比VGG-16的诊断精度低0.6个百分点,满足抽油机故障诊断的精度要求;4) 浅层神经网络诊断示功图存在精度较低的不足,如文献[3]和文献[25]的BP和RBF,主要受限于模型输入无法有效体现载荷和位移的映射关系,示功图轮廓的表征特征鲁棒性较差。

      本文LA-CNN模型在不同测试数据集上的每种工况的诊断结果如表2所示,可明显看出LA-CNN在抽油机的大多数工况上都获得了较高的诊断准确率,其中正常、供液不足、结蜡、出砂、活塞碰泵、活塞脱出、杆断的诊断精度均超过94%。图3为MobielNet-V1、MobielNet-V2、VGG-16和LA-CNN的抽油机故障诊断结果的混淆矩阵对比,其中坐标轴0~9依次代表正常、气体影响、供液不足、固定凡尔漏失、双凡尔漏失、结蜡、出砂、活塞碰泵、活塞脱出、杆断,纵轴表示样本的真实工况标签,水平轴表示样本的预测标签,对角线则表示测试集中各种工况样本诊断正确的数量。

      表 1  5种深度卷积神经网络模型的训练和诊断结果对比

      模型 参数数量/Million 模型大小/Mb 训练时间/h 诊断率/%
      ResNet-50 25.5 97.3 131.8 90.3
      VGG-16 138.3 527.6 147.5 95.7
      MobileNet-V1 4.2 16.0 5.8 87.5
      MobileNet-V2 3.4 12.9 4.1 88.8
      BP 0.3 1.3 0.4 74.2
      UKF-RBF 0.4 1.7 0.7 86.4
      LA-CNN 4.5 17.1 5.4 95.1

      图  3  不同模型诊断抽油机故障的混淆矩阵对比

      表 2  LA-CNN模型的不同测试集的故障诊断准确率 %

      测试集 正常 气体影响 供液不足 固定凡尔漏失 双凡尔漏失 结蜡 出砂 活塞碰泵 活塞脱出 杆断 整体平均
      1 97.3 90.6 94.2 90.6 90.8 98.4 97.3 96.2 98.7 99.1 95.3
      2 96.2 91.5 95.3 90.9 88.6 98.1 95.7 95.6 98.3 98.4 94.9
      3 96.8 93.1 94.1 91.5 89.6 97.7 96.8 98.4 97.4 98.3 95.4
      4 96.1 92.2 93.6 91.6 90.3 97.9 94.8 96.4 98.5 98.9 95.0
      5 95.7 92.2 92.8 91.9 89.3 95.2 97.6 96.7 98.4 98.7 94.9
      整体平均 96.4 91.9 94.0 91.3 89.7 97.5 96.4 96.7 98.3 98.7 95.1

      为进一步验证本文的正则化注意力模块和注意力损失函数的有效性,通过融合实验进行性能对比分析,包括深度分离卷积、正则化注意力和注意力损失函数间的不同组合,对比指标是模型训练时间和故障诊断精度。表3为LA-CNN的融合实验性能对比,实验结果表明:1) 在CNN中嵌入正则化注意力模块后,增加的训练时间可以忽略不计,但诊断精度明显提高;2) 引入注意力损失函数,通过控制样本损失权重调节样本贡献,使模型训练过程中较多地关注难分负样本,比仅使用注意力机制又提高2.9个百分点。

      表 3  LA-CNN模型的融合实验对比

      深度分离卷积 正则化注意力 注意力损失函数 训练时间/h 精度对比/%
      4.1 87.6
      4.2 92.2
      5.4 95.1

      此外,为验证注意力损失函数中的调节因子 $k$ 对模型性能的影响,将其分别作为LA-CNN、VGG-16和MobileNet的损失函数,并给出各个取值时不同模型的故障诊断精度对比,从而从实验分析角度给出 $k$ 的最终取值。图4 $k$ 不同取值时不同模型的抽油机故障诊断准确率对比。

      图  4  调节因子对故障诊断性能的影响

      实验结果表明 $k = 3$ 时,各个模型的故障诊断精度均达到理想状态,其中LA-CNN达到95.1%。主要原因如下:

      1) $k = 0$ 时,各个模型仍然使用的是交叉熵损失函数,所有样本对损失的贡献权重相等;

      2) $k \in [1,3]$ 时,易分样本的损失权重逐步得到抑制,模型训练关注难分样本;

      3) $k > 3$ 时,易分样本对模型训练损失的贡献基本被抑制到0,同时难分负样本的数量较少,模型诊断能力下降。

    • 本文介绍了一种轻量型卷积神经网络LA-CNN及抽油机故障诊断应用,将位移−载荷的轮廓曲线转换为图像,直接使用卷积神经网络提取图形的轮廓特征。在模型结构上采用了深度分离卷积来降低模型存储,为提高抽油机故障诊断精度,适应小规模工况样本集,提出正则化注意力模块和注意力损失函数,对特征图的通道特征进行抑制或加强,建立适用于通道的失活机制,训练过程更多关注难分样本。这种正则化注意力机制可有效提高模型的诊断精度。仿真结果表明,LA-CNN导出后的模型参数仅占5.4 Mb,可满足检测设备硬件和功耗低的要求,并具有较高的故障诊断精度。最后通过融合实验进一步验证所提正则化注意力模块和注意力损失函数的有效性。该方法的研究为大数据环境下的卷积神经网络开展基于示功图的抽油机故障诊断提供了一种新的思路。

      本文的研究工作得到了东北石油大学青年基金(2017PYZL-06, 2018YDL-22)和东北石油大学优秀中青年科研创新团队(KYCXTD201903)的资助,在此表示感谢!

参考文献 (25)

目录

    /

    返回文章
    返回