留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于Gabor及深度神经网络的葡萄种子分类

杨旺功 淮永建 张福泉

杨旺功, 淮永建, 张福泉. 基于Gabor及深度神经网络的葡萄种子分类[J]. 电子科技大学学报, 2020, 49(1): 131-138. doi: 10.12178/1001-0548.2019164
引用本文: 杨旺功, 淮永建, 张福泉. 基于Gabor及深度神经网络的葡萄种子分类[J]. 电子科技大学学报, 2020, 49(1): 131-138. doi: 10.12178/1001-0548.2019164
YANG Wang-gong, HUAI Yong-jian, ZHANG Fu-quan. Grape Seed Classification Based on Gabor and Deep Neural Network[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(1): 131-138. doi: 10.12178/1001-0548.2019164
Citation: YANG Wang-gong, HUAI Yong-jian, ZHANG Fu-quan. Grape Seed Classification Based on Gabor and Deep Neural Network[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(1): 131-138. doi: 10.12178/1001-0548.2019164

基于Gabor及深度神经网络的葡萄种子分类

doi: 10.12178/1001-0548.2019164
基金项目: 国家自然科学基金(31770589);中央高校科研团队建设项目(2015ZCQ-XX)
详细信息
    作者简介:

    杨旺功(1982 − ),男,博士,主要从事林业虚拟现实与人工智能方面的研究

    通讯作者: 淮永建,E-mail:huaiyj@163.com
  • 中图分类号: TP391

Grape Seed Classification Based on Gabor and Deep Neural Network

  • 摘要: 种子成熟度需要受过长期训练的专家通过肉眼进行观察和判断。为了改变传统人工经验判断的方式,该文提出了一种基于Gabor小波特征提取及深度神经网络的葡萄种子图像分类识别算法,以便实现高效、准确的分类识别效果。首先,利用背景差分法在背景图像中分割出兴趣目标,从而完成图像的预处理。然后,通过改进的Gabor小波特征提取,使得Gabor滤波后的图像具有更多的细节纹理信息。最后,将深度卷积神经网络和提取到的纹理特征信息相结合进行分类。实验结果表明,基于机器学习的葡萄种子成熟度识别是切实可行的。且相比于其他类似分类算法,本文算法的图像分类精度有了一定的改善。
  • 图  1  均衡化前后葡萄种的子图像

    图  2  均衡化前后葡萄种子的直方图

    图  3  目标分割结果示例

    图  4  二维Gabor滤波器组的实部和虚部图

    图  5  深度卷积神经网络结构

    图  6  Gabor特征融合+深度神经网络的实验流程

    图  7  葡萄种子的分类识别结果

    图  8  不同卷积层的节点个数对应的识别率曲线图

    图  9  不同分块数对应的识别率曲线图

    图  10  网络结构的示意图

    表  1  有无图像预处理的识别实验结果对比

    样本处理方式识别率/%
    无归一化且无目标分割66.53
    仅归一化71.25
    仅目标分割76.61
    归一化且分割79.53
    下载: 导出CSV

    表  2  不同算法性能比较

    算法特征维数特征提取
    时间/s·幅−1
    平均识别
    率/%
    LBP+SVM6 4000.015 871.71
    PCA+交叉协方差降维6 4000.016 075.29
    PCA+竞争性神经网络6 4000.016077.06
    Gabor+PCA+SVM655 3600.378 579.34
    Gabor+卷积神经网络655 3600.355 181.47
    Gabor特征融合+深度神经网络4 0000.360 783.29
    下载: 导出CSV
  • [1] 刘春艳, 谢岳, 李栋梅, 等. 基于主成分分析的酿酒葡萄果实评价[J]. 北方园艺, 2017(11):13-17.

    LIU Chun-yan, XIE Yue, LI Dong-mei, et al. Evaluation of wine grape fruit based on principal component analysis[J]. Northern Horticulture, 2017(11): 13-17.
    [2] 齐晓茹, 侯丽娟, 师旭, 等. 不同年份、不同葡萄品种葡萄酒品质特征分析研究[J]. 食品工业科技, 2017, 38(9):243-247.

    QI Xiao-ru, HOU Li-juan, SHI Xu, et al. Analysis of wine quality characteristics of different grape varieties in different years[J]. Science and Technology of Food Industry, 2017, 38(9): 243-247.
    [3] RADHIKA V, RAO V S H. Computational approaches for the classification of seed storage proteins[J]. Journal of Food Science & Technology, 2015, 52(7): 4246-4255.
    [4] JIA Z, XU C, LI Z, et al. An examination of on-line machine learning approaches for pseudo-random generated data[J]. Cluster Computing, 2016, 19(3): 1309-1321. doi:  10.1007/s10586-016-0586-5
    [5] GERMISHUIZEN I, GARDNER R A. A tool for identifying potential Eucalyptus nitens seed orchard sites based on climate and topography[J]. Journal of the South African Forestry Association, 2015, 77(2): 123-130.
    [6] BIANCO M L, FERRER-GALLEGO P, GRILLO O, et al. Seed image analysis provides evidence of taxonomic differentiation within the Medicago L. sect. Dendrotelis (Fabaceae)[J]. Systematics & Biodiversity, 2015, 13(5): 484-495.
    [7] 贾佳, 王建华, 谢宗铭, 等. 计算机图像识别技术在小麦种子精选中的应用[J]. 中国农业大学学报, 2014, 19(5):180-186.

    JIA Jia, WANG Jian-hua, XIE Zong-ming, et al. Application of computer image recognition technology in wheat seed selection[J]. Journal of China Agricultural University, 2014, 19(5): 180-186.
    [8] 张新伟, 易克传, 高连兴. 基于脉冲耦合神经网络的粘连玉米种子图像分割[J]. 中国农业大学学报, 2015, 20(3):208-215.

    ZHANG Xin-wei, YI Ke-chuan, GAO Lian-xing. Image segmentation of adhesive corn seeds based on pulse coupled neural network[J]. Journal of China Agricultural University, 2015, 20(3): 208-215.
    [9] 赵学观, 王秀, 李翠玲, 等. 基于主成分分析及LVQ神经网络的番茄种子品种识别[J]. 浙江农业学报, 2017, 29(8):1375-1383. doi:  10.3969/j.issn.1004-1524.2017.08.20

    ZHAO Xue-guan, WANG Xiu, LI Cui-ling, et al. Identification of tomato seed varieties based on principal component analysis and LVQ neural network[J]. Zhejiang Journal of Agricultural Sciences, 2017, 29(8): 1375-1383. doi:  10.3969/j.issn.1004-1524.2017.08.20
    [10] LI Ya-qian, ZHANG Shao-wei, LI Hai-bin, et al. Face recognition method using gabor wavelet and cross-covariance dimensionality reduction[J]. Journal of Electronics & Information Technology, 2017, 39(8): 2023-2027.
    [11] 王林, 董楠. 基于Gabor特征与卷积神经网络的人体轮廓提取[J]. 南京理工大学学报(自然科学版), 2018, 42(1):89.

    WANG Lin, DONG Nan. Human contour extraction based on Gabor feature and convolutional neural network[J]. Journal of Nanjing University of Science and Technology(Natural Science), 2018, 42(1): 89.
    [12] 孙超, 吕俊伟, 宫剑, 等. 结合小波变换与深度网络的图像超分辨率方法[J]. 激光与光电子学进展, 2018, 55(12):223-230.

    SUN Chao, LU Jun-wei, GONG Jian, et al. Image super-resolution method combined with wavelet transform and depth network[J]. Advances in Laser and Optoelectronics, 2018, 55(12): 223-230.
    [13] SCHLÜTER S, SHEPPARD A, BROWN K, et al. Image processing of multiphase images obtained via X‐ray microtomography: A review[J]. Water Resources Research, 2014, 50(4): 3615-3639. doi:  10.1002/2014WR015256
    [14] RODRÍGUEZ-CABALLERO E, ESCRIBANO P, CANTÓN Y. Advanced image processing methods as a tool to map and quantify different types of biological soil crust[J]. Isprs Journal of Photogrammetry & Remote Sensing, 2014, 90(2): 59-67.
    [15] AZAD M A K, ROCHA A M A C, FERNANDES E M G P. A simplified binary artificial fish swarm algorithm for 0-1 quadratic knapsack problems[J]. Journal of Computational & Applied Mathematics, 2014, 259(4): 897-904.
    [16] BUFFONI L X, COULOMBE J, SAWAN M. Image processing strategies dedicated to visual cortical stimulators: a survey[J]. Artificial Organs, 2015, 29(8): 658-664.
    [17] JIANG W, BAO W, TANG Q, et al. A variational-difference numerical method for designing progressive-addition lenses[J]. Computer-Aided Design, 2014, 48(3): 17-27.
    [18] SONG X, LIU F, ZHANG Z, et al. 2D Gabor filters-based steganalysis of content-adaptive JPEG steganography[J]. Multimedia Tools & Applications, 2016, 76(24): 1-29.
    [19] WEI L, QIAN D. Gabor-filtering-based nearest regularized subspace for hyperspectral image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2014, 7(4): 1012-1022.
    [20] HAN S, LIU X, MAO H, et al. EIE: Efficient inference engine on compressed deep neural network[J]. Acm Sigarch Computer Architecture News, 2016, 44(3): 243-254. doi:  10.1145/3007787.3001163
    [21] SAMEK W, BINDER A, MONTAVON G, et al. Evaluating the visualization of what a deep neural network has learned[J]. IEEE Transactions on Neural Networks & Learning Systems, 2016, 28(11): 2660-2673.
    [22] YANG L I, HAI J G. Facial expression recognition based on LBP and SVM decision tree[J]. Modern Computer, 2014, 713-715(7): 2152-2155.
    [23] LI M, YU X, RYU K H, et al. Face recognition technology development with Gabor, PCA and SVM methodology under illumination normalization condition[J]. Cluster Computing, 2017, 21(3): 1-10.
  • [1] 李西, 姜孟.  机器学习在帕金森病诊断中的应用研究 . 电子科技大学学报, 2024, 53(2): 315-320. doi: 10.12178/1001-0548.2023180
    [2] 张鹏, 秦瑞青, 刘润东, 兰月新, 韦昱妃.  恶意社交机器人检测方法综述 . 电子科技大学学报, 2024, 53(6): 1-11. doi: 10.12178/1001-0548.2023229
    [3] 谢丽霞, 张浩, 杨宏宇, 胡泽, 成翔, 张良.  网络钓鱼检测研究综述 . 电子科技大学学报, 2024, 53(6): 1-18. doi: 10.12178/1001-0548.2023273
    [4] 刘颖, 袁莉, 祖铄迪, 范有腾, 谢宁, 杨阳.  基于多模态生理数据的情感识别综述 . 电子科技大学学报, 2024, 53(5): 720-731. doi: 10.12178/1001-0548.2024176
    [5] 刘勇国, 高攀, 兰荻, 朱嘉静.  ECA-SKNet:玉米单倍体种子的卷积神经网络识别模型 . 电子科技大学学报, 2023, 52(6): 866-871. doi: 10.12178/1001-0548.2022361
    [6] 郭磊, 林啸宇, 王勇, 陈正武, 常伟.  基于深度学习的直升机旋翼声信号检测与识别一体化算法 . 电子科技大学学报, 2023, 52(6): 925-931. doi: 10.12178/1001-0548.2023108
    [7] 刘明友, 刘红美, 张招方, 朱映雪, 黄健.  抗微生物肽机器学习预测算法综述 . 电子科技大学学报, 2022, 51(6): 830-840. doi: 10.12178/1001-0548.2022188
    [8] 周丰丰, 牛甲昱.  细胞穿膜肽识别问题的多特征融合卷积网络预测算法 . 电子科技大学学报, 2022, 51(4): 494-499. doi: 10.12178/1001-0548.2021391
    [9] 张仕斌, 黄曦, 昌燕, 闫丽丽, 程稳.  大数据环境下量子机器学习的研究进展及发展趋势 . 电子科技大学学报, 2021, 50(6): 802-819. doi: 10.12178/1001-0548.2021332
    [10] 李莉, 杜丽霞, 张子柯.  基于多变量LSTM神经网络的澳大利亚大火预测研究 . 电子科技大学学报, 2021, 50(2): 311-316. doi: 10.12178/1001-0548.2020370
    [11] 吴涢晖, 赵子天, 陈晓雷, 邹士亚.  大气低频声信号识别深度学习方法研究 . 电子科技大学学报, 2020, 49(5): 758-765. doi: 10.12178/1001-0548.2019297
    [12] 邵杰, 黄茜, 曹坤涛.  基于深度学习的人体解析研究综述 . 电子科技大学学报, 2019, 48(5): 644-654. doi: 10.3969/j.issn.1001-0548.2019.05.001
    [13] 张亮亮, 唐有, 张翌维, 王新安.  针对密码芯片数据搬移能量曲线的机器学习攻击 . 电子科技大学学报, 2019, 48(3): 415-419. doi: 10.3969/j.issn.1001-0548.2019.03.017
    [14] 林奕欧, 雷航, 李晓瑜, 吴佳.  自然语言处理中的深度学习:方法及应用 . 电子科技大学学报, 2017, 46(6): 913-919. doi: 10.3969/j.issn.1001-0548.2017.06.021
    [15] 李彦冬, 雷航, 郝宗波, 唐雪飞.  基于多尺度显著区域特征学习的场景识别 . 电子科技大学学报, 2017, 46(3): 600-605. doi: 10.3969/j.issn.1001-0548.2017.03.020
    [16] 张小骏, 刘志镜, 薛鸿民.  跨摄像机目标的频域再识别 . 电子科技大学学报, 2016, 45(2): 258-262.
    [17] 陈姝, 梁文章.  结合特征点匹配及深度网络检测的运动跟踪 . 电子科技大学学报, 2016, 45(2): 246-251.
    [18] 李建勋, 唐斌, 吕强.  双谱特征提取在欺骗式干扰方式识别中的应用 . 电子科技大学学报, 2009, 38(3): 329-332. doi: 10.3969/j.issn.1001-0548.2009.03.003
    [19] 韩春林, 雷飞, 王建国, 向敬成.  合成孔径雷达图像目标分类研究 . 电子科技大学学报, 2004, 33(1): 1-4.
    [20] 王贵新, 刘建胜, 居琰, 汪同庆, 彭健, 杨波.  “有效行”特征对手写体字符的识别 . 电子科技大学学报, 2001, 30(3): 287-291.
  • 加载中
图(10) / 表(2)
计量
  • 文章访问数:  7758
  • HTML全文浏览量:  2847
  • PDF下载量:  49
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-07-20
  • 修回日期:  2019-11-08
  • 刊出日期:  2020-01-01

基于Gabor及深度神经网络的葡萄种子分类

doi: 10.12178/1001-0548.2019164
    基金项目:  国家自然科学基金(31770589);中央高校科研团队建设项目(2015ZCQ-XX)
    作者简介:

    杨旺功(1982 − ),男,博士,主要从事林业虚拟现实与人工智能方面的研究

    通讯作者: 淮永建,E-mail:huaiyj@163.com
  • 中图分类号: TP391

摘要: 种子成熟度需要受过长期训练的专家通过肉眼进行观察和判断。为了改变传统人工经验判断的方式,该文提出了一种基于Gabor小波特征提取及深度神经网络的葡萄种子图像分类识别算法,以便实现高效、准确的分类识别效果。首先,利用背景差分法在背景图像中分割出兴趣目标,从而完成图像的预处理。然后,通过改进的Gabor小波特征提取,使得Gabor滤波后的图像具有更多的细节纹理信息。最后,将深度卷积神经网络和提取到的纹理特征信息相结合进行分类。实验结果表明,基于机器学习的葡萄种子成熟度识别是切实可行的。且相比于其他类似分类算法,本文算法的图像分类精度有了一定的改善。

English Abstract

杨旺功, 淮永建, 张福泉. 基于Gabor及深度神经网络的葡萄种子分类[J]. 电子科技大学学报, 2020, 49(1): 131-138. doi: 10.12178/1001-0548.2019164
引用本文: 杨旺功, 淮永建, 张福泉. 基于Gabor及深度神经网络的葡萄种子分类[J]. 电子科技大学学报, 2020, 49(1): 131-138. doi: 10.12178/1001-0548.2019164
YANG Wang-gong, HUAI Yong-jian, ZHANG Fu-quan. Grape Seed Classification Based on Gabor and Deep Neural Network[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(1): 131-138. doi: 10.12178/1001-0548.2019164
Citation: YANG Wang-gong, HUAI Yong-jian, ZHANG Fu-quan. Grape Seed Classification Based on Gabor and Deep Neural Network[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(1): 131-138. doi: 10.12178/1001-0548.2019164
  • 随着国内经济的快速发展,社会消费能力和档次也不断提升。在我国,葡萄酒逐渐成为了一种高价值的天然饮品,具有抗氧化功效。我国的葡萄酒酿造产业已经具有较大的经济产值和社会效益[1]。如何获得优质葡萄酒的相关因素之一是准确判定葡萄的收获时间[2]

    传统上,酚类成熟度估算由专家(酿酒师)通过样品的感官检查或通过实验室化学分析来完成。但是这种方法对人类专家的经验和专业素养要求较高,导致工作效率较低,且准确率无法得到保证[3-4]。最近,研究人员提出通过机器视觉技术来识别种子品种和品质的方法[5-6]。文献[7]将计算机图像识别技术在小麦种子精选中进行了应用。文献[8]提出了基于脉冲耦合神经网络的粘连玉米种子图像分割方法,运用直方图均衡化和布特沃斯低通滤波器进行频域增强预处理,结合脉冲耦合神经网络实现高精确度的种子图像分割。传统图像目标识别任务中,目标特征的提取是十分重要的过程,其中比较常用的方法为主成分分析(principal component analysis, PCA)和小波分析。文献[9]提出了一种基于PCA及竞争性神经网络的番茄种子品种识别方法,能够以90.5%的准确率完成5个品种的分类识别。而随着小波分析理论的发展,Harr小波、样条小波、Gabor小波等也得到广泛应用,基于Gabor小波提取特征的方法具有明显的频率特性和方向选择性,能够捕捉边缘敏感局部结构信息,并且光照变化和对比度变化具有较好的鲁棒性。文献[10]提出了基于Gabor小波和交叉协方差降维的人脸识别方法。文献[11]提出了基于Gabor特征与卷积神经网络的人体轮廓提取方法。从文献[10-11]的研究结果可以看出,Gabor小波在图像特征提取方面具有一定的优势,更有利于提升分类的准确率。现阶段,作为较先进的机器学习方法,深度学习模型在图像处理领域表现出色,具有强大的特征提取能力。因此,文献[12]提出了一种结合小波变换与深度网络的图像超分辨率方法。上述方法中,文献[9]的基于PCA特征提取的种子识别分类方法的准确率仍不够理想,存在一定的提升空间。文献[11]的传统Gabor小波变换方法,在选取的尺度和方向过多时,计算复杂度过大。因此,借鉴文献[12]的研究思路,本文用Gabor小波特征提取替换传统的小波变换,并结合深度神经网络,来实现具体的葡萄种子分类任务。从文献[10-11]的研究结果可以看出,Gabor小波在图像特征提取方面具有一定的优势,更有利于提升分类的准确率。现阶段,作为较先进的机器学习方法,深度学习模型在图像处理领域表现出十分出色的性能,具有强大的特征提取能力。因此,文献[12]提出了一种结合小波变换与深度网络的图像超分辨率方法。

    • 葡萄种子图像的预处理是识别过程中必不可缺的操作,种子图像具有各种问题,如阴影、高光和种子像素与阴影之间的低对比度。因此,需要消除光照、背景等与种子目标识别无关的因素,以便为后续特征提取提供最佳条件,从而提高特征抽取、识别的可靠性。

    • 首先对输入目标图像进行尺度归一化,保证所有样本大小相同。计算图像的协方差矩阵M为:

      $$ {{M}} = \left[ {\begin{array}{*{20}{c}} {{\mu _{20}}}&{{\mu _{11}}} \\ {{\mu _{11}}}&{{\mu _{02}}} \end{array}} \right]$$ (1)

      式中,${\mu _{ij}}$表示i+j阶联合中心矩。利用M的特征向量旋转坐标系,设M的特征值为${\lambda _1}$${\lambda _2}$,特征向量的计算方式为[13]

      $$ {{{e}}_i} = \left[ \begin{array}{l} {e_{ix}} \\ {e_{iy}} \\ \end{array} \right] = \left[ {\begin{array}{*{20}{c}} {\dfrac{{{\mu _{11}}}}{{\sqrt {{{\left( {{\lambda _i} - {\mu _{20}}} \right)}^2} + \mu _{11}^2} }}} \\ {\dfrac{{{\lambda _i} - {\mu _{20}}}}{{\sqrt {{{\left( {{\lambda _i} - {\mu _{20}}} \right)}^2} + \mu _{11}^2} }}} \end{array}} \right]\begin{array}{*{20}{c}} {}&{i = 1,2} \end{array} $$ (2)

      那么,${{{e}}_1} = {[{e_{1x}},{e_{1y}}]^{\rm{T}}}$${{{e}}_2} = {[{e_{2x}},{e_{2y}}]^{\rm{T}}}$分别为${\lambda _1}$${\lambda _2}$对应的特征向量,可以得出旋转矩阵[14]为:

      $${{E}} = \left[ {\begin{array}{*{20}{c}} {{e_{1x}}}&{{e_{1y}}} \\ {{e_{2x}}}&{{e_{2y}}} \end{array}} \right]$$ (3)

      设特征向量彼此正交,即${e_{1x}}{e_{1y}} + {e_{2x}}{e_{2y}} = 0$,从而确保M为实对称矩阵,则旋转变换后的图像坐标为:

      $$\left[ {\begin{array}{*{20}{c}} {x'} \\ {y'} \end{array}} \right] = {{E}}\left[ {\begin{array}{*{20}{c}} {x - \bar x} \\ {y - \bar y} \end{array}} \right]$$ (4)

      式中,$(\bar x,\bar y)$表示图像的重心坐标。按照M的特征值进行坐标系归一化:

      $$ \begin{split} & {{W}} = \left[ {\begin{array}{*{20}{c}} {\dfrac{{{{({\lambda _1}{\lambda _2})}^{1/4}}}}{{\sqrt {{\lambda _1}} }}}&0 \\ 0&{\dfrac{{{{({\lambda _1}{\lambda _2})}^{1/4}}}}{{\sqrt {{\lambda _2}} }}} \end{array}} \right] \\ & \frac{{{{({\lambda _1}{\lambda _2})}^{1/4}}}}{{\sqrt {{\lambda _1}} }}\dfrac{{{{({\lambda _1}{\lambda _2})}^{1/4}}}}{{\sqrt {{\lambda _2}} }} = 1 \end{split} $$ (5)

      最终得到一个与坐标无关的标准化图像坐标为:

      $$\left[ {\begin{array}{*{20}{c}} {x''} \\ {y''} \end{array}} \right] = {{WE}}\left[ {\begin{array}{*{20}{c}} {x - \bar x} \\ {y - \bar y} \end{array}} \right]$$ (6)
    • 对尺度归一化的图像进行直方图均衡化来实现图像的灰度归一化,从而增强图像之间的对比度,加大图像的动态范围,改善图像的质量。

      假设数字图像的像素总和为N,灰度级总数为Lnk是在图像中出现第k级灰度的次数,图像中灰度级为rk的像素出现的概率为[15]

      $${P_r}({r_k}) = \frac{{{n_k}}}{N}\begin{array}{*{20}{c}} {}&{0 \leqslant {r_k} \leqslant 1,k = 0,1, \cdots ,L - 1} \end{array}$$ (7)

      变换操作可表示为[16]

      $$s = {\rm{EN}}(r)\begin{array}{*{20}{c}} {}&{} \end{array}0 \leqslant r \leqslant 1$$ (8)

      式中,s表示被变换图像的单个灰度;r表示被变换后图像的单个灰度。

      在取值区间内EN(r)是单调增加的,因此均衡化的变换函数为:

      $$\begin{split} & {s_k} = T({r_k}) = \sum\limits_{i = 0}^k {\frac{{{n_j}}}{N}} = \sum\limits_{i = 0}^k {{p_r}({r_j})} \\ & 0 \leqslant {r_k} \leqslant 1,k = 0,1, \cdots ,L - 1 \\ \end{split} $$ (9)

      均衡化前后葡萄种的子图像如图1所示。

      图  1  均衡化前后葡萄种的子图像

      均衡化前后葡萄种子的直方图如图2所示。

      图  2  均衡化前后葡萄种子的直方图

    • 在直方图均衡化之后,采用背景差分法[17]将当前兴趣目标与背景图像分割,设背景模型为${B_{x,y}}$

      $$ B(x,y) = \frac{{\displaystyle\sum\limits_{k = 0}^{n - 1} {{I_{x,y}}(k)} }}{n} $$ (10)

      式中,${I_{x,y}}(k)$表示第k帧目标图像;n为确定的帧数,分割后目标区域Q为:

      $${Q_k}(x,y) = \left\{ \begin{array}{l} 0\qquad\quad{\text{背景}}\begin{array}{*{20}{c}} {}&{{D_k}(x,y) < T} \end{array}\\ {D_k}(x,y)\;\;{\text{目标}}\begin{array}{*{20}{c}} {}&{{D_k}(x,y) \geqslant T} \end{array} \end{array} \right.$$ (11)
      $${D_k}(x,y) = \left| {{f_k}(x,y) - B(x,y)} \right|$$ (12)

      式中,${f_k}(x,y)$表示第k帧输入图像。式中背景表示 小于阀值T时分割后的区域划分为背景区域并设置为0。一个葡萄种子的目标分割示例如图3所示,图3b为分割产生的二值图像。从图中可以看出,采用背景差分法可以有效的将直方图均衡化之后的葡萄种子兴趣目标,从输入图片背景中较为完整的分割出来,以便为后续的Gabor小波特征提取做准备。

      图  3  目标分割结果示例

    • 图像中局部不规则、宏观有规律的特性称为纹理,Gabor小波特征提取的目标就是纹理特性分析。设图像的二维频谱函数为$S(r,\theta )$r表示频率,$\theta $表示方向,两者的一维函数定义为:

      $$S(r) = \sum\limits_{\theta = 0}^{\text π} {{S_\theta }(r)} $$ (13)
      $$S(\theta ) = \sum\limits_{r = 0}^R {{S_r}(\theta )} $$ (14)

      式中,R表示以原点为中心的圆的半径。现阶段广泛采用的方法是通过多通道滤波器提取图像局部的纹理频谱能量特征信息。

    • 二维Gabor小波是较为典型的图像多分辨率分析方法,其函数能够同时在空域和频域中取得最优分辨率。二维Gabor小波核函数的定义为[18]

      $$ \begin{split} & {\psi _{u,v}}(z) = \dfrac{{{{\left\| {{k_{u,v}}} \right\|}^2}}}{{{\sigma ^2}}}\exp \left( { - \frac{{{{({k_{u,v}}z)}^2}}}{{2{\sigma ^2}}}} \right) \times \\ &\quad\; \left[ {\exp \left( {i{k_{u,v}}z} \right) - \exp \left( { - \frac{{{\sigma ^2}}}{2}} \right)} \right] \end{split} $$ (15)

      式中,${k_{u,v}}$表示滤波器中心频率;$u$表示方向因子;$\sigma $表示与小波的频率带宽有关的常数;v表示尺度因子;z为给定位置$(x,y)$的图形坐标。可以看出式(14)表示参数$u$$v$变化的函数,$\sigma $为Gabor滤波器的带宽,决定了高斯窗宽与波长之比:

      $$\sigma = \sqrt {2\ln 2} \left( {\frac{{{2^\varphi } + 1}}{{{2^\varphi } - 1}}} \right)$$ (16)

      式中,$\varphi $为倍频程表示的半峰带宽;$\sigma $一般设置为$2{\text π} $

      Gabor小波滤波器可以分为实部和虚部[19]

      $${\psi _{u,v}}(z) = {\rm Re} ({\psi _{u,v}}(z)) + i{\rm Im} ({\psi _{u,v}}(z))$$ (17)

      其中实部为:

      $$ \begin{split} &{\rm Re} ({\psi _{u,v}}(z)) = \frac{{{{\left\| {{k_{u,v}}} \right\|}^2}}}{{{\sigma ^2}}}\exp \left( { - \frac{{{{({k_{u,v}}z)}^2}}}{{2{\sigma ^2}}}} \right) \times\\ &\quad\;\left[ {\cos ({k_{u,v}}z) - \exp \left( { - \frac{{{\sigma ^2}}}{2}} \right)} \right] \end{split} $$ (18)

      虚部为:

      $$ \begin{split} {\rm Im} ({\psi _{u,v}}(z)) =\,& \frac{{{{\left\| {{k_{u,v}}} \right\|}^2}}}{{{\sigma ^2}}}\exp \left( { - \frac{{{{({k_{u,v}}z)}^2}}}{{2{\sigma ^2}}}} \right) \times \\ &\left[ {\sin ({k_{u,v}}z)} \right] \end{split} $$ (19)

      幅值为:

      $$\left| {{G_{u,v}}(z)} \right| = \sqrt {{\rm Re} {{({\psi _{u,v}}(z))}^2} + {\rm Im} {{({\psi _{u,v}}(z))}^2}} $$ (20)

      滤波器的中心频率${k_{u,v}}$控制着振荡部分的波长、方向以及高斯窗口的宽度:

      $${k_{u,v}} = {k_v}{\left( {\cos {\theta _u},\sin {\theta _u}} \right)^{\rm{T}}}$$ (21)
      $${k_v} = \frac{{{k_{\max }}}}{{{f^v}}}$$ (22)

      式中,${k_{\max }}$表示Gabor滤波器最大中心频率,一般取值为${\text π} /2$${f^v}$表示频域内该滤波器的空间因子;${\theta _u}$表示Gabor滤波器的方向选择性。

    • 二维Gabor小波实质是通过选择不同的${k_v}$${\theta _u}$就会得到不同的Gabor滤波器,也就是通过尺度伸缩和旋转产生多个滤波器组。但当选取的尺度和方向过多时,会造成大量的冗余,导致复杂度急剧增加。因此在采样区间${\theta _u} \epsilon [0,{\text π} ]$内,选取了5个尺度和8个方向的Gabor滤波器组,可表示为:

      $${\psi _{u,v}}(z)\begin{array}{*{20}{c}} {}&{ u = 0,1, \cdots ,7\qquad v = 0,1, \cdots ,4} \end{array}$$ (23)

      二维Gabor滤波器组的实部和虚部如图4所示。

      图  4  二维Gabor滤波器组的实部和虚部图

      参数${k_v}$${\theta _u}$的取值为:

      $$ {k_v} = \frac{{{k_{\max }}}}{{{f^v}}} = {2^{ - \frac{{v + 2}}{2}}}{\text π} \qquad{\theta _u} = \frac{{u{\rm{{\text π} }}}}{8} $$ (24)

      Gabor滤波器组中的每一个Gabor滤波器可以从不同尺度和方向上,反映不同频率范围内的局部特征。

      图像经过Gabor小波变换后,同一尺度不同方向上的8张图含有较多冗余信息,导致特征维数成倍数的增加,产生了十分严重的‘数据灾难’,在增加计算复杂度的同时也在一定程度上影响了实际应用最终的识别率。因此,对同一尺度不同方向的Gabor小波特征幅值进行编码融合,设图像的原始Gabor特征表示为${\rm{\{ }}{{\rm{G}}_{u,v}}(z)| u = 0,1, \cdots ,7,v = 0,1, \cdots ,4\} $,融合编码后的图像表示为${\rm{\{ }}{{\rm{R}}_v}(z)| v = 0,1, \cdots ,4\} $。首先求得同一个尺度8个方向的Gabor特征幅值的均值为:

      $${\rm{av}}{{\rm{g}}_v} = \frac{{\left( {{G_{0,v}} + {G_{1,v}} + \cdots + {G_{7,v}}} \right)}}{8}$$ (25)

      然后,利用${\rm{av}}{{\rm{g}}_v}$为阈值对每个Gabor特征幅值进行二值化变换,并给每位二进制码s(x)赋予一个权值2p,得到表示融合特征的十进制编码值${R_v}(z) \in $$ [0,255]$

      $$s(x) = \left\{ \begin{array}{l} 1\begin{array}{*{20}{c}} {}&{x > 0} \end{array} \\ 0\begin{array}{*{20}{c}} {}&{x \leqslant 0} \end{array} \\ \end{array} \right.$$ (26)
      $${R_v}(z) = \sum\limits_{p = 0}^7 {s({G_{p,v}} - {\rm{av}}{{\rm{g}}_v}){2^p}} $$ (27)

      最后,采用类似旋转不变LBP的方法进行映射,结合分块直方图统计,在不减少图像纹理特征信息以便进行多尺度分析的前提下,有效地降低了特征维数。

    • 本文构建的深度卷积神经网络结构主要是由输入层、卷积层、激活函数、池化层、全连接层和输出层组成,如图5所示。

      图  5  深度卷积神经网络结构

      设输入的葡萄种子图像${I_{(i,j)}}$,以每个像素点$(i,j)$作为中心,提取大小为${N_{{\rm{patch}}}} \times {N_{{\rm{patch}}}}$的图像块,深度卷积神经网络中可训练的参数表示为$({{W}}_{{\rm cov} }^k,b_{{\rm cov} }^k)$,网络中的原始输入为矩阵X,那么网络的公式表示为[20]

      $${{{X}}^k} = {\rm{pool(}}f({{W}}_{{\rm cov} }^k * {{{X}}^{k - 1}} + b_{{\rm cov} }^k){\rm{)}}$$ (28)

      式中,k表示该层网络所处的层数;${{W}}_{{\rm cov} }^k$表示第k卷积层包含的可训练的权值矩阵;f表示激励函数;pool表示池化函数$b_{{\rm cov} }^k$表示第k卷积层包含的可训练的偏差。

      卷积网络的训练采用的是BP算法[21],输出层L的权值${W_L}$的偏导数为:

      $$\frac{{\partial L}}{{\partial {W_L}}} = - (e(y) - f(x))f'(x)$$ (29)

      式中,$e(y)$为类别标签;$f'( \cdot )$为激励函数的导数。

      输出层偏置的偏导数:

      $$\frac{{\partial L}}{{\partial {b_L}}} = - (e(y) - f(x))$$ (30)
    • Gabor小波与深度神经网络结合的葡萄种子分类识别的具体实验步骤,如图6所示。

      图  6  Gabor特征融合+深度神经网络的实验流程

    • 本文采用了一组由专家(酿酒师)挑选出来的5 000个种子样本进行了实验测试,该组种子包括两个类别(未成熟和成熟)的样本。实验硬件环境为:Windows 7操作系统,Intel(R) Core(TM) i5 CPU,4 GB RAM,500 G硬盘。实验软件环境为:MATLAB R2016a。葡萄种子图像的大小为480×560。输入图形块的大小${N_{{\rm{patch}}}} \times {N_{{\rm{patch}}}}$设置为5×5,卷积层的节点的数目$n$设置为10。如图5所示,网络的层数$k$为5。

      本文提出Gabor特征融合+深度神经网络的葡萄种子的分类识别结果,如图7所示。图7a图7b为分类为不成熟结果的两个葡萄种子,图7c图7d是分类为成熟结果的两个葡萄种子,可以看出,提出的方法能够完成自动化的葡萄种子成熟度分类任务,验证了其可行性和有效性。

      图  7  葡萄种子的分类识别结果

    • 首先对图像样本预处理过程的可靠性进行分析,种子图像尺度、灰度归一化和目标分割处理前后的实验结果如表1所示。从表1可以看出,无归一化且无目标分割预处理时,种子的识别率最低,在归一化后识别率或者归一化后的识别率有所提升,而同时完成归一化且分割的识别率最高,说明采用图像预处理技术是有效的,有利于提升最终的甄别准确率。

      表 1  有无图像预处理的识别实验结果对比

      样本处理方式识别率/%
      无归一化且无目标分割66.53
      仅归一化71.25
      仅目标分割76.61
      归一化且分割79.53

      针对网络结构中卷积层节点个数和输入图像块大小不同的情况,对图像分类的精度结果进行了分析。其中,实验中所有网络的层数k均为5,深度网络结构如图5所示。当输入图像块大小${N_{{\rm{patch}}}} \times $${N_{{\rm{patch}}}} =7 \times 7$不变,随着训练次数的增加,不同卷积层的节点个数n对应的识别率曲线如图8所示。可以看出,随着卷积层中节点数目的增加,种子的最终分类精度也不断提升。但是,当卷积层节点数目超过20后,种子识别率不再提升并出现波动,同时卷积层节点数目的增加会显著提高网络训练中的计算复杂度,因此最佳的卷积层节点的个数n为20。

      图  8  不同卷积层的节点个数对应的识别率曲线图

      当卷积层节点的个数n=10不变,随着训练次数的增加,不同输入图像块大小${N_{{\rm{patch}}}}$对应的识别率曲线如图9所示。同样可以看出,当输入图像块大小${N_{{\rm{patch}}}} \times {N_{{\rm{patch}}}} = 9 \times 9$时种子分类识别率曲线达到峰值后开始下降,最佳大小为9。这是因为随着输入图像块尺寸的增加,图像块中包含的图像信息越多就越有利于分析更加细节的纹理特征,但当图像块数量太多时,不完美背景分割导致的阴影和亮度干扰也会增多,从而混淆特征提取进而影响最终的分类判决。此外,综合分析图8图9可以看出,识别率随着网络训练次数的增加而不断增大,但在网络训练次数达到120时,分类识别率不再随着其增加而明显提高,因此,综合以上分析可知,葡萄种子分类识别测试建议的卷积层节点的个数n为20,输入图像块大小${N_{{\rm{patch}}}} \times {N_{{\rm{patch}}}}$为9$ \times $9,网络训练次数为120。

      图  9  不同分块数对应的识别率曲线图

    • 为进一步验证提出Gabor特征融合+深度神经网络分类算法的性能,将文献[9]的PCA+竞争性神经网络、文献[10]的PCA+交叉协方差降维、文献[22]的LBP+SVM、文献[23]的Gabor+PCA+SVM和文献[11]的Gabor+卷积神经网络进行了对比,识别率取10次实验的平均值,结果如图10所示。本文Gabor特征融合+深度神经网络算法的实验参数与4.2节分析结果一致,即最佳性能参数。不同算法性能比较结果如表2所示。

      表 2  不同算法性能比较

      算法特征维数特征提取
      时间/s·幅−1
      平均识别
      率/%
      LBP+SVM6 4000.015 871.71
      PCA+交叉协方差降维6 4000.016 075.29
      PCA+竞争性神经网络6 4000.016077.06
      Gabor+PCA+SVM655 3600.378 579.34
      Gabor+卷积神经网络655 3600.355 181.47
      Gabor特征融合+深度神经网络4 0000.360 783.29

      图  10  网络结构的示意图

      表2可以看出,本文Gabor特征融合+深度神经网络算法明显降低了特征维数,且具有最高的分类识别率,达到83.29%。此外,相比于其他基于Gabor小波特征提取的方法,本文算法还具备较好的时间性能。

    • 本文提出了一种基于Gabor小波特征提取及深度神经网络的图像分类算法,有效解决了实现高效的、准确的葡萄种子成熟度分类识别问题。该方法包括三个阶段:分割、特征提取和分类。首先利用背景差分法进行图像的分割预处理;然后通过改进的Gabor小波特征提取;最后将深度卷积神经网络和提取到的纹理特征信息相结合进行分类。葡萄种子图像成熟度分类实验结果表明,相比于其他类似分类算法,本文提出的算法具有更高的分类精度,且有效降低了特征维数,减少了Gabor小波特征提取时间。但是,本文算法仍旧存在模型的训练时间偏长且Gabor小波特征提取时间不够理想的问题,因此后续将考虑利用GPU来实现深度学习模型训练,并对Gabor特征编码做进一步改进。

参考文献 (23)

目录

    /

    返回文章
    返回