Volume 49 Issue 4
Jul.  2020
Article Contents

SUN Wei, YANG Yi-han, WANG Ye, LI Ya-dan. Interval Threshold Denoising Algorithm of Monocular Ranging Image Based on BEEMD[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(4): 563-568. doi: 10.12178/1001-0548.2019214
Citation: SUN Wei, YANG Yi-han, WANG Ye, LI Ya-dan. Interval Threshold Denoising Algorithm of Monocular Ranging Image Based on BEEMD[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(4): 563-568. doi: 10.12178/1001-0548.2019214

Interval Threshold Denoising Algorithm of Monocular Ranging Image Based on BEEMD

doi: 10.12178/1001-0548.2019214
  • Received Date: 2019-09-18
  • Rev Recd Date: 2020-03-08
  • Available Online: 2020-07-29
  • Publish Date: 2020-07-10
  • Image noise is the main factor affecting the accuracy of monocular vision positioning. Based onbidimensional empirical mode decomposition (BEMD) and threshold denoising, an interval threshold imagenoise filtering method based on bidimensional ensemble empirical mode decomposition (BEEMD) isproposed. The image is decomposed into multiple bidimensional intrinsic mode function (IMF) componentsand one residual component of different scales by BEEMD. The pure noise IMF components are eliminatedaccording to the 2-norm criterion and the probability density function method of image and IMFcomponents, the reasonable regulatory factor α is selected, and the image denoising is realized by theimproved interval threshold denoising method. The proposed algorithm is applied to monocular visionand compared with the BEMD algorithm. The results show that the method could not only effectivelysuppress the modal aliasing problem in BEMD, but also effectively reduce the influence of image noise, so theaccuracy and reliability of monocular vision are improved.
  • [1] HUANG N E, SHEN Zheng, LONG S R, et al. The empirical mode decomposition and the hilbert spectrum for nonlinear and non-stationary time series analysis[J]. Proceedings of the Royal Society A: Mathematical, Physical and Engineering Sciences, 1998, 454(1971): 903-995. doi:  10.1098/rspa.1998.0193
    [2] KOMATY A, BOUDRAA A O, AUGIER B, et al. EMD-based filtering using similarity measure between probability density functions of IMFs[J]. IEEE Transactions on Instrumentation and Measurement, 2014, 63(1): 27-34. doi:  10.1109/TIM.2013.2275243
    [3] KOPSINIS Y, MCLAUGHLIN S. Development of EMD-based denoising methods inspired by wavelet thresholding[J]. IEEE Transactions on Signal Processing, 2009, 57(4): 1351-1362.
    [4] WU Zhao-hua, HUANG N E. Ensemble empirical mode decomposition: A noise-assisted data analysis method[J]. Advances in Adaptive Data Analysis, 2009, 1(1): 1-41. doi:  10.1142/S1793536909000047
    [5] 胡建平, 李玲, 谢琪, 等. 多通道图像EMD及应用[J]. 计算机工程与应用, 2019, 55(5): 211-218, 250.

    HU Jian-ping, LI Ling, XIE Qi, et al. EMD for multi-channel images and its applications[J]. Computer Engineering and Applications, 2019, 55(5): 211-218, 250.
    [6] 张绘娟, 张达敏, 闫威, 等. 基于改进阈值函数的小波变换图像去噪算法[J]. 计算机应用研究, 2018, 37(5): 1-6.

    ZHANG Hui-juan, ZHANG Da-min, YAN Wei, et al. Wavelet transform image denoising algorithm based on improved threshold function[J]. Application Research of Computers, 2018, 37(5): 1-6.
    [7] 刘晓杰, 范虹, 党小虎. 结合二维EEMD和小波分解的遥感图像纹理方向检测[J]. 地理与地理信息科学, 2016, 32(1): 66-70. doi:  10.3969/j.issn.1672-0504.2016.01.013

    LIU Xiao-jie, FAN Hong, DANG Xiao-hu. Detection method for remote sensing image texture direction based on bi-dimensional EEMD and wavelet transform[J]. Geography and Geo-Information Science, 2016, 32(1): 66-70. doi:  10.3969/j.issn.1672-0504.2016.01.013
    [8] 刘韬, 徐爱功, 隋心. 惯性导航EEMD区间阈值降噪方法[J]. 测绘学报, 2018, 47(7): 907-915.

    LIU Tao, XU Ai-gong, SUI Xin. EEMD interval threshold de-noising method for inertial navigation[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(7): 907-915.
    [9] 张雪锋, 韩志玲. 一种改进BEMD的指纹边缘检测算法[J]. 西安邮电大学学报, 2018, 23(1): 45-52.

    ZHANG Xue-feng, HAN Zhi-ling. Improved bidimensional empirical mode decomposition (BEMD) edge detection algorithm for fingerprint[J]. Journal of Xi'an University of Posts and Telecommunications, 2018, 23(1): 45-52.
    [10] 柳笛, 陈熙源, 方文辉. 一种改进的BEMD阈值去噪算法在单目视觉定位中的应用[J]. 中国惯性技术学报, 2018, 26(6): 737-746.

    LIU Di, CHEN Xi-yuan, FANG Wen-hui. Application of improved BEMD threshold denoising algorithm in monocular visual odometer[J]. Journal of Chinese Inertial Technology, 2018, 26(6): 737-746.
    [11] 甘雨, 隋立芬. 基于经验模分解的陀螺信号消噪[J]. 测绘学报, 2011, 40(6): 745-750.

    GAN Yu, SUI Li-fen. De-noising method for signal based on EMD[J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(6): 745-750.
    [12] YANG Gong-liu, LIU Yuan-yuan, WANG Yan-yong, et al. EMD interval thresholding denoising based on similarity measure to select relevant modes[J]. Signal Processing, 2015, 109(1): 95-109.
    [13] PARK M, KIM D, OH H S. Quantile-based empirical mode decomposition: an efficient way to decompose noisy signals[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(7): 1802-1813. doi:  10.1109/TIM.2014.2381355
    [14] SHAHDOOSTI H R, KHAYAT O. Image denoising using sparse representation classification and non-subsampled shearlet transform[J]. Signal, Image and Video Processing, 2016, 10(6): 1081-1087. doi:  10.1007/s11760-016-0862-0
    [15] SELESNICK I. Sparse regularization via convex analysis[J]. IEEE Transactions on Signal Processing, 2016, 65(17): 4481-4494.
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(6)  / Tables(5)

Article Metrics

Article views(5355) PDF downloads(33) Cited by()

Related
Proportional views

Interval Threshold Denoising Algorithm of Monocular Ranging Image Based on BEEMD

doi: 10.12178/1001-0548.2019214

Abstract: Image noise is the main factor affecting the accuracy of monocular vision positioning. Based onbidimensional empirical mode decomposition (BEMD) and threshold denoising, an interval threshold imagenoise filtering method based on bidimensional ensemble empirical mode decomposition (BEEMD) isproposed. The image is decomposed into multiple bidimensional intrinsic mode function (IMF) componentsand one residual component of different scales by BEEMD. The pure noise IMF components are eliminatedaccording to the 2-norm criterion and the probability density function method of image and IMFcomponents, the reasonable regulatory factor α is selected, and the image denoising is realized by theimproved interval threshold denoising method. The proposed algorithm is applied to monocular visionand compared with the BEMD algorithm. The results show that the method could not only effectivelysuppress the modal aliasing problem in BEMD, but also effectively reduce the influence of image noise, so theaccuracy and reliability of monocular vision are improved.

SUN Wei, YANG Yi-han, WANG Ye, LI Ya-dan. Interval Threshold Denoising Algorithm of Monocular Ranging Image Based on BEEMD[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(4): 563-568. doi: 10.12178/1001-0548.2019214
Citation: SUN Wei, YANG Yi-han, WANG Ye, LI Ya-dan. Interval Threshold Denoising Algorithm of Monocular Ranging Image Based on BEEMD[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(4): 563-568. doi: 10.12178/1001-0548.2019214
  • 图像信息质量的高低影响视觉定位的精度,图像在采集、传输过程中受到外在和内在条件的影响可能导致图像信号质量降低,从而导致视觉定位测姿精度、测距精度和可靠性降低,因此,对图像信息开展降噪处理成为视觉定位技术得以发展的核心。

    文献[1-3]提出了一种自适应的时频分析方法-经验模态分解(empirical mode decomposition, EMD),用于处理非线性及非平稳信号,但当信号的噪声不明显或噪声存在异常时,导致相邻本征模态函数(IMF)产生分量混叠现象。针对此问题,文献[4]在EMD算法基础上提出了集合经验模态分解(ensemble empirical mode decomposition, EEMD)方法,在原始信号EMD分解之前加入高斯白噪声,再均值化处理分解结果,以抑制甚至消除模态混叠现象,达到信号分解的目的。文献[5]提出一种对比IMF分量和原始信号概率密度函数(probability density function, PDF)的相似程度的方法,证实基于2范数的几何相似性度量方法准确性更高,但当IMF分量中不存在噪声时,会出现2范数距离高于噪声的现象,从而致使噪声IMF分量判断出现误差。

    针对上述问题,结合图像二维信息的特点,本文提出一种基于BEEMD的区间阈值降噪方法。该方法首先将图像进行BEMD分解,将有用信息与噪声分散到IMF分量中,通过利用原始图像信号与IMF分量的PDF的2范数距离来确定噪声的IMF分量。最后通过区间阈值降噪方法获得连续的降噪信号,达到图像降噪的目的,并应用于单目视觉测距中,提高单目视觉测距的精度和可靠性。

  • BEMD算法是将时域信号在频域中逐级分解,产生一系列具有不同特征尺度的IMF分量和一个残余分量[6-8]。对二维图像$f(x,y)$进行分解的流程为:

    1) 将原始图像进行初始化,即输入图像为${h_{ij}}(x,y) = f(x,y)$,且令$i = 1$$j = 1 $

    2) 计算${h_{ij}}(x,y)$极大值谱${P_{ij}}$和极小值谱${Q_{ij}}$,绘制二维图像的上、下包络面${U_{ij}}(x,y)$${L_{ij}}(x,y)$后,计算均值包络面:

    3) 对源图像局部信息${h_{i(j + 1)}}(x,y)$开展计算:

    4) 判定${h_{i(j + 1)}}(x,y)$是否满足IMF约束条件SD<(0.2~0.3),若不满足,令j=j+1,重返流程2),直至K次循环后满足约束条件为止,得到本征模态函数${{\rm IMF}_i}(x,y)$

    5) 求取${h_{ij}}(x,y)$残余分量。令${r_i}(x,y) = {h_{ij}}(x,y)$$i = i + 1$,与${{\rm IMF}_i}(x,y)$相减得到第1个残余分量${r_1}(x,y)$,将${r_1}(x,y)$按照流程2)进行分解,得到第2个IMF分量${r_2}(x,y)$,依次类推,当第n个残余分量${r_n}(x,y)$为单调函数时,结束BEMD分解。

    经过上述流程,原图像可以分解为n个IMF分量和1个残余分量之和,即:

    当图像噪声较多且存在干扰噪声或异常噪声时,导致模态混叠现象的产生[9-10],即BEMD分解出的某个IMF分量中出现多个不同尺度成分,或者相同的尺度成分出现在不同的IMF分量中。围绕此问题,提出一种改进的BEMD方法,即BEEMD方法,利用高斯白噪声频率分布均匀的特征,通过对原始图像进行多次BEMD分解,并且在每次分解时加入白噪声,得到多个IMF分量,这些IMF分量的频率随着其指数的增加而降低,从而有效避免了模态混叠现象的产生。其算法的具体步骤如下:

    1) 在原始信号$f(x,y)$中加入随机高斯白噪声序列:

    2) 利用BEMD方法分解$F(x,y)$,得到n个IMF分量${r_{ik}}(x,y)$和1个残余分量${r_{nk}}(x,y)$$i = 1,2, \cdots ,n$

    3) 重复步骤2),对分解结果继续进行K次BEMD分解,即$k = 1,2, \cdots ,K$,计算所有的IMF分量和残余分量的均值,从而得到BEEMD分解的结果:

  • BEEMD自适应分解图像得到不同尺度特性IMF。由于图像信号的能量主要集中在低频区域,而噪声信息出现在高频区域,因此提出BEEMD阈值降噪方法,即首先确定并滤除纯噪声IMF分量,然后对其余剩下的的IMF分量进行阈值降噪处理,将降噪后的IMF分量与剩余1个残余分量结合,并重构得到降噪后的图像信息。降噪后的图像信息可以表示为:

    式中,$\bar f(x,y)$表示降噪后的图像信息;${\bar r_i}(x,y)$表示进行阈值降噪后的第i个IMF分量;$k$为IMF分量中第1个噪声共有阶次,前$k - 1$个IMF分量为噪声IMF分量。

  • 通常采用$n$个残余分量与原始图像信息的相关系数确定图像中的纯噪声分量。利用经验阈值确定纯噪声IMF分量的个数[11]

    式中,${r_i}(x,y) = f(x,y) - \displaystyle\sum\limits_{k = 1}^i {{r_k}(x,y)} $${\rho _i}$表示相关系数;${\rm last}\left\{ \cdot \right\}$表示相关系统$\,{\rho _i}$中最后一个不小于经验阈值$\zeta$为0.7~0.8的值。在不同信号中以及信号信噪比偏低的环境下,经验阈值$\zeta $难以准确判定。使用IMF分量与原始信号PDF之间的2范数距离指标判断两个信号的相似程度更为可靠,并在此基础上得到噪声IMF分量的判定方法[12]

    式中,${\rm pdf}(f(x,y))$表示图像信息$f(x,y)$的概率密度函数;${L_i}$为基于PDF的2范数距离。由于${L_i}$伴随IMF分量频率降低的同时,纯噪声分量也逐渐降至最低,下一阶IMF分量中的信号信噪比最高,继而出现降低趋势。因而式(9)会存在后续IMF分量的${L_i}$高于噪声IMF的情况,导致判断失误。因此本文假设${L_i}$中最大值分量为最后一个纯噪声IMF分量,而之后的IMF分量存在噪声共存:

    与式(9)不同,式(10)中$G\max \left\{ \cdot \right\}$${L_i}$中的第一个极大值,如果$\left\{ {{L_i}} \right\}$呈现逐步减小且无局部极大值时,可认定图像中不存在噪声;如果$\left\{ {{L_i}} \right\}$呈现逐步增加且无局部极大值时,认定残余分量中存在有用信息。

    拍摄实验室走廊图像并将其作为测试图像进行分解,其分解结果如图1所示。取其峰值处的IMF阶数作为m参数,得到图2

  • 采用阈值降噪方法剔除图像中的纯噪声IMF分量,将信号值小于阈值的部分置零,将大于阈值的部分保留或者缩放,进行信号重构获取降噪后的图像信息[13-15]。典型的阈值降噪处理方法包括硬阈值法和软阈值法,但是硬阈值法具有信号在阈值处不连续的问题,而软阈值法在进行缩放大于阈值部分的信号时会导致恒定偏差的产生。针对此问题,结合软硬阈值定义方法设计了一种改进的自适应阈值判定方法,如图3所示。

    式中,${\rm{sgn}} ( \cdot )$为符号函数;${T_i}$为第$i$个IMF分量的阈值;${r_i}(x,y)$为图像中各个点的像素值。当调节因子$\alpha $=0时,自适应阈值函数变为软阈值函数;当$\alpha $趋于无穷大时,自适应阈值函数变为硬阈值函数。通过对调节因子$\alpha $的合理选择,阈值设定能够兼顾软硬阈值的优点,通常在$\alpha \geqslant 1{\rm{00}}$的区间内进行选择。以区间内的极值点为依据,对整个区间进行统一的降噪处理,${\tilde r_i}(x,y)$为降噪之后的处理结果。

    式中,${\hat E_i}$表示第$i$个IMF分量的噪声能量;参数$\rho $$\tau $分别取值0.719和2.01;${\hat \sigma _1}$为第1个IMF分量的噪声标准差,且第1个IMF分量的噪声能量${E_1}{\rm{ = }}{\hat \sigma _1}$

    结合式(12)给出的各阶IMF分量与1阶IMF分量噪声的能力关系,可进一步获取去除纯噪声IMF分量后各IMF分量判断噪声的阈值为:

    由此可见,采用BEEMD区间阈值降噪方法实现图像降噪的基本步骤为:1) 对原始图像添加高斯白噪声后进行BEEMD分解,得到多个IMF和1个残余分量;2) 采用本文提出的噪声IMF分量判定方法,判断纯噪声IMF分量并去除;3) 在剩余IMF分量中,根据噪声能量关系得到其噪声阈值后,获取降噪后的IMF分量,结合式(7)获得降噪后的图像信号。

  • 为验证本文提出图像降噪方案的可行性与可靠性,并客观评价算法降噪效果,采用华为matebook13笔记本进行数据的采集与处理工作。电脑配置参数如表1

    参数电脑配置
    CPUI7-8565U 1.80 GHz
    内存8 GB
    显卡NVIDIA GeForce Mx150

    将笔记本电脑连接摄像头进行图像采集,拍摄实验室走廊图像,利用matlab软件对加入随机噪声的实验室走廊图像分别采用小波阈值降噪、BEMD降噪及本文提出的改进阈值BEEMD方法进行比对实验,结果如图4所示。同时采用均方误差MSE和信噪比SNR两项指标对不同算法的降噪效果进行比较,结果如表2所示。

    表2得知,小波降噪和BEMD算法均可对图像中的噪声进行削弱,但BEMD算法效果略差,因为该算法在图像降噪中没有准确区分出噪声主导模态分量和信号主导模态分量,只对前两阶IMF进行了阈值降噪。而本文算法对噪声图像降噪后获取的MSE和SNR均高于小波和BEMD算法,且降噪效果不受噪声强度影响。

    噪声标准方差降噪前小波降噪BEMD本文算法
    MSESNRMSESNRMSESNRMSESNR
    0.0050.00499.28060.002411.61630.002611.68420.002012.9472
    0.010.00986.75840.002910.82840.003210.53140.002311.8688
    0.050.04312.41300.00537.93230.00577.39530.00498.2802
    0.10.07251.30980.00745.10740.00706.68380.00588.0051

    从时间成本上考虑,小波降噪算法需要人为的选择合适的小波基函数及分解层数,失去了对比时间成本的必要性,因此仅对BEMD分解算法及本文所提的BEEMD区间阈值降噪算法进行时间成本的对比,实验结果如表3所示。

    噪声标准方差BEMD/sBEEMD/s
    0.0058.438.41
    0.017.587.58
    0.057.347.34
    0.17.527.51

    在分别加入标准方差为0.005、0.01、0.05、0.1的噪声下,BEMD算法的平均运行时间为7.72 s,本文BEEMD算法的平均运行时间为7.71 s,两者时间一致的情况下,本文BEEMD算法的降噪效果更好,降噪精度更高。

  • 搭建室外测距环境,分别进行静态和动态测距实验,采用全自动全站仪实时监测待测点与相机之间的距离作为参考基准。同样采用华为matebook13笔记本连接摄像头进行图像的采集,获取测试平台测距所需的标定图像,并利用python程序分别对使用本文BEEMD算法、小波算法和BEMD算法降噪处理后的图像进行测距解算。

    在静态测距实验中,为验证测距方法的可靠性,分别等间距设置4个同等特征待测点,如图5所示,将摄像头置于棱镜上方且保持静止状态,然后拍摄此时的标定图像,然后将标定图像取下,并在此位置放置一台全自动全站仪,测出此时全站仪与棱镜之间的距离作为参考基准,并将摄像头获取的图像分别采用小波、BEMD算法和本文提出的BEEMD算法进行降噪处理并完成摄像头与待测点距离的解算,与参考基准进行对比得到对应的测距误差如表4所示。

    表4得出,BEEMD算法降噪后获取的测距误差远优于小波和BEMD算法,且对不同距离的待测点均体现出本文算法的稳定性和准确性。

    待测点小波降噪/cmBEMD/cmBEEMD/cm
    待测点11.3341.9250.274
    待测点22.2652.7080.470
    待测点31.6082.8340.521
    待测点42.8562.2670.664

    为验证本文提出BEEMD降噪方法对于动态环境中测距的可行性及优势,将载有单目相机的实验车进行直线运动。同时拍摄车载相机运动环境下的运动画面及采集对应的全站仪监测数据后,以1 s为单位分别截取对应的30帧画面后,采用BEEMD算法、小波和BEMD算法进行降噪处理并完成测距解算,结果如图6所示。

    表5给出实验车直线运动条件下30帧画面对应的测距均方根误差(RMSE)。

    结合图6表5,30帧图像采用BEMD降噪方法获取的最大测距位移变化误差达到6.965 cm,均方根误差为3.074 cm;采用小波降噪方法获得最大测距误差为5.685 cm,均方根误差为3.074 cm;而本文提出的BEEMD方法在运动情况下获取的测距误差均优于小波降噪和BEMD且体现出较好的稳定性,其最大测距误差优于1.020 cm,均方根误差为0.569 cm,论文提出的BEEMD方法可有效提高单目视觉测距的鲁棒性。

    算法距离误差/cm
    小波降噪2.907
    BEMD3.074
    BEEMD0.569
  • 单目视觉测距中,被匹配图像质量成为制约匹配精度的重要因素,针对现有BEMD图像分解中存在模态混叠问题,论文提出一种基于BEEMD分解的图像区间阈值降噪算法,用此方法对含有随机噪声的实验图像进行处理,并与小波降噪和BEMD降噪算法比较,取得了更好的降噪效果。开展静态和动态环境下的单目视觉测距实验,将不同降噪方法用于测距并开展比对性分析,结果表明,与小波降噪算法和BEMD降噪算法相比,在测距误差方面本文算法较其他方法均有大幅度改善,能有效削弱图像噪声并提高单目视觉测距的精度和可靠性。

Reference (15)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return