留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于MRF的SMT焊点区域分割的研究

宋强 茹蓓 刘凌霞

宋强, 茹蓓, 刘凌霞. 基于MRF的SMT焊点区域分割的研究[J]. 电子科技大学学报, 2016, 45(5): 819-823. doi: 10.3969/j.issn.1001-0548.2016.05.019
引用本文: 宋强, 茹蓓, 刘凌霞. 基于MRF的SMT焊点区域分割的研究[J]. 电子科技大学学报, 2016, 45(5): 819-823. doi: 10.3969/j.issn.1001-0548.2016.05.019
SONG Qiang, RU Bei, LIU Ling-xia. Research on SMT Solder Segmentation Based on MRF Frame[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(5): 819-823. doi: 10.3969/j.issn.1001-0548.2016.05.019
Citation: SONG Qiang, RU Bei, LIU Ling-xia. Research on SMT Solder Segmentation Based on MRF Frame[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(5): 819-823. doi: 10.3969/j.issn.1001-0548.2016.05.019

基于MRF的SMT焊点区域分割的研究

doi: 10.3969/j.issn.1001-0548.2016.05.019
基金项目: 

河南省科技攻关项目 142102210231

详细信息
    作者简介:

    宋强(1971-),男,博士生,副教授,主要从事计算机控制技术、图形图像和算法优化等方面的研究.

  • 中图分类号: TP391.4

Research on SMT Solder Segmentation Based on MRF Frame

图(4) / 表(2)
计量
  • 文章访问数:  5757
  • HTML全文浏览量:  1952
  • PDF下载量:  158
  • 被引次数: 0
出版历程
  • 收稿日期:  2014-12-15
  • 修回日期:  2015-04-21
  • 刊出日期:  2016-09-01

基于MRF的SMT焊点区域分割的研究

doi: 10.3969/j.issn.1001-0548.2016.05.019
    基金项目:

    河南省科技攻关项目 142102210231

    作者简介:

    宋强(1971-),男,博士生,副教授,主要从事计算机控制技术、图形图像和算法优化等方面的研究.

  • 中图分类号: TP391.4

摘要: 基于马尔可夫随机场(MRF)图像分割模型,该文提出了一种能够较好分割出表面贴装技术(SMT)焊点区域的分割算法,即基于Gibbs采样的模拟退火算法,并讨论了影响图像分割效果的主要因素,最后将该算法与传统的Gibbs采样算法以及模拟退火算法进行比较。实验结果表明,该算法通过少量人工干预、降低采样维度,从而减少了优化收敛时间,能最快地收敛到全局最优,分割成功率较高,结果较为精确,为进一步的焊点质量分析提供了保证。

English Abstract

宋强, 茹蓓, 刘凌霞. 基于MRF的SMT焊点区域分割的研究[J]. 电子科技大学学报, 2016, 45(5): 819-823. doi: 10.3969/j.issn.1001-0548.2016.05.019
引用本文: 宋强, 茹蓓, 刘凌霞. 基于MRF的SMT焊点区域分割的研究[J]. 电子科技大学学报, 2016, 45(5): 819-823. doi: 10.3969/j.issn.1001-0548.2016.05.019
SONG Qiang, RU Bei, LIU Ling-xia. Research on SMT Solder Segmentation Based on MRF Frame[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(5): 819-823. doi: 10.3969/j.issn.1001-0548.2016.05.019
Citation: SONG Qiang, RU Bei, LIU Ling-xia. Research on SMT Solder Segmentation Based on MRF Frame[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(5): 819-823. doi: 10.3969/j.issn.1001-0548.2016.05.019
  • 采用SMT焊接的焊点质量和可靠性的检测与评估,一直以来是困扰技术人员对SMT焊点进行计算机质量检测的瓶颈。通过分析焊点的二维图像,对焊点形态的三维重建以及恢复提供准确的数据来源,从而控制SMT表面组装质量,同时推动智能鉴别技术的发展[1]。基于图像的焊点质量技术检测是一个新兴的研究热点[2],而焊点区域的分割是其中的关键技术。电路板上元器件众多、形态复杂,要把焊点从其中分割出来,常规的直方图分割方法已不能满足需要[3-4]

    MRF图像分割框架是从全新的概率视角来对图像分割进行建模,是一种基于统计的分割方法,具有能充分利用先验知识、能形成闭合的边界、模型参数少且易于和其他方法相结合等优点,已广泛应用于纹理分割、图像理解等领域,并取得了较大的成功[5]

    • 在焊点质量技术检测这一领域,很多研究人员都进行了相关的探讨。文献[6]设计了采用结构化照明的计算机视觉系统,开发了一个倾斜地图表面模型技术用于焊点检测。文献[7]介绍了SMT生产应用自动光学检测技术(automatic optic inspection,AOI)进行焊点质量检测的主要方法及国内外常见的主要设备。文献[8]介绍了多种焊点检测、焊点失效的机理及其提高可靠性的方法。文献[9]提出了自动光学检查和自动射线检查在SMT中的应用,并在图像处理技术中采用了直方图的方法。以上文献均未对焊点图像分割处理方法提出自己的观点。

      文献[10]提出了一种基于贝叶斯信息准则(bayes information criterion,BIC)和Gibbs采样的无监督学习算法,介绍了Gibbs采样的基本原理。文献[11]论述了SMT焊点边缘提取技术的实现方法与步骤,比较分析了Roberts等多种边缘提取算子对焊点边缘提取效果的影响。文献[12]提出了一种针对焊球阵列封装(ball grid array,BGA)的元器件焊点基于最小误差的分割检测算法,该算法能有效检测出焊点的空洞缺陷。文献[13]提出并研究了用Dirichlet、广义Dirichlet和Beta-Liouville分布命名的3种有限混合模型,该模型可以提供更加灵活的图像分割方面的数据建模,并采用最大释然算法估算了模型的参数,对于不同颜色的背景具有较好的分割操作性能。文献[14]采用了计量发散理论(metric-divergences)用于概率分布,并提出一个$\alpha $马尔科夫场模型用于概率图像的分割。但以上这些算法均未采用基于MRF的焊点图像分割方法。

      文献[15]在图像和统计力学系统之间做了一个类比,对于一系列退化机制,如模糊、非线性变形、乘法或加法噪音,后验分布是一种结构类似于图像模型的MRF。通过类比发现,在物理系统中的温度逐渐降低隔离了低能量状态(“退火”)或类似于Gibbs分布下最可能的状态,在后验分布下的操作产生了对给定图像进行退化观察的最大后验概率(maximum posterior probatility,MAP)估计,最后采用一个高度并行的“松弛”算法用于MAP估计。

      文献[16]假定真实场景的局部特征可以采用非退化的马尔可夫随机场表示。这些信息可以和贝叶斯理论的记录相结合,并且这些真实的场景可以按照标准的规则进行评估。同时还提出了一个简单重建的迭代方法,而不依赖于这些随机场的大规模特征。

    • 二维MRF假定在二维网格$G = \{ (i,j)|1 \le i \le M,1 \le j \le N\} $上,满足马尔可夫性,即当前像素灰度值与其邻域像素的取值有关(通常假定为4邻域或8邻域),而与非邻域像素的取值无关。定义$\Omega = {\{ 0,1,2, \cdots ,L - 1\} ^G}$是所有可能的分割组成的组态空间,其中L表示分类类别数目[17]。从概率的角度来看,MRF图像分割就是要在组态空间$\Omega $中找到最可能的一个组态$\omega $。$\Omega $虽然巨大,如256×256图像的二分类有232种分割,但数量毕竟有限。这样就可以通过采样的方法产生$\Omega $的一组样本,从中找出近似最优解[18]

    • 二维网格G上某个格点的一阶邻域系统及其势能团如图 1所示。

      图  1  一阶邻域系统及其势能团

      若MRF的组态$\omega $服从分布:

      $$P(\omega ) = \frac{1}{Z}{{\rm{e}}^{ - \frac{1}{T}U(\omega )}}$$ (1)

      则称其为一个Gibbs随机场(Gibbs random field,GRF)。式中,Z是归一化系数;$U(\omega ) = \sum\limits_{子团c} {{V_c}} (\omega )$是所有子团势能之和。子团势能为:

      $${V_c} = \delta ({\omega _s},{\omega _r}) = \left\{ {\begin{array}{*{20}{l}} {1 {\omega _s} = {\omega _r}}\\ { - 1 {\omega _s} \ne {\omega _r}} \end{array}} \right.$$ (2)

      式中,${\omega _s},{\omega _r}$是不同子团中相邻像素的标号。本文只考虑成对以下的子团势能。

      MRF反映了图像的局部性质,GRF则可以看成是图像全局的性质。Hammersley-Clifford定理揭示了MRF与GRF之间的等价性,该定理表明,当组态${\omega _{i,j}}$中的一个格点${\omega _{i,j}}$在其邻域服从Gibbs分布时,则GRF等价于一个MRF。

    • $f \in F$是隐藏分类组态的一次观察,用于表示分割图像的灰度和颜色等特征。$\omega \in \Omega $是原始图像分类场的一次实现,其出现的概率为$P(\omega )$,可以视为先验概率。在给定$\omega $的情况下,f出现的似然概率为$P(f|\omega )$。依据Bayesian公式,图像分割转换为在给定一个观察f的情况下,求后验概率$P(f|\omega )$的最大值问题:

      $$\begin{array}{c} \mathop {{\rm{Arg}}\max }\limits_{\omega \in \Omega } \{ P(\omega |f) = \frac{{P(f|\omega )P(\omega )}}{{P(f)}} \propto \frac{1}{Z}{{\rm{e}}^{ - \frac{1}{T}U(\omega ,f)}} \propto \\ \frac{1}{{\sqrt {2{\rm{\pi }}{\sigma ^2}} }}{{\rm{e}}^{ - \frac{{{{(f - \mu )}^2}}}{{2{\sigma ^2}}}}}\frac{1}{Z}{{\rm{e}}^{ - U(\omega )}}\} \end{array}$$ (3)

      式中,$P(f)$为常数;$P(\omega )$为图像场的Gibbs分布;$P(f|\omega )$为在$\omega $出现的情况下f出现的似然概率。由于观察数据f通常受到噪声的影响,假设其服从$N(\mu ,{\sigma ^2})$分布。其中f为要划分区域的灰度值,$\mu $是要划分区域的灰度均值,${\sigma ^2}$是其方差。

      对式(3)两边取对数,得到MAP框架下的$\omega $为:

      $$\begin{array}{c} \mathop {{\rm{Arg}}\min }\limits_{\omega \in \Omega } \{ \ln P(\omega |f) \propto U(\omega ,f) \propto \\ \sum {{V_s}({\omega _s},{f_s})} + \beta \sum {\delta ({\omega _s},{\omega _r})} \} \end{array}$$ (4)

      式中,${V_s}({\omega _s},{f_s}) = \ln (\sqrt {2{\rm{\pi }}{\sigma _s}^2} ) + \frac{1}{{2{\sigma _s}^2}}{(f - {\mu _s})^2}$表示像素点本身的单点势能;$\beta \sum {\delta ({\omega _s},{\omega _r})} $是势能团的势能和,本文仅考虑成对的势能团,$\beta > 0$表示势能耦合系数,控制着区域的同质性。

    • 基于MRF随机场的图像分割的关键是求解式(4)所示的最优化问题。常用的方法是模拟退火算法,通过模拟加热的物理系统在冷却过程中的粒子状态变迁过程,逐渐降温迭代使能量达到全局最小[19]。模拟退火算法是马尔科夫链蒙特卡罗(Markov chain Monte Carlo,MCMC)算法的推广,影响其效率的主要有状态采样器和冷却进度表。

    • 式(4)表明MRF的图像分割问题可以归结为求解使得能量最小化的组态$\omega $。由于组态空间$\Omega $非常巨大(如对于2分类的256×256图像,组态空间大小为2564),搜索全部的组态空间是不可能的,需要对该高维组态空间进行高效率的采样。

      Gibbs采样是一种常用的高维采样器[20-21],从高维空间中的每一维分别采样,逐步逼近高维采样点,其优点是采样难度低,但采样次数增加。基于此,本文采用基于Gibbs采样的方法。该方法可以简单描述为:假设$\varphi (x) = \varphi ({x_1},{x_2}, \cdots ,{x_m})$表示m维联合分布,$\varphi ({x_i}|{x_{ - i}})$是全条件分布,其中${x_{ - i}}\mathop {\rm{ = }}\limits^\Delta {\rm{\{ }}{x_j},j \ne i)$。

      在MRF场中,其总体概率$P(\omega )$的分布是未知的,但是其条件概率却可以由式(5)计算得到:

      $$\begin{array}{l} {\omega _{i,j}} \sim P({\omega _{ij}}|{\omega _{mn}},ij \notin \{ mn\} ) = \\ \frac{1}{Z}\exp \left( { - \frac{{{V_{ij}}({\omega _{ij}},{f_{ij}}) + \beta \sum {Vc} }}{T}} \right) \end{array}$$ (5)

      于是可以从其条件概率中抽取状态元素$\omega _{ij}^k$的新状态$\omega _{ij}^{k + 1}$,并且以概率r接受该状态改变,依次循环就可以获得高维状态空间的一个采样。当两次迭代之间的能量差值小于预定的限值时,即可认为找到了最优解。

    • 在模拟算法的过程中,温度T控制着最优化的进度,应选择一个足够高的温度作为迭代起始温度,温度的下降速度应当足够慢,一般采用指数衰减:${T_k} = {\alpha ^k}{T_0}$,${T_0}$表示初始温度,$\alpha $表示温度的衰减系数,本文选取${T_0} = 4$,$\alpha = 0.95$。

    • 上述图像分割算法需要估计以下几个参数:

      1) 耦合系数$\beta $,影响分割区域的同质性,当$\beta $足够大时,分割区域很相似,当$\beta $趋近于0时,分割区域的同质性削弱,分割区域可能不一致。

      2) 分类类别i的均值${\mu _i}$和方差${\sigma _i}^2$。其中$i \in \{ 0,1, \cdots ,L - 1\} $,L是分类类别,可以从要分割类别的典型样本区域中获得。假设类别iM×N典型样本区域为Ii,其无偏估计由式(6)确定:

      $${\hat \mu _i} = \frac{1}{{MN}}{I_i}(x,y), {\hat \sigma _i}^2 = \frac{1}{{MN - 1}}{({I_i}(x,y) - {\mu _i})^2}$$ (6)
    • 本文分割采用的图片来自工业中一块测试用的电路板,其中背景有裸露的铜板区和绿色的电路板印刷色。采用的片式电阻是1206型号,其长为3.048 mm,宽为1.524 cm,面积为18.288 mm2,如图 2a所示。图 2b为一个片式电阻的示意图。片式电阻通常由焊点、金属化端子和器件体构成。在本文中针对片式电阻的特点,把金属化端子和焊料区统称为焊点。本文所分割的就是焊点和金属化端子连在一起的部分。

      图  2  电路板及片式电阻示意图

      为了提高分割的精度,在分割前把彩色图像转换成灰度图像,并对图像进行半径为2 cm的高斯平滑。

    • 要使用MRF分割算法,首先确定图像上分类类别的数目及其均值和方差。电路板图像可分为5类物体,每类物体的方差和均值可以通过手动选取典型区域交互式计算获得,如表 1所示。

      表 1  5类物体的均值和方差

      类别编号类别名称方差均值
      1背景区域38.5161.12
      2裸露铜板207.2326.73
      3裸露布线层71.7387.98
      4器件体103.65103.16
      5焊点区域137.021208.23

      最终5类区域的分割结果如图 3a所示。图中不同层次的灰度代表不同的物体类别,对焊点区域进行了标注。焊点分割区对应的图像如图 3b所示。

      图  3  不同阶段的分割结果

    • 图 3b可以看出,除个别焊点以外,大多数焊点都能较好地分割出来,总体上分割效果良好。比较严重的问题是铜板区对焊点分割的干扰,分割算法排除了大部分铜板区域,但对于小的铜板区没能很好的排除,其原因可以从5个类别的正态分布图中分析得出,如图 4所示。在图 3中可以清晰的看出,由于裸露铜板和焊点区域的重合区域最大(图 3中的实线和点划线),所以两者较其他类别更容易混淆,较难进行分割。

      图  4  5个类别的正态分布图

      焊点分割后会形成孔洞,可以使用数学形态学的相关运算进行空洞填充。

      MRF分割效果的好坏除了受耦合参数和温度进度表的影响外,最主要的是看分割类别区域和其他类别区域的灰度分布重合情况。如果两个类别的灰度分布重合区域较多,两者之间进行分割的效果就较差。

    • MAP是图像处理中最常用的最优化准则,也是MRF建模中最常用的最优化标准。为了解决焊点区域图像分割的最优化问题,说明基于Gibbs采样的模拟退火算法的优越性,分别引入了文献[15]和[16]进行对比说明。

      Gibbs采样算法接受概率的选择是随机的,是典型的随机松弛方法,它的计算结果依赖于初始值的选取,计算速度较慢,在接受新的分割结果时即使增加了随机扰动的因素,也能得到全局收敛的结果。算法流程较慢,但不会陷入到局部极值点[15]

      传统的模拟退火算法也是典型的随机松弛方法,同Gibbs采样算法一样,计算速度慢,在每次迭代过程中接受新的图像分割结果时增加了随机扰动的因素,在理论上可以得到全局收敛的分割结果[22]

      为了对这3种算法进行比较,实验选择在下列软硬件平台的PC机上完成,I3主频率2.5 G CPU,2 G内存;Windows XP SP3操作系统;VC 6.0编译工具。以图 3b作为原始图像,初始化温度T=4,收敛条件中的能量阈值$\Delta = 0.0{\rm{5}}$,温度调节因子$\alpha {\rm{ = }}0.98$。

      表 2可以看出,基于Gibbs采样的SA算法计算量明显小于前两种算法,虽然Gibbs采样算法的迭代次数小于SA算法,但花费的CPU时间大于SA算法。温度系数是迭代次数的指数函数,即迭代次数越多温度系数越小。该算法并未改变马克洛夫MAP优化目标算式,因此分割结果与前两者差别不大,但仍然可以看到基于Gibbs采样的SA算法能最快地收敛到全局最优。

      表 2  算法参数比较

      算法迭代次数全局能量值温度系数CPU时间/ms
      SA算法3112695850.00742613
      Gibbs采样算法1792699130.1075293566
      Gibbs采样的SA算法1272696700.3074868
    • 表面贴装技术是目前应用最广泛的电子组装技术。本文针对SMT焊点图像,介绍了图像分割的马尔可夫随机场方法,MRF优化方程是图像分割技术中常用的一种算法,由于求解该算式需要迭代优化,耗时较长。本文提出了基于Gibbs采样的模拟退火算法对焊点区域进行分割,并讨论了影响分割效果的主要因素。最后对该算法和传统的Gibbs算法以及模拟退火算法进行了比较。从实验结果可以看出,基于Gibbs采样的SA算法计算量明显小于前两种算法,基于Gibbs采样的SA算法能够最快地收敛到全局最优。同时,实验结果证明利用该算法分割效果较好,结果较为精确,为进一步的焊点质量分析提供了保证。本文针对SMT焊点进行的MRF优化尚未与不使用MRF优化的图像分割算法的分割精确度进行优劣比较。这点可以作为今后的研究内容进一步研究。

参考文献 (22)

目录

    /

    返回文章
    返回