在获取具有不同深度的多个物体的图像时，由于光学聚焦的因素，导致无法对不同深度的物体都获得比较清晰的结果。一种解决办法是对于不同深度的物体使用不同的焦距进行采集，然后在后期的处理中将其融合成各个物体都比较清晰的一幅图像，融合的结果能够比输入图片提供更多更为准确的信息，为后续的图像分割、物体识别等高层次的任务提供更为有效的信息。图像融合是数字图像处理的一个重要分支，可以分为空间域和变换域的图像融合方法。加权平均融合、主成分分析(PCA)融合、独立成分分析(ICA)融合方法等都可以归为空间域方法，其缺点是在融合结果图中产生了空间变形。变换域的方法主要有小波方法^[1]、Contourlet方法^[2]等。随着多分辨率分析理论的成熟，多分辨率变换域的方法得到了较大的应用，如Laplacian金字塔方法^[3]、比率金字塔方法^[4]、小波金字塔方法等。这些方法比传统的空间域方法有更好的效果。其他的方法，如神经网络、模糊理论、支持向量机、基于非负矩阵分解、核Fisher判别分析和粒子群优化算法等也被应用到多聚焦图像融合领域，取得了较好的结果。

代数多重网格(AMG)方法的概念最先由文献[5]提出，基本思想是引进一种粗网格系列加速细网格修正量的传播以得到快速消除扰动的结果。AMG方法与几何多重网格法相比，它不依赖于求解问题的几何特性，在松弛步骤上采取自适应粗化，使之在很多问题上能够取得稳健高效的效果^[6]。AMG方法仅利用方程组本身的信息求解代数方程组，允许在无结构的网格上进行求解，因此更容易扩展到图像处理等领域。AMG方法在图像中的应用主要是将图像重构、图像二值化和图像去噪^[7-8]等通过差分方程(PDE)表示，并使用AMG方法来进行快速求解。

本文对AMG方法应用于图像融合进行了一些初步的研究。根据分析可知，AMG方法重建后的图像与原始图像之间的均方差能够较好地反映图像的清晰度，因此可以用来指导多聚焦图像的融合。像素层融合方法中需要采取较为复杂的机制来保证融合结果的连续性，否则容易出现一些块状模糊的结果。为了避免出现这一结果，本文采用了自适应分块的方法来进行处理。

1 图像融合算法和AMG重建方法 1.1 图像融合算法简介

本文主要借鉴了加权平均法和金字塔分解融合法的一些思想，是一种多尺度的融合方法。

加权平均融合是最简单的融合方法，将每幅图像中相同位置的像素值进行加权平均构成最终的融合图像，表达式为：

$ I(x, y) = {\phi _{\rm{a}}}{I_{\rm{a}}}(x, y) + {\phi _{\rm{b}}}{I_{\rm{b}}}(x, y) $

(1)

式中，ϕ_a和ϕ_b是加权系数，一般设置和为1。

小波方法的主要优势在于完善的重构能力，对于图像的近似信息和细节信息具有较好的提取能力等。在一幅图像的小波分解中，绝对值较大的小波高频系数对应着图像中对比度变换较大的边缘特征，如边界、亮线及区域轮廓。通过对不同的源图像的小波系数进行融合，可以将其中显著的目标保留，表达式为：

$ I(x,y) = {W^{ - {\rm{1}}}}(\mathit{\Phi }(W({I_{\rm{A}}}(x,y)),W({I_{\rm{B}}}(x,y)))) $

(2)

式中，W为小波正变换，而W^-1为小波逆变换；Φ(, )是融合规则函数。

1.2 AMG算法及其重建算法

AMG方法直接针对方程组，它的组元构造仅利用方程组本身的信息，如系数矩阵元素之间的相对大小关系、强连接点的性质等。AMG方法的求解对象是满足一定条件的线性问题Au=f。首先，定义最细的网格为Ω₀，构造一个网格序列使得：

$ {\mathit{\Omega }_n} \subset {\mathit{\Omega }_{n - {\rm{1}}}} \cdots \subset {\mathit{\Omega }_k} \cdots \subset {\mathit{\Omega }_{\rm{0}}} $

(3)

AMG方法分为两步：平滑和粗网格修正过程。平滑过程可以迅速将高频分量去掉，而粗网格修正过程则可以帮助修正被光滑的低频分量，通过不断迭代快速精确地处理问题。AMG方法的具体思路是先在细网格上做松弛迭代，然后将误差投影到粗一层网格上，在粗网格上又做松弛迭代，继续平滑相应的高频部分。依次类推，直到最粗的一层。在最粗一层用直接法求解，然后用插值算子将所求得的误差返回到细网格上，用以修正原有结果，直到最细的一层。

对AMG方法得到的粗层数据进行分析，粗网格中会保留强连接部分而去掉弱连接部分，将这种机制应用到图像处理，可以发现AMG方法粗化的网格可以提供较为丰富的轮廓信息。在AMG方法粗化的各层数据中，变化剧烈的细节部分点分布聚集，而平滑模糊部分点分布较稀疏均匀。AMG方法在计算粗网格时，网格密度会根据图像中的变化情况而改变。初始化时原始图层中网格是等密度的，但在粗网格中，图像灰度变化平滑区，网格密度较为稀疏和比较规则，而当灰度变化急剧时，网格密度则很稠密而且不规则，这种现象在一定程度上反映了AMG算法中自适应网格的作用。根据这种特性，在粗网格上插值进行图像的重构，因粗网格较好保持了图像的结构，理论上可以得到较好的重构结果。考虑AMG的粗网格序列的点集合是按照网格的代数信息(这里认为是图像的灰度信息)选取的，所以粗网格的点不规则，应该将每层网格中的点对应到原始图像中的相应位置，这样才能得到较好的插值效果。

根据以上的讨论，使用AMG方法进行图像重构算法的过程为：

1) 设原始图像为I，利用AMG算法得到N层粗化网格Ω₁, Ω₂, …, Ω_N，通过调用Python语言编写的pyAMG包中的函数ruge_stuben_solver来实现；

2) 针对每一层粗网络，初始化一个原始图像相同大小的空图像I₁, I₂, …, I_N，对应Ω₁, Ω₂, …, Ω_N中为1的位置用原始图像I对应位置的像素值表示，其他位置用0表示；

3) 插值，将Ω₁, Ω₂, …, Ω_N中为0的部分对应的I₁, I₂, …, I_N中的像素值通过已知的像素值插值得到图像I₁', I₂', …, I_N'。

2 图像融合算法的步骤

采用AMG方法提取图像的粗层数据，并进行重建，将原始图像与重建图像之间的关系用均方差(MSE)表示。对图像进行分块，对分块计算MSE指导图像融合。当重建结果与两个源图像之间的MSE的差大于某个阈值时，可以确定其中只包含了某个清晰模块，如图 1a所示，直接选取清晰块进入融合结果。而当与两个源图像的差小于某个阈值的时候，这时可能出现两种情况：一种情况是该分块中只包含了某个清晰物体，但是该清晰物体在两个源图像中使用AMG方法提取的强连接点都较少，因此导致重建后与两个源图像的差值较小，如图 1b所示；另一种情况是该分块包含了清晰和模糊两个部分，如图 1c所示。

针对这些分块分成4个子分块进行重建，如果重建后4个子分块的结果一致，且与上一级分块的结果一致，则认为是第一种情况，直接根据结果选择合适的源图像进入融合结果即可；否则认为是第二种情况，这时需要确定清晰块和模糊块的边界，有：

$ {{I_{(x, y)}} = \left\{ {\begin{array}{*{20}{c}} {{I_{\rm{A}}}(x, y)\begin{array}{*{20}{c}} {}&{} \end{array}{\rm{MS}}{{\rm{E}}_{\rm{A}}} > {\rm{MS}}{{\rm{E}}_{\rm{B}}}}\\ {{I_{\rm{B}}}(x, y)\begin{array}{*{20}{c}} {}&{} \end{array}{\rm{MS}}{{\rm{E}}_{\rm{A}}} \le {\rm{MS}}{{\rm{E}}_{\rm{B}}}} \end{array}} \right.} $

(4)

针对分块中有清晰块和模糊块的情况，采用自适应分块的方法进行处理。通过检查该分块与周边分块的连续性，这可以通过在多个方向上检测相邻边缘像素的梯度和来进行判定。如果分块在某个方向上梯度和大于给定的阈值T时，则进行标记，需要进一步处理。如果有两个相邻的边缘梯度和大于阈值，如图 2a所示(大于阈值的边用粗黑线表示)，则需要将其进一步分块，对其中3个子块(图中用灰色区域表示)进行进一步的比较；如果有相邻3边及以上都具有上述情况，如图 2b所示，则直接用另一个图像源块来替代。

根据上述分析，本文融合算法的主要步骤为：

1) 利用AMG提取输入图像I_A与I_B的粗层数据；2)将上轮的两幅图像块分成4块，利用粗层数据对每块进行重建，采用Matlab中的griddata函数进行；计算每块重建后的结果与对应原始块之间的MSE，如果与两个源图像之间的差大于某个阈值，则直接选择对应的图片进入融合结果；3)如果两个源图像之间的差小于某个阈值，则根据分块重建情况判定是否包含清晰块和模糊块；4)如果分块中包含清晰和模糊块，则继续分块重建，按照图 2给出的原则进行处理，转至步骤2)；5)直到所有的块之间的梯度的和小于阈值，终止该过程，得到融合结果。

3 实验结果及其分析

本文使用的重建和融合的源图像如图 3所示。图 4为针对clockA提取的粗网格图。从粗网格的结果中可以看出，AMG方法提取的边缘特征较为明显。图中较好地保留了两个钟表的边缘和表盘的指针和数字，图 4c是图 4a中右侧钟表的局部放大，能够更清晰的看到其中的几个数字。

在粗网格的数据基础上进行重建的结果如图 5所示。随着层数的递增，仍然可以看出重构的图像中能较好地保持细节部分。图 3中部分图像的重构结果与原始图像的比较如表 1所示。从表 1中可以看出，针对一些简单的结构，如meningg图，第3层粗网格都能得到十分精确的重建。针对比较复杂的结构，如combine图，在第一层中能得到较好的结果，说明AMG方法对于纹理结构的提取也比较有效。图 6是对clockA和clockB进行融合后并与其他算法进行比较的结果。PCA、Select minimal、Laplacian、Wavelet等方法使用Imagefuse工具实现。

从图 6中可以看出，均值融合方法能够提高模糊部分的清晰度，但其代价是丢弃了局部信息和部分边缘的信息。Select minimal方法选择两副图像中像素灰度值小的图像进行融合，减小了图像的对比度。PCA方法和均值融合方法都是对两幅原始图像进行线性组合，只是权值的设置有所不同，其结果是丢失了部分原始信息。Laplacian方法和小波融合方法在变换域进行融合，其设计的关键是融合规则的设计，但是都存在变换域丢失信息的情况，如小波方法会丢失图像的高频信号。本文方法的实质是通过AMG方法精确地将清晰块提取，使用原始图像进行替换，没有使原始图像损失，同时对图像分块之间进行梯度检测，做到梯度最小化，保证了块之间的连续性，避免了大块模糊的结果。

图 7是diskA和diskB的融合结果并与其他方法进行了比较。从图 7的结果中可以看出，本文方法在大块图片特征检测时具有较好的效果，但是当清晰和模糊的边缘不在分块的边界时，会产生一些局部的小块模糊，这也是分块融合方法的缺点。但是本文方法能将图中绝大部分的清晰部分保留在融合结果中。钟表的左边轮廓在模糊过程中产生了偏移，导致在两个源图像中钟表轮廓的位置不一致，这是本文图片融合的一个难点。使用小波、Laplacian等方法会出现两个边缘之间的明显界限，而均值融合方法虽然没有明显的界限，但是结果相对很模糊。本文算法能够较好地得到钟表清晰的边缘部分，显示了该算法的较好融合能力。

为了进一步测试该方法的优越性，根据近几年相关的研究论文中获得的数据来进行对比测试，测试对象为clock图像。本文中用到的主要指标^[9]有熵、峰值信噪比PSNR、互信息、均方误差MSE和交叉熵等。表 2为与其他方法的对比结果，从表 2中可以看出，本文方法中PSNR和互信息最大，交叉熵和MSE最小，与标准图像的熵最为接近，没有丢失也没有增加额外的信息量，也可以从一定程度上说明本文方法的优越性。

4 结束语

本文提出了一种基于AMG方法的自适应图像融合算法。实验结果表明本文算法没有丢失有效信息，能够最大程度地将清晰物体保留在融合图像之中。传统的AMG的应用一般强调AMG方法在解决PDE方面的优势，而本文则着重在代数多重网格方法提取图像结构方面的能力，这在一定程度上扩展了代数多重网格方法的应用领域。