Adaptive False Contour Elimination Filter-Based Bit Depth Enhancement

对于输入图像，算法使用伪轮廓区域检测模块来确定哪些像素处在伪轮廓区域内。对于处在伪轮廓区域内的像素，使用自适应滤波器尺寸选择模块来计算滤波器的尺寸，然后由滤波器权重计算模块确定滤波器的权重参数，之后进行伪轮廓消除滤波。滤波后的像素和那些不在伪轮廓区域内的像素采用特殊的图像先验进行后处理，得到最终输出。所涉及的模块将在以下几节中详细描述。

由量化原理可知，处在量化区间边界两侧的像素值因为处在不同的量化区间而具有不同的量化值。处在图像颜色渐变的区域(又叫平坦区域)中相邻像素的数值差异原本不大，但若是恰好处在量化区间边界的两侧，就会具有不同的量化值。当量化步长较大时，就会在量化之后呈现明显的差异，并在视觉上表现为伪轮廓。

为了定义伪轮廓，首先通过式(1)来定义渐变区域FR：

式中，${p_{ij}}$代表位置$(i,j)$处的像素；${\rm{CC}}$代表连通的点集；$ {{\boldsymbol{G}}_{h/v}}(i,j) $代表像素${p_{ij}}$的水平和垂直方向梯度； $ {{\boldsymbol{G}}_{h/v}}({\rm{FR}}) $为整个渐变区域FR在水平和垂直方向的平均梯度。由此，伪轮廓${\rm{FC}}$可被定义为：

式中，$ {\boldsymbol{N}}(i,j) $为当前像素${p_{ij}}$的8-邻域；$ {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} $和$ {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} $分别为高/低比特图像中像素${p_{ij}}$的像素值；$Q$代表量化步长。

由于图像的细节区域往往不存在视觉可见的伪轮廓，所以为了避免滤波所导致的细节过平滑风险且减少不必要的计算开销，本文将输入的低比特图像划分为伪轮廓区域和非伪轮廓区域，并将伪轮廓消除滤波限定在伪轮廓区域内。基于式(2)所反映的伪轮廓产生机理，本文的伪轮廓区域检测算法包含以下步骤。

1) 定义一个和输入图像等大的伪轮廓区域标识图${\boldsymbol{M}}$并对${\boldsymbol{M}}$进行0初始化；

2) 找出输入图像中所有的等值区域${{\boldsymbol{V}}_{1,2, \cdots, n}}$。等值区域为连通区域且域内的所有像素具有相同的值；

3) 遍历等值区域，判断两个等值区域是否相邻且像素值的绝对差等于量化步长$Q$，若判断成立，则将这两个区域在${\boldsymbol{M}}$中的对应位置赋1，表示对应像素处在伪轮廓区域内。

从值域来看，伪轮廓是原本数值渐变的区域中出现的阶梯状伪影。而从频域来看，伪轮廓是出现在低频区域的高频伪迹。所以，伪轮廓消除滤波器应具有低通特性。本文提出的伪轮廓消除滤波器由式(3)和式(4)所定义：

式中，$ \hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} $和$ {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} $分别代表重建的高比特图像的像素值和输入的低比特图像的像素值；${\rm{CR}}(i,j)$为位置$(i,j)$处的滤波器所能覆盖的邻域像素所构成的集合。本文采用大小为$(2 \times r + 1)$的方形滤波器且通过$r$来控制滤波器的尺寸。

仅具有低通特性的滤波器虽然能够抑制伪轮廓，但是会不可避免地将真实边缘过平滑掉^[10-12]。为了保护真实边缘，伪轮廓消除滤波器应具有保边滤波的特性，而消除伪轮廓又需要其具备消边能力。为了同时实现保边和消边这两个互相矛盾的任务，滤波器的权重参数${{{W}}} (*)$设计必须要区分真实边缘和伪轮廓。

为了设计有效的滤波器参数，使其能在消除伪轮廓的同时避免对真实轮廓的损害，本文分别研究了真实轮廓和伪轮廓两侧的像素之间的数值关系。如图1所示，当一条伪轮廓出现时，其两侧的像素会分别构成一个等值区域，且这两个等值区域的像素值相差恰好等于量化步长$Q$(此例中，$Q$=4096)。

由此，可以得到如下观测。

1) 如果两个像素值的绝对差大于量化步长$Q$，则这两个像素必然没有处在同一条伪轮廓的两个等值区域内。如图1中的A点和B1点之间存在两条伪轮廓，而A点和B2点之间存在一条真实轮廓。因此，在A位置滤波时，应该将与A的差值大于$Q$的所有像素(如B1点、B2点)的权重置零，否则可能会平滑掉真实轮廓。

2) 如两个邻域像素的差值恰好等于量化步长$Q$(如A点和C点)，那这两个像素之间很可能存在一条伪轮廓，因此需要为邻域像素赋予非零权重，从而实现这两个像素之间的平滑过渡。

3) 如果邻域像素的差值小于量化步长$Q$(如A点和D点)，说明这两个像素处在满足观测2)的两个像素所构成的直线上，因此在滤波时也需要赋予非零权重，从而传递伪轮廓消除滤波器的平滑效果。

基于上述观测，伪轮廓消除滤波器的参数${W} (d)$被设计为自适应于图像内容，其中$ d $为像素值的绝对差。如式(5)所示，该滤波器参数具有二元参数特性，从而简化了滤波器的参数和后续计算。

固定尺寸的滤波器仅对特定尺寸的伪轮廓具有良好效果。如图2a中的黄色框所示，当滤波器尺寸(r=25)明显小于伪轮廓宽度(MA=100)时，滤波器的位置变化不会明显改变所覆盖的像素值的数值配比，如从E点水平移动到E’时，所覆盖的像素均属于同一个等值区域，使得滤波前后的像素值几乎没有变化，故无法有效抑制伪轮廓。而当滤波器尺寸过大时，滤波器的位置在小范围内变化不会显著改变非零权重的像素配比(如图2a中，蓝色实线框沿G-G’移动到蓝色虚线框)，使得在不同位置的重建值几乎相等，因此也不能抑制伪轮廓。如图2a中的红色框所示，仅当滤波器尺寸和伪轮廓宽度相当时，滤波器位置移动(如从F点平移到F’点)时所覆盖的像素值配比才会发生明显变化，才能对伪轮廓进行有效抑制。图2b～2d展示了不同大小的滤波器对图2a进行滤波后的图像。由图可见，仅当滤波器宽度与伪轮廓宽度相当时，阶梯状的条带得到了有效平滑，而滤波器过大或者过小时，平滑效果均不如尺寸相当时。

由于低比特图像中会同时存在不同大小的伪轮廓，因此固定尺寸的伪轮廓消除滤波器无法有效抑制图像中所有的伪轮廓。因此，为了同时抑制不同尺寸的伪轮廓，滤波器的尺寸不能固定，而应该自适应于当前像素所属伪轮廓的大小。然而，仅仅自适应于伪轮廓尺寸依然难以同时对所有伪轮廓进行有效抑制，因为伪轮廓往往具有不规则的形状，若是处在同一伪轮廓所构建的等值区域内的所有像素共享同一个滤波器尺寸，那么该尺寸相对于伪轮廓的极窄区域会显得“过大”，而相对于极宽区域则会显得“过小”。所以，滤波器尺寸的自适应程度不应仅停留在伪轮廓层面，而应该细化到每个像素。

由图2中不同颜色框所代表的滤波器在位置移动时像素配比的变化可知，要使滤波器位置移动带动像素配比发生显著变化，滤波器需要覆盖到当前伪轮廓边界外的像素，且不宜过大。因此，滤波器尺寸应自适应于当前像素到伪轮廓边界的距离。虽然精细的尺寸自适应算法能够取得更好的性能，但是会显著增加算法的复杂度，这种复杂度会随着像素个数的增加而增加。为了在复杂度和性能之间权衡，本文将尺寸自适应算法设计为如式(6)所示的形式：

式中，$ v(i,j),h(i,j) $分别为穿过当前像素的垂直和水平直线与当前像素所在的等值区域边界所构成的线段长度，且记长度较短的那条线段的一半为当前位置的半短轴${\rm{SMA}}(i,j)$，并作为当前位置的滤波器大小。

因为低比特图像是由高比特图像经过比特截断得到的，所以高/低比特图像的像素值满足范围先验${\boldsymbol{I}}_{{\rm{HBD}}}^{ij} \in [{\boldsymbol{I}}_{{\rm{LBD}}}^{ij},{\text{ }}{\boldsymbol{I}}_{{\rm{LBD}}}^{ij} + Q)$。文献[3]指出$ \hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} $的最小均方误差估计为量化区间中点，将其称为期望先验，利用此先验为初始估计附加半个量化步长可以减小估计误差。这两种先验被用来对初始估计的高比特像素值$ \hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} $进行后处理。基于滤波器权重设计、自适应尺寸选择、伪轮廓区域检测和上述两种先验，本文提出了算法FACE-BDE，其伪代码如算法1所示。

算法1　FACE-BDE算法流程

Input：低比特图像$ {{\boldsymbol{I}}_{{\rm{LBD}}}} $及量化步长$Q$

Output：重建的高比特图像$ {\hat {\boldsymbol{I}}_{{\rm{HBD}}}} $

　 计算伪轮廓区域图${\boldsymbol{M}}$，

　 for each pixel ${p_{ij}}$ in $ {{\boldsymbol{I}}_{{\rm{LBD}}}} $ do

　　 if ${\boldsymbol{M}}[i,j] = = 0$ then

　　　 continue

　　 else

　　　 计算滤波器尺寸：${r_{ij}} = {\rm{SMA}}(i,j)$

　　　 确定邻域像素：

　${\rm{CR}}(i,j) = \{ {p_{i'j'}}:i' \in [i - r,i + r],j' \in [j - r,j + r]\}$

　　　 估计高比特像素：

　　　$\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} = \frac{{\displaystyle\sum\nolimits_{{p_{i'j' \in {\boldsymbol{CR}}(i,j)}}} {{\rm{W}}({\boldsymbol{I}}_{{\rm{LBD}}}^{i'j'} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij}){\boldsymbol{I}}_{{\rm{LBD}}}^{i'j'}} }}{{\displaystyle\sum\nolimits_{{p_{i'j' \in {\boldsymbol{CR}}(i,j)}}} {{{\rm{W}}} ({\boldsymbol{I}}_{{\rm{LBD}}}^{i'j'} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij})} }}$

　　 end if

　　 $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} = \hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} + 0.5*Q$ /* 期望先验 */

　　 if $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} > Q - 1$ then

　　　 $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} = {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} + Q - 1$

　　 else if $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} < 0$ then

　　　 $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} = {\boldsymbol{I}}_{{\rm{LBD}}}^{ij}$

　　 end if /*范围先验*/

end for

return $ {\hat {\boldsymbol{I}}_{{\rm{HBD}}}} $

在具有不同尺寸的伪轮廓的图像上使用不同大小的伪轮廓消除滤波器的结果如图3所示。从这组图像可以看出，所提出的伪轮廓消除滤波器具有以下特性。

1) 所提出的滤波器可以消除伪轮廓；

2) 所提出的滤波器在消除伪轮廓时可以保留真实的轮廓；

3) 自适应滤波器尺寸选择算法使得所提出的滤波器能够同时抑制不同尺寸的伪轮廓。

所提出的滤波器之所以可以消除伪轮廓，是因为该滤波器通过加权平均对伪轮廓之间进行平滑过渡，而这种平滑过渡来自于滤波器所覆盖的像素值的比例关系。

对真实边缘的保护来自于对零权重的合理分配。如果两个像素的绝对值差异大于$Q$，两者就会呈现明显的视觉差异，因而它们之间很可能存在一条真实轮廓。此时，若赋予非零权重会降低两者的对比度，甚至使真实的边缘过平滑。在这种情况下，分配零权重使本文滤波器保留了真实边缘。

如图3所示，随着滤波器大小的增加，对固定大小的伪轮廓的抑制效果呈现先升后降的趋势，当伪轮廓和滤波器大小大致相等时效果最好。因为当滤波器较小时，滤波器只能覆盖当前像素所在伪轮廓的像素，而这些像素的值约等于当前像素值，导致滤波过程不会明显改变当前像素的值，因此不能实现伪轮廓的消除。而当滤波器过大时，伪轮廓移动时所覆盖的像素值的配比变化很小，使得在不同位置的滤波结果几乎相等，因此也不能抑制伪轮廓。

图4b展示了由本文所提出的伪轮廓区域检测算法得到的伪轮廓区域图。在这张图中，细节区域和真实轮廓均为黑色，指示了非伪轮廓区域，所以在这些区域没有进行滤波，使得细节信息和真实轮廓在滤波后的图像中得以保留。图4c为不进行伪轮廓区域检测时进行伪轮廓消除滤波所得到的结果，可见如果没有伪轮廓区域检测模块，细节将被过度平滑。而如图4d所示，借助伪轮廓区域检测，避免了伪轮廓消除滤波对细节信息的过平滑，说明了伪轮廓区域检测对细节保留的关键作用。

测试场景为4～16比特的比特深度增强，因为4比特图像中的伪轮廓数量较多且大小不一，使增强任务具有足够的挑战性。所对比的算法有非深度学习算法：ZP、MIG、BR^[24]、MRC^[14]、ACDC^[15]、CRR^[16]、CA^[17]、IPAD^[18]、BEF-BDE^[13]和深度学习算法：LBDEN^[4]、BE-CALF^[20]、BE-ACGAN^[23]、Bitmore^[25]、RMF^[26]。测试集由两个16比特自然图像数据集FIVEK-40^[27]、SAMPLING^[28]和一个16比特的合成图像数据集SINTEL-8^[29]组成。其中，FIVEK-40^[27]和SINTEL-8^[29]分别由从各自数据集中随机选取的40张和8张图片构成。输入的低比特图像由对应的高比特图像通过比特截断方式得到。

相关算法在3个测试集上的平均PSNR(dB)和SSIM指标列于表1，传统算法中的最佳结果用粗体显示。从表中可以看出，数值映射类算法(MIG，BR^[24])的客观指标相对于输入ZP增益不大，仅为2 dB。MRC^[14]和ACDC^[15]通过使用优化模型改善了客观指标，但是由于这几种算法只考虑当前像素，导致生成图像中依然存在明显的伪轮廓。IPAD^[18]借助上下文信息，在输入的基础上，取得了5.93 dB的增益。本文算法在传统算法中取得了最好的客观指标，相对于输入提升了6.21 dB，且相对于第二好的算法IPAD具有0.28 dB的PSNR增益。不管是PSNR还是SSIM指标，所有传统算法都明显落后于基于深度学习的方法(LBDEN^[4]、BE-CALF^[20]、BE-ACGAN^[23]、Bitmore^[25])。深度学习方法的领先源自平均意义上更小的像素值估计误差。然而，这类算法不能保证优于本文方法的伪轮廓抑制效果，因为这类算法的损失函数只考虑像素值的平均估计误差，缺少对伪轮廓的建模。此外，深度学习类算法对计算资源和训练样本的依赖限制了这类算法的适用场景。

图5和图6展示了不同算法重构的高比特图像及对应的真实高比特图像GT和输入低比特图像ZP。由图可见，没有利用图像上下文信息的算法(如ACDC^[15])，图像中存在明显的伪轮廓，可见上下文信息对抑制伪轮廓的重要性。基于对上下文信息的利用，CRR^[16]和CA^[17]的结果图像中没有明显的伪轮廓，但是真实轮廓和细节区域存在明显的过平滑，如图5d和5e中，窗户的边缘比较模糊。算法IPAD^[18] 的客观指标较高，甚至在某些测试图像上超过了本文算法，但是该算法中还存在很多大尺寸的伪轮廓，因为该算法所依赖的势能传递只与距离有关却忽视了图像尺寸。BEF-BDE^[13]算法所采用的滤波器考虑了伪轮廓特性，但是由于该算法采用迭代滤波的方式进行处理，使得平滑过程被扩散到与伪轮廓相邻的细节区域，使其不得不在伪轮廓抑制和细节保持之间进行权衡，导致重构图像中存在轻微的伪轮廓和细节过平滑。如图5h～5k和图6g～6j所示，深度学习方法的结果图像相对于真实图像GT来说还有明显的伪轮廓。尽管凭借深度学习对像素值的最小平均误差估计，此类算法的客观指标较非深度学习类算法提升明显(相较于本文算法，PSNR增益为3.26～4.79 dB)，但是由于此类算法缺少对伪轮廓的直接约束，导致结果图像中的伪轮廓依然明显，因此在面向视觉体验的应用中，深度学习类算法的适用性不如本文算法。

如图5l和图6l所示，在FACE-BDE的结果图像中，不同尺寸的伪轮廓都得到了有效抑制，在视觉上几乎看不出伪轮廓，且真实轮廓和细节信息相较于输入未出现过平滑现象。相比于所列举的算法，本文算法所生成的图像在视觉上更接近于真实图像，这是因为基于伪轮廓产生机理的伪轮廓消除滤波器设计和伪轮廓区域检测，使本文算法可以在有效抑制伪轮廓的同时避免对细节信息的过度平滑。此外，通过自适应地调整滤波器大小，使得不同尺寸的伪轮廓在本文算法重建的图像中都得到了有效抑制。

相关算法在3个测试集上的平均运行时间如表2所示。测试平台是一台装配${\text{COR}}{{\text{E}}^{{\text{TM}}}}$ i5-7500 @ 3.40 GHz CPU和8 GB内存的计算机。ZP和IPAD算法的运行时间优于本文算法FACE-BDE，但FACE-BDE具有更好的客观指标和视觉质量。本文算法能以更少的时间获得优于CRR、CA和BEF-BDE的主客观质量。基于深度学习的方法相对于本文算法具有运行时间优势，但本文算法的结果图像中伪轮廓更少且不需要训练。

本文提出了一种比特深度增强算法FACE-BDE，该算法主要由伪轮廓消除滤波器、自适应滤波器大小选择和伪轮廓区域检测组成。基于伪轮廓生成机制，滤波器权重依据邻域像素之间的轮廓信息被赋予不同的权重，因此可以在保持真实轮廓的同时抑制伪轮廓。通过使滤波器的大小自适应于伪轮廓的大小，FACE-BDE可以同时抑制不同大小的伪轮廓。通过检测伪轮廓区域，然后将滤波过程限定在伪轮廓区域内，避免对细节纹理的过度平滑。实验表明，本文算法相较于目前最好的传统算法提升了0.28 dB，且在生成图像中几乎看不到伪轮廓，所生成的图像在视觉上更接近于真实的高比特图像。