-
在比特分辨率退化时,量化误差会使原本平坦的区域出现伪轮廓,降低图像的视觉质量。因此,消除低比特图像中存在的伪轮廓成为比特深度增强技术的核心任务和主要挑战[1]。这种技术具有诸多应用场景,如低比特量化场景下的高比特图像获取[2-3]、低比特图像的高质量显示[4]、图像压缩[5-8]、压缩伪迹抑制[9]等。
现有算法或者不能有效抑制伪轮廓,或者需要高性能的计算单元和大量的训练样本,缺乏实用性。早期的算法使用简单的低通滤波器来抑制伪轮廓[10-12],得到的效果非常有限。近期提出的BEF-BDE算法[13]所采用的滤波器虽然考虑到了伪轮廓,但因反复使用该滤波器而造成的过度平滑尚待解决。文献[14-15]通过最优化方法来估计高比特图像的像素值,但由于缺少对伪轮廓的建模和约束,导致没有有效改善对伪轮廓的抑制。文献[16-18]首先检出所有的伪轮廓,然后试图使伪轮廓之间的像素值平滑过渡来抑制伪轮廓,效果尚可但仍有改进空间。基于深度学习的算法[4,19-23]可以比以前的算法更好地抑制伪轮廓,但它们需要大量的训练样本和高性能的图像处理单元,限制了其适用场景。
为了在比特深度增强时有效抑制伪轮廓,本文提出了一种自适应伪轮廓消除滤波算法(false contour elimination filter-based bit depth enhancement algorithm, FACE-BDE)。首先,提出了一种伪轮廓消除滤波器。然后基于伪轮廓产生机理,有选择地将滤波器参数设置为1或0,使滤波器在不破坏真实轮廓的前提下消除伪轮廓;其次,为了同时消除不同大小的伪轮廓,构建了一种自适应于伪轮廓尺寸的滤波器大小选择方法;此外,为了避免滤波对非平坦区域的过度平滑,提出了一种伪轮廓区域检测算法,从而在滤波时屏蔽非伪轮廓区域。借助内容自适应滤波器权重设计、自适应滤波器尺寸选择和伪轮廓区域检测,本文算法FACE-BDE可以同时抑制不同尺寸的伪轮廓且不会过度平滑图像细节。
-
测试场景为4~16比特的比特深度增强,因为4比特图像中的伪轮廓数量较多且大小不一,使增强任务具有足够的挑战性。所对比的算法有非深度学习算法:ZP、MIG、BR[24]、MRC[14]、ACDC[15]、CRR[16]、CA[17]、IPAD[18]、BEF-BDE[13]和深度学习算法:LBDEN[4]、BE-CALF[20]、BE-ACGAN[23]、Bitmore[25]、RMF[26]。测试集由两个16比特自然图像数据集FIVEK-40[27]、SAMPLING[28]和一个16比特的合成图像数据集SINTEL-8[29]组成。其中,FIVEK-40[27]和SINTEL-8[29]分别由从各自数据集中随机选取的40张和8张图片构成。输入的低比特图像由对应的高比特图像通过比特截断方式得到。
-
相关算法在3个测试集上的平均PSNR(dB)和SSIM指标列于表1,传统算法中的最佳结果用粗体显示。从表中可以看出,数值映射类算法(MIG,BR[24])的客观指标相对于输入ZP增益不大,仅为2 dB。MRC[14]和ACDC[15]通过使用优化模型改善了客观指标,但是由于这几种算法只考虑当前像素,导致生成图像中依然存在明显的伪轮廓。IPAD[18]借助上下文信息,在输入的基础上,取得了5.93 dB的增益。本文算法在传统算法中取得了最好的客观指标,相对于输入提升了6.21 dB,且相对于第二好的算法IPAD具有0.28 dB的PSNR增益。不管是PSNR还是SSIM指标,所有传统算法都明显落后于基于深度学习的方法(LBDEN[4]、BE-CALF[20]、BE-ACGAN[23]、Bitmore[25])。深度学习方法的领先源自平均意义上更小的像素值估计误差。然而,这类算法不能保证优于本文方法的伪轮廓抑制效果,因为这类算法的损失函数只考虑像素值的平均估计误差,缺少对伪轮廓的建模。此外,深度学习类算法对计算资源和训练样本的依赖限制了这类算法的适用场景。
算法类型 算法名称 SINTEL-8 SAMPLING FIVEK-40 均值 非深度学习类 ZP 29.73/0.8047 28.83/0.9582 28.83/0.8520 29.13/0.8716 MIG 31.65/0.8068 31.59/0.9594 31.39/0.8548 31.54/0.8737 BR[24] 32.21/0.8289 32.15/0.9639 31.95/0.8712 32.10/0.8880 MRC[14] 32.68/0.8083 34.62/0.9363 33.68/0.8534 33.66/0.8660 ACDC[15] 34.38/0.8522 34.8/0.97010 34.81/0.9285 34.66/0.9170 CRR[16] 31.29/0.8113 32.84/0.9676 33.55/0.9209 32.56/0.8999 CA[17] 34.16/0.8581 34.33/0.9740 35.25/0.9415 34.58/0.9245 IPAD[18] 34.81/0.8666 34.79/0.9745 35.59/0.9458 35.06/0.9290 BEF-BDE[13] 34.77/0.8683 34.76/0.9739 35.24/0.9386 34.92/0.9271 FACE-BDE 35.07/0.8696 35.21/0.9751 35.72/0.9425 35.34/0.9291 深度学习类 BE-CALF[20] 39.42/0.9271 37.72/0.9691 38.67/0.9615 38.60/0.9526 Bitmore[25] 41.12/0.9540 39.53/0.9773 39.74/0.9584 40.13/0.9632 BE-ACGAN[23] 40.03/0.9358 37.87/0.9709 38.95/0.9560 38.95/0.9542 LBDEN[4] 40.70/0.9457 37.21/0.9646 38.28/0.9399 38.73/0.9501 RMF[26] 39.46/0.9303 38.51/0.9888 38.92/0.9606 38.96/0.9599 -
图5和图6展示了不同算法重构的高比特图像及对应的真实高比特图像GT和输入低比特图像ZP。由图可见,没有利用图像上下文信息的算法(如ACDC[15]),图像中存在明显的伪轮廓,可见上下文信息对抑制伪轮廓的重要性。基于对上下文信息的利用,CRR[16]和CA[17]的结果图像中没有明显的伪轮廓,但是真实轮廓和细节区域存在明显的过平滑,如图5d和5e中,窗户的边缘比较模糊。算法IPAD[18] 的客观指标较高,甚至在某些测试图像上超过了本文算法,但是该算法中还存在很多大尺寸的伪轮廓,因为该算法所依赖的势能传递只与距离有关却忽视了图像尺寸。BEF-BDE[13]算法所采用的滤波器考虑了伪轮廓特性,但是由于该算法采用迭代滤波的方式进行处理,使得平滑过程被扩散到与伪轮廓相邻的细节区域,使其不得不在伪轮廓抑制和细节保持之间进行权衡,导致重构图像中存在轻微的伪轮廓和细节过平滑。如图5h~5k和图6g~6j所示,深度学习方法的结果图像相对于真实图像GT来说还有明显的伪轮廓。尽管凭借深度学习对像素值的最小平均误差估计,此类算法的客观指标较非深度学习类算法提升明显(相较于本文算法,PSNR增益为3.26~4.79 dB),但是由于此类算法缺少对伪轮廓的直接约束,导致结果图像中的伪轮廓依然明显,因此在面向视觉体验的应用中,深度学习类算法的适用性不如本文算法。
如图5l和图6l所示,在FACE-BDE的结果图像中,不同尺寸的伪轮廓都得到了有效抑制,在视觉上几乎看不出伪轮廓,且真实轮廓和细节信息相较于输入未出现过平滑现象。相比于所列举的算法,本文算法所生成的图像在视觉上更接近于真实图像,这是因为基于伪轮廓产生机理的伪轮廓消除滤波器设计和伪轮廓区域检测,使本文算法可以在有效抑制伪轮廓的同时避免对细节信息的过度平滑。此外,通过自适应地调整滤波器大小,使得不同尺寸的伪轮廓在本文算法重建的图像中都得到了有效抑制。
-
相关算法在3个测试集上的平均运行时间如表2所示。测试平台是一台装配
${\text{COR}}{{\text{E}}^{{\text{TM}}}}$ i5-7500 @ 3.40 GHz CPU和8 GB内存的计算机。ZP和IPAD算法的运行时间优于本文算法FACE-BDE,但FACE-BDE具有更好的客观指标和视觉质量。本文算法能以更少的时间获得优于CRR、CA和BEF-BDE的主客观质量。基于深度学习的方法相对于本文算法具有运行时间优势,但本文算法的结果图像中伪轮廓更少且不需要训练。算法 ZP ACDC CRR CA IPAD BE-CALF LBDEN RMF BEF-BDE FACE-BDE 时间/s 0.05 1029.56 153.13 246.80 66.77 28.45 3.02 17.52 101.21 68.22
Adaptive False Contour Elimination Filter-Based Bit Depth Enhancement
doi: 10.12178/1001-0548.2022169
- Received Date: 2022-06-06
- Rev Recd Date: 2022-11-22
- Available Online: 2023-05-26
- Publish Date: 2023-05-28
-
Key words:
- bit depth enhancement /
- edge elimination filter /
- false contour elimination /
- image enhancement
Abstract: Bit depth enhancement has great application value, such as low-bit image acquisition, high-bit display, and image compression. However, existing bit depth enhancement algorithms either cannot effectively suppress false contours that appear in low-bit images or require high-performance graphical processing units and a vast number of training samples, making them lack practicality. To this end, we propose an adaptive false contour elimination filter-based bit depth enhancement algorithm, named FACE-BDE. FACE-BDE consists of three innovative modules: a false contour elimination filter design module, an adaptive filter size selection module, and a false contour region detection module. Experiments show that our algorithm can preserve real contours and details when eliminating false contours of different sizes, thus achieving 0.28 dB gain on the testsets, and the visibility of false contours is significantly unnoticeable than that of similar algorithms.
Citation: | PENG Changmeng, XIA Maohan, HUANG Xiaoyang, FU Zhizhong, XU Jin, LI Xiaofeng. Adaptive False Contour Elimination Filter-Based Bit Depth Enhancement[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(3): 348-356. doi: 10.12178/1001-0548.2022169 |