留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于自适应伪轮廓消除滤波的比特深度增强

彭昌猛 夏茂菡 黄晓洋 傅志中 徐进 李晓峰

彭昌猛, 夏茂菡, 黄晓洋, 傅志中, 徐进, 李晓峰. 基于自适应伪轮廓消除滤波的比特深度增强[J]. 电子科技大学学报, 2023, 52(3): 348-356. doi: 10.12178/1001-0548.2022169
引用本文: 彭昌猛, 夏茂菡, 黄晓洋, 傅志中, 徐进, 李晓峰. 基于自适应伪轮廓消除滤波的比特深度增强[J]. 电子科技大学学报, 2023, 52(3): 348-356. doi: 10.12178/1001-0548.2022169
PENG Changmeng, XIA Maohan, HUANG Xiaoyang, FU Zhizhong, XU Jin, LI Xiaofeng. Adaptive False Contour Elimination Filter-Based Bit Depth Enhancement[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(3): 348-356. doi: 10.12178/1001-0548.2022169
Citation: PENG Changmeng, XIA Maohan, HUANG Xiaoyang, FU Zhizhong, XU Jin, LI Xiaofeng. Adaptive False Contour Elimination Filter-Based Bit Depth Enhancement[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(3): 348-356. doi: 10.12178/1001-0548.2022169

基于自适应伪轮廓消除滤波的比特深度增强

doi: 10.12178/1001-0548.2022169
基金项目: 国家自然科学基金(61671126)
详细信息
    作者简介:

    彭昌猛(1992 − ),男,博士,主要从事图像比特深度增强方面的研究

    通讯作者: 李晓峰,E-mail:xfli@uestc.edu.cn
  • 中图分类号: TN911.73

Adaptive False Contour Elimination Filter-Based Bit Depth Enhancement

  • 摘要: 比特深度增强具有巨大的应用价值,如低比特图像采集、高比特图像显示、图像压缩等。然而,现有的比特深度增强算法或者不能有效抑制低比特图像中存在的伪轮廓,或者需要高性能的计算单元和大量的训练样本,缺乏实用性。为此,提出了一种基于自适应伪轮廓消除滤波的比特深度增强算法:FACE-BDE。FACE-BDE由3个模块组成:伪轮廓消除滤波器设计模块、自适应滤波器大小选择模块和伪轮廓区域检测模块。实验表明,所提算法能在消除不同大小的伪轮廓时保留真实轮廓和细节,使其在测试集上取得了0.28 dB的增益,伪轮廓的可见性也明显弱于同类算法。
  • 图  1  边缘两侧的像素值关系图

    图  2  滤波器与伪轮廓大小关系示例图

    图  3  不同尺寸的伪轮廓消除滤波器的伪轮廓抑制效果对比

    图  4  伪轮廓区域检测结果及其对重建结果的影响

    图  5  相关算法的重建结果图对比

    图  6  相关算法的重建结果图对比

    表  1  相关算法在测试集上的平均PSNR(dB)与SSIM的对比

    算法类型算法名称SINTEL-8SAMPLINGFIVEK-40均值
    非深度学习类ZP29.73/0.804728.83/0.958228.83/0.852029.13/0.8716
    MIG31.65/0.806831.59/0.959431.39/0.854831.54/0.8737
    BR[24]32.21/0.828932.15/0.963931.95/0.871232.10/0.8880
    MRC[14]32.68/0.808334.62/0.936333.68/0.853433.66/0.8660
    ACDC[15]34.38/0.852234.8/0.9701034.81/0.928534.66/0.9170
    CRR[16]31.29/0.811332.84/0.967633.55/0.920932.56/0.8999
    CA[17]34.16/0.858134.33/0.974035.25/0.941534.58/0.9245
    IPAD[18]34.81/0.866634.79/0.974535.59/0.945835.06/0.9290
    BEF-BDE[13]34.77/0.868334.76/0.973935.24/0.938634.92/0.9271
    FACE-BDE35.07/0.869635.21/0.975135.72/0.942535.34/0.9291
    深度学习类BE-CALF[20]39.42/0.927137.72/0.969138.67/0.961538.60/0.9526
    Bitmore[25]41.12/0.954039.53/0.977339.74/0.958440.13/0.9632
    BE-ACGAN[23]40.03/0.935837.87/0.970938.95/0.956038.95/0.9542
    LBDEN[4]40.70/0.945737.21/0.964638.28/0.939938.73/0.9501
    RMF[26]39.46/0.930338.51/0.988838.92/0.960638.96/0.9599
    下载: 导出CSV

    表  2  相关算法在3个测试集上的平均运行时间对比

    算法ZPACDCCRRCAIPADBE-CALFLBDENRMFBEF-BDEFACE-BDE
    时间/s0.051029.56153.13246.8066.7728.453.0217.52101.2168.22
    下载: 导出CSV
  • [1] TANDON P, AFONSO M, SOLE J, et al. CAMBI: Contrast-Aware multiscale banding index[C]//Picture Coding Symposium (PCS). Bristol: IEEE, 2021: 1-5.
    [2] WAN P, AU O C, PANG J, et al. High bit-precision image acquisition and reconstruction by planned sensor distortion[C]//IEEE International Conference on Image Processing. Paris: IEEE, 2014: 1773-1777.
    [3] WAN P, TAN J, LIAN X, et al. High bit-depth image acquisition framework using embedded quantization bias[J]. IEEE Transactions on Computational Imaging, 2019, 5(4): 556-569. doi:  10.1109/TCI.2019.2903423
    [4] ZHAO Y, WANG R, CHEN Y, et al. Lighter but efficient bit-depth expansion network[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 31(5): 2063-2069.
    [5] ZHANG B, SANDER P V, TSUI C Y, et al. Microshift: An efficient image compression algorithm for hardware[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 29(11): 3430-3443.
    [6] ZHANG F, AFONSO M, BULL D R. Enhanced video compression based on effective bit depth adaptation[C]//IEEE International Conference on Image Processing (ICIP). [S.l.]: IEEE, 2019: 1720-1724.
    [7] MA D, ZHANG F, BULL D R. GAN-Based effective bit depth adaptation for perceptual video compression[C]//IEEE International Conference on Multimedia and Expo (ICME). London: IEEE, 2020: 1-6.
    [8] MACKIN A, MA D, ZHANG F, et al. A subjective study on videos at various bit depths[C]//Picture Coding Symposium (PCS). Bristol: IEEE, 2021: 1-5.
    [9] HUANG Q, KIM H Y, TSAI W J, et al. Understanding and removal of false contour in hevc compressed images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 28(2): 378-391.
    [10] LIU C H, AU O C, WONG P H, et al. Bit-Depth expansion by adaptive filter[C]//IEEE International Symposium on Circuits and Systems. Seattle: IEEE, 2008: 496-499.
    [11] DALY S J, FENG X. Decontouring: Prevention and removal of false contour artifacts[C]//Human Vision and Electronic Imaging IX. San Jose: SPIE, 2004: 130-149.
    [12] AHN W, KIM J S. Flat-Region detection and false contour removal in the digital TV display[C]//IEEE International Conference on Multimedia and Expo. Amsterdam: IEEE, 2005: 1338-1341.
    [13] PENG C, XIA M, FU Z, et al. Bilateral false contour elimination filter-based image bit-depth enhancement[J]. IEEE Signal Processing Letters, 2021, 28: 1585-1589. doi:  10.1109/LSP.2021.3099962
    [14] MITTAL G, JAKHETIYA V, JAISWAL S P, et al. Bit-Depth expansion using minimum risk based classification[C]//Visual Communications & Image Processing. Kuching: IEEE, 2013: 1-5.
    [15] WAN P, CHEUNG G, FLORENCIO D, et al. Image bit-depth enhancement via maximum a posteriori estimation of AC signal[J]. IEEE Transactions on Image Processing, 2016, 25(6): 2896-2909. doi:  10.1109/TIP.2016.2553523
    [16] CHENG C H, AU O C, LIU C H, et al. Bit-Depth expansion by contour region reconstruction[C]//IEEE International Symposium on Circuits and Systems. [S.l.]: IEEE, 2009: 944-947.
    [17] WAN P, AU O C, TANG K, et al. From 2d extrapolation to 1d interpolation: Content adaptive image bit-depth expansion[C]//IEEE International Conference on Multimedia and Expo. Melbourne: IEEE, 2012: 170-175.
    [18] LIU J, ZHAI G, LIU A, et al. IPAD: Intensity potential for adaptive de-quantization[J]. IEEE Transactions on Image Processing, 2018, 27(10): 4860-4872. doi:  10.1109/TIP.2018.2803306
    [19] SU Y, SUN W, LIU J, et al. Photo-Realistic image bit-depth enhancement via residual transposed convolutional neural network[J]. Neurocomputing, 2019, 347: 200-211. doi:  10.1016/j.neucom.2019.04.011
    [20] LIU J, SUN W, SU Y, et al. BE-CALF: Bit-Depth enhancement by concatenating all level features of DNN[J]. IEEE Transactions on Image Processing, 2019, 28(10): 4926-4940. doi:  10.1109/TIP.2019.2912294
    [21] PENG C, CAI L, HUANG X, et al. CNN-Based suppression of false contour and color distortion in bit-depth enhancement[J]. Sensors, 2021, 21(2): 416-432. doi:  10.3390/s21020416
    [22] PENG C, CAI L, FU Z, et al. CNN-Based bit-depth enhancement by the suppression of false contour and color distortion[C]//Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). Lanzhou: IEEE, 2019: 1145-1151.
    [23] ZHANG J, DOU Q, LIU J, et al. BE-ACGAN: Photo-Realistic residual bit-depth enhancement by advanced conditional GAN[J]. Displays, 2021, 69(10): 20-40.
    [24] ULICHNEY R A, CHEUNG S. Pixel bit-depth increase by bit replication[C]//Color Imaging: Device-Independent Color, Color Hardcopy, and Graphic Arts III. San Jose: SPIE, 1998: 232-241.
    [25] PUNNAPPURATH A, BROWN M S. A little bit more: Bitplane-Wise bit-depth recovery[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(12): 9718-9724.
    [26] LIU J, WEN X, NIE W, et al. Residual-Guided multiscale fusion network for bit-depth enhancement[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(5): 2773-2786.
    [27] BYCHKOVSKY V, PARIS S, CHAN E, et al. Learning photographic global tonal adjustment with a database of input/output image pairs[C]//IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs: IEEE, 2011: 97-104.
    [28] ASUNI N, GIACHETTI A. TESTIMAGES: A large data archive for display and algorithm testing[J]. Journal of Graphics Tools, 2013, 17(4): 113-125. doi:  10.1080/2165347X.2015.1024298
    [29] STINEL. Index of /sintel/sintel-1k-png[DB/OL]. [2011-02-26]. https://media.xiph.org/sintel/sintel-1k-png16/.
  • [1] 周丰丰, 孙燕杰, 范雨思.  基于miRNA组学的数据增强算法 . 电子科技大学学报, 2023, 52(2): 182-187. doi: 10.12178/1001-0548.2023002
    [2] 刘祎, 刘宇航, 颜溶標, 桂志国.  基于细节增强的多能DR图像融合网络 . 电子科技大学学报, 2023, 52(3): 379-389. doi: 10.12178/1001-0548.2022127
    [3] 陈林, 李楷, 靳云迪, 林静然, 邵怀宗.  面向区域导航增强的低轨卫星星座设计 . 电子科技大学学报, 2022, 51(4): 522-528, 534. doi: 10.12178/1001-0548.2022006
    [4] 胡雯, 马闯, 张海峰.  基于子图交互关系的网络结构增强算法 . 电子科技大学学报, 2022, 51(2): 282-289. doi: 10.12178/1001-0548.2021196
    [5] 王一竹, 李渊, 杨宇.  基于人眼亮度感知的S型函数图像对比度增强算法 . 电子科技大学学报, 2022, 51(4): 600-607. doi: 10.12178/1001-0548.2020383
    [6] 刘玉红, 李梓妍, 王欣, 颜红梅.  具有颜色保真性的彩色眼底图像增强方法 . 电子科技大学学报, 2022, 51(2): 290-294. doi: 10.12178/1001-0548.2021298
    [7] 张腾月, 文红, 唐杰, 宋欢欢.  随机移动终端协同干扰下的安全传输增强机制 . 电子科技大学学报, 2021, 50(6): 877-882. doi: 10.12178/1001-0548.2020336
    [8] 王哲, 郭强, 刘建国.  基于会计报表和网络中心性的指数增强策略研究 . 电子科技大学学报, 2021, 50(3): 459-466. doi: 10.12178/1001-0548.2020296
    [9] 周书田, 颜信, 谢镇汕.  一种增强人脸识别模型训练稳定性的损失函数 . 电子科技大学学报, 2021, 50(1): 59-62. doi: 10.12178/1001-0548.2020226
    [10] 佟国香, 田飞翔.  基于CNNs的两次训练融合的分类方法 . 电子科技大学学报, 2019, 48(5): 774-778. doi: 10.3969/j.issn.1001-0548.2019.05.018
    [11] 雷世文, 赵志钦, 聂在平, 柳清伙.  部分极化条件下的极化对比度增强优化的快速方法 . 电子科技大学学报, 2015, 44(1): 55-60. doi: 10.3969/j.issn.1001-0548.2015.01.009
    [12] 王亚非, 刘丽娴, 高椿明, 卢泽宇, 周鹰.  石英增强光声光谱技术发展现状 . 电子科技大学学报, 2015, 44(6): 940-945. doi: 10.3969/j.issn.1001-0548.2015.06.025
    [13] 王瑜, 张慧妍.  基于四阶PDEs和对比度增强的荧光显微图像去噪 . 电子科技大学学报, 2012, 41(4): 564-567.
    [14] 张卫华, 李睿, 何坤, 周激流.  3DDCT变换下的图像去噪与增强方法 . 电子科技大学学报, 2011, 40(5): 742-746. doi: 10.3969/j.issn.1001-0548.2011.05.021
    [15] 陈庆利, 蒲亦非, 黄果, 周激流.  数字图像的0~1阶Riemann-Liouville分数阶微分增强模板 . 电子科技大学学报, 2011, 40(5): 772-776. doi: 10.3969/j.issn.1001-0548.2011.05.026
    [16] 张乐君, 李子平, 国林, 张健沛, 杨永田.  服务自组织途径的信息系统生存性增强 . 电子科技大学学报, 2010, 39(1): 85-90. doi: 10.3969/j.issn.1001-0548.2010.01.020
    [17] 马义德, 邱秀清, 陈昱莅, 刘映杰, 朱敬锋.  改进的基于听觉掩蔽特性的语音增强 . 电子科技大学学报, 2008, 37(2): 255-257,304.
    [18] 袁继敏, 李小玲, 古天祥.  基于时空神经网络增强数字示波器功能的研究 . 电子科技大学学报, 2007, 36(5): 938-941.
    [19] 伏飞, 刘晶, 齐望东, 沈洋.  一种基于IEEE 802.11 PSM的增强节能机制 . 电子科技大学学报, 2006, 35(6): 883-886.
    [20] 侯学智, 杨平, 赵云松.  CCD图像的轮廓特征点提取算法 . 电子科技大学学报, 2004, 33(4): 446-448.
  • 加载中
图(6) / 表(2)
计量
  • 文章访问数:  381
  • HTML全文浏览量:  139
  • PDF下载量:  29
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-06-06
  • 修回日期:  2022-11-22
  • 网络出版日期:  2023-05-26
  • 刊出日期:  2023-05-28

基于自适应伪轮廓消除滤波的比特深度增强

doi: 10.12178/1001-0548.2022169
    基金项目:  国家自然科学基金(61671126)
    作者简介:

    彭昌猛(1992 − ),男,博士,主要从事图像比特深度增强方面的研究

    通讯作者: 李晓峰,E-mail:xfli@uestc.edu.cn
  • 中图分类号: TN911.73

摘要: 比特深度增强具有巨大的应用价值,如低比特图像采集、高比特图像显示、图像压缩等。然而,现有的比特深度增强算法或者不能有效抑制低比特图像中存在的伪轮廓,或者需要高性能的计算单元和大量的训练样本,缺乏实用性。为此,提出了一种基于自适应伪轮廓消除滤波的比特深度增强算法:FACE-BDE。FACE-BDE由3个模块组成:伪轮廓消除滤波器设计模块、自适应滤波器大小选择模块和伪轮廓区域检测模块。实验表明,所提算法能在消除不同大小的伪轮廓时保留真实轮廓和细节,使其在测试集上取得了0.28 dB的增益,伪轮廓的可见性也明显弱于同类算法。

English Abstract

彭昌猛, 夏茂菡, 黄晓洋, 傅志中, 徐进, 李晓峰. 基于自适应伪轮廓消除滤波的比特深度增强[J]. 电子科技大学学报, 2023, 52(3): 348-356. doi: 10.12178/1001-0548.2022169
引用本文: 彭昌猛, 夏茂菡, 黄晓洋, 傅志中, 徐进, 李晓峰. 基于自适应伪轮廓消除滤波的比特深度增强[J]. 电子科技大学学报, 2023, 52(3): 348-356. doi: 10.12178/1001-0548.2022169
PENG Changmeng, XIA Maohan, HUANG Xiaoyang, FU Zhizhong, XU Jin, LI Xiaofeng. Adaptive False Contour Elimination Filter-Based Bit Depth Enhancement[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(3): 348-356. doi: 10.12178/1001-0548.2022169
Citation: PENG Changmeng, XIA Maohan, HUANG Xiaoyang, FU Zhizhong, XU Jin, LI Xiaofeng. Adaptive False Contour Elimination Filter-Based Bit Depth Enhancement[J]. Journal of University of Electronic Science and Technology of China, 2023, 52(3): 348-356. doi: 10.12178/1001-0548.2022169
  • 在比特分辨率退化时,量化误差会使原本平坦的区域出现伪轮廓,降低图像的视觉质量。因此,消除低比特图像中存在的伪轮廓成为比特深度增强技术的核心任务和主要挑战[1]。这种技术具有诸多应用场景,如低比特量化场景下的高比特图像获取[2-3]、低比特图像的高质量显示[4]、图像压缩[5-8]、压缩伪迹抑制[9]等。

    现有算法或者不能有效抑制伪轮廓,或者需要高性能的计算单元和大量的训练样本,缺乏实用性。早期的算法使用简单的低通滤波器来抑制伪轮廓[10-12],得到的效果非常有限。近期提出的BEF-BDE算法[13]所采用的滤波器虽然考虑到了伪轮廓,但因反复使用该滤波器而造成的过度平滑尚待解决。文献[14-15]通过最优化方法来估计高比特图像的像素值,但由于缺少对伪轮廓的建模和约束,导致没有有效改善对伪轮廓的抑制。文献[16-18]首先检出所有的伪轮廓,然后试图使伪轮廓之间的像素值平滑过渡来抑制伪轮廓,效果尚可但仍有改进空间。基于深度学习的算法[4,19-23]可以比以前的算法更好地抑制伪轮廓,但它们需要大量的训练样本和高性能的图像处理单元,限制了其适用场景。

    为了在比特深度增强时有效抑制伪轮廓,本文提出了一种自适应伪轮廓消除滤波算法(false contour elimination filter-based bit depth enhancement algorithm, FACE-BDE)。首先,提出了一种伪轮廓消除滤波器。然后基于伪轮廓产生机理,有选择地将滤波器参数设置为1或0,使滤波器在不破坏真实轮廓的前提下消除伪轮廓;其次,为了同时消除不同大小的伪轮廓,构建了一种自适应于伪轮廓尺寸的滤波器大小选择方法;此外,为了避免滤波对非平坦区域的过度平滑,提出了一种伪轮廓区域检测算法,从而在滤波时屏蔽非伪轮廓区域。借助内容自适应滤波器权重设计、自适应滤波器尺寸选择和伪轮廓区域检测,本文算法FACE-BDE可以同时抑制不同尺寸的伪轮廓且不会过度平滑图像细节。

    • 对于输入图像,算法使用伪轮廓区域检测模块来确定哪些像素处在伪轮廓区域内。对于处在伪轮廓区域内的像素,使用自适应滤波器尺寸选择模块来计算滤波器的尺寸,然后由滤波器权重计算模块确定滤波器的权重参数,之后进行伪轮廓消除滤波。滤波后的像素和那些不在伪轮廓区域内的像素采用特殊的图像先验进行后处理,得到最终输出。所涉及的模块将在以下几节中详细描述。

    • 由量化原理可知,处在量化区间边界两侧的像素值因为处在不同的量化区间而具有不同的量化值。处在图像颜色渐变的区域(又叫平坦区域)中相邻像素的数值差异原本不大,但若是恰好处在量化区间边界的两侧,就会具有不同的量化值。当量化步长较大时,就会在量化之后呈现明显的差异,并在视觉上表现为伪轮廓。

      为了定义伪轮廓,首先通过式(1)来定义渐变区域FR:

      $$ {\rm{FR}}=\{{p}_{ij}:{p}_{ij}\in {\rm{CC}}且{{\boldsymbol{G}}}_{h/v}(i,j)\approx {{\boldsymbol{G}}}_{h/v}({\rm{FR}})\} $$ (1)

      式中,${p_{ij}}$代表位置$(i,j)$处的像素;${\rm{CC}}$代表连通的点集;$ {{\boldsymbol{G}}_{h/v}}(i,j) $代表像素${p_{ij}}$的水平和垂直方向梯度; $ {{\boldsymbol{G}}_{h/v}}({\rm{FR}}) $为整个渐变区域FR在水平和垂直方向的平均梯度。由此,伪轮廓${\rm{FC}}$可被定义为:

      $$ \begin{split} &\qquad {\rm{FC}}=\{{p}_{ij}:{p}_{ij}\in {\rm{FR}}且{p}_{i'j'}\in {\boldsymbol{N}}(i,j)\\ &{\rm{s}}.{\rm{t}}.\; \left|{{\boldsymbol{I}}}_{{\rm{HBD}}}^{ij}-{{\boldsymbol{I}}}_{{\rm{HBD}}}^{i'j'}\right|\ll Q且\left|{{\boldsymbol{I}}}_{{\rm{LBD}}}^{ij}-{{\boldsymbol{I}}}_{{\rm{LBD}}}^{i'j'}\right|=Q\} \end{split} $$ (2)

      式中,$ {\boldsymbol{N}}(i,j) $为当前像素${p_{ij}}$的8-邻域;$ {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} $$ {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} $分别为高/低比特图像中像素${p_{ij}}$的像素值;$Q$代表量化步长。

    • 由于图像的细节区域往往不存在视觉可见的伪轮廓,所以为了避免滤波所导致的细节过平滑风险且减少不必要的计算开销,本文将输入的低比特图像划分为伪轮廓区域和非伪轮廓区域,并将伪轮廓消除滤波限定在伪轮廓区域内。基于式(2)所反映的伪轮廓产生机理,本文的伪轮廓区域检测算法包含以下步骤。

      1) 定义一个和输入图像等大的伪轮廓区域标识图${\boldsymbol{M}}$并对${\boldsymbol{M}}$进行0初始化;

      2) 找出输入图像中所有的等值区域${{\boldsymbol{V}}_{1,2, \cdots, n}}$。等值区域为连通区域且域内的所有像素具有相同的值;

      3) 遍历等值区域,判断两个等值区域是否相邻且像素值的绝对差等于量化步长$Q$,若判断成立,则将这两个区域在${\boldsymbol{M}}$中的对应位置赋1,表示对应像素处在伪轮廓区域内。

    • 从值域来看,伪轮廓是原本数值渐变的区域中出现的阶梯状伪影。而从频域来看,伪轮廓是出现在低频区域的高频伪迹。所以,伪轮廓消除滤波器应具有低通特性。本文提出的伪轮廓消除滤波器由式(3)和式(4)所定义:

      $$ \hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} = \frac{{\displaystyle\sum\limits_{{p_{i'j' \in {\rm{CR}}(i,j)}}} {{{W}}({\boldsymbol{I}}_{{\rm{LBD}}}^{i'j'} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij}){\boldsymbol{I}}_{{\rm{LBD}}}^{i'j'}} }}{{\displaystyle\sum\limits_{{p_{i'j' \in {\rm{CR}}(i,j)}}} {{{{W}}} ({\boldsymbol{I}}_{{\rm{LBD}}}^{i'j'} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij})} }} $$ (3)
      $$ {\rm{CR}}(i,j) = \{ {p_{i'j'}}:i' \in [i - r,i + r],j' \in [j - r,j + r]\} $$ (4)

      式中,$ \hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} $$ {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} $分别代表重建的高比特图像的像素值和输入的低比特图像的像素值;${\rm{CR}}(i,j)$为位置$(i,j)$处的滤波器所能覆盖的邻域像素所构成的集合。本文采用大小为$(2 \times r + 1)$的方形滤波器且通过$r$来控制滤波器的尺寸。

      仅具有低通特性的滤波器虽然能够抑制伪轮廓,但是会不可避免地将真实边缘过平滑掉[10-12]。为了保护真实边缘,伪轮廓消除滤波器应具有保边滤波的特性,而消除伪轮廓又需要其具备消边能力。为了同时实现保边和消边这两个互相矛盾的任务,滤波器的权重参数${{{W}}} (*)$设计必须要区分真实边缘和伪轮廓。

      为了设计有效的滤波器参数,使其能在消除伪轮廓的同时避免对真实轮廓的损害,本文分别研究了真实轮廓和伪轮廓两侧的像素之间的数值关系。如图1所示,当一条伪轮廓出现时,其两侧的像素会分别构成一个等值区域,且这两个等值区域的像素值相差恰好等于量化步长$Q$(此例中,$Q$=4096)。

      图  1  边缘两侧的像素值关系图

      由此,可以得到如下观测。

      1) 如果两个像素值的绝对差大于量化步长$Q$,则这两个像素必然没有处在同一条伪轮廓的两个等值区域内。如图1中的A点和B1点之间存在两条伪轮廓,而A点和B2点之间存在一条真实轮廓。因此,在A位置滤波时,应该将与A的差值大于$Q$的所有像素(如B1点、B2点)的权重置零,否则可能会平滑掉真实轮廓。

      2) 如两个邻域像素的差值恰好等于量化步长$Q$(如A点和C点),那这两个像素之间很可能存在一条伪轮廓,因此需要为邻域像素赋予非零权重,从而实现这两个像素之间的平滑过渡。

      3) 如果邻域像素的差值小于量化步长$Q$(如A点和D点),说明这两个像素处在满足观测2)的两个像素所构成的直线上,因此在滤波时也需要赋予非零权重,从而传递伪轮廓消除滤波器的平滑效果。

      基于上述观测,伪轮廓消除滤波器的参数${W} (d)$被设计为自适应于图像内容,其中$ d $为像素值的绝对差。如式(5)所示,该滤波器参数具有二元参数特性,从而简化了滤波器的参数和后续计算。

      $$ {{{W}}} (d) = \left\{ {\begin{array}{*{20}{c}} {1}&{d \leqslant Q} \\ {0}&{{\text{else}}} \end{array}} \right. $$ (5)
    • 固定尺寸的滤波器仅对特定尺寸的伪轮廓具有良好效果。如图2a中的黄色框所示,当滤波器尺寸(r=25)明显小于伪轮廓宽度(MA=100)时,滤波器的位置变化不会明显改变所覆盖的像素值的数值配比,如从E点水平移动到E’时,所覆盖的像素均属于同一个等值区域,使得滤波前后的像素值几乎没有变化,故无法有效抑制伪轮廓。而当滤波器尺寸过大时,滤波器的位置在小范围内变化不会显著改变非零权重的像素配比(如图2a中,蓝色实线框沿G-G’移动到蓝色虚线框),使得在不同位置的重建值几乎相等,因此也不能抑制伪轮廓。如图2a中的红色框所示,仅当滤波器尺寸和伪轮廓宽度相当时,滤波器位置移动(如从F点平移到F’点)时所覆盖的像素值配比才会发生明显变化,才能对伪轮廓进行有效抑制。图2b2d展示了不同大小的滤波器对图2a进行滤波后的图像。由图可见,仅当滤波器宽度与伪轮廓宽度相当时,阶梯状的条带得到了有效平滑,而滤波器过大或者过小时,平滑效果均不如尺寸相当时。

      图  2  滤波器与伪轮廓大小关系示例图

      由于低比特图像中会同时存在不同大小的伪轮廓,因此固定尺寸的伪轮廓消除滤波器无法有效抑制图像中所有的伪轮廓。因此,为了同时抑制不同尺寸的伪轮廓,滤波器的尺寸不能固定,而应该自适应于当前像素所属伪轮廓的大小。然而,仅仅自适应于伪轮廓尺寸依然难以同时对所有伪轮廓进行有效抑制,因为伪轮廓往往具有不规则的形状,若是处在同一伪轮廓所构建的等值区域内的所有像素共享同一个滤波器尺寸,那么该尺寸相对于伪轮廓的极窄区域会显得“过大”,而相对于极宽区域则会显得“过小”。所以,滤波器尺寸的自适应程度不应仅停留在伪轮廓层面,而应该细化到每个像素。

      图2中不同颜色框所代表的滤波器在位置移动时像素配比的变化可知,要使滤波器位置移动带动像素配比发生显著变化,滤波器需要覆盖到当前伪轮廓边界外的像素,且不宜过大。因此,滤波器尺寸应自适应于当前像素到伪轮廓边界的距离。虽然精细的尺寸自适应算法能够取得更好的性能,但是会显著增加算法的复杂度,这种复杂度会随着像素个数的增加而增加。为了在复杂度和性能之间权衡,本文将尺寸自适应算法设计为如式(6)所示的形式:

      $$ r = {\rm{SMA}}(i,j) = 0.5 \times {\rm{min}}(v(i,j),h(i,j)) $$ (6)

      式中,$ v(i,j),h(i,j) $分别为穿过当前像素的垂直和水平直线与当前像素所在的等值区域边界所构成的线段长度,且记长度较短的那条线段的一半为当前位置的半短轴${\rm{SMA}}(i,j)$,并作为当前位置的滤波器大小。

    • 因为低比特图像是由高比特图像经过比特截断得到的,所以高/低比特图像的像素值满足范围先验${\boldsymbol{I}}_{{\rm{HBD}}}^{ij} \in [{\boldsymbol{I}}_{{\rm{LBD}}}^{ij},{\text{ }}{\boldsymbol{I}}_{{\rm{LBD}}}^{ij} + Q)$。文献[3]指出$ \hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} $的最小均方误差估计为量化区间中点,将其称为期望先验,利用此先验为初始估计附加半个量化步长可以减小估计误差。这两种先验被用来对初始估计的高比特像素值$ \hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} $进行后处理。基于滤波器权重设计、自适应尺寸选择、伪轮廓区域检测和上述两种先验,本文提出了算法FACE-BDE,其伪代码如算法1所示。

      算法1 FACE-BDE算法流程

      Input:低比特图像$ {{\boldsymbol{I}}_{{\rm{LBD}}}} $及量化步长$Q$

      Output:重建的高比特图像$ {\hat {\boldsymbol{I}}_{{\rm{HBD}}}} $

        计算伪轮廓区域图${\boldsymbol{M}}$

        for each pixel ${p_{ij}}$ in $ {{\boldsymbol{I}}_{{\rm{LBD}}}} $ do

         if ${\boldsymbol{M}}[i,j] = = 0$ then

          continue

         else

          计算滤波器尺寸:${r_{ij}} = {\rm{SMA}}(i,j)$

          确定邻域像素:

       ${\rm{CR}}(i,j) = \{ {p_{i'j'}}:i' \in [i - r,i + r],j' \in [j - r,j + r]\}$

          估计高比特像素:

         $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} = \frac{{\displaystyle\sum\nolimits_{{p_{i'j' \in {\boldsymbol{CR}}(i,j)}}} {{\rm{W}}({\boldsymbol{I}}_{{\rm{LBD}}}^{i'j'} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij}){\boldsymbol{I}}_{{\rm{LBD}}}^{i'j'}} }}{{\displaystyle\sum\nolimits_{{p_{i'j' \in {\boldsymbol{CR}}(i,j)}}} {{{\rm{W}}} ({\boldsymbol{I}}_{{\rm{LBD}}}^{i'j'} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij})} }}$

         end if

         $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} = \hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} + 0.5*Q$ /* 期望先验 */

         if $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} > Q - 1$ then

          $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} = {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} + Q - 1$

         else if $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} - {\boldsymbol{I}}_{{\rm{LBD}}}^{ij} < 0$ then

          $\hat {\boldsymbol{I}}_{{\rm{HBD}}}^{ij} = {\boldsymbol{I}}_{{\rm{LBD}}}^{ij}$

         end if /*范围先验*/

      end for

      return $ {\hat {\boldsymbol{I}}_{{\rm{HBD}}}} $

    • 在具有不同尺寸的伪轮廓的图像上使用不同大小的伪轮廓消除滤波器的结果如图3所示。从这组图像可以看出,所提出的伪轮廓消除滤波器具有以下特性。

      1) 所提出的滤波器可以消除伪轮廓;

      2) 所提出的滤波器在消除伪轮廓时可以保留真实的轮廓;

      3) 自适应滤波器尺寸选择算法使得所提出的滤波器能够同时抑制不同尺寸的伪轮廓。

      所提出的滤波器之所以可以消除伪轮廓,是因为该滤波器通过加权平均对伪轮廓之间进行平滑过渡,而这种平滑过渡来自于滤波器所覆盖的像素值的比例关系。

      对真实边缘的保护来自于对零权重的合理分配。如果两个像素的绝对值差异大于$Q$,两者就会呈现明显的视觉差异,因而它们之间很可能存在一条真实轮廓。此时,若赋予非零权重会降低两者的对比度,甚至使真实的边缘过平滑。在这种情况下,分配零权重使本文滤波器保留了真实边缘。

      图3所示,随着滤波器大小的增加,对固定大小的伪轮廓的抑制效果呈现先升后降的趋势,当伪轮廓和滤波器大小大致相等时效果最好。因为当滤波器较小时,滤波器只能覆盖当前像素所在伪轮廓的像素,而这些像素的值约等于当前像素值,导致滤波过程不会明显改变当前像素的值,因此不能实现伪轮廓的消除。而当滤波器过大时,伪轮廓移动时所覆盖的像素值的配比变化很小,使得在不同位置的滤波结果几乎相等,因此也不能抑制伪轮廓。

      图  3  不同尺寸的伪轮廓消除滤波器的伪轮廓抑制效果对比

    • 图4b展示了由本文所提出的伪轮廓区域检测算法得到的伪轮廓区域图。在这张图中,细节区域和真实轮廓均为黑色,指示了非伪轮廓区域,所以在这些区域没有进行滤波,使得细节信息和真实轮廓在滤波后的图像中得以保留。图4c为不进行伪轮廓区域检测时进行伪轮廓消除滤波所得到的结果,可见如果没有伪轮廓区域检测模块,细节将被过度平滑。而如图4d所示,借助伪轮廓区域检测,避免了伪轮廓消除滤波对细节信息的过平滑,说明了伪轮廓区域检测对细节保留的关键作用。

      图  4  伪轮廓区域检测结果及其对重建结果的影响

    • 测试场景为4~16比特的比特深度增强,因为4比特图像中的伪轮廓数量较多且大小不一,使增强任务具有足够的挑战性。所对比的算法有非深度学习算法:ZP、MIG、BR[24]、MRC[14]、ACDC[15]、CRR[16]、CA[17]、IPAD[18]、BEF-BDE[13]和深度学习算法:LBDEN[4]、BE-CALF[20]、BE-ACGAN[23]、Bitmore[25]、RMF[26]。测试集由两个16比特自然图像数据集FIVEK-40[27]、SAMPLING[28]和一个16比特的合成图像数据集SINTEL-8[29]组成。其中,FIVEK-40[27]和SINTEL-8[29]分别由从各自数据集中随机选取的40张和8张图片构成。输入的低比特图像由对应的高比特图像通过比特截断方式得到。

    • 相关算法在3个测试集上的平均PSNR(dB)和SSIM指标列于表1,传统算法中的最佳结果用粗体显示。从表中可以看出,数值映射类算法(MIG,BR[24])的客观指标相对于输入ZP增益不大,仅为2 dB。MRC[14]和ACDC[15]通过使用优化模型改善了客观指标,但是由于这几种算法只考虑当前像素,导致生成图像中依然存在明显的伪轮廓。IPAD[18]借助上下文信息,在输入的基础上,取得了5.93 dB的增益。本文算法在传统算法中取得了最好的客观指标,相对于输入提升了6.21 dB,且相对于第二好的算法IPAD具有0.28 dB的PSNR增益。不管是PSNR还是SSIM指标,所有传统算法都明显落后于基于深度学习的方法(LBDEN[4]、BE-CALF[20]、BE-ACGAN[23]、Bitmore[25])。深度学习方法的领先源自平均意义上更小的像素值估计误差。然而,这类算法不能保证优于本文方法的伪轮廓抑制效果,因为这类算法的损失函数只考虑像素值的平均估计误差,缺少对伪轮廓的建模。此外,深度学习类算法对计算资源和训练样本的依赖限制了这类算法的适用场景。

      表 1  相关算法在测试集上的平均PSNR(dB)与SSIM的对比

      算法类型算法名称SINTEL-8SAMPLINGFIVEK-40均值
      非深度学习类ZP29.73/0.804728.83/0.958228.83/0.852029.13/0.8716
      MIG31.65/0.806831.59/0.959431.39/0.854831.54/0.8737
      BR[24]32.21/0.828932.15/0.963931.95/0.871232.10/0.8880
      MRC[14]32.68/0.808334.62/0.936333.68/0.853433.66/0.8660
      ACDC[15]34.38/0.852234.8/0.9701034.81/0.928534.66/0.9170
      CRR[16]31.29/0.811332.84/0.967633.55/0.920932.56/0.8999
      CA[17]34.16/0.858134.33/0.974035.25/0.941534.58/0.9245
      IPAD[18]34.81/0.866634.79/0.974535.59/0.945835.06/0.9290
      BEF-BDE[13]34.77/0.868334.76/0.973935.24/0.938634.92/0.9271
      FACE-BDE35.07/0.869635.21/0.975135.72/0.942535.34/0.9291
      深度学习类BE-CALF[20]39.42/0.927137.72/0.969138.67/0.961538.60/0.9526
      Bitmore[25]41.12/0.954039.53/0.977339.74/0.958440.13/0.9632
      BE-ACGAN[23]40.03/0.935837.87/0.970938.95/0.956038.95/0.9542
      LBDEN[4]40.70/0.945737.21/0.964638.28/0.939938.73/0.9501
      RMF[26]39.46/0.930338.51/0.988838.92/0.960638.96/0.9599
    • 图5图6展示了不同算法重构的高比特图像及对应的真实高比特图像GT和输入低比特图像ZP。由图可见,没有利用图像上下文信息的算法(如ACDC[15]),图像中存在明显的伪轮廓,可见上下文信息对抑制伪轮廓的重要性。基于对上下文信息的利用,CRR[16]和CA[17]的结果图像中没有明显的伪轮廓,但是真实轮廓和细节区域存在明显的过平滑,如图5d5e中,窗户的边缘比较模糊。算法IPAD[18] 的客观指标较高,甚至在某些测试图像上超过了本文算法,但是该算法中还存在很多大尺寸的伪轮廓,因为该算法所依赖的势能传递只与距离有关却忽视了图像尺寸。BEF-BDE[13]算法所采用的滤波器考虑了伪轮廓特性,但是由于该算法采用迭代滤波的方式进行处理,使得平滑过程被扩散到与伪轮廓相邻的细节区域,使其不得不在伪轮廓抑制和细节保持之间进行权衡,导致重构图像中存在轻微的伪轮廓和细节过平滑。如图5h5k图6g6j所示,深度学习方法的结果图像相对于真实图像GT来说还有明显的伪轮廓。尽管凭借深度学习对像素值的最小平均误差估计,此类算法的客观指标较非深度学习类算法提升明显(相较于本文算法,PSNR增益为3.26~4.79 dB),但是由于此类算法缺少对伪轮廓的直接约束,导致结果图像中的伪轮廓依然明显,因此在面向视觉体验的应用中,深度学习类算法的适用性不如本文算法。

      图5l图6l所示,在FACE-BDE的结果图像中,不同尺寸的伪轮廓都得到了有效抑制,在视觉上几乎看不出伪轮廓,且真实轮廓和细节信息相较于输入未出现过平滑现象。相比于所列举的算法,本文算法所生成的图像在视觉上更接近于真实图像,这是因为基于伪轮廓产生机理的伪轮廓消除滤波器设计和伪轮廓区域检测,使本文算法可以在有效抑制伪轮廓的同时避免对细节信息的过度平滑。此外,通过自适应地调整滤波器大小,使得不同尺寸的伪轮廓在本文算法重建的图像中都得到了有效抑制。

      图  5  相关算法的重建结果图对比

      图  6  相关算法的重建结果图对比

    • 相关算法在3个测试集上的平均运行时间如表2所示。测试平台是一台装配${\text{COR}}{{\text{E}}^{{\text{TM}}}}$ i5-7500 @ 3.40 GHz CPU和8 GB内存的计算机。ZP和IPAD算法的运行时间优于本文算法FACE-BDE,但FACE-BDE具有更好的客观指标和视觉质量。本文算法能以更少的时间获得优于CRR、CA和BEF-BDE的主客观质量。基于深度学习的方法相对于本文算法具有运行时间优势,但本文算法的结果图像中伪轮廓更少且不需要训练。

      表 2  相关算法在3个测试集上的平均运行时间对比

      算法ZPACDCCRRCAIPADBE-CALFLBDENRMFBEF-BDEFACE-BDE
      时间/s0.051029.56153.13246.8066.7728.453.0217.52101.2168.22
    • 本文提出了一种比特深度增强算法FACE-BDE,该算法主要由伪轮廓消除滤波器、自适应滤波器大小选择和伪轮廓区域检测组成。基于伪轮廓生成机制,滤波器权重依据邻域像素之间的轮廓信息被赋予不同的权重,因此可以在保持真实轮廓的同时抑制伪轮廓。通过使滤波器的大小自适应于伪轮廓的大小,FACE-BDE可以同时抑制不同大小的伪轮廓。通过检测伪轮廓区域,然后将滤波过程限定在伪轮廓区域内,避免对细节纹理的过度平滑。实验表明,本文算法相较于目前最好的传统算法提升了0.28 dB,且在生成图像中几乎看不到伪轮廓,所生成的图像在视觉上更接近于真实的高比特图像。

参考文献 (29)

目录

    /

    返回文章
    返回