真实图像再现依赖于视觉系统的深入研究，包括感光适应机制、感受野、视觉通道与视觉皮质的信息处理等，同时也与一系列生理心理实验相关，是光学、心理学、生理学、图像处理、计算机视觉、机器学习和仿生学诸多学科的交汇，主要进行颜色/亮度恒常性和动态范围压缩等问题的求解，包括Retinex在内的各种色调映射算法。

文献[2]设计了基于Sigmoid函数的局部视觉适应算法，结合视觉感受机制的亮度适应原理模拟感光适应性模型设计了新的适应性模型。实验表明：融合了局部适应性的S形非线性模型在处理光照复杂细节丰富的图像上输出效果较好。进而根据视觉通道感受野结构特点，提出了基于初级ON/OFF视觉通路和朝向性受域模型的真实图像再现算法，尤其关注视觉侧抑制作用和视觉皮质简单细胞的选择作用。文献[6]提出了基于视网膜高动态范围亮度适应和视觉通路侧抑制竞争机制的图像增强算法，TAN函数实现全局亮度的自适应映射，改进视网膜ON/OFF双拮抗响应模型增强图像的局部细节。参数控制混合色调映射方法^[7]比Sigmoid方法性能有所提升。在跟踪图像色貌模型方面，文献[8]引入Sigmoid函数融入到iCAM模型，该算法对色调失真图像实现颜色复原的同时，有效提高了图像的对比度和局部细节，能够较好地实现颜色恒常性。尽管低动态范围图像增强和高动态范围图像色调映射看似不同领域研究内容，但从基本理论和算法设计上，真实图像再现思想将二者有效地统一在一起，目标都是实现人类视觉系统对场景的真实认知，以上算法都有较强的借鉴意义。

由Kinser首次提出的ICM模型是基于多种生物视觉皮质模型共有机理建立的数学综合和简化，具有变阈值、捕获动态脉冲发放和同步振荡等特性，体现人脑部分感知或认知功能，具有适合图像处理的天然优势。因此从视觉系统出发实现真实图像再现有着基本的依据和优势。ICM具有计算量小，性能优越等特点，非常适合图像处理，迭代方程为：

式中，F_ij，S_ij，T_ij，Y_ij分别为神经元状态、输入图像像素值、动态阈值和神经元输出；f，g，h为标量系数。ICM模型经过持续深入研究，已经在图像分割等多个图像处理方面体现出良好性能。但是为了适合真实图像再现场景的应用，本节针对原始ICM存在问题进行了适应性改进和方法设计，进一步提出了邻域强化连接交叉视觉皮质模型(neighborhood enhanced linking ICM, NEL-ICM)。

ICM模型在迭代过程中，神经元点火发放产生自动波效应导致了干涉现象，这对图像清晰度有较高要求的真实图像再现应用场景非常不利。ICM邻域影响集中在表征连接关系的W{}上，其是产生自动波的根源，所以必须修改神经元间连接方式、改变自动波传播特性才能彻底解决自动波效应。Kinser引入向心自动波实现邻域非线性连接项，认为曲率流模型是向心自动波的理论基础，但是Kinser方案从曲率流到向心自动波构造实现的转化过程描述并不清楚，文献[10]在深入分析ICM自动波形成机理及现有文献基础上，提出了基于线性热流和形态学中值集的两种向心自动波实现方法，但运算复杂度依然很高。同时基于向心自动波的实现方式本身与神经元邻域连接问题存在跨越，所以本文在考虑邻域连接关系的基础上进一步解决自动波效应。借鉴边缘保持滤波器等核心思想，充分考虑邻域神经元间的相互作用(距离及邻域所有神经元像素信息的影响)，在ICM神经元连接模型W{}的设计上，本文提出了邻域强化连接函数W^NEL{}：

其中，W^NEL利用3个连接因子对Y进行加权，分别为：

1) 空间邻近因子(spatial closeness factor, SCF)：f_SCF=exp(-(d_k/d_max)²)，采用指数下降和欧氏距离描述邻域内神经元对中心神经元间的空间影响，d_k为邻域神经元与中心神经元间的欧氏距离，经过指数作用中心神经元与自身的连接距离为1；

2) 像素相似因子(pixel similarity factor, PSF)：f_PSF=exp(-(S_k^Ω/S_m^Ω)²)，为了考虑中心神经元像素信息对当前邻域的影响，在像素相似性上，采用邻域神经元像素信息均值S_m^Ω代替中心神经元像素值作为比较对象；

3) 影响概率因子(influential probability factor, IPF)：f_IPF=|(S_k^Ω-S_m^Ω)/S_max|²/(1+(d_k/d_max)²)，由于距离不同，像素信息不同，邻域神经元对中心神经元影响程度不同，综合像素信息和距离信息引入影响概率来定量描述。同样考虑了中心神经元像素信息对当前整个邻域的影响。

NEL-ICM与原始ICM相比，充分考虑邻域内所有神经元的信息及相互作用；在导致自动波的原始单一距离加权上作用以邻域像素信息相似度和影响概率权值，连接输入扩展为脉冲信息Y和像素信息S的混合输入，3个不同角度考虑的加权连接系数可以充分表征不同距离、不同像素信息和不同影响程度的邻域内神经元外部刺激差异。综上，结合连接函数和阈值下降方法的讨论，邻域强化连接交叉视觉皮质模型NEL-ICM为：

根据ICM默认参数和典型设计方法，设计NEL-ICM面向真实图像再现应用的参数设置原则：

1) 阈值下降机制决定了点火状态，本文采用文献[11]提出的基于直方图划分的自适应下降方法，按照直方图划分值生成自适应的阈值下降序列${P_C}[n] = \{ 0, {P_C}({N_S}), 1\}, n \in [1:({N_S} + 2)]$，第n次下降值为${\Delta _{PC}}[n] = {P_C}[n] -{P_C}[n + 1]$，构成的NEL-ICM阈值下降公式：${T_{ij}}[n + 1] = {T_{ij}}[n] -{\Delta _{PC}}[n] + h{Y_{ij}}[n + 1]$。设置T矩阵初始阈值为单位矩阵；

2) 迭代次数由直方图划分区域确定，针对真实图像再现的应用，通常划分区域为256个，所以下降步长较小足以保证把相邻灰度级通过不同点火时刻尽可能区分开来；这样的划分可以使得点火更充分细致，输出映射灰度级多。原始图像都进行归一化，直方图根据图像动态范围设定最小统计值(bin)，面向0~255灰度级图像，分层数小于8时，以256-bin直方图统计即可满足需要；分层数等于8时，可以设置为1 000-bin及以上；而对于高动态范围图像，则需要根据图像最小值设定，保证将最小值附近的量纲在阈值下降时也可以分开；

3) 根据文献[11]经验，如果调制参数h典型值设置较小则会导致神经元重复点火，所以面向真实图像再现应用场景，保证神经元一次点火，设置h为较高数量级。

4) 由于ICM将非线性相乘耦合调制融合到连接函数设计，在状态项F_ij的构造中表征连接关系的W^NEL{}作用非常关键，为了保证与阈值比较时的尺度细致，点火更加细致和充分，将f设置为较小数值，弱化状态项自身反馈强化连接关系表征，同时赋以系数v调整W^NEL{}。

经过大量测试，NEL-ICM默认选取参数为：f=0.1；h=3×10¹⁰；v=0.3。

图像分解的显著形式来源于透明度感知，ICM是实现分层视觉表征的典型代表。基于视觉皮质模型的图像增强方法的核心是将该神经元点火表征的图像分解过程与像素值变化形成映射对(matching pair)。基于此思路，本文建立基于NEL-ICM的真实图像再现框架，流程见图 1。不同动态范围的输入图像像素值根据上述直方图选择下降规律依次点火，引入映射函数f_m(·)感知点火状态Y[n]与相应阈值T[n]以得到输出图像${S_R} = \sum {{f_m}(Y[n], T[n])} $作为最终真实再现图像。映射函数建立NEL-ICM输入与输出映射关系，点火映射图累加即是整个迭代过程的体现。因此，基于NEL-ICM的真实图像再现算法核心框架为：

图  1  基于NEL-ICM的真实图像再现算法流程

该框架的核心是设计合适的f_m(·)，能够根据具体实现情况、依据NEL-ICM迭代过程而获得目标输出。

为了提高处理效率，无需进行3个通道的分别处理。首先得到原始图像S的亮度分量L，NEL-ICM迭代过程完成图像增强/色调映射的核心环节—亮度再现。通常亮度可控和细节保持这两个环节需要分步实施^[12]，而NEL-ICM邻域内非线性连接函数可以在图像对比度再现时体现一定的约束作用，从而可以在一个模型中综合考虑。亮度再现后，在RGB空间进行颜色再现。在亮度分量计算时，采用NTSC/PAL的YUV空间计算方法，即：L=0.298 9R+ 0.587G+0.114B。这样的灰度转换方式比HSV空间的max(R, G, B)和HSI空间的(R+G+B)/3都更适合直接低端显示需求。

亮度再现旨在使非均匀光照环境下获取图像能恢复出均匀光照下真实的视觉可见。对于调整亮度动态范围，基于Weber定律，最典型的是对数函数。文献[13]发现基本对数公式能够保证场景亮度到显示器亮度的光滑变换，但是输出亮度值容易出现过度压缩，从而丢失对比度，所以设计了自适应的对数基底，对不同像素值操作时基底不同，整个映射函数为：

式中，输出L_d是亮度L和最大亮度L_max的对数比值函数。对数基底在邻域的约束下作用在不同亮度值像素上，参数bias在调整高亮区动态范围和暗区细节上非常重要，典型值为0.85。

全局自适应对数映射曲线可以实现高效应用，但是其在局部效应上考虑还不够充分，同时尚未融入HVS模型的时域自适应性，在图像处理过程中较难同时解决高光和阴影。对数基底插值方式需要自适应改进。为此，本文设计了基于新型键值的自适应基底。

在设计亮度调整环节时，主观量—键值(key)经常被用来代表视觉适应性，其属于感光细胞响应模型，图像可以大致按照键值分为亮键、常态键或者暗键3类^[4]。但经典计算方式只描述了全局的主观亮度值，并没有考虑到局部视觉的适应性，对于在非均匀光照下获取的图像，局部光照差异很大，所以局部估计键值非常有用。实际上，视觉适应性尤其是感光细胞响应机制是符合S形状曲线的^[2]。基于视觉适应性描述，本文设计了基于反正弦函数的局部键值来表示局部视觉适应性：

式中，L(i, j)为邻域内对数归一化均值。合适的邻域大小NB能够得到对局部视觉适应性的良好估计，同时也决定了邻域处理开销和最终效果的折中。自适应基底函数与局部键一起构成了映射函数最重要的部分。本文设计基于局部键的自适应基底函数为：

本文提出的亮度再现方法在优良的曲线函数控制下是复合设计的思路。局部键表征了局部视觉适应性，是视觉感官适应性的统计描述，也是视觉对光照动态范围的调整。整个亮度映射函数来自局部特征和邻域中心值的比例关系，是逐邻域自适应的根本法则，即给每个像素产生基于邻域信息的相应调节函数。自适应的基底和偏置函数一起保证了在高光和阴影中信息的视觉可见。bias仍为文献[13]默认参数。

本文按照图像降质场景不同，分别对多种非均匀光照图像进行测试，尤其是暗区等场景，并与典型方法进行对比。Retinex算法是较常用的一类方法，本文选择专业图像增强软件Photoflair，其核心为NASA学者提出的(multi-scale retinex with color restore, MSRCR)算法，为降低参数调整问题，选取Scenic Mode模式。另外，Vijayan K. Asari教授领导团队一直推进非线性图像增强方法来提升视觉质量、强化图像细节和特征，为后续复杂光照环境中的模式识别任务奠定前端处理基础，相继提出一系列方法，本文选择STTF算法(self-tunable transformation function)^[5]和IISE算法(integrated intensity and spatial enhancement)^[14]作为对比对象。本文的NEL-ICM框架进行图像增强时，自适应阈值下降方法根据实际需要对分层数进行调整。由于人类视觉阈值特性，分辨率只有几十个灰度级，所以面向灰度级范围为0~255的低动态范围显示设备，本文默认阈值下降分层数N_k=6。典型对比结果见图 2~图 4。

图  2  含有天空的自然场景增强效果

图  3  夜视灯光场景增强效果

图  4  曝光过度场景增强效果

含有天空区域的图像是一种典型非均匀光照场景，普通相机无法捕捉宽动态范围亮度，图像增强方法需要尽可能实现全局曝光补偿。图 2a为典型测试图像(1 824×1 368，jpg格式)；图 2b为Photoflair增强结果，可知MSRCR方法可以大幅提升图像对比度，但是对暗区亮度调整不充分，引入不自然颜色和光晕现象；STTF方法能够保留天空区域真实感，但从局部图可知，对于高/低亮度区域调节上仍不易均衡，如图 2c所示，非线性函数运用到非均匀光照图像增强中时，动态范围压缩与细节信息保持仍是难点；而本文方法能够再现视觉良好亮度和提供更多细节，并保持颜色信息稳定性，如图 2d所示。

夜视灯光场景也存在典型非均匀光照环境，高光和背景区域对比度都会下降，典型测试图像如图 3a(320×243，jpg格式)所示。仿真结果表明：MSRCR容易引起一定程度光晕，某些细节不能较好再现；STTF方法对于夜视灯光场景中细节力展现上尚有不足，而且其前端引入直方图调整较容易干扰其对比增强步骤。本文方法可以在一定程度上保留原有高亮度信息，并较好地提升了暗区亮度，重现其细节和颜色，从局部放大图可知，尤其对于立杆之间的连线都能够实现良好重现。

曝光过度场景是曝光不足的相反情况，典型测试图像见图 4a(446×572，jpg格式)所示，本文方法对该类测试图像的增强效果较理想，尤其能够比MSRCR和IISE在局部产生更好的对比度，如图 4细节放大图，而且在全局色彩恢复方面也有一定优势。

目前很多传统图像增强算法在对雾霭、烟尘、浑浊液体等复杂环境应用时的扩展性有局限，本文方法对这类图像有一定效果，尤其是能够有效压缩该类图像动态范围以提升对比度，颜色和细节也有一定恢复，如图 5所示，左为原始图像，右为本文结果。

图  5  复杂降质条件下图像增强效果

除了主观评价，本文使用典型客观评价指标，包括局部均值的均值和局部标准差的均值，分别表征局部亮度和局部对比度，同时使用平均梯度和OND引导清晰度^[10]评价细节边缘对比度信息。表 1为测试图像增强前后，不同方法的客观评价指标值。MSRCR方法由于容易引入光晕等人工效果，衡量对比度的客观值(如平均梯度和OND引导清晰度)反而较高；与STTF和IISE方法相比，本文算法能够兼顾亮度再现和对比度再现，尤其在细节再现方面有较强体现，衡量对比度的客观值较高。所以，面向非均匀光照图像增强，主客观评价必须相结合，同时融入视觉特性的客观评价指标设计。经过测试，本文方法在亮度和对比度再现上都具有一定优势。但对于jpg格式图像，在图像增强时，本文方法结果中块效应有一定程度放大。

真实图像再现的另一个重要方面是HDRI色调映射。为验证本文算法有效性，针对文献[4]的.hdr格式图像，选择典型文献方法和实用软件进行对比实验。与Drago的自适应对数TMO^[13]，Melyan的自适应Retinex^[4]，Reinhard的摄影算子^[15]，H. Kiya的统一TMO^[16]，R. F. Xu的水平集框架^[17]和N. Bansal的边缘保持滤波TMO^[18]等方法，以及常用软件Photomatix Pro处理结果相比较，各种方法和软件参数采取默认值。HDRI动态范围更宽，信息丰富，所以本文在进行分层划分时默认N_k=8，NEL-ICM固有参数设置不变。

从结果可以发现，本文方法达到了典型方法的显示效果，同时在某些方面具有一定优势。以“cornellbox”图像为例(如图 6所示)，由于主动光源的存在，需要兼顾高光区域和暗区域的信息再现，Meylan和Reinhard方法不能将光源区域的信息充分显示出来，R.f.Xu方法导致暗区光照提升程度不够，Meylan、Hitoshi Kiya方法存在全局出现一定程度白化或色调偏移、亮度直方图两端截断等后处理步骤自适应性弱等情况。Photomatix、Naman Bansal和Drago方法的整体视觉效果较好，而本文方法在高动态范围信息细节显示和颜色再现上有一定优势。本文算法对大量HDRI进行了测试，典型输出结果见图 7，不管从整体亮度、对比度和颜色方面，本文算法结果都能达到较为良好的视觉效果。

图  6  “cornellbox”的显示结果及细节对比

图  7  典型HDR图像的输出结果

本文围绕实现低动态范围图像增强和高动态范围图像色调映射的复合，提出了基于邻域强化连接交叉视觉皮质模型的真实图像再现框架。通过连接函数、阈值函数和参数设计使NEL-ICM具有解决自动波效应和面向真实图像再现应用的基础。通过大量实验，对于非均匀光照图像实现了亮度动态范围调整，对比度提升，细节边缘清晰，在视觉评价上达到或优于典型方法；对于高动态范围图像，本文方法实现了在低动态范围显示器上较高视觉质量显示，兼顾高动态范围信息显示和图像细节体现。本文算法框架具有一定的开放性，尤其是表征NEL-ICM的输入和输出关系的映射函数，可以根据具体情况设计，为深入研究提供了基础。