图像质量评价方法在视觉处理算法中扮演着重要角色，具有重要的应用价值。人是图像信号的最终接收者，最直观、最符合HVS的图像质量评价方法是主观测试评价，最常用的主观图像质量评价方法是平均意见打分(mean opinion score，MOS)方法。然而，该方法代价昂贵且费时，在实际图像处理应用中不太实用。主观图像质量评价方法的不足，促使研究人员在自动计算图像主观视觉质量的评价方法方面开展了大量研究工作^[1-8]。

根据不同的图像质量评价方法，图像质量评价标准可分为两大类：基于HVS特性建模方法和图像信号驱动方法^[1]。

基于HVS特性建模方法综合相关心理学属性和生理学知识，包括时间、空间、色彩空间分解、对比度敏感函数(contrast sensitivity function，CSF)、亮度自适应以及掩模效果等^[1]，采用系统建模方法，建立图像质量评价模型。近年来，许多基于HVS的图像质量评价方法^[2-3]被提出，其中一些方法也考虑了最小可觉差(just noticeable distortion，JND)模型^[4-5]。视觉心理学中的视觉模型被应用到基于HVS的图像质量评价方法中，效果较好。但该类评价方法计算量大，且视觉机理研究与实际工程建模不匹配^[1]，导致这类方法的应用有局限性。

近年来，基于信号驱动的图像质量评价方法受到广泛关注。该类评价方法基于图像信号的提取与分析，比如统计特征、结构、亮度失真等^[6-8]。信号驱动方法不是为了图像质量评价而试图去建立复杂的HVS模型，而是重点关注如何表达图像特征以估计图像整体质量。该类方法通常也会考虑图像内容和失真分析的心理学效应。然而，虽然一些图像保真度模型能够反应图像质量的变化，但由于一些缺陷^[1]，该类评价方法并不能表达HVS的主观感受。例如，并不是每一个图像的变化都容易被觉察，也不一定导致失真。因此，信号驱动的图像质量评价方法需引入HVS特性来弥补这些不足，从而更加逼近人眼主观感受。

1 全变分模型

变分方法已被广泛应用于图像处理和计算机视觉领域^[9]。由文献[10]提出的TV模型是图像处理中最成功的偏微分方程(partial differential equation，PDE)模型之一。全变分可描述为：

${\rm{TV}}(u) = \int_{\mathit{\Omega } } {\left| {\nabla u} \right|} $

(1)

式中，$\mathit{\Omega } $表示图像区域；$u$表示图像。

文献[9-10]表明，TV范数描述图像最合适。TV范数本质上是${L_1}$范数，更适合估计、描述图像的不连贯性^[9]。本文采用它来衡量图像的结构变化，即原始图像与失真图像之间的结构变化距离。

本文提出的基于TV模型的PIQA方法，将重点考虑图像结构和图像封闭区域亮度变化。与其他图像质量评价方法相比，最大的区别是引入了TV模型来评价图像在空间域的结构变化，同时也考虑了图像中封闭区域的亮度变化。

2 基于全变分模型的图像质量评价 2.1 基于TV模型的图像质量评价框架

通过HVS观测自然图像时，有许多因素影响图像质量。其中，有两种重要因素值得考虑：1)图像边缘结构信息；2)亮度信息^[11]。基于此，本文提出一种新的基于TV模型的PIQA (TVPIQA)方法。

基于TV模型的图像质量评价框架如图 1所示。$u$表示失真图像；${u_0}$表示参考图像；$r$表示差分图像；${u_1}$表示结构改变度量；${u_2}$表示局部区域亮度改变量。TVPIQA方法分为两部分：1)结构改变度量，采用归一化的TV比较计算，通过对比失真图像与参考图像来度量图像结构信息的改变；2)局部区域亮度改变度量，采用差分图像(参考图像与失真图像之差)中封闭区域的能量来衡量亮度信息的改变，并进行归一化。设上述两种因素对人眼视觉的影响是同等的，则TVPIQA可描述为：

${\rm{TVPIQA}} = \frac{{{\mu _1} + {\mu _2}}}{2}$

(2)

2.2 基于TV的结构改变度量

由于TV范数适合描述图像的不连贯性，因此，图像结构信息的改变可由参考图像与失真图像之间全变分的改变量来衡量：

${\rm{T}}{{\rm{V}}_{{\rm{struct}}}} = {\left\| {{\rm{TV}}(u) - {\rm{TV}}({u_0})} \right\|_1}$

(3)

式中，${\left\| \cdot \right\|_1}$表示${L_1}$范数；${\rm{TV}}(u)$为图像$u$的全变分，其离散形式为：

${\rm{TV}}(u) = \sum\limits_{(i,j) \in \mathit{\Omega } } {(\sqrt {{{({u_{i,j}} - {u_{i + 1,j}})}^2} + {{({u_{i,j}} - {u_{i,j + 1}})}^2}} )} $

(4)

式中，${u_{i,j}}$表示在像素点$(i,j)$的亮度值。

虽然式(3)能很好地评价图像结构信息的改变，但计算结果没有归一化，不能作为衡量图像质量的评价标准。考虑$\left\| {{\rm{TV}}(u) - {\rm{TV}}({u_0})} \right\|_1^2 \geqslant 0$，归一化的图像结构改变量描述为：

${\mu _1} = \frac{1}{N}\sum {\frac{{2\sqrt {{{({u_{i,j}} - {u_{i + 1,j}})}^2} + {{({u_{i,j}} - {u_{i,j + 1}})}^2}} \sqrt {{{({u_{0i,j}} - {u_{0i + 1,j}})}^2} + {{({u_{0i,j}} - {u_{0i,j + 1}})}^2}} + c}}{{{{({u_{i,j}} - {u_{i + 1,j}})}^2} + {{({u_{i,j}} - {u_{i,j + 1}})}^2} + {{({u_{0i,j}} - {u_{0i + 1,j}})}^2} + {{({u_{0i,j}} - {u_{0i,j + 1}})}^2} + c}}} $

(5)

式中，$N$表示图像大小；$c$为常量，根据经验在实验中取75；${\mu _1} \in (0,1]$。

2.3 局部区域亮度改变度量

差分图像$r = {u_0} - u$，描述了失真图像的丢失信息。HVS对亮度变化十分敏感，因此，本文采用差分图像的能量来衡量亮度信息的丢失。根据JND模型，即图像并不是任何改变都能引起注意^[1]，过滤掉差分图像中的孤立像素点能量信息，差分图像的能量模型定义为：

${E_r} = \frac{1}{N}\sum\limits_{(i,j) \in \mathit{\Omega } '} {r_{i,j}^2} $

(6)

式中，$\mathit{\Omega } '$表示差分图像中的封闭区域；${E_r}$表示失真图像的亮度信息平均改变量。为避免封闭区域的判断计算，采用${E'_r}$近似计算差分图像能量改变量：

${E'_r} = \frac{1}{N}\sum\limits_{(i,j) \in \mathit{\Omega } } {({r_{i,j}}{r_{i + 1,j}} + {r_{i,j}}{r_{i,j + 1}})} $

(7)

考虑到HVS对亮度的对比度而不是亮度的绝对值敏感，根据差分图像的平均亮度调整${E'_r}$：

$ {E'_r} = \frac{1}{N}\sum\limits_{(i,j) \in \mathit{\Omega } } {(({r_{i,j}} - \bar r)({r_{i + 1,j}} - \bar r) + ({r_{i,j}} - \bar r)({r_{i,j + 1}} - \bar r))} $

(8)

式中，$\bar r = \frac{1}{N}\sum\limits_{(i,j) \in \mathit{\Omega } } {{r_{i,j}}} $，表示差分图像的平均亮度值。

为获得归一化的亮度改变量，需根据参考图像找到能量变化最大的差分图像。假设图像的能量是连续的，当图像中所有像素亮度值等于参考图像的平均亮度值时，相对于原始参考图像，图像亮度改变量最大。基于该假设，定义${r_{\max }} = {u_0} - {\bar u_0}$，${r_{\max }}$描述了原始参考图像亮度信息的最大丢失量。定义图像亮度改变的归一化模型为：

${\mu _2} = 1 - \sqrt {\frac{{{{E'}_r}}}{{{{E'}_{{r_{\max }}}}}}} $

(9)

式中，${E'_{{r_{\max }}}}$表示差分图像${r_{\max }}$的能量度量，可由式(8)计算得到。显然，${\mu _2} \in (0,1]$，${\mu _2}$值越大，亮度信息丢失越少。

3 实验结果及分析

为验证TVPIQA方法的有效性，对比了目前7种主流的图像质量评价标准。其中，峰值信号噪声比(peak signal to noise ratio, PSNR)是一种广泛应用于图像处理领域的图像质量评价标准，也是一种有用的基准参照(Benchmark)。结构相似度测量指数(structural similarity index measurement, SSIM)，多尺度结构相似度测量指数^[12](multi-scale SSIM, MS-SSIM)，小波视觉信号噪声比^[13](wavelet-based visual signal to noise ratio, VSNR)和视觉信息保真度^[14](visual information fidelity, VIF)等评价标准是目前公认的主流图像质量评价标准。基于信息内容权重的PSNR(information content weighted PSNR, IW-PSNR)和基于信息内容权重的SSIM(IW-SSIM)是公认的最受好评的图像质量评价标准。图像数据库采用公认的权威数据库(Cornell- A57^[13]，IVC^[15]和TID2008^[16])验证上述图像质量评价标准。

Cornell-A57数据库是由Cornell University创建，由54幅6种类型失真图像构成，失真主要包括量化失真、噪声和模糊。IVC数据库由10幅原始图像经过4种失真类型生成185幅失真图像，主要失真类型包括：1) JPEG压缩；2) JPEG2000压缩；3)局部自适应分辨率(local adaptive resolution，LAR)编码；4)模糊。TID2008图像数据库包括1 700幅失真图像，这些图像由25幅参考图像经过4种不同失真水平的17种失真函数生成。在实验对比中，未考虑TID2008中的对比度改变失真图像。

为衡量图像质量评价标准的优劣，利用评价标准与人眼主观感受评价的相关性来度量。实验中，采用线性相关系数(linear correlation coefficient，LCC)、斯皮尔曼等级相关系数(spearman’s rank correlation coefficient，SRCC)、肯德尔等级相关系数(kendall’s rank correlation coefficient，KRCC)来衡量图像质量评价标准与主观评分之间的相关性。

LCC评价了预测精度，反应了图像质量评价标准与主观评分之间的线性依赖，定义为：

${\rm{LCC}} = \frac{{\sum\limits_{i = 1}^N {({s_i} - \bar s)({o_i} - \bar o)} }}{{\sqrt {\sum\limits_{i = 1}^N {{{({s_i} - \bar s)}^2}} } \sqrt {\sum\limits_{i = 1}^N {{{({o_i} - \bar o)}^2}} } }}$

(10)

式中，$\bar s$表示主观评分${s_i}(i = 1,2, \cdots ,N)$的平均值；$\bar o$表示评价标准评分${o_i}$的平均值。

SRCC衡量了数据之间的单调性^[17]，定义为：

${\rm{SRCC}} = 1 - \frac{{6\sum\limits_{i = 1}^N {d_i^2} }}{{N({N^2} - 1)}}$

(11)

${d_i} = {R_{{s_i}}} - {R_{{o_i}}}$

(12)

式中，${R_{{s_i}}}$和${R_{{o_i}}}$分别表示第$i$幅图像主观评分和评价标准的秩。SRCC是一种非参秩相关统计模型，该标准独立于任何单调非线性映射关系^[4]。

KRCC也是一种非参秩相关统计模型，定义为：

${\rm{KRCC}} = \frac{{{N_c} - {N_d}}}{{N(N - 1)/2}}$

(13)

式中，${N_c}$和${N_d}$分别表示数据集中一致性元素对数和不一致性元素对数。

根据上述相关性度量标准，LCC、SRCC和KRCC值越大，越接近于1，表明测试的图像质量评价标准与实际主观评价结果相关性越好，即越能反应图像的主观视觉质量。

不同图像评价标准在Cornell-A57、IVC和TID2008数据库上的测试结果如图 2所示。可看出，本文提出的TVPIQA标准的平均性能优于其他图像评价标准。

图像质量评价标准平均性能对比如表 1所示。表中给出了各个图像质量评价标准在Cornell-A57，IVC和TID2008图像数据库测试数据的LCC，SRCC和KRCC的平均值。各个相关系数平均值是以图像库大小为权重计算得到，Cornell-A57、IVC、TID2008图像库的数据权重分别为54、185、1600。

可看出，与其他图像质量评价标准相比，本文提出的TVPIQA标准具有较好的整体性能。值得注意的是，所提出的TVPIQA标准考虑了图像结构和能量信息，并且仅在图像空间域计算得到，不用进行变换等其他操作。

4 结论

本文提出了一种基于全变分模型的空间域图像质量评价标准框架。设计的TVPIQA标准主要考虑了图像结构和亮度两种人眼视觉敏感因素，通过引入全变分模型来评价图像结构信息；同时，采用差分图像中封闭区域的能量来度量图像亮度信息的丢失程度。实验结果表明，与主观图像质量评价的相关性方面，本文提出的TVPIQA标准优于当前的主流图像质量评价标准，具有较好的综合性能。