-
医学影像诊断已经成为临床医学诊疗的一种常见手段之一。磁共振成像(magnetic resonance imaging, MRI)是一种以非入侵方式取得活组织的病理及其生理改变信息的成像技术[1]。MRI具备多功能性、高诊断实用性和灵活性等技术优势,广泛应用于测量组织扩散、组织温度、心脏成像、脑部成像等许多临床任务。对于人体的非骨性部位以及软组织结构,MRI可以形成更清晰的影像。与使用常规X射线的CT成像相比,MRI不存在电离辐射影响,对大脑、脊髓、神经、肌肉、韧带、肌腱等部位的成像效果更佳。实际应用中,MRI利用电磁场和核自旋相关性,通过检测处于强磁场中由谐振磁激励脉冲激发的氢原子产生的信号,绘制成像目标内部特定原子核和质子的空间位置和相关属性[2]。在单通道信号采集中,因为需要频繁计算原数据的离散傅里叶逆变换来构建影像,采集速度相比其他医学影像诊断方式更慢[3]。最近发展成熟的平行成像技术通过减少K空间(傅里叶转换下的对偶空间)线数量,一定程度上缓解了成像较慢的不足。尽管设备硬件的不断升级有助于提高MRI成像的分辨率、信噪比和采集速度,但在采集过程中仍不可避免地会产生噪声和伪影[4]。成像过程中系统所处的环境、涡流、成像物体内部随机的生理活动等复杂因素会产生随机的结构化时间噪声,相邻组织间的磁化率的不同、刚体运动和非刚体运动则会引入伪影[5-6],扫描物体的热噪声属于影响成像的主要噪声源[7]。这些噪声和伪影会不同程度地影响生成图像的质量,降低计算机辅助影像诊断的精度以及临床影像诊断的准确率。
现有绝大多数研究将MRI图像的噪声假设为加性高斯白噪声、泊松噪声或两者混合噪声,基于莱斯分布或瑞利分布进行影像重建[8-10]。这类假设的噪声与临床应用的实际场景存在明显差距。此外,现有医学图像的质量也缺乏规范、公认的评价机制,大多采用自然图像降噪评价指标,即峰值信噪比(peak signal to noise ratio, PSNR)、结构相似度(structural similarity, SSIM)等。事实上,临床医学影像诊断更关注病灶的位置、大小、密度、形态等关键特征,自然图像降噪的评价标准无法满足临床需求。因此,面向临床实际需求的医学图像质量优化方法和评价机制也是重要的研究课题。
本文系统性分析了传统MRI图像降噪技术,着重梳理了基于深度学习的医学图像降噪方法。并总结了现有医学图像质量评估方法,指出现有深度学习方法严重依赖大量数据和人工标注医学图像样本,但可解释性较差,需要探索性研究面向临床实际任务的医学图像质量评估新方法。
-
MRI图像降噪一般分为前处理和后处理两种方法,其中前处理方法需要在成像过程中多次获取相关数据并计算其平均结果,该方法会显著增加MRI采集数据的时间,影响MRI技术的临床应用。后处理方法基于图像成像以后对MRI图像进行降噪。MRI图像降噪的目标是保持组织边界的同时,在均匀的组织区域中获得分段恒定或缓慢变化信号。MRI图像降噪的诸多研究成果提出了多种降噪技术,每种技术都有其自己的假设和优缺点。近年来,得益于神经网络方法在计算机视觉领域的深入应用,基于深度学习的降噪逐渐成为MRI降噪的主流方法。
-
传统MRI图像降噪一般基于信号后处理进行降噪,主要包含:基于滤波、变换、统计和混合方法的MRI图像降噪等。
-
1985年,文献[11]提出用于降低MRI中高斯噪声的空间域滤波和时间域滤波算法。其中空间滤波方法将图像与选定的滤波器进行卷积计算,以降低图像的方差,但会使图像变得相对平滑,导致图像边缘模糊。而时域滤波需要根据采样的间隔来选择相应的滤波器,其应用场景较为局限。
文献[12]提出的各向异性扩散滤波器克服了基于空间滤波器方法的不足,能有效去除同质化区域中的噪声并锐化图像边缘,与空间滤波相比能显著提升图像的质量。该滤波器为后来的研究奠定了基础,其后相继出现了很多基于各向异性扩散滤波器的改进方案,其中包括文献[13]提出的基于四阶复扩散的MRI图像降噪方法,将标准扩散方程与自由薛定谔方程进行结合。
文献[14]提出的非局部均值(non-local means, NLM)滤波器,是对传统邻域滤波方法的一种改进,利用了图像中存在的自相似特性,可以在对MRI图像降噪的同时尽量保持其中的细节。现在比较流行的空域降噪算法大都基于NLM发展而来,近几年的MRI图像降噪传统方法均有使用[15]。
-
基于变换域方法的目的是将原始信号转换为可以更轻松地消除噪声的模式。小波变换[16]将信号分解为多个尺度,涵盖图像的频谱信息和空间信息。该方法近二十年来在MRI降噪领域获得了广泛的关注,先后出现了大量的相关研究成果[17]。
然而,基于小波变换的降噪方法不适合处理具有高维奇异点的信号,故出现了Curvelet变换[18]。Curvelet具有方向性和各向异性,可以表示图像边缘的方向,能同时获得对图像平滑区域和边缘部分的稀疏表达[19]。随后出现了基于Contourlet变换进行MRI图像降噪的方法[20],使用Contourlet变换时,图像中的随机噪声与图像内容的系数可以获得更好的分离,通过选取合适的阈值,使用较简单的Contourlet变换就能达到较好的降噪效果。
-
基于统计的MRI图像降噪方法,首先估计MRI图像中的噪声,并获得统计上的最优降噪图像。不同的统计估计方法会产生不同的降噪效果。
1) 极大似然估计法。文献[21]使用极大似然估计法对信号进行重建。文献[22]提出应用于多线圈MRI图像的非局部极大似然估计方法。
2) 线性最小均方误差估计。文献[23]利用图像局部统计量的分布信息,进行MRI图像降噪。
3) 相位误差估计。文献[24]提出一种相位误差估计方法,迭代地应用了一系列非线性滤波器,每个滤波器都用于修改估计,直到输出收敛到一个稳定的估计。
4) 非参数估计。文献[25]提出一种使用非参数密度估计的MRI图像降噪算法。使用输入数据进行噪声估计,不需要显式的参数调整。
-
1)独立成分分析法ICA(independent component analysis)。这里的ICA是指基于假设信号源的统计独立性的一系列盲信号分离技术,用于MRI多维数据的计算[26]。进行图像降噪时,ICA能容忍被测物体对外界的非预期反应,针对时间和空间高分辨率的功能性FMRI(functional MRI)数据,对随机信号和某些复合信号(如脉动和呼吸造成的伪影)的降噪及分离具有显著效果[27]。此外,ICA降噪对图像的边缘也有一定的增强作用,且可以选择性地分离和抑制全局结构化噪声(如由受试者呼吸产生的血流调节引起),同时保留基于任务和静息状态的功能性MRI的全局神经信息[27-28],为是否进行全局信号回归难题提供潜在的解决路径。然而,该方法严重依赖投影数据,受限于降噪性能和算法复杂度,缺乏较好的普适性[29]。
2) 随机方法(stochastic method)。该类方法通过估计和计算抑制前噪声图像的噪声特性及其方差特性进行图像降噪,其本质是随机的,因此适用于现实随机噪声分布的处理和降噪。有多种不同的估计器(estimator),如最大似然估计ML(maximum likelihood)[30][31]、期望最大化估计EM(exceptional maximum)[32]、线性最小均方误差估计LMMS(linear minimum mean square)[33]等,分别适用于不同的应用场景。然而,计算复杂、迭代过程缓慢、参数估计易于陷入局部最优等缺陷[34],限制了其进一步发展和应用。图1描述了MRI图像降噪的传统方法分类。
-
尽管有一些传统MRI图像降噪方法的降噪性能较好,但仍存在诸多不足。如计算量大、复杂度高、非凸优化问题以及参数选择难度大等。这些缺点严重制约了传统MRI降噪方法的临床实际应用。
基于深度学习的MRI图像降噪可以避免传统MRI降噪方法对物理过程的建模,极大降低对预设模型的依赖。基于深度学习的MRI图像降噪最初使用简单的卷积神经网络模型,随着深度学习技术的发展,逐渐使用更复杂多样化的网络模型,如生成式对抗网络,甚至无监督方法进行MRI图像降噪。
-
卷积神经网络(convolutional neural networks, CNN)在深度学习领域已获得越来越广泛的应用。该方法通过训练不同的网络架构与带噪声或无噪声的样本进行MRI图像降噪,试图从带噪声的输入中推断出干净图像。经典CNN降噪网络模型如图2所示。然而,绝对无噪声的图像是无法获取的。因此,模型训练的数据集主要源于模拟无噪声图像和多次采集的平均后的低噪图像[35]。
2017年,文献[36]利用降噪卷积神经网络(denoising CNNs, DnCNN)消除高斯噪声,并利用残差学习策略取得了优异性能。同年,文献[37]也将CNN用于伪影处理。2018年,文献[38]基于固定噪声参数训练多通道CNN网络,并将训练好的网络运用于一般噪声水平的图像处理,取得了较好的效果。文献[35] 基于两种类型的训练集,结合ADAM优化器、残差学习的优化思路将3D CNN运用于MRI图像降噪,对高斯噪声的抑制性能优于当时最新的传统降噪方法。不同于常规的数据预处理,该方法运用低通滤波后的局部平均图与相同的斑块大小的局部标准差图来估计局部标准差图。通过减去局部均值并除以局部标准差,对输入和输出体积进行归一化处理,减小了传统数据预处理引起的块状伪影的影响。CNN网络的结构可分为:1)输入层,由大小为12×12×12的三维卷积和具有64个3×3×3体素滤波器的RELU激活函数组成。2)权重层,每层由一个批量标准化RELU激活函数和3D卷积核构成。3)输出层,由批量标准化和三维卷积组成,生成一个12×12×12的输出补丁,以均方误差(mean squared error, MSE)为损失函数。2019年,文献[39]将CNN与传统滤波器结合进行降噪,为图像处理提供了新思路。早期所用的CNN架构比较基础,训练好的网络只能针对一个部位图像进行处理,且降噪思路相对简单,易于造成过度平滑,且丢失一些精密细节。
深度学习模型大多采用均方误差MSE作为损失函数,能获得较理想的降噪后图像的峰值信噪比PSNR,但易于使降噪后图像过度平滑。2019年,文献[40]提出3D wide residual network(3D-WRN-VGG)感知损失卷积神经网络,摒弃了此前常用的多通道策略,通过3张图像构建三维数据,获取更多上下文信息对一张图像进行降噪,极大降低了所需网络的层数和深度,避免因网络层数过深丢失精密细节,同时确保获取高级特征。引入提前训练好的感受损失计算网络(VGG-16)取代此前常用的损失函数,在特征空间中将降噪结果的感知特征与原图像的感知特征进行比较,可以显著提升降噪效果,避免过度平滑和细节损失问题。该网络主要由两部分组成:1) CNN降噪网络。该网络包含5个卷积层,前4个卷积层分别使用128个7×7的3D卷积核和ReLU激活函数,并用一个三维7×7的卷积核作为输出层。该网络能减弱数据间的相关性(数据白化),避免内部协变量偏移,提高训练效率。2)感知损失计算器。利用一个预训练好的VGG(visual geometry group)网络[41]作为感知损失计算器,将降噪结果和干净图像输入VGG网络,计算感知损失,并将重建损失反向传播给CNN降噪网络,更新CNN的权重(VGG网络的权重不变)。实验表明,虽然PSRN值相较于当时先进的技术并不总是最优(10 dB和15 dB噪声,略低于ODCT3D),但能极大地保留图像的细节和纹理特征,具备显著的降噪性能。
文献[42]结合自编码器(auto encoder, AE)和残差网络,提出CNN-DMRI(CNN for denoising of MRI)图像降噪网络。其中,自编码器AE旨在将分析数据降维,学习到高级的抽象特征且摒弃冗余的非必要特征。作为一种自监督学习模式,编码器结构增强了该网络对图像精密结构特征的提取能力。CNN-DMRI 在上下采样间增加了局部残差模块,并在对应的卷积层和反卷积层之间添加了残差连接,提高了学习效率。局部残差学习与全局残差学习相结合,减小了中间层的潜在特征损失。CNN-DMRI的网络架构主要划分为3类:1)输入的2个卷积层和1个输出的卷积层;2)编码器解码器结构,2个由128个滤波器组成的下采样模块和2个由64个滤波器组成的上采样模块;3)由中间4个残差学习模块组成的局部残差学习网络和首位卷积层的残差连接。尽管后续呈现出更多的改进方法,但CNN-DMRI在MRI图像降噪方面具有突出的地位。
2021年,文献[43]提出了三维并行周期神经网络(3D-parallel-riciannet network),该网络是一种残差学习的监督学习网络,通过提取局部和全局特征,进一步提高CNN网络对MRI图像降噪的性能(同时实现噪音抑制和图像结构的保护)。该网络主要包括:1)扩张卷积残差网络DCRNet (dilated convolution residual net)。该模块增加了其后网络层的感知野,避免全局特征丢失。接受场的扩展可以提高CNN用于图像分类的性能[44];2)深度可分离卷积残差网络DSCRNet (depthwise separable convolution residual)。该模块提取更多的局部信息,降低计算复杂度;3)重建网络RECNet(reconstruction Net)。该网络基于从级联的DCRNet和DSCRNet网络协同提取局部和全局特征(先验信息),将原图减去网络生成的噪声,以重建干净的MRI图像。相较于渐进的RicianNet[45](该网络分别提取噪声的像素级和特征级强度),该网络能学习图像的信道和位置信息,极大地降低了参数量,提高了训练降噪模型的效率并降低了复杂性。对比简单CNN的运用,该网络具备更优的局部降噪性能,在临床真实数据的测试中有较优异的表现。
-
2019 年,文献[46]提出一种基于WGAN(wasserstein generative adversarial networks)[47]框架的MRI降噪方法RED-WGAN(residual encoder-decoder WGAN),结合残差学习中的跳跃连接和自编码器,以 WGAN 作为生成器,使用感知损失保持结构并降噪。该方法通过计算预训练 VGG-19 网络在特征空间中的距离来衡量感知损失,并将其与MSE 结合,构造新的损失函数,缓解了由于 MSE 导致的过渡平滑。
文献[48]也使用了 WGAN 框架,将 L1 范式与感知损失组合作为损失函数。该方法还使用 DnCNN作为生成器网络,运用其中的残差,使 WGAN 框架对噪声图像而非干净图像进行生成与判别。
2021年,文献[49]将 GAN 用于 MRI 图像降噪,不同于 RED-WGAN,该方法使用条件 GAN[50]作为主体框架,将自动编码器作为生成器,并使用了马尔可夫判别器[51]。该模型在不同噪声水平下取得了相较于以往模型更稳定的降噪性能。
-
文献[52]提出了使用半监督学习,实现联合 MRI 图像重建与降噪任务框架Noise2Recon。该框架可以缓解数据稀缺导致的过拟合问题,能增强对噪声采集的鲁棒性。该方法基于监督学习实现MRI图像从欠采样到完全采样的重建,使用无监督学习完成 MRI图像降噪,并分别对重建和降噪任务建模,构造了两个任务的联合学习模型(数学形式上表现为加权和)。通过使用现有网络模型验证,将两个任务联合起来可能无法在单独领域中取得最好的性能,但是在最终的图像表现上可以获得优于两个单独模型分别完成重建与降噪任务的结果。
文献[53]使用无监督学习的MRI图像降噪方法,提出GAN-URGAN(graph attention network based end-to-end Unsupervised deep residual generative adversarial network )。其主要目的在于解决医学图像缺乏真实成对数据集的问题。该模型受到 Unet[54]、GAN[55]以及图注意力网络 GAT[56]的启发。生成器网络主体结构使用 Unet,使用残差和注意力模块获取非局部信息,使用图注意力层获取一组切片中的全局信息,使用注意力连接改善 ROI 表现。为了处理未配对的训练数据,利用深度网络先验知识,结合双重对抗损失(图像内容的信息熵损失与交叉熵损失)来抑制噪声的产生。
文献[57]提出了用于CT和MRI图像降噪的无监督学习框架,结合字典学习与残差学习构建无监督的降噪模型。字典学习提供输入MRI/CT 图像 patch 的有效表示,通过信息的稀疏表示估计噪声;残差学习直接对 patch 中的噪声进行学习。然后将两个分支学习到的噪声再进行像素级融合,并传递给字典学习分支,以更新字典。
图3描述了2017年以来MRI深度学习降噪主流技术出现的时间节点。
-
传统图像降噪方法已有部分获得优异的降噪性能,但因其计算量大,计算过程复杂,参数选择困难等不足,制约了其在临床领域的实际应用。表1罗列了一些主流传统降噪方法的优缺点。
为了避免对预期算法和特定应用场景的建模,方便临床医学图像降噪的实际需求,基于深度学习的降噪模型被提出。随着技术的不断更新,神经网络的降噪能力越来越优异。但由于真实医疗数据的隐私、敏感、保密等属性限制,能用于模型训练的真实临床数据较少,尤其缺乏模型训练所需的足够样本对。因此大多模型的训练和测试都是基于人工合成的噪声图像,与实际噪声还有一定差距。图4从技术热度及实际验证的角度,总结了2017—2022年间,主流深度学习核心技术的发展趋势。
表 1 一些主流传统MRI降噪方法对比
分类 方法 优势 劣势 关键词 ICA ICA 提高边缘锐度,保持图像质量 计算复杂,需求无噪声样本 独立非高斯数据 基于频域转换 基于频域转换 低频图像降噪效果好 只适用于低频数据,依赖阈值选择 阈值化/附加噪声 WT 适用于非平稳数据 消除平滑边缘处的信息,无法概括高维奇点的图像信息 子带/均匀区域 基于时间域转换 CVT 适用性广 速度慢,对区域平滑的图像无效 相空间划分/Ridgelet变换 CNT 图像轮廓和纹理提取能力强,适用多分辨率图像 计算复杂,可能引入吉布斯伪影 稀疏表示/定向分解 平滑滤波器 有效降低高频频谱的高斯噪声 过度平滑,丢失细节信息 减小方差 时间滤波器 适用于瞬时变化产生的噪声 图像内容一并丢失 自旋回波效应/物体运动 滤波法 各向异性扩散滤波器 稳态解 边缘区域的细节特征丢失 单一边界解 非线性均值滤波器 降噪后图像保持完好,避免平坦区域和边缘的信息丢失 计算时间长 灰度相似/空间相似/欧氏距离 双边滤波器 平滑灰度水平并保留边缘细节和像素,适用于智能医疗 无法处理低光谱区域的噪声且依赖参数的设置 光度相似特性/感知度量 最大似然估计 能去噪小数据样本,处理随机噪声 可能出现局部最优、偏倚的数据点 随机/小样本 期望最大化估计 计算简单 局部最优、收敛速度慢 迭代学习 随机方法 线性最小均方误差估计 复杂数据的处理效果优越 受限于临近样本,噪声方差值容易异常,去噪效果不稳定 局部信息 贝叶斯估计 不依赖参数的设置 无法计算大量的MR数据 马尔可夫随机 相位误差估计 有效保留边缘信息 计算过程复杂 非线性滤波 从单一CNN模型到结合字典学习和残差学习的无监督学习模型,大多数模型都旨在数据有限的情况下,尽可能捕捉图像的细节,确保降噪效果并避免细节丢失,从而优化MRI图像的降噪性能。其中部分技术已相对成熟且被验证,而部分技术如transformer和可变卷积则相对较新颖。由于MRI图像数据采集时间较长,且成对数据获取难度较大,基于半监督或无监督学习方式进行图像降噪或将成为未来的发展方向。
-
现有医学图像质量评价大多沿袭自然图像质量的评价机制。然而,医学诊断更注重病灶的细节,如结构、大小和密度变化等关键特征,医学图像质量评价更复杂、特殊。所以,提出更具有临床意义的图像质量客观评价指标极具有挑战性[58]。
-
与自然图像质量评价方式一样,现有医学图像质量的客观评价方式主要基于峰值信噪比PSNR和结构相似度SSIM两种指标。 对于MRI图像降噪,采用峰值信噪比进行评估时,PSNR可以定义为:
$$ {\rm{PSNR}=10\rm{lg}}{X}_{{\rm{MAX}}}^{2}/{\rm{MSE}} $$ (1) 式中,XMAX是信号最大值;MSE为均方误差,广泛用于评估恢复图像的质量。PSNR值越高,降噪性能越好[59]。
SSIM评价方法将失真建模为亮度、对比度和结构3个不同因素的组合。其中,用均值作为亮度估计、标准差作为对比度估计、协方差作为结构相似程度的度量。SSIM用于判断参考图像和降噪图像之间的相似性,其值在[0,1]范围内,值越高,表示图像相似度越高[60]。
此外,还有一些客观评价指标用于图像质量的评价,如规范化绝对误差(normalized absolute error, NAE)、最大差异(maximum difference, MD)、结构化内容(structural content, SC)、最大差异归一化互相关(normalized cross correlation, NCC)[61]、相对对比度(relative contrast, RC)[62]等。这些指标在一定程度上能体现图像的降噪性能和恢复状态,但面对临床实际应用时,却无法准确描述降噪对图像纹理细节的保持度。如SSIM定义的图像“结构信息”过于笼统,忽略了同一图像中不同区域具有不同视觉重要性这一特点。因此,除了上述评价指标外,同时还依赖视觉评估[40]和人工质量评估[63]。
另外,也有将SSIM与图像的其他特征相结合来获得混合评价指标。如基于梯度方向的图像质量评价方法[64]和基于改进的SSIM信息的质量评价方法[65]等。然而,现有医学图像质量评价指标无法满足临床的实际应用,因为图像特征或单一数值计算都无法有效反映临床诊断中的实际信息需求。因此,针对临床实际应用的医学图像质量评价机制值得进一步深入研究。
-
现有医学图像质量评估方法主要包括主观评估和客观评价两种指标。主观评估指放射科医生按照专门影像诊断标准来判断医学图像质量。客观评估指通过模仿人类视觉系统(human visual system, HVS),制定一系列适合计算机处理的评估指标。主观评估方法严重依赖人工经验,不稳定、耗时费力,但客观指标又很难全面反映真实情况。因此,基于深度学习的医学图像质量评估方法受到越来越多的关注。
2019年,文献[66]提出一种多阶段的MRI图像质量评估方法。该方法主要分为3个阶段:1) 利用全局残差网络的切片级质量评估;2) 利用聚集同一体素的不同切片提取的特征进行体素级质量评估;3) 一个对象所有体素的评估结果,进行对象级评估。
然而,MRI图像质量标签大多针对单一体素,这对于高低质量均包含的混合切片是不精确的。为此,文献[67]提出对标记误差和标记数量小且有较高鲁棒性的评估方法。该方法应用迭代式自训练机制,在训练过程中重新调整不可靠的标签,以提高训练效果。
基于深度学习的方法在样本量较小时易于出现过拟合现象。2021年,文献[68]提出了一种基于残差的卷积网络。为了针对性评估关键部位的图像质量,该方法需要对图像进行预处理,将图像转换为灰度图像,以增加纹理信息、减弱冗余特征对图像质量的影响。结合主观评估,对比了方法的相关性与误差,证明了有效性。
由于深度学习基于数据驱动,而大量带标签的医学图像难以获取,这限制了图像质量评估的准确性。此外,基于深度学习的图像降噪方法的可解释性较差。因此,需要更多相关研究用于解决临床实际任务[69]。
Survey on Magnetic Resonance Image Denoising
-
摘要: 核磁共振成像技术已广泛用于脑部、脊髓和心脏等相关疾病的临床诊断。然而,由采样时间、环境、设备质量等多种因素导致的成像噪声制约着诊断精度的进一步提高。综合研究了MRI降噪技术的发展脉络,系统梳理了基于滤波、变换、统计等传统MRI图像降噪方法,并重点分析了当前基于深度学习的MRI图像降噪系列新方法,展望了MRI图像降噪的未来发展趋势。最后,总结了现有医学图像质量评估方法,并指出针对依赖大量数据和人工标注医学图像样本、而可解释性较差的现有深度学习方法,需要探索性研究面向临床实际任务的医学图像质量评估新方法。Abstract: Magnetic Resonance Imaging (MRI) has been extensively employed as an auxiliary means to diagnose pathological deterioration of brain, spinal cord and heart related diseases clinically. Nevertheless, imaging noise induced by both internal and external impacts restrict further improvement on diagnostic accuracy. This paper carries out a review on technological innovations ranging from earlier conventional approaches based on filter technique o state-of-the-art alternatives utilizing the deep learning network. Finally, some inductive summaries of the medical image quality assessments have been introduced. It also points out that existing deep learning methods, which rely on a large amount of data and manual annotation of medical image samples, are poorly interpretable. It is vital that clinical-oriented evaluation mechanism should be explored for clinical demands.
-
表 1 一些主流传统MRI降噪方法对比
分类 方法 优势 劣势 关键词 ICA ICA 提高边缘锐度,保持图像质量 计算复杂,需求无噪声样本 独立非高斯数据 基于频域转换 基于频域转换 低频图像降噪效果好 只适用于低频数据,依赖阈值选择 阈值化/附加噪声 WT 适用于非平稳数据 消除平滑边缘处的信息,无法概括高维奇点的图像信息 子带/均匀区域 基于时间域转换 CVT 适用性广 速度慢,对区域平滑的图像无效 相空间划分/Ridgelet变换 CNT 图像轮廓和纹理提取能力强,适用多分辨率图像 计算复杂,可能引入吉布斯伪影 稀疏表示/定向分解 平滑滤波器 有效降低高频频谱的高斯噪声 过度平滑,丢失细节信息 减小方差 时间滤波器 适用于瞬时变化产生的噪声 图像内容一并丢失 自旋回波效应/物体运动 滤波法 各向异性扩散滤波器 稳态解 边缘区域的细节特征丢失 单一边界解 非线性均值滤波器 降噪后图像保持完好,避免平坦区域和边缘的信息丢失 计算时间长 灰度相似/空间相似/欧氏距离 双边滤波器 平滑灰度水平并保留边缘细节和像素,适用于智能医疗 无法处理低光谱区域的噪声且依赖参数的设置 光度相似特性/感知度量 最大似然估计 能去噪小数据样本,处理随机噪声 可能出现局部最优、偏倚的数据点 随机/小样本 期望最大化估计 计算简单 局部最优、收敛速度慢 迭代学习 随机方法 线性最小均方误差估计 复杂数据的处理效果优越 受限于临近样本,噪声方差值容易异常,去噪效果不稳定 局部信息 贝叶斯估计 不依赖参数的设置 无法计算大量的MR数据 马尔可夫随机 相位误差估计 有效保留边缘信息 计算过程复杂 非线性滤波 -
[1] WRIGHT G. Magnetic resonance imaging[J]. IEEE Signal Process Mag, 1997, 14(1): 56-66. doi: 10.1109/79.560324 [2] RODRIGUEZ A O. Principles of magnetic resonance imaging[J]. Rev Mex Fis, 2004, 50: 272-286. [3] GUDBJARTSSON H, PATZ S. The Rician distribution of noisy MRI data[J]. Magn Res Med, 1995, 34(6): 910-914. doi: 10.1002/mrm.1910340618 [4] MOHANA J, KRISHNAVENI V, GUOY A. A survey on the magnetic resonance image denoising methods[J]. Bio Sig Pro, 2014, 9: 56-69. [5] REDPATH T W. Commentary signal-to-noise ratio in MRI[J]. Br J Radiol, 1998, 71(847): 704-707. doi: 10.1259/bjr.71.847.9771379 [6] ZHU H, LI Y, IBRAHIM J B, et al. Regression models for identifying noise sources in magnetic resonance imaging[J]. Am Stat Assoc, 2009, 104(486): 623-637. doi: 10.1198/jasa.2009.0029 [7] MACOVSKI A. Noise in MRI[J]. Magn Reson Med, 1996, 36(3): 494-497. doi: 10.1002/mrm.1910360327 [8] HENKELMAN R M. Measurement of signal intensities in the presence of noise in MR images[J]. Med Phys, 1985, 12(2): 232-233. doi: 10.1118/1.595711 [9] DIETRICH O, RAYA J G, REEDER S B, et al. Measurement of signal-to-noise ratios in MR images: Inflfluence of multichannel coils, parallel imaging, and reconstruction fifilters[J]. Magn Reson Imaging, 2007, 26: 375-385. doi: 10.1002/jmri.20969 [10] DIETRICH O, RAYA J, REEDER S B, et al. Inflfluence of multichannel combination, parallel imaging and other reconstruction techniques on MRI noise characteristics[J]. Magn Reson Imaging, 2008, 26: 754-762. doi: 10.1016/j.mri.2008.02.001 [11] MCVEIGH E, HENKELMAN R, BRONSKILL M. Noise and filtration in magnetic resonance imaging[J]. Medical Physics, 1985, 12(5): 586-591. doi: 10.1118/1.595679 [12] PERONA P, MALIK J. Scale-Space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis And Machine Intelligence, 1990, 12(7): 629-639. doi: 10.1109/34.56205 [13] RAJAN J, JEURISSEN B, SIJBERS J, et al. Denoising magnetic resonance images using fourth order complex diffusion[C]//The 13th International Machine Vision and Image Processing Conference. Dublin Ireland: IEEE, 2009: 123-127. [14] BUADES A, COLL B, MOREL J M. A review of image denoising algorithms, with a new one[J]. Multiscale Modeling & Simulation, 2005, 4(2): 490-530. [15] YU H, DING M, ZHANG X. Laplacian eigenmaps network-based nonlocal means method for MR image denoising[J]. Sensors, 2019, 19(13): 2918. doi: 10.3390/s19132918 [16] WEAVER J B, XU Y, JR HEALY D, et al. Filtering noise from images with wavelet transforms[J]. Magnetic Resonance in Medicine, 1991, 21(2): 288-295. doi: 10.1002/mrm.1910210213 [17] LUISIER F, BLU T, WOLFE P J. A cure for noisy magnetic resonance images: Chi-Square unbiased risk estimation[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3454-3466. doi: 10.1109/TIP.2012.2191565 [18] DO M N, VETTERLI M. The contourlet transform: An efficient directional multiresolution image representation[J]. IEEE Transactions on Image Processing, 2005, 14(12): 2091-2106. doi: 10.1109/TIP.2005.859376 [19] DONOHO D L, DUNCAN M R. Digital curvelet transform: Strategy, implementation, and experiments[C]//SPIE 4056, Wavelet Applications VII. [S.l.]: SPIE, 2000: 12-30. [20] PARTHIBAN L, SUBRAMANIAN R. Medical image denoising using x-lets[C]//2006 Annual IEEE India Conference. [S.l.]: IEEE, 2006: 1-6. [21] SIJBERS J, DEN DEKKER A. Maximum likelihood estimation of signal amplitude and noise variance from mr data[J]. Magnetic Resonance in Medicine: An Official Journal of the International Society for Magnetic Resonance in Medicine, 2004, 51(3): 586-594. doi: 10.1002/mrm.10728 [22] RAJAN J, VERAART J, VAN AUDEKERKE J, et al. Nonlocal maximum likelihood estimation method for denoising multiple-coil magnetic resonance images[J]. Magnetic Resonance Imaging, 2012, 30(10): 1512-1518. doi: 10.1016/j.mri.2012.04.021 [23] GOLSHAN H M, HASANZADEH R P. A non-local rician noise reduction approach for 3-D magnitude magnetic resonance images[C]//2011 7th Iranian Conference on Machine Vision and Image Processing. Iran: Tehran, 2011: 1-5. [24] TISDALL D, ATKINS M S. MRI denoising via phase error estimation[C]//Medical Imaging 2005: Image Processing. New York: Springer, 2005: 646-654. [25] AWATE S P, WHITAKER R T. Nonparametric neighborhood statistics for MRI denoising[C]//Biennial International Conference on Information Processing in Medical Imaging. Kansas: Springer, 2005: 677-688. [26] MCKEOWN M J, HANSEN L K, SEJNOWSK T J. Independent component analysis of functional MRI: What is signal and what is noise[J]. Current Opinion in Neurobiology, 2003, 13(5): 620-629. doi: 10.1016/j.conb.2003.09.012 [27] SUKHATME N, SHUKLA S. Independent component analysis based denoising of magnetic resonance images[J]. Int J of Comp Applications, 2012, 54(2): 13-18. doi: 10.5120/8537-2078 [28] PIGNAT J M, KOVAL O, DE VILLE D V, et al. The impact of denoising on independent component analysis of functional magnetic resonance imaging data[J]. J of Neuroscience Methods, 2013, 213(1): 105-122. doi: 10.1016/j.jneumeth.2012.10.011 [29] GLASSER M F, COALSON T S, JANINE D, et al. Using temporal ICA to selectively remove global noise while preserving global signal in functional MRI data[J]. NeuroImage, 2018, 181: 692-717. doi: 10.1016/j.neuroimage.2018.04.076 [30] RAJAN J, JEURISSEN B, VERHOYE M, et al. Maximum likelihood estimation-based denoising of magnetic resonance images using restricted local neighborhoods[J]. Physics in Medicine & Biology, 2011, 56(16): 5221. [31] RAJAN J, ARNOLD J, SIJBERS J. A new non-local maximum likelihood estimation method for Rician noise reduction in magnetic resonance images using the Kolmogorov-Smirnov test[J]. Signal Processing, 2014, 103: 16-23. doi: 10.1016/j.sigpro.2013.12.018 [32] MARTIN-FERNANDEZ M, VILLULLAS S. The EM method in a probabilistic wavelet-based MRI denoising[J]. Computational and Mathematical Methods in Medicine, 2015, DOI: 10.1155/2015/182659. [33] AJA-FERNÁNDEZ S, NIETHAMMER M, KUBICKI M, et al. Restoration of DWI data using a Rician LMMSE estimator[J]. IEEE Trans on Med Imag, 2008, 27(10): 1389-1403. doi: 10.1109/TMI.2008.920609 [34] MISHRO P K, AGRAWAL S. A Survey on state-of-the-art denoising techniques for brain magnetic resonance images[J]. Bio Engi, 2022, 15: 184-199. [35] MANJÓN J V, COUPE P. MRI denoising using deep learning[J]. LNIP, 2018, 11075: 12-19. [36] ZHANG K, ZUO W, CHEN Y, et al. Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155. doi: 10.1109/TIP.2017.2662206 [37] WANG Y D, SONG Y, XIE H B, et al. Reduction of gibbs artifacts in magnetic resonance imaging based on convolutional neural network[C]//The 10th CISP-BMEI. [S.l.]: IEEE, 2017: DOI: 10.1109/CISP-BMEI.2017.8302197. [38] JIANG D, DOU W, LUC V, et al. Denoising of 3D magnetic resonance images with multi-channel residual learning of convolutional neural network[J]. Japanese Journal of Radiology, 2018, 36(9): 566-574. doi: 10.1007/s11604-018-0758-8 [39] MANJ J V, COUPE P. MRI denoising using deep learning and nonlocal averaging[C]//The 4th International Workshop. [S.l.]: MICCAI, 2018: 12-19. [40] PANDA A, NASKAR R, RAJBANS S, et al. A 3D Wide residual network with perceptual loss for brain MRI image denoising[C]//10th ICCCNT. Kanpur: [s.n.], 2019: 6-8. [41] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Clinical Orthopaedics and Related Research, 2014, DOI: 10.48550/arXiv.1409.1556. [42] TRIPATHI P C, BAG S. CNN-DMRI: A convolutional neural network for denoising of magnetic resonance images[J]. Pattern Recognition Letters, 2020, 135: 57-63. doi: 10.1016/j.patrec.2020.03.036 [43] WU L, HU S B, LIU C C. Denoising of 3D brain MR images with parallel residual learning of convolutional neural network using global and local feature extraction[C]//Computational Intelligence and Neuroscience. Hindawi: [s.n.], 2021: 1-18. [44] WANG T, SUN M, HU K. Dilated residual network for image denoising[C]//IEEE International Conference on Tools with Artificial Intelligence. Boston, MA: IEEE, 2017: 1272-1279. [45] LI S, ZHOU J, LIANG D, et al. MRI denoising using progressively distribution-based neural network[J]. Magnetic Resonance Imaging, 2020, 71: 55-68. doi: 10.1016/j.mri.2020.04.006 [46] RAN M, HU J, CHEN Y, et al. Denoising of 3D magnetic resonance images using a residual encoder-decoder wasserstein generative adversarial network[J]. Medical Image Analysis, 2019, 55: 165-180. doi: 10.1016/j.media.2019.05.001 [47] ARJOVSKY M, CHINTALA S, BOTTOU L. Wasserstein generative adversarial networks[C]//International Conference on Machine Learning. Australia: International Convention Centre, 2017: 214-223. [48] XU X, LI S, ZHAO S, et al. Noise estimation-based method for MRI denoising with discriminative perceptual architecture[C]//2020 International Conferences on iThings and IEEE GreenCom and IEEE Cyber. [S.l.]: IEEE, 2020: 469-473. [49] TIAN M, SONG K. Boosting magnetic resonance image denoising with generative adversarial networks[J]. IEEE Access, 2021, 9: 62266-62275. doi: 10.1109/ACCESS.2021.3073944 [50] MIRZA M, OSINDERO S. Conditional generative adversarial nets[J]. Computer Science, 2014, DOI: 10.48550/arXiv.1411.1784. [51] ISOLA P, ZHU J Y, ZHOU T, et al. Image-to-Image translation with conditional adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2017: 1125-1134. [52] DESAI A D, OZTURKLER B M, SANDINO C M, et al. Noise2recon: A semi-supervised framework for joint MRI reconstruction and denoising[EB/OL]. [2022-03-12]. https://www.xueshufan.com/publication/3201965437. [53] LYU T, PAN X, ZHU Y, et al. Unsupervised medical images denoising via graph attention dual adversarial network[J]. Applied Intelligence, 2021, 51(6): 4094-4105. doi: 10.1007/s10489-020-02016-4 [54] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer, 2015: 234-241. [55] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems. [S.l.]: MIT Press, 2014, DOI: 10.3156/JSOFT.29.5_177_2. [56] VELIČKOVIĆ P, CUCURULL G, CASANOVA A, et al. Graph attention networks[C]//2018 ICLR. Vancouver: [s.n.], 2017, DOI: 10.48550/arXiv.1710.10903. [57] RAI S, BHATT J S, PATRA S. An unsupervised deep learning framework for medical image denoising[EB/OL]. [2022-03-21]. https://www.xueshufan.com/publication/3134511346. [58] 段影影. 医学图像质量评价方法研究[D]. 广州: 南方医科大学, 2010. DUAN Y Y. Research of medical image quality assessment[D]. Guangzhou: Southern Medical University, 2010. [59] NDAJAH P, KIKUCHI H, YUKAWA M, et al. An investigation on the quality of denoised images[J]. Int Journal of Circuit, Systems, and Signal Processing, 2021, 5(4): 423-434. [60] WANG Z, BOVIK A C, SHEIKH, H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Trans on Image Proc, 2004, 13(4): 600-612. doi: 10.1109/TIP.2003.819861 [61] MEMON F, UNAR M A, MEMON S. Image quality assessment for performance evaluation of focus measure operators[J]. MU Research J of Engineering and Technology, 2016, 34: 379-386. [62] BARTUSEK K, PRINOSIL J, SMEKAL Z. Optimization of wavelet-based de-noising in MRI[J]. Radioengineering, 2011, 20(1): 85-93. [63] SHAN H, PADOLE A, HOMAYOUNIEH F, et al. Competitive performance of a modularized deep neural network compared to commercial algorithms for low-dose CT image reconstruction[J]. Nature Machine Intelligence, 2019, 1(6): 269-276. doi: 10.1038/s42256-019-0057-9 [64] 郭龙, 郑剑. 基于梯度方向信息的医学图像质量评价方法研究[J]. 计算机科学, 2012, 39(12): 278-280. doi: 10.3969/j.issn.1002-137X.2012.12.067 GUO L, ZHENG J. Research on medical image quality evaluation method based on gradient direction information[J]. Computer Science, 2012, 39(12): 278-280. doi: 10.3969/j.issn.1002-137X.2012.12.067 [65] 刘富岩, 李素梅. 基于改进结构相似度的立体图像质量评价方法[J]. 信息技术, 2016, 40(11): 86-89. LIU F Y, LI S M. Stereoscopic image quality assessment method based on improved structural similarity index[J]. Information Technology, 2016, 40(11): 86-89. [66] LIU S, THUNG K H, LIN W, et al. Multi-Stage image quality assessment of diffusion MRI via semi-supervised nonlocal residual networks[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. [S.l.]: Springer, 2019: 521-528. [67] LIU S, THUNG K H. Real-Time quality assessment of pediatric MRI via semi-supervised deep nonlocal residual neural networks[J]. IEEE Transactions on Image Processing, 2020, 29: 7697-7706. doi: 10.1109/TIP.2020.2992079 [68] CUI X, SHI W, ZHANG K, et al. Medical image quality assessment method based on residual learning[C]//IEEE 5th International Conference on Signal and Image Processing (ICSIP). Nanjing: IEEE, 2020: 195-200. [69] 蒲晓蓉, 黄佳欣, 刘军池, 等. 面向临床需求的CT图像降噪综述[J]. 数据与计算发展前沿, 2021, 3(6): 35-49. PU X R, HUANG J X, LIU J C, et al. A survey on clinical oriented CT image denoising[J]. Frontiers of Data & Computing, 2021, 3(6): 35-49.