-
全球的糖尿病患者日益增多,糖尿病患者到了晚期可能会引起视网膜病变(糖网),最终造成视力下降甚至失明[1]。微血管瘤(microaneurysm, MA)是糖网的初期症状,实现对微血管瘤的精确检测,对判断视网膜是否正常,具有重大的医学意义。
糖尿病患者由于血糖升高,微血管循环障碍,导致血管管壁变厚、血流减慢,同时也会发生内皮细胞增生等现象,造成局部组织缺氧,进而引发毛细血管局部扩张,形成微血管瘤[2]。微血管瘤在彩色眼底照片的表现为极小的暗红色点,局部对比度较低,同时眼底图像中存在极其容易与微血管瘤混淆的结构,如血管末端、背景噪声等。
微血管瘤的检测算法一般可以分为基于物理模型的方法、基于分类器的方法和基于深度学习的检测方法。基于物理模型的方法主要是根据微血管瘤的灰度分布结构进行数学建模,如文献[3]针对MA的类高斯灰度结构设计了圆形双边滤波器对MA进行候选区提取,再通过局部梯度分析进行精确检测;文献[4]主要采用形态学的方法对糖网图像进行增强和去除血管、伪影等,进而提取微血管瘤;文献[5]提出了一种基于特征转移网络和局部背景抑制的MA检测方法,可以降低噪声。基于分类器的方法主要是先提取微血管瘤候选区,再对微血管瘤候选区进行分类,如文献[6]首先采用中值滤波除掉糖网图像上的微血管瘤,再经过形态学膨胀得到糖网背景图像,将原图与糖网背景图像相减得到微血管瘤的候选区,然后对候选区提取传统特征和深度特征用于微血管瘤分类;文献[7]采用局部收敛滤波(local convergence fiters, LCFs)实现糖网图像增强与MA候选区提取,再结合LCFs响应特征与灰度特征实进行精确检测;文献[8]通过分析直方图进行微血管瘤分割,再提取形状、灰度、纹理等特征进行识别。
基于深度学习的检测方法主要为搭建端到端的深度神经网络,如文献[9]基于目标检测模型YOLO实现了微血管瘤的检测;文献[10]提出了基于深度卷积编码器解码器的微血管瘤检测模型;文献[11]通过改进U-Net网络实现了微血管瘤的像素级分割。但这些网络模型结构复杂,模型训练时容易发生过拟合现象。
基于物理模型的方法难以建立适用性更广泛的算法,因为不同设备采集到的眼底照片亮度和对比度都不一致,极易受到环境的影响,并且由于类似结构的存在,如小血块、血管结构、背景噪声等,容易造成误检。基于分类器的方法往往采用滤波、背景估计、形态学等传统方法进行候选区提取,这些传统方法容易受到参数的限制,同时糖网图像复杂,造成微血管瘤检测精度不高。
针对这些问题,本文采用卷积神经网络(convolutional neural network, CNN)的方式实现微血管瘤的检测。该网络设计为简单的全卷积网络,原图像仅通过3层卷积便能实现MA的检测,相比传统的微血管瘤检测算法更为精确。同时与基于深度学习的微血管瘤检测模型相比,该文的网络设计更为简单,参数量更少。
-
卷积神经网络目前成功地应用在计算机视觉的各个领域,如人脸识别、行人检测。这些进程中有几个重要的因素:1) 现代的GPU越来越强大,更利于网络模型的训练;2) 公开数据集越来越多,更易于训练更优秀的模型。
微血管瘤检测既可以采用目标检测模型又可以采用语义分割模型。经典的目标检测模型如R-CNN、SSD、YOLO等[12]已经在行人检测、车辆检测、飞行物检测等各目标检测领域取得了成功。经典的语义分割模型如FCN、U-net等[13]在医学图像分割、场景分割也取得了成功。这些模型都具有复杂的网络结构,并在各种领域都能够取得一定效果,若针对不同目标,只采用卷积的方式构建模型则难以得到更广泛的用途。同时这些通用模型都会进行下采样操作,这是因为任务中目标一般较大,如车辆、行人等,而微血管瘤面积极小,最小的可能只有几个像素,多次采用下采样的方式可能让部分微血管瘤特征消失。在卷积神经网络模型中,也具有单独采用卷积就能达到某种目的的模型。文献[14]提出超分辨率重建网络,该网络为端到端的超分辨模型,输入低分辨率图像,输出高分辨率图像。输入一张低分辨率图像,首先经过双三次插值形成高分辨率图像,再通过三层卷积得到更真实、边缘更清晰的高分辨率图像。在图像去雨领域,文献[15]也只采用了卷积用于图像中的雨滴提取。因此针对形态更为规则的微血管瘤,不需要复杂的深度模型,仅采用卷积也能达到一定效果。
卷积神经网络的具体结构如图1所示,主要包括3层卷积层。3层卷积层的物理意义分别为糖网图像特征提取、特征选择与融合、目标特征重建与响应。
本文将输入224×224 的绿色通道图片称为X,通过映射
$F({\boldsymbol{X}})$ 得到像素标签图像Y,由于Y中不仅包含MA,也会包含一些其他眼底结构,需要对标记为1进行再一次判断。因此可以称Y为候选区模板图像,其中像素为1的各连通域为微血管瘤候选区。网络学习的映射$ F $ 主要包括以下3个步骤。1) 糖网特征提取。在传统图像处理算法中,卷积操作能够实现图像的滤波、边缘检测和去噪,采用不同的卷积核变能提取到图像的不同特征。如Prewitt算子、Sobel算子、Laplacian算子能够提取图像各个角度的边缘信息,高斯滤波、中值滤波、均值滤波能够对图像进行平滑和去噪操作,可以获得糖网图像的背景信息。卷积神经网络中,浅层的卷积一般用于提取输入图像的各种细节特征,如纹理、边缘、颜色等。因此本文的第一层卷积层可以描述为:
$$ {F_1}({\boldsymbol{X}}) = \max (0,{{\boldsymbol{W}}_1} * {\boldsymbol{X}} + {{\boldsymbol{B}}_{_1}}) $$ (1) 式中,
${{\boldsymbol{W}}_1}$ 和${{\boldsymbol{B}}_{_1}}$ 为第一层卷积层的滤波器和偏置;$ * $ 为卷积运算符;${{\boldsymbol{W}}_1}$ 为$ {n_1} $ 个$ c \times {f_1} \times {f_1} $ 的滤波器,$ c $ 为每个滤波器的通道数,与输入图像的通道数相同,$ {f_1} $ 为每个滤波器的空间大小,这里$ {f_1} = 15 $ ,因为$ 15 \times 15 $ 的像素大小能包含微血管瘤,同时也能包含部分背景信息。输出特征图像的通道数由滤波器的个数决定,因此为$ {n_1} $ ;${{\boldsymbol{B}}_{_1}}$ 是一个$ {n_1} $ 维的向量,其中的每一个元素都与对应的滤波器相关联。最后采用RELU($ \max (0,x) $ )[16]对滤波结果进行响应。2) 特征选择与融合。第一层卷积得到一个
${n_1}$ 层的特征图,每一层代表一种滤波器滤波的结果;在第二层卷积需要将$ {n_1} $ 维特征映射为$ {n_2} $ 维的特征,其中$ {n_2} < {n_1} $ ,以达到特征降维和减少后续计算量的效果。深度学习中,${{{\textit{1}}}}*{{{\textit{1}}}}$ 的卷积正好适合这种解释。第二层卷积层的计算为:$$ {F_2}({\boldsymbol{X}}) = \max (0,{{\boldsymbol{W}}_2} * {F_1}({\boldsymbol{X}}) + {{\boldsymbol{B}}_{_2}}) $$ (2) 式中,
${{\boldsymbol{W}}_2}$ 为${n_2}$ 个${n_1} \times {f_2} \times {f_2}$ 的滤波器;${{\boldsymbol{B}}_{_2}}$ 为$ {n_2} $ 维向量,这里${f_2} = 1$ 。通过第一层卷积得到${n_1}$ 层特征图,每一层包含了不同滤波器下的糖网图像信息,如各个方向的边缘、不同模板下的响应。通过第二层卷积层,可以消除一些冗余信息层,同时还能实现不同层的非线性组合。3) 目标特征重建与响应。通过第二层卷积已经得到糖网图像各种特征,还需要将不同通道的特征进行组合,同时对每一通道空间进行滤波和平滑操作,最终通过激活函数得到候选区模板图像。第三层的卷积计算为:
$$ F({\boldsymbol{X}}) = \max (0,{{\boldsymbol{W}}_3} * {F_2}({\boldsymbol{X}}) + {{\boldsymbol{B}}_3}) $$ (3) 式中,
${{\boldsymbol{W}}_3}$ 为$ c $ 个$ {n_2} \times {f_3} \times {f_3} $ 的滤波器;${{\boldsymbol{B}}_3}$ 为一个$ c $ 维向量。由于是最后一层卷积,输出需要得到微血管瘤候选区模板,这里$ c = 1 $ ,在微血管瘤候选区模板图像中,MA像素值为1,其他区域为0。 -
考虑到微血管瘤在糖网图像中的占比很小,若直接采用完整糖网图像以及对应的像素级标签搭建卷积网络进行训练,会造成不收敛的现象。因此,决定首先从糖网图像和标签图像中提取包含微血管瘤的图像小片和对应标签图像小片构建训练集进行训练。数据集获取过程如图2所示。
原图像为2 544×1 696的RGB图像,像素级标签图像中,对应MA区域像素的值为1,其他的为0。由于采集到的糖网图像具有不同的亮度和对比度,因此首先对原图像经过图像增强,再从中提取224×224的图像小片,由于微血管瘤的主要信息位于绿色通道,最终模型只输入绿色通道进行实验。其中的糖网图像增强采用了文献[2]的方法:
$$ \begin{split}& \;\; {{\boldsymbol{I}}_{{\rm{enhanced}}}}(i,j;\sigma ) = \alpha \cdot {\boldsymbol{I}}(i,j) + \hfill \\ & \tau \cdot {\rm{Gaussian}}(i,j;\sigma ) * {\boldsymbol{I}}(i,j) + \gamma \hfill \\ \end{split} $$ (4) 式中,I为原图像;
${{\boldsymbol{I}}_{{\rm{enhanced}}}}$ 为增强后的图像,表示卷积运算;$ \alpha $ 、$ \tau $ 、$ \gamma $ 为3个常数;$ \sigma $ 为高斯滤波器的方差。参数设置如下:$ \alpha = 4 $ ,$ \tau = - 4 $ ,$ \gamma = 128 $ ,$ \sigma = 10 $ 。由于微血管瘤中存在大量更易吸收绿光的血红蛋白,因此绿色通道具有更多微血管瘤的相关信息,本文采用绿色通道作为最终的输入训练集。
-
为了学习端到端的映射函数
$ F $ ,需要估计神经网络参数$\theta = \left\{ {{{\boldsymbol{W}}_1},{{\boldsymbol{W}}_2},{{\boldsymbol{W}}_3},{{\boldsymbol{B}}_1},{{\boldsymbol{B}}_2},{{\boldsymbol{B}}_3}} \right\}$ 的值,由输出的MA候选区模板图像$ F({\boldsymbol{X}};\theta ) $ 和对应的像素标签图像$ {\boldsymbol{Y}} $ 的损失函数最小化可得到。针对糖网图像的绿色通道$ \left\{ {{{\boldsymbol{X}}_i}} \right\} $ 和对应的像素标签图像$ \left\{ {{{\boldsymbol{Y}}_i}} \right\} $ ,本文使用均方误差作为损失函数:$$ L(\theta ) = \frac{1}{n}\sum\limits_{i = 1}^n {{{\left\| {F({{\boldsymbol{X}}_i};\theta ) - {{\boldsymbol{Y}}_i}} \right\|}^2}} $$ (5) 式中,
$ n $ 为训练样本的数量;$ F({{\boldsymbol{X}}_i};\theta ) $ 为输入$ {{\boldsymbol{X}}_i} $ 经过网络后得到的候选区模板图像。让候选区模板不断逼近像素标签图像,以达到模型能充分提取MA的效果。损失函数最小化采用了随机梯度下降的方法,并选择Adam优化器进行优化,初始学习率设计为0.001。
-
基于卷积神经网络的MA检测算法采用python平台实现,计算机配置为,CPU处理器:AMD Ryzen 5 3600 6-Core Processor;主频:3.6 GHz;内存:16 GB。本文采用了6 379张224×224的糖网绿色通道图像小片以及对应的像素级标签图像作为数据集,并采用5折交叉验证的方式进行模型训练,所有图像小片都从公开数据集e_optha[17]中提取。
为了展示训练过程中模型输出的变化,本文记录训练过程中不同轮次下测试图像的输出结果,如图3所示。可以看到训练到300轮次左右,模型开始有了一定的微血管瘤提取效果。
通过设定阈值可以得到最终的结果。本文将基于卷积神经网络的MA检测算法与传统检测算法进行了比较,实验结果如图4所示。从图4看出,基于背景估计法的微血管瘤检测[6]能有效抑制眼底血管的检出,但还是有很多背景噪声被当做MA检出;基于微血管瘤灰度结构特性的方法[18]如底帽变换、LCM[18]、MLCM[19]和NLCM[20],也具有一定的检出效果,但很多血管也被检测为MA,同时检测准确性容易受到参数的限制;本文所提出的基于卷积神经网络的微血管瘤检测方法能将MA都检测出来,同时被检测出的虚景数量也远少于传统方法,同时对血管具有较好的抑制作用。
以上算法中,除了MA被检出以外,还有一些非MA结构,如血管、背景噪声存在。为了进一步实现MA的精确检测,一般会对MA候选区采用机器学习或深度神经网络的方式进一步分类。总体算法所需时间可以描述如下:
$$ T = {T_{{\rm{pre}}}} + n {t_{{\rm{identify}}}} + {T_{{\rm{post}}}} $$ (6) 式中,
${T_{{\rm{pre}}}}$ 表示预处理所需时间,如图像增强、候选区提取等;${T_{{\rm{post}}}}$ 表示后处理所需时间,如将所得到的结果映射到原图像上用于显示;$ n $ 表示候选区的个数;${t_{{\rm{identify}}}}$ 表示对一个候选区进行鉴别所需的时间。因此,在保证MA均被检出的情况下,候选区的数量越少,总体算法的检测时间越少;候选区的形状更规则,后续特征建模与分类的方式越简单。病变视网膜中,微血管瘤可以用个数进行衡量,每一个MA候选区表示该区域存在一个MA。在保证MA均被检出的情况下,通过计算图像中像素为1的连通域个数来表示候选区个数。每种方法提取候选区数目如表1所示。该表为传统算法与CNN对4个图像片的验证情况,可以看到基于CNN的微血管瘤检测算法能得到更少的候选区。
表 1 候选区个数实验结果
个 方法 Patch1 Patch2 Patch3 Patch4 groundtruth 4 3 4 1 背景估计 23 27 33 11 底帽变换 21 19 24 5 LCM 15 34 35 7 MLCM 44 36 24 4 NLCM 10 39 45 26 CNN 4 7 7 3 在分割任务中,常常使用灵敏度(Se),特异性(PPV)以及综合考虑灵敏度与特异性的指标F-score对每一个像素进行评价。灵敏度表示真实病变区域中有多少像素被成功分类为病变;特异性表示检测为病变区域中有多少像素是真实的病变。但因为微血管瘤以个数存在,只需知道当前候选区域是否存在微血管瘤即可,因此本文提出新的评价方式对检测效果进行衡量。同样以Se、PPV、F1-score进行衡量,衡量对象不是像素,而是像素值为1构成的连通域。具体计算公式为:
$$ \begin{split}& {\rm{Se}} = \frac{{{\rm{TP}}}}{{{\rm{TP + FN}}}},\;\; {\rm{PPV}} = \frac{{{\rm{TP}}}}{{{\rm{TP + FP}}}}, \hfill \\ & \;\;\;\;\;\; {\rm{F - score}} = \frac{{2 \times {\rm{Se}} \times {\rm{PPV}}}}{{{\rm{Se}} + {{{\rm{PPV}}}}}} \hfill \\ \end{split} $$ (7) 式中,TP(true positives)表示分类器认为该连通域有MA且实际标记图也有MA的连通域个数;FP(false positives)表示分类器认为该连通域有MA,实际标记图无MA的连通域个数;FN表示分类器认为该连通域不存在MA而实际标记图存在MA的连通域个数。最终评价方式如表2所示,CNN算法的F-score高于传统算法,这是因为传统算法的PPV值比较低,传统算法容易收到参数限制,在复杂环境中提取的MA候选区存在大量杂质,如图4和表1所显示。而卷积神经网络具备更强的拟合性能,因此检测更为精确,负样本远少于传统算法,但也由于卷积神经网络可能存在过拟合现象,部分MA会检测不出,因此Se会少于传统算法。
表 2 基于连通域的不同方法评价指标
方法 PPV Se F-score 背景估计 0.171 4 0.911 2 0.288 4 底帽变换 0.166 5 0.956 9 0.283 6 LCM 0.150 0 0.923 0 0.258 1 MLCM 0.111 1 0.923 1 0.198 3 NLCM 0.066 7 0.615 4 0.120 4 CNN 0.613 2 0.881 4 0.723 2
CNN-Based Microaneurysm Detection in Fundus Images
-
摘要: 眼底微血管瘤是糖尿病诱发视网膜病变的初期症状,实现基于彩色眼底图像的微血管瘤的自动检测有助于辅助医生判断患者的视网膜是否正常,同时也是糖网病变分级评估中最重要的预处理手段。但由于视网膜结构复杂,同时眼底图像的成像由于患者、环境、采集设备等因素的不同会存在不同的亮度和对比度,现有的微血管瘤检测算法难以实现微血管瘤的精确检测,检测结果中存在大量的非微血管瘤候选区,如血管、背景噪声。由于卷积神经网络具有非常强的表达能力,能通过模型训练自动学习到目标的特征,该文提出了基于卷积神经网络的微血管瘤检测方法,仿真结果表明,该方法的检测效果优于传统的微血管瘤检测方法,在复杂的糖网图像下能实现微血管瘤的精确提取,将部分血管、背景噪声排除在外,使基于卷积神经网络提取的候选区数量更少且形态规则,有利于后续的特征提取和分类。Abstract: Fundus image microaneurysm is the initial symptom of diabetic retinopathy. Automatic detection of microaneurysm based on color fundus image is helpful to assist doctors in determining whether the patient's retina is normal, and it is also the most important pre-treatment method in the grading evaluation of diabetic retinopathy. Because of the complex structure of the retina and the different brightness and contrast existed in the imaging of fundus images due to different factors such as patients, environment and collection devices, the existing microaneurysm detection algorithm is difficult to realize the accurate detection of microaneurysm, and test results include a large amounts of the microaneurysm candidate section, such as blood vessels, background noise. Convolutional neural network has very strong expression ability, it can automatically learn the characteristics of the target by training model, and thus this paper puts forward the microaneurysm detection based on convolutional neural network method. The simulation results show that the proposed method is superior to the traditional test method of microaneurysm, the accurate extraction of microaneurysm can be realized under the complex diabetic retinopathy, but some blood vessels and background noise were excluded. The number of candidate regions extracted based on convolutional neural network is less and the form is regular, which is conducive to subsequent feature extraction and classification.
-
表 1 候选区个数实验结果
个 方法 Patch1 Patch2 Patch3 Patch4 groundtruth 4 3 4 1 背景估计 23 27 33 11 底帽变换 21 19 24 5 LCM 15 34 35 7 MLCM 44 36 24 4 NLCM 10 39 45 26 CNN 4 7 7 3 表 2 基于连通域的不同方法评价指标
方法 PPV Se F-score 背景估计 0.171 4 0.911 2 0.288 4 底帽变换 0.166 5 0.956 9 0.283 6 LCM 0.150 0 0.923 0 0.258 1 MLCM 0.111 1 0.923 1 0.198 3 NLCM 0.066 7 0.615 4 0.120 4 CNN 0.613 2 0.881 4 0.723 2 -
[1] 王慧. 基于眼底图像的糖尿病视网膜病变检测技术研究[D]. 成都: 电子科技大学, 2020. WANG H. Diabetic retinopathy detection based on fundus images[D]. Chengdu: University of Electronic Science and Technology of China, 2020. [2] WANG H, YUAN G H, ZHAO X G, et al. Hard exudate detection based on deep model learned information and multi-feature joint representation for diabetic retinopathy screening[J]. Computer Methods and Programs in Biomedicine, 2020, 191(1): 105398. [3] 张欣鹏. 彩色眼底图像微动脉瘤检测方法研究[D]. 天津: 天津工业大学, 2017. ZHANG X P. Detection of microaneurysms with color fundus images[D]. Tianjin: Tianjin Polytechnic University, 2017. [4] JOSHI S, KARULE P. Mathematical morphology for microaneurysm detection in fundus images[J]. European Journal of Ophthalmology, 2019, 30(5): 1135-1142. doi: 10.1177/1120672119843021 [5] ZHANG X, WU J, MENG M, et al. Feature-transfer network and local background suppression for microaneurysm detection[J]. Machine Vision and Applications, 2020, 32(1): 1. [6] ORLANDO J I, PROKOFYEVA E, FRESNO M D, et al. An ensemble deep learning based approach for red lesion detection in fundus images[J]. Computer Methods and Programs in Biomedicine, 2017, 153: 115-127. [7] DASHTBOZORG B, ZHANG J, ROMENY B M T H, et al. Retinal microaneurysms detection using local convergence index features[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2018, DOI: 10.1109/TIP.2018.2815345. [8] YADAV D, KARN A K, GIDDALUR A, et al. Microaneurysm detection using color locus detection method[J]. Measurement, 2021, 176(1): 109084. [9] 李英. 眼底图像中微小目标检测算法的研究与实现[D]. 成都: 电子科技大学, 2019. LI Y. Research and implementation of tiny target detection algorithm in fundus images[D]. Chengdu: University of Electronic Science and Technology of China, 2019. [10] XIA H, LIAO Y, SONG S, et al. Microaneurysm detection in fundus images based on a novel end-to-end convolutional neural network[J]. Biocybernetics and Biomedical Engineering, 2021, 41(2): 589-604. doi: 10.1016/j.bbe.2021.04.005 [11] XU Y, ZHOU Z, LI X, et al. FFU-net: Feature fusion u-net for lesion segmentation of diabetic retinopathy[J]. BioMed Research International, 2021, 2021(3): 1-12. [12] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector[C]//European Conference on Computer Vision. [S.l.]: Springer, 2016: 21-37. [13] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. [S.l.]: Springer, 2015: 234-241. [14] CHAO D, CHEN C L, TANG X. Accelerating the super-resolution convolutional neural network[C]//European Conference on Computer Vision. [S.l.]: Springer, 2016: [15] FU X, HUANG J, DING X, et al. Clearing the skies: A deep network architecture for single-image rain removal[J]. IEEE Transactions on Image Processing, 2017, [16] GLOROT X, BORDES A, BENGIO Y. Deep sparse rectifier neural networks[J]. Journal of Machine Learning Research, 2011, 15: 315-323. [17] DECENCIERE E, CAZUGUEL G, ZHANG X, et al. TeleOphta: Machine learning and image processing methods for teleophthalmology[J]. Irbm, 2013, 34(2): 196-203. doi: 10.1016/j.irbm.2013.01.010 [18] WANG L, FAN Z, ZHANG J, et al. Evaluating tumor metastatic potential by imaging intratumoral acidosis via pH-activatable near-infrared fluorescent probe[J]. International Journal of Cancer, 2015, 136(4): 107-112. doi: 10.1002/ijc.29153 [19] WEI Y T, YOU X G, LI H. Multiscale patch-based contrast measure for small infrared target detection[J]. Pattern Recognition: The Journal of the Pattern Recognition Society, 2016, 58: 216-226. doi: 10.1016/j.patcog.2016.04.002 [20] 王颖. 红外弱小目标的检测与跟踪算法研究[D]. 成都: 电子科技大学, 2019. WANG Y. Research on infrared dim and small target detection and tracking algorithm[D]. Chengdu: University of Electronic Science and Technology of China, 2019.