卷积神经网络目前成功地应用在计算机视觉的各个领域，如人脸识别、行人检测。这些进程中有几个重要的因素：1) 现代的GPU越来越强大，更利于网络模型的训练；2) 公开数据集越来越多，更易于训练更优秀的模型。

微血管瘤检测既可以采用目标检测模型又可以采用语义分割模型。经典的目标检测模型如R-CNN、SSD、YOLO等^[12]已经在行人检测、车辆检测、飞行物检测等各目标检测领域取得了成功。经典的语义分割模型如FCN、U-net等^[13]在医学图像分割、场景分割也取得了成功。这些模型都具有复杂的网络结构，并在各种领域都能够取得一定效果，若针对不同目标，只采用卷积的方式构建模型则难以得到更广泛的用途。同时这些通用模型都会进行下采样操作，这是因为任务中目标一般较大，如车辆、行人等，而微血管瘤面积极小，最小的可能只有几个像素，多次采用下采样的方式可能让部分微血管瘤特征消失。在卷积神经网络模型中，也具有单独采用卷积就能达到某种目的的模型。文献[14]提出超分辨率重建网络，该网络为端到端的超分辨模型，输入低分辨率图像，输出高分辨率图像。输入一张低分辨率图像，首先经过双三次插值形成高分辨率图像，再通过三层卷积得到更真实、边缘更清晰的高分辨率图像。在图像去雨领域，文献[15]也只采用了卷积用于图像中的雨滴提取。因此针对形态更为规则的微血管瘤，不需要复杂的深度模型，仅采用卷积也能达到一定效果。

图  1  卷积神经网络结构

卷积神经网络的具体结构如图1所示，主要包括3层卷积层。3层卷积层的物理意义分别为糖网图像特征提取、特征选择与融合、目标特征重建与响应。

本文将输入224×224 的绿色通道图片称为X，通过映射$F({\boldsymbol{X}})$得到像素标签图像Y，由于Y中不仅包含MA，也会包含一些其他眼底结构，需要对标记为1进行再一次判断。因此可以称Y为候选区模板图像，其中像素为1的各连通域为微血管瘤候选区。网络学习的映射$ F $主要包括以下3个步骤。

1) 糖网特征提取。在传统图像处理算法中，卷积操作能够实现图像的滤波、边缘检测和去噪，采用不同的卷积核变能提取到图像的不同特征。如Prewitt算子、Sobel算子、Laplacian算子能够提取图像各个角度的边缘信息，高斯滤波、中值滤波、均值滤波能够对图像进行平滑和去噪操作，可以获得糖网图像的背景信息。卷积神经网络中，浅层的卷积一般用于提取输入图像的各种细节特征，如纹理、边缘、颜色等。因此本文的第一层卷积层可以描述为：

式中，${{\boldsymbol{W}}_1}$和${{\boldsymbol{B}}_{_1}}$为第一层卷积层的滤波器和偏置；$ * $为卷积运算符；${{\boldsymbol{W}}_1}$为$ {n_1} $个$ c \times {f_1} \times {f_1} $的滤波器，$ c $为每个滤波器的通道数，与输入图像的通道数相同，$ {f_1} $为每个滤波器的空间大小，这里$ {f_1} = 15 $，因为$ 15 \times 15 $的像素大小能包含微血管瘤，同时也能包含部分背景信息。输出特征图像的通道数由滤波器的个数决定，因此为$ {n_1} $；${{\boldsymbol{B}}_{_1}}$是一个$ {n_1} $维的向量，其中的每一个元素都与对应的滤波器相关联。最后采用RELU($ \max (0,x) $)^[16]对滤波结果进行响应。

2) 特征选择与融合。第一层卷积得到一个${n_1}$层的特征图，每一层代表一种滤波器滤波的结果；在第二层卷积需要将$ {n_1} $维特征映射为$ {n_2} $维的特征，其中$ {n_2} < {n_1} $，以达到特征降维和减少后续计算量的效果。深度学习中，${{{\textit{1}}}}*{{{\textit{1}}}}$的卷积正好适合这种解释。第二层卷积层的计算为：

式中，${{\boldsymbol{W}}_2}$为${n_2}$个${n_1} \times {f_2} \times {f_2}$的滤波器；${{\boldsymbol{B}}_{_2}}$为$ {n_2} $维向量，这里${f_2} = 1$。通过第一层卷积得到${n_1}$层特征图，每一层包含了不同滤波器下的糖网图像信息，如各个方向的边缘、不同模板下的响应。通过第二层卷积层，可以消除一些冗余信息层，同时还能实现不同层的非线性组合。

3) 目标特征重建与响应。通过第二层卷积已经得到糖网图像各种特征，还需要将不同通道的特征进行组合，同时对每一通道空间进行滤波和平滑操作，最终通过激活函数得到候选区模板图像。第三层的卷积计算为：

式中，${{\boldsymbol{W}}_3}$为$ c $个$ {n_2} \times {f_3} \times {f_3} $的滤波器；${{\boldsymbol{B}}_3}$为一个$ c $维向量。由于是最后一层卷积，输出需要得到微血管瘤候选区模板，这里$ c = 1 $，在微血管瘤候选区模板图像中，MA像素值为1，其他区域为0。

考虑到微血管瘤在糖网图像中的占比很小，若直接采用完整糖网图像以及对应的像素级标签搭建卷积网络进行训练，会造成不收敛的现象。因此，决定首先从糖网图像和标签图像中提取包含微血管瘤的图像小片和对应标签图像小片构建训练集进行训练。数据集获取过程如图2所示。

图  2  训练数据集获取

原图像为2 544×1 696的RGB图像，像素级标签图像中，对应MA区域像素的值为1，其他的为0。由于采集到的糖网图像具有不同的亮度和对比度，因此首先对原图像经过图像增强，再从中提取224×224的图像小片，由于微血管瘤的主要信息位于绿色通道，最终模型只输入绿色通道进行实验。其中的糖网图像增强采用了文献[2]的方法：

式中，I为原图像；${{\boldsymbol{I}}_{{\rm{enhanced}}}}$为增强后的图像，表示卷积运算；$ \alpha $、$ \tau $、$ \gamma $为3个常数；$ \sigma $为高斯滤波器的方差。参数设置如下：$ \alpha = 4 $，$ \tau = - 4 $，$ \gamma = 128 $，$ \sigma = 10 $。

由于微血管瘤中存在大量更易吸收绿光的血红蛋白，因此绿色通道具有更多微血管瘤的相关信息，本文采用绿色通道作为最终的输入训练集。

为了学习端到端的映射函数$ F $，需要估计神经网络参数$\theta = \left\{ {{{\boldsymbol{W}}_1},{{\boldsymbol{W}}_2},{{\boldsymbol{W}}_3},{{\boldsymbol{B}}_1},{{\boldsymbol{B}}_2},{{\boldsymbol{B}}_3}} \right\}$的值，由输出的MA候选区模板图像$ F({\boldsymbol{X}};\theta ) $和对应的像素标签图像$ {\boldsymbol{Y}} $的损失函数最小化可得到。针对糖网图像的绿色通道$ \left\{ {{{\boldsymbol{X}}_i}} \right\} $和对应的像素标签图像$ \left\{ {{{\boldsymbol{Y}}_i}} \right\} $，本文使用均方误差作为损失函数：

式中，$ n $为训练样本的数量；$ F({{\boldsymbol{X}}_i};\theta ) $为输入$ {{\boldsymbol{X}}_i} $经过网络后得到的候选区模板图像。让候选区模板不断逼近像素标签图像，以达到模型能充分提取MA的效果。

损失函数最小化采用了随机梯度下降的方法，并选择Adam优化器进行优化，初始学习率设计为0.001。

基于卷积神经网络的MA检测算法采用python平台实现，计算机配置为，CPU处理器：AMD Ryzen 5 3600 6-Core Processor；主频：3.6 GHz；内存：16 GB。本文采用了6 379张224×224的糖网绿色通道图像小片以及对应的像素级标签图像作为数据集，并采用5折交叉验证的方式进行模型训练，所有图像小片都从公开数据集e_optha^[17]中提取。

为了展示训练过程中模型输出的变化，本文记录训练过程中不同轮次下测试图像的输出结果，如图3所示。可以看到训练到300轮次左右，模型开始有了一定的微血管瘤提取效果。

图  3  训练过程

通过设定阈值可以得到最终的结果。本文将基于卷积神经网络的MA检测算法与传统检测算法进行了比较，实验结果如图4所示。从图4看出，基于背景估计法的微血管瘤检测^[6]能有效抑制眼底血管的检出，但还是有很多背景噪声被当做MA检出；基于微血管瘤灰度结构特性的方法^[18]如底帽变换、LCM^[18]、MLCM^[19]和NLCM^[20]，也具有一定的检出效果，但很多血管也被检测为MA，同时检测准确性容易受到参数的限制；本文所提出的基于卷积神经网络的微血管瘤检测方法能将MA都检测出来，同时被检测出的虚景数量也远少于传统方法，同时对血管具有较好的抑制作用。

图  4  各算法得到的候选区模板图

以上算法中，除了MA被检出以外，还有一些非MA结构，如血管、背景噪声存在。为了进一步实现MA的精确检测，一般会对MA候选区采用机器学习或深度神经网络的方式进一步分类。总体算法所需时间可以描述如下：

式中，${T_{{\rm{pre}}}}$表示预处理所需时间，如图像增强、候选区提取等；${T_{{\rm{post}}}}$表示后处理所需时间，如将所得到的结果映射到原图像上用于显示；$ n $表示候选区的个数；${t_{{\rm{identify}}}}$表示对一个候选区进行鉴别所需的时间。因此，在保证MA均被检出的情况下，候选区的数量越少，总体算法的检测时间越少；候选区的形状更规则，后续特征建模与分类的方式越简单。

病变视网膜中，微血管瘤可以用个数进行衡量，每一个MA候选区表示该区域存在一个MA。在保证MA均被检出的情况下，通过计算图像中像素为1的连通域个数来表示候选区个数。每种方法提取候选区数目如表1所示。该表为传统算法与CNN对4个图像片的验证情况，可以看到基于CNN的微血管瘤检测算法能得到更少的候选区。

在分割任务中，常常使用灵敏度(Se)，特异性(PPV)以及综合考虑灵敏度与特异性的指标F-score对每一个像素进行评价。灵敏度表示真实病变区域中有多少像素被成功分类为病变；特异性表示检测为病变区域中有多少像素是真实的病变。但因为微血管瘤以个数存在，只需知道当前候选区域是否存在微血管瘤即可，因此本文提出新的评价方式对检测效果进行衡量。同样以Se、PPV、F1-score进行衡量，衡量对象不是像素，而是像素值为1构成的连通域。具体计算公式为：

式中，TP(true positives)表示分类器认为该连通域有MA且实际标记图也有MA的连通域个数；FP(false positives)表示分类器认为该连通域有MA，实际标记图无MA的连通域个数；FN表示分类器认为该连通域不存在MA而实际标记图存在MA的连通域个数。最终评价方式如表2所示，CNN算法的F-score高于传统算法，这是因为传统算法的PPV值比较低，传统算法容易收到参数限制，在复杂环境中提取的MA候选区存在大量杂质，如图4和表1所显示。而卷积神经网络具备更强的拟合性能，因此检测更为精确，负样本远少于传统算法，但也由于卷积神经网络可能存在过拟合现象，部分MA会检测不出，因此Se会少于传统算法。

本文提出了基于卷积神经网络的微血管瘤病变检测算法，该方法的效果优于传统的微血管瘤提取算法，其F-score与PPV的值远超传统算法，分别达到了0.613 2与0.723 2。PPV高，则表示MA候选区数量较少，微血管瘤提取更精确，若后续需要提取特征并进一步检测，可减少整体算法的时间。同时本文证明了针对某些简单、具有特定形态的小目标，可采用简单的卷积神经网络结构进行检测，而不一定需要复杂、通用的深度模型。本文也建立了基于卷积神经网络的识别方法与传统图像中特征提取和重构之间的关系，这种关系为网络结构的设计提供指导意义。由于深度神经网络依赖大数据，模型训练容易过拟合，该网络对于某些细微血管瘤可能会存在漏检的情况。本文构建的网络模型的卷积、池化、激活函数、损失函数等结构均采用基本模式，未来通过优化结构，可望进一步提升本文方法的检测性能。