留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于多模态卷积神经网络的脑血管提取方法研究

秦志光 陈浩 丁熠 蓝天 陈圆 沈广宇

秦志光, 陈浩, 丁熠, 蓝天, 陈圆, 沈广宇. 基于多模态卷积神经网络的脑血管提取方法研究[J]. 电子科技大学学报, 2016, 45(4): 573-581. doi: 10.3969/j.issn.1001-0548.2016.04.010
引用本文: 秦志光, 陈浩, 丁熠, 蓝天, 陈圆, 沈广宇. 基于多模态卷积神经网络的脑血管提取方法研究[J]. 电子科技大学学报, 2016, 45(4): 573-581. doi: 10.3969/j.issn.1001-0548.2016.04.010
QIN Zhi-guang, CHEN Hao, DING Yi, LAN Tian, CHEN Yuan, SHEN Guang-yu. Research on Brain Vessel Extraction via Multi-Modal Convolutional Neural Networks[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(4): 573-581. doi: 10.3969/j.issn.1001-0548.2016.04.010
Citation: QIN Zhi-guang, CHEN Hao, DING Yi, LAN Tian, CHEN Yuan, SHEN Guang-yu. Research on Brain Vessel Extraction via Multi-Modal Convolutional Neural Networks[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(4): 573-581. doi: 10.3969/j.issn.1001-0548.2016.04.010

基于多模态卷积神经网络的脑血管提取方法研究

doi: 10.3969/j.issn.1001-0548.2016.04.010
基金项目: 

国家自然科学基金广东联合基金 U1401257

国家自然科学基金 61300090,61133016

四川省科技厅应用基础计划 2014JY0172

广东省电子信息产品可靠性技术重点实验室开放基金 2013A061401003

详细信息
    作者简介:

    秦志光(1956-),男,博士,教授、博士生导师,主要从事计算机开放系统与网络安全性、信息系统安全、计算机辅助诊断等方面的研究。现为国务院学位委员会学科评议组计算机科学与技术组成员,四川省新型计算机应用技术重点实验室主任,国家特殊津贴获得者。主要从事信息安全、计算机应用技术、图像处理、机器学习等方面的研究。近年来,先后在各种重要期刊和国际学术会议上发表学术论文100 篇以上、获得四川省、重庆市科技进步二等奖各一项、四川省科技进步三等奖一项、国防科学技术三等奖一项、成都市科技进步二等奖和三等奖各一项,以及获得软件著作权登记六项,专利三项。

  • 中图分类号: TP315.69;TP181

Research on Brain Vessel Extraction via Multi-Modal Convolutional Neural Networks

图(9) / 表(1)
计量
  • 文章访问数:  5358
  • HTML全文浏览量:  1478
  • PDF下载量:  466
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-05-15
  • 刊出日期:  2016-07-01

基于多模态卷积神经网络的脑血管提取方法研究

doi: 10.3969/j.issn.1001-0548.2016.04.010
    基金项目:

    国家自然科学基金广东联合基金 U1401257

    国家自然科学基金 61300090,61133016

    四川省科技厅应用基础计划 2014JY0172

    广东省电子信息产品可靠性技术重点实验室开放基金 2013A061401003

    作者简介:

    秦志光(1956-),男,博士,教授、博士生导师,主要从事计算机开放系统与网络安全性、信息系统安全、计算机辅助诊断等方面的研究。现为国务院学位委员会学科评议组计算机科学与技术组成员,四川省新型计算机应用技术重点实验室主任,国家特殊津贴获得者。主要从事信息安全、计算机应用技术、图像处理、机器学习等方面的研究。近年来,先后在各种重要期刊和国际学术会议上发表学术论文100 篇以上、获得四川省、重庆市科技进步二等奖各一项、四川省科技进步三等奖一项、国防科学技术三等奖一项、成都市科技进步二等奖和三等奖各一项,以及获得软件著作权登记六项,专利三项。

  • 中图分类号: TP315.69;TP181

摘要: 提出了一种基于多模态的卷积神经网络对脑部CT血管造影图像(CTA)进行分割,从而实现脑血管的单独提取。该方法首先对原始CTA图像进行高斯和拉普拉斯处理, 并将处理后的图像与原始图像共同构成多模态图像作为输入,然后通过多个并行的卷积神经网络对多模态图像进行分割,最终将所有的分割结果通过线性回归进行融合从而提取出脑血管。该文通过一系列的实验不仅证明了卷积神经网络在脑血管分割上的有效性,而且证明了本文所提出方法的分割效果比现有的脑血管分割算法更加出色。

English Abstract

秦志光, 陈浩, 丁熠, 蓝天, 陈圆, 沈广宇. 基于多模态卷积神经网络的脑血管提取方法研究[J]. 电子科技大学学报, 2016, 45(4): 573-581. doi: 10.3969/j.issn.1001-0548.2016.04.010
引用本文: 秦志光, 陈浩, 丁熠, 蓝天, 陈圆, 沈广宇. 基于多模态卷积神经网络的脑血管提取方法研究[J]. 电子科技大学学报, 2016, 45(4): 573-581. doi: 10.3969/j.issn.1001-0548.2016.04.010
QIN Zhi-guang, CHEN Hao, DING Yi, LAN Tian, CHEN Yuan, SHEN Guang-yu. Research on Brain Vessel Extraction via Multi-Modal Convolutional Neural Networks[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(4): 573-581. doi: 10.3969/j.issn.1001-0548.2016.04.010
Citation: QIN Zhi-guang, CHEN Hao, DING Yi, LAN Tian, CHEN Yuan, SHEN Guang-yu. Research on Brain Vessel Extraction via Multi-Modal Convolutional Neural Networks[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(4): 573-581. doi: 10.3969/j.issn.1001-0548.2016.04.010
  • 因发病率、致残率、死亡率较高,脑血管病已是严重威胁人类健康、甚至是导致死亡的三大疾病之一。对脑血管病进行早期的诊断和及时的治疗尤为重要:一方面对降低脑血管病的发病率、复发率、致残率和死亡率具有重要的意义,另一方面对脑血管病患者的预后和康复将发挥积极作用。

    脑血管的影像学检查方法历来被视为影像学研究的重点之一。而脑血管的提取是影像学检查中最基本且重要的问题。脑部CT血管造影(CTA)图像作为一种简单、无创、操作便捷、价格低廉的影像学诊断技术,在脑外科临床上具有广泛的应用。CTA图像的精确分割不仅能提供对血管不同结构特征的定量描述,还可提取出感兴趣区域进行单独观察,为诊断和治疗提供重要的参考依据。提取的结果也可用于血管的三维重建等其他分析任务中。但是由于受成像噪声、复杂的血管结构、以及成像角度和距离等因素的影响,血管影像通常表现为低对比度、模糊、血管结构易受噪声和非血管结构干扰而呈现不同的形式。虽然现在图像处理技术的相关理论和方法已经较为成熟,但是针对脑血管影像分割领域,由于其成像方式和形态的特殊性,尚未存在一种通用的理论和方法。近年来,国内外很多学者在血管分割领域也提出了不少新的理论和方法。目前,针对脑部CTA图像的分割算法,主要分为5类:基于主动轮廓模型、基于追踪的方法、基于神经网络的方法、基于管状物体检测的方法及基于统计学方法。但是这些方法或多或少存在一些问题。如在分割过程中需要人为介入,在分割之前需要先验知识,分割中存在着过分割的情况,分割精确度较低等。因此,本文提出了一种基于多模态的卷积神经网络(convolutional neural network, CNN)对脑血管进行分割。在这里,多模态是指通过一定的方法对原始图像进行处理,从而得到经过处理后的多种模态的图像,并与原始图像一起构成训练模型的输入,为后面的训练模型提供更为丰富的图像细节信息,提升分割或分类的准确率。该方法首先对原始CTA图像进行高斯和拉普拉斯滤波处理,分别实现对原始图像的平滑和锐化;然后使用并行的卷积神经网络分割处理后的图像与原始图像;最后将分割结果进行融合。经过最后的实验证明,本文所提出的脑血管分割方法比现有的分割算法在分割效果上更加出色。

    • 基于主动轮廓模型:文献[1]运用三维Snake模型来重建血管造影图的三维管状结构;文献[2]运用一种改进的活动轮廓模型,在相位对比扫描法的流量测量过程中进行血管结构的自动分割;文献[3]提出了一种基于水平集的方法,该方法使用分布引导水平集去捕捉血管边界;文献[4]提出一种自动的水平集方法用于脑部血管分割,通过使用默认参数可以无交互地实现自动分割;文献[5]提出一种由模糊血管增强和各向异性的能量权重的组合水平集方法。

      基于追踪的分割方法:追踪法即是在图像局部寻找血管特征,并以此为源头,追踪整个血管的过程。文献[6]通过寻找灰度脊线来近似估计血管的中心轴线;文献[7]运用该方法中所提取的中心点,沿着追踪方向完成了序列图像的血管追踪;文献[8]提出了一种基于中介真值程度测量的改进FCM算法用于医学图像测量;文献[9]提出了一种新的血管追踪算法:检测血管中心线、提供一个局部半径的估计、提取血管表面的密集点集。

      基于神经网络的分割方法:神经网络一般用来对生物学知识进行仿真,在模式识别领域也被广泛使用。文献[10]提出了一种基于Gabor和不变矩特征的人工神经网络方法用于血管分割;文献[11]提出了一种基于LBP算子和演化神经网络的血管分割方法;文献[12]提出一种新的监督方法用于血管分割,该方法使用神经网络分类策略。

      基于管状物体检测的分割方法:这类方法聚焦于如何从图像中提取管状结构。这些方法包括结合轮廓和阴影的广义圆柱模型[13]、概率图与图分割算法结合[14]等。文献[15]提出了一种基于形状识别的算法用于DSA图像的血管分割;文献[16]提出了一种使用线状谱分割脑血管和AVM的方法;文献[17]提出了一种基于多方向圆柱模型的通量方法。

      基于统计学:统计学的思想是把图像中的各个像素点的灰度值看作是具有一定概率分布的随机变量。文献[18]提出了一种新的Allen-Cahn方程和释然模型,能够以随意的初始化轮廓分割不同类型的造影图像;文献[19]提出了一种脑血管分割的新方法,使用基于贝叶斯选择策略的优化过程;文献[20]提出一种自动统计的基于强度的方法分割三维脑血管结构;文献[21]提出一种基于体素强度的概率模型的分类方法,实现了脑血管的三维分割。

    • 卷积神经网络自从在手写字识别中获得巨大成功后[22],逐渐开始应用于图像处理中。在ImageNet比赛中的杰出表现[23],表明了卷积神经网络在图像特征提取、图像分类方面拥有杰出的表现。目前,卷积神经网络已广泛用于图像处理中,文献[24]提出了一种基于特征与整体学习的方法,该方法组合了卷积神经网络(CNN)与随机森林(RF)两种分类器,CNN作为一个可训练的分层特征提取器,RF作为分类器。通过整合神经网络与传统分类器,该方法可自动学习特征、分类,并且在DRIVE和SRARE数据集上均取得了较好的效果。文献[25]提出了一种新的CNN结构,并应用于分割脑肿瘤,在2013 BRATS数据集上,该结构取得了极好的效果。文献[26]提出了一种U型的CNN结构,用于生物医学图像分割,在2015 ISBI的数据集上取得了最好的成绩。文献[27]提出了一种新的3DCNN模型用于人体行为识别。文献[28]通过组合稀疏自编码器和3DCNN,构建了一种可根据MRI序列数据预测阿尔兹海默的方法。总的来说,卷积神经网络能够获取输入和输出的高度非线性表示,不需要预先提取图像特征,并且卷积神经网络不需要对原始数据做过多处理,减少了图像预处理操作,因此本文采用卷积神经网络来分割脑血管。

    • 本文采用了多模态卷积神经网络来分割脑部CTA图像。卷积神经网络的一个优势就是输入时只需对原始数据进行简单的处理。但由于原始图像存在许多噪声,导致最后的结果也含有大量的噪声。文献[29]说明了将图像进行一系列变换并分别通过平行的CNN网络能够提高图像的识别率。因此本文通过对原始图像做一系列处理操作,来增强图像中的部分细节,并通过多个平行的CNN网络来完成脑血管的分割。

      本文所采用的方法总体结构如图 1所示,包括3个部分,首先是图中的a部分,将原始图像进行一系列处理来增强图像中的细节部分,其次将处理过的图像同原始图像分别通过训练好的CNN进行分割,最后如同图中b部分所示,将所有的分割结果进行融合。下面将分别进行详细介绍。

      图  1  总体框图

    • 在选取处理方式中,虽然选择的处理方法越多,获取的图像细节信息就会越多,对最后的结果更有帮助,但考虑到处理方法的增多会增加CNN模型的训练量,从而导致效率太低,因此,本文只选用了两种处理方式,分别是高斯算子和拉普拉斯算子。

      图 2为脑部CTA原始图像,可以看出原始图像中高斯噪声比较强,有些噪声点的灰度值同血管点的灰度值相同。高斯滤波是一种线性平滑滤波,适用于消除高斯噪声。因此使用高斯滤波器对原始图像进行滤波处理,可便于去除背景的噪声点。本文使用均值为0、方差为0.5的高斯算子对图像进行卷积处理。此外图 2展示出的血管中,存在着细微血管结构,本文希望能够将这些细微结构锐化出来,以便于CNN的分割,因此采用拉普拉斯算子对其进行处理。本文采用如下的4-邻接拉普拉斯算子对图像进行卷积处理,并将原图像与拉普拉斯处理后的图像相减,以此尽可能地去掉图像的负值。

      图  2  脑CTA原始图像

      $${{h}_{\text{laplace}}}=\left[ \begin{matrix} 0 & 1 & 0 \\ 1 & -4 & 1 \\ 0 & 1 & 0 \\ \end{matrix} \right]$$

      本文并没有采用在图像增强中常用的做法,即对图像进行高斯平滑后再进行拉普拉斯锐化,这种方法主要的问题在于会导致脑血管的细微结构被平滑掉,因此针对脑血管的分割,本文将两种操作分开,从而突出不同的细节特点。

    • 将原始图像进行处理后,需要对原始图像和处理后的两种图像所构成的多模态图像分别进行分割。CNN网络用于分割时,通常是基于图像patch的分割,即CNN的输入是一个图像patch,输出是该图像patch的中心点类别,通过滑动取patch的方式完成整个图像的分割。

      本文采用的是平行的CNN来对输入数据进行处理,每个CNN都采用相同的结构,其结构如图 3所示,为6层网络,包括输入-卷积层1-下采样层1-卷积层2-下采样层2-卷积层3-分类层-输出。

      图  3  CNN结构图

      CNN的输入为25*25大小的patch,然后经过卷积层1卷积,得到8个特征图,本文采用8个大小为4*4的卷积核进行卷积,因此卷积后的图像大小为22*22;卷积层1的输出经过2*2的平均采样,得到8个11*11的特征图,之所以采用pooling层,一方面是因为可减少数据大小,提高处理效率,另一方面是pooling操作能够提高整个CNN网络的空间不变性;pooling后的特征图经过16个大小为4*4的卷积核卷积,得到16个8*8大小的特征图,其连接方式类似于LeNet-5中的连接方式,由人为指定;经过卷积层2处理的特征图再经过2*2大小的平均采样,得到16个4*4大小的特征图;再经过20个4*4大小的卷积核卷积,得到20个1*1大小的特征图,其连接方式采用全连接的方式,即每个卷积核卷积所有的特征图;最后将20个1*1大小的特征图作为特征向量,通过分类层进行分类并输出。

      其中所有卷积层的激活函数采用的是softplus函数:

      $$(x) = \log (1+{{\text{e}}^{x}})$$

      传统的激活函数有sigmoid函数和tanh函数,但这两种函数随着训练次数的增加,会出现梯度消失的问题,而Relu解决了这个问题,并且Relu收敛速度更快。Relu所用的激活函数为:

      $$(x) = \max (0, x)$$

      该函数在x=0时不可导,因此本文使用了Relu的近似表达,即softplus函数。

      在图像识别中,由于需要进行多分类,因此常用的是softmax分类器,但由于本实验是针对血管分割,中心点只有血管或非血管两种类别,因此本文采用logistics分类器。Logistics分类器采用sigmoid函数作为假设函数,因此分类器层的激活函数采用sigmoid函数作为激活函数。此外,该网络的损失函数为:

      $$J(\theta )\text{ }=\text{ }\sum\limits_{i}^{n}{{{y}_{i}}\log p}+(1-{{y}_{i}})\log (1-p)$$

      式中,p为训练样本输出结果;y为训练样本的标识;N为样本数。

    • 本文使用的CNN都采用相同的结构,因此所有的CNN都使用相同的参数进行初始化,参数的初始化为主要为卷积核的初始化和logistics分类层的初始化,此外还有卷积层和分类层的偏置初始化。所有的卷积核采用高斯分布N(0, 0.4)进行初始化,logistics分类层则使用高斯分布N(0, 0.2)进行初始化。此外,所有的偏置设置为零。

      训练CNN网络最常用的方法是随机梯度下降算法(SGD),通过损失函数的梯度下降使得损失函数收敛到最小值附近。本文亦采用随机梯度下降算法进行训练,采用简单的权值更新策略,公式如下:

      $${{\theta }_{j}}={{\theta }_{j}}-\alpha \frac{\partial }{{{\theta }_{j}}}J(\theta )$$

      式中,α为学习率,取值0.03,且在训练过程中采用固定学习率的方式。训练采用批量的梯度下降,其中batch数为25,训练次数epoch = 40。

    • 由于图像经过不同的处理后,经由CNN分割,得到多个分割结果,因此需要将所有的结果进行融合得出最后的结果。文献[29]采用的是取平均值的方法将多个分割结果融合为最终结果,本文亦同样采用线性组合的方式,此外考虑到实际中经过不同处理的图像经由CNN分割后,得到的分割结果存在着不同的偏差,因此需要针对不同的分割结果,采用不同的权值。本文使用了简单的线性回归来获取其权值。

    • 本实验的数据来源于四川大学华西医院,共有100张脑部CTA图像,切片图像间距为1 mm,每张切片的像素间距为0.49 mm*0.49 mm,每张切片的分辨率是386*323。在实验中,首先请华西医院的伽马刀中心的专家将这100张CTA图像中的脑血管勾画出来,然后将100张脑部CTA图像分为两部分,一部分为训练数据,一部分为测试数据,并且各为50张。即脑部的一半作为训练数据,另一半作为测试数据。由于本文的方法是基于块的方法,因此将图片按照滑动窗口的方式获取所需要的图像patch,并以此作为CNN的输入。

    • 本文将脑部CTA的分割任务转化为了基于patch的二分类问题,通过使用多模态的CNN对patch的特征进行提取并分类。本实验选用50张图片作为训练数据,50张图片作为测试数据,所有的图片转化为25*25大小的图像patch,其中50张训练图像中中心点为血管点的图像patch全部为正样本,并在剩余的patch中随机选出数量同正样本数量相同的负样本,每个CNN单独进行训练。由于判断的是patch的中心点的类别,因此测试图像的边缘部分无法计算,但由于边缘部分本身除了背景就是颅骨,因此将最终分割图像的边缘部分设为非血管值0。CNN的输出结果近0的表示非血管,近1的表示是血管,因此需要设置一定的阈值。在实验中,每张图片为达到较好的分割结果,阈值是不同的,但为了便于实验的开展,本文采用统一的阈值来分割,这里选用阈值t=0.95。因此结果可以表示为:

      $$f(x)=\left\{ \begin{align} & 0\ \ \ \ \ \ x<t \\ & 1\ \ \ \ \ \ x\ge t \\ \end{align} \right.$$

      图  4  实验结果图

      此外,由于是多个CNN并行处理,因此可以单独观察不同图像的分割结果。图 4展示了不同的实验结果,本文只选取了3张图的分割结果进行展示,其中第1行表示原始图像,第2行表示手动分割的结果,第3行表示本文的多模态融合的结果,4、5、6行分别表示了原始图像、高斯处理后的图像和拉普拉斯处理后的图像的单独分割结果。

      从分割结果看,大部分血管可以被正常地分割出来,但颅骨与脑实质之间的脑脊液存在着误分割,此外,颅骨以外的血管也同样被分割出来,而且,眼眶及其以下部位灰度和结构同血管近似,也导致误分割的产生,这无疑减少了分割的准确率以及Dice系数。

    • 从实验结果来看,虽然大体能看出CNN多模态融合效果比较好,但3张图片的分割结果并不容易分析分割算法的好坏,因此本节将对算法进行定量分析。

      为了评估分割效果,本文采用了Dice系数、正确率和召回率来定量描述分割结果。令AB分别是两个二值图像,分别代表了手动分割结果(作为金标准)和要测试的方法的分割结果,则Dice系数定义为:

      $$\text{Dice}=\frac{2\left| A\bigcap B \right|}{\left| A \right|+\left| B \right|}$$

      正确率Accuracy定义为:

      $$\text{Accuracy}=\frac{\left| A\bigcap B \right|}{\left| B \right|}$$

      召回率Recall定义为:

      $$\text{Recall}=\frac{\left| A\bigcap B \right|}{\left| A \right|}$$

      式中,|A|、|B|代表了分割后的血管的个数,|AB|作为两个二值图像的交集,代表了测试的方法分割的正确部分。Dice系数、正确率和召回率取值在[0, 1]之间,Dice系数越高,代表着分割效果越好。召回率反映了算法分割出的正样本情况,召回率越高,代表分割出正确的血管点越多。正确率越高,代表分割结果中正确的血管点所占比重就越多。

      测试数据共有50张图,本文采用统一的阈值进行分割,但每张图在同一阈值下分割结果并不相同。图 5展示了50张测试图片在不同阈值下的分割结果,从图中可以看出,虽然每张图的分割结果并不相同,但每张图随着阈值变化而变化的态势是一样的。因此为方便对比,本文采用50张测试图的平局值进行对比,同时为了防止有些方法在个别图上效果特别好而给平均分割结果带来的偏差,本文会列出所有分割结果查看其整体表现。

      图  5  所有测试图片分割效果

      1) 不同组合的对比

      本文采用两种处理方法,分别是高斯处理和拉普拉斯锐化处理,然后分别对其进行分割,得到每种模态图像的分割结果,最后将分割的结果与原始图像的分割结果融合起来。但是不同的处理方法对应了图像的不同细节,而且本文所使用的两种方法,再加上原始图像处理的结果,会存在多种组合方式,本文将验证多种组合方式对准确率的影响。

      图 6展示了不同结果组合的对比结果,图 6a中“1”代表了原始图像分割结果,“2”代表了高斯处理后的分割结果,“3”代表了拉普拉斯处理后的结果,“+”代表了方法融合。从Dice系数来看,阈值在0.95左右时分割效果整体表现最好,当阈值小于0.8时,高斯和拉普拉斯组合的结果效果是最好的,其次是3种结果融合的效果,最差的是原始图像的单分割;当阈值设置在0.80~0.98时,3种结果的融合效果最好,其次是高斯和拉普拉斯组合,最差的依然是原始图像的单分割。此外,从图中的结果可以看出,尽管原始图像和高斯组合的结果能够获取更多的正确的血管点,但从整体看来,原始图像和拉普拉斯的组合表现要大大优于原始图像和高斯的组合,这展示出了在降低CNN误分割方面,拉普拉斯锐化相比于高斯平滑具有更加良好的表现。

      图  6  不同结果组合的对比结果

      图 6中可以看出高斯和拉普拉斯组合的实验效果同3种结果组合在平均表现上几乎相差无几,但图 7展示了这两种组合在50张图片上的表现,其中图 7a表示了在阈值0.85~0.97之间50张图的表现情况,横坐标代表着50张图的标号,纵坐标代表两种组合的Dice系数之差,每条曲线代表着一个阈值下50张图的表现;图 7b则表示了在阈值取0.95的情况下,两种组合在50张图上的表现。从图中可以看出,在大部分阈值情况下,3种结果的组合在大部分图像中表现皆比这两种结果组合的要好,甚至当阈值在0.95时,两者的平均分割效果几乎一样,但在图 7所有图片上的表现可以看出,在大部分图像中,3种结果的组合要好于这两种结果的组合,差值最高可达2%。

      图  7  两种组合的效果对比图

      此外,本文还对比了结果融合中采用线性回归和求平均的差异,图 8展示了线性回归和取均值的差异,其中图 8d表示阈值选取为0.5~0.97范围时,两者的区别,从图中明显可以看出随着阈值的降低,线性回归要明显优于取均值。从召回率来看,尽管取均值能够获取到更多的正确的血管点,但整体上线性回归在抵抗噪声方面更加优秀,总体表现要好于取均值融合。

      图  8  线性回归和求平均的对比效果

      此外,在实验环节中还增加了特征图的数量以及增大输入的patch大小来观察最终的分割结果。首先是增加特征图的数量,将之前的8-16-20改为16-32-40。其次时增大输入的patch大小,将之前的25*25大小改为32*32大小。

      图  9  增加特征图或增大输入patch大小的效果图

      图 9展示了结果对比图,从图中可以看出,增加特征图个数或者增大输入的patch大小导致了分割结果的下降,因此在脑血管分割中并不能单纯增加特征图的大小来提高分割的准确率,而且在分割脑血管中,应采取较小的图像patch来提高分割结果。

      2) 同其他方法对比

      为了对比的需要,本文还实现了常用的两种脑部血管分割算法:无参数的脑血管分割算法[30](使用Q.vesselness指代该方法)和基于形态学的脑血管分割[31](使用GPP指代该算法)。Q.vesselness方法主要基于两个方面的考虑,一个是周围的像素点强度与血管点的方差只有在少数方向上很小,另一个是血管点的强度相对其他背景点较大,通过对每一个像素点计算这两个部分的检测指数,最终将其相乘,得到结果图,在结果图上根据经验设置阈值就可以分割出血管。GPP算法是基于形态学的分割,通过使用圆盘状作为形态元,并计算常用的基本的轮廓函数(profile function)值,然后将基本的轮廓函数进行组合,组合成其他的轮廓函数,并计算这些轮廓函数值,通过一定策略,选出所需要的函数组合,并利用该组合的轮廓函数来处理图像,最终将处理的图像进行阈值分割得出分割的结果,然后在此基础上进行三维的区域生长,去掉误分割的部分。

      表 1反映了不同方法在50张图的分割结果,CNN的分割结果选取大于0.95的点为血管点,Q.vesselness选取大于104的点作为血管点,GPP算法中,本文发现r的值为10的时候,结果最好(原文中r的值为16)。从结果中可以看出,本文所提出的多模态融合的CNN网络分割效果最好,其次是原始的CNN网络,然后是GPP算法,最后是Q.vesselness。

      表 1  不同分割结果的Dice系数

      方法 最小值 最大值 平均值
      CNN_原始 0.459 6 0.646 1 0.541 2
      GPP 0.313 7 0.645 3 0.523 2
      Q.vesselness 0.164 2 0.442 9 0.288 1
      本文方法 0.622 0 0.765 9 0.705 5
    • 本文使用多模态CNN对脑部CTA图像进行分割。通过对原始图像进行多模态处理,使其突显出脑部CTA图像的不同细节,从而达到提高分割准确率的目的。通过与原始图像的CNN分割结果对比看出,多模态的处理融合的方式确实提高了分割的准确率。而且通过结果可以看出,对原图像采取的处理方法越多,分割效果就越好。此外,通过与其他分割算法对比,凸显出了卷积神经网络在医疗图像上的杰出表现。

      本文将分割任务转化为了基于patch的分类任务。在对脑部血管进行分割时,实际上是将图像划分为了多个独立的patch,因此丧失了图像patch之间的空间联系。在脑部医学图像中,空间位置信息是个极为重要的先验知识,比如本文所使用的CTA图像。在进行脑血管的分割时,大多数医生只需获取颅骨内的血管,而不需要考虑颅骨以外的血管。但在实验过程中,本文发现实际的分割结果中包含了很多颅骨外的血管,因此如何使用额外的空间联系来限制颅骨外的血管以此提升本文所提算法的分割效果是个值得研究的问题。此外,本文采用的CNN结构较为简单,并未使用复杂的结构,但结果依然很好,因此若采用更深的卷积神经网络预计会达到更好的效果。另一方面,本文采用的方法是有监督的学习,因此需要训练样本,但CTA图像的复杂性使得人工勾画容易出现偏差,这会导致CNN的分类准确率下降,而且人工勾画的效率比较低,导致训练数据的数据量可能不足,影响CNN的表现,因此未来会尝试使用无监督学习的方法来实现对脑血管影像的分割。

参考文献 (31)

目录

    /

    返回文章
    返回