Dual-Path Vision Transformer for Auxiliary Diagnosis of Acute Ischemic Stroke

本研究采用mTICI评分的正面和侧面DSA图像，如图1所示，0级表示无灌注，血管闭塞远端无顺向血流；1级表示渗透性灌注，远端分支灌注有限；2a级表示前向血流部分灌注小于一半下游缺血区；2b级表示前向血流部分灌注大于一半下游缺血区；3级表示前向血流完全灌注下游缺血区。当mTICI评分为2b级或3级时，表示患者血管再通成功。

本文提出的双路径视觉Transformer用于急性缺血性脑卒中辅助诊断模型DPVF的整体结构如图2所示。DPVF每一路径均基于轻量化模型EdgeViT^[10]进行设计，为了提升轻量化模型的分类精度，重新设计EdgeViT的多头自注意力模块为稀疏空间−通道自注意力模块（Sparse Dual Attention）；为了融合两路径提取的正面和侧面图像信息，构建了交叉注意力模块（Cross Attention）以实现两路径特征的交叉融合，从而使模型提取到更丰富的信息，提高模型的可信度。本文设计的DPVF模型主要包含3个模块：LGL（Local-Global-Local）模块、Cross Attention模块以及Head模块。LGL模块用于提取输入图像特征，Cross Attention模块用于DPVF模型两分支的特征融合，Head模块用于将融合后的特征输出为卒中DSA图像的mTICI评分类别。

Transformer^[11]最初是在自然语言处理（NLP）领域中提出的，通过引入自注意力机制来捕捉输入序列中的全局关系，取得了比传统循环神经网络更好的效果和性能。随着深度学习的发展，Transformer也被引入计算机视觉领域，典型代表模型是ViT^[12]，它将输入图像分成若干个图块（patches），将这些patches转化为一个序列（tokens），再利用多头自注意力机制学习图像的全局语义信息。然而，由于图像具有较高的空间冗余性，在每个空间位置都执行自注意力的计算是低效的。EdgeViT的LGL模块只使用输入tokens的一部分子集计算自注意力，但可以实现完全的空间交互，在保证性能的前提下减少了特征的计算量和参数量。

如图2最右侧虚线框所示，LGL模块主要包含3部分，分别为Local Aggregation、Global Sparse Attention、Local Propagation。Local Aggregation模块的主要功能是对于每个token，利用深度可分离卷积在大小为k×k的局部窗口中聚合信息，如图3a所示。Global Sparse Attention模块的主要功能是对均匀分布在整个空间中的一组稀疏代表性token进行采样，每个r×r（r表示下采样率）窗口对应一个代表性token，然后对这些选定的token应用自注意力进行全局建模，如图3b所示。Local Propagation模块的主要功能是通过转置卷积将代表性tokens中编码的全局上下文信息传播到其相邻的tokens，如图3c所示。

LGL模块使用稀疏空间自注意力机制来建模输入序列（tokens）中每个位置之间的空间关系，通过计算输入序列中每个位置之间的相关性得分来决定哪些位置对当前位置的表示具有更大的贡献，以使模型能够更好地关注于目标相关的信息。为提升LGL模块的建模能力，本文对LGL模块的Global Sparse Attention子模块进行了如下改进：构建空间−通道稀疏自注意力模块来高效地实现全局建模，使用通道自注意力建立输入序列中不同通道之间的关系，通过计算不同通道之间的相关性得分来决定哪些通道对当前位置的表示具有更大的贡献，从而能够更好地学习到输入序列中的特征。将空间自注意力和通道自注意力进行结合，从两个正交的角度进行自注意力的计算，可以帮助模型更好地捕捉输入序列中的空间和通道特征，从而提高模型的分类性能。

改进的Global Sparse Attention模块结构图如图4a所示，这里使用空间−通道双注意力机制来对输入图像进行特征建模，并采取残差结构以避免模型退化。空间自注意力子模块如图4b所示，计算公式为：

式中，$ {h_i} $表示自注意力计算的第i个head，H表示多头自注意力头（head）的个数，第i个head的$ {{\boldsymbol{Q}}_i}{\boldsymbol{,}}{{\boldsymbol{K}}_i}{\boldsymbol{,}}{{\boldsymbol{V}}_i} $通过如下线性映射得到：

通道自注意力子模块如图4c所示，计算过程可以用如下公式表示：

式中，G表示通道的组数，$ {{\boldsymbol{Q}}_i}{\boldsymbol{,}}{{\boldsymbol{K}}_i}{\boldsymbol{,}}{{\boldsymbol{V}}_i} $的线性投射方式与空间自注意力一致，而在通道自注意力计算时，将$ {{\boldsymbol{Q}}_i}{\boldsymbol{,}}{{\boldsymbol{K}}_i}{\boldsymbol{,}}{{\boldsymbol{V}}_i} $的维度进行反转，便可实现在通道维度上的自注意力的计算。

因此，改进的LGL模块可以表示为：

式中，$ {{\boldsymbol{X}}_{{\text{in}}}} $表示LGL模块的输入；$ {{\boldsymbol{X}}_{{\text{out}}}} $表示LGL模块的输出；Norm表示层归一化^[13]（Layer Normalization）；LocalAgg表示LGL模块的Local Aggregation子模块；GlobalSparseAttn表示空间−通道稀疏自注意模块；LocalProp表示LGL模块的Local Propagation子模块。

为了充分融合AIS患者的正面和侧面DSA图像信息，构建交叉注意力模块实现双分支网络的特征融合。如图5所示，将经过改进的LGL模块训练的正面图像tokens和侧面图像tokens进行交叉融合，为降低自注意计算的运算量，将正面图像tokens进行全局平均池化，得到一个包含正面图像全局信息的token，将此token与侧面图像的tokens进行多头自注意的计算，输出包含正侧面图像信息的token。侧面图像tokens与正面图像tokens之间的交叉融合与此过程一致。经过Cross Attention模块的最终输出是正面和侧面DSA图像tokens交叉融合后的两个token。

对于Head模块，它的主要作用是根据Cross Attention模块最终输出的tokens实现卒中DSA图像的mTICI评级分类。如图6所示，Head模块将经过Cross Attention模块融合后的两分支的输出进行拼接，对拼接结果应用两个线性层，以输出模型最终的分类结果。

本实验使用的数据集涉及194名AIS患者，使用DSA设备采集减影血管图像序列，每个序列包含15～30帧不等，对这些患者在治疗过程中拍摄得到的DSA图像进行筛选分级，得到1019对质量良好的正侧面图像。根据脑血管再通是否成功作为分类依据，将mTICI评级为2b或3标为类别1，血管未再通成功（mTICI评级为0、1或2a）标注为类别0。再通成功数据共计537对，未再通成功共计482对，具体如表1所示。训练集和测试集按照8:2的比例随机划分。

对于医学图像分类模型，常用的评价指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1得分（F1 score），分别表示为：

式中，TP、TN、FP、FN分别代表真阳性、真阴性、假阳性、假阴性，也即分别代表“预测为正样本，且预测正确”“预测为负样本，且预测正确”“预测为正样本，但预测错误”“预测为负样本，但预测错误”。

在RTX 2080Ti上基于深度学习框架Pytorch进行模型的训练，迭代次数为100，batch size设置为8，初始学习率为0.0001，使用Adam优化器^[14]。DPVF模型的训练过程如图7和图8所示，可以看出，DPVF的准确率随epoch增加而增加，损失值随epoch增加而减小，约迭代20次后，准确率和损失都收敛到一个较小的区间范围，说明DPVF经过了充分的训练后能够快速收敛。

对经过训练的DPVF模型与现有主流模型在测试集上测试，其中，每个经典模型的测试包括3方面，分别为输入单张正面图像的单分支模型、输入单张侧面图像的单分支模型，以及同时输入正面和侧面两张图像的采用Concat融合方式的双分支模型，分别计算每个模型的混淆矩阵、准确率、精准率、召回率和F1得分，对比实验结果如表2所示。

使用折线图对每个模型在测试集上的准确率进行可视化，如图9所示，可以看出，本文提出的DPVF模型在测试集上的准确率达到了最高的98.5%，优于基于EdgeViT的正面加侧面图像输入的双分支模型，说明了本文改进的LGL模块的有效性；此外，可以看出，EdgeViT的双分支采用交叉注意力的融合方式的准确率达97.0%，而采用拼接融合方式的准确率为96.6%，说明本文构建的交叉注意力模块可以达到比拼接方式更好的特征融合效果，证明了本文构建的交叉注意力模块的有效性；此外，输入正面和侧面两幅图像的双分支模型的准确率均高于输入单幅图像对应的单分支模型，说明同时输入正面和侧面两幅图像有助于模型提取到更丰富的特征，可以有效提升图像分类的准确率和精度。结合表2可以看出，DPVF在准确率、精准率、召回率和F1得分上均取得了较好的表现，其中准确率达98.5%，F1得分、精准率和召回率分别达到了98.4%、97.9%、98.9%。与单分支ViT模型及其他模型相比，DPVF在各个指标上均具有一定的优势，说明本文构建的正面和侧面图像交叉融合有效地提取了正面和侧面图像多角度的特征，优于两幅图像的简单拼接融合，从而提升了模型的mTICI自动分级准确率。

本文构建了一个基于Vision Transformer的轻量级双路径图像分类模型DPVF用于急性缺血性脑卒中患者DSA图像的自动分级。基于EdgeViT的轻量化设计思想进行了模型的构建，并提出空间−通道自注意力模块对原有自注意力模块进行改进，以使模型保持轻量化的同时捕获更全面的特征信息，提高模型表达能力；此外，构建交叉注意力模块对DPVF模型的两分支进行交叉融合，促使模型提取更丰富的特征，从而提高模型表现。实验结果表明，本文构建的DPVF比其他图像分类模型要好，证明了本文方法的可行性和有效性。