Prediction Model of Intensive Care Unit Length of Stay for Patients with Cardiac Surgery

梯度提升决策树算法^[13](gradient boosting decision tree, GBDT)是一种迭代的决策树算法，通过多轮迭代生成弱分类器，每个分类器都在前一轮分类器残差的基础上进行训练。对弱分类器的要求通常足够简单，且具有低方差和高偏差。训练过程是为了减少偏差以提高最终分类器的准确率，每次训练的目的都是为了减少最后的残差。为了连续地减小残余误差，需要在残差减小的梯度方向上训练新的模型。每个新模型都是在梯度方向上减小前一个模型的残差。

每一棵决策树$ {T}_{m} $按照分枝增益最大的方式进行增长，最终的回归树$ {T}_{m} $的训练目标则是真实值与$ ({T}_{1}+{T}_{2}+\cdots +{T}_{m-1}) $结果的残差最小，整体而言GBDT是一种基于Boosting思想的加性模型。

该算法的主要步骤如下。

1) 初始化弱学习器：

式中，N为样本数；L为损失函数。

2) 对于样本$ i=1,\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }2\cdots, N $，计算负梯度：

3) 计算第m棵树的参数：

式中，h为决策树函数。

4) 最优化第m棵树的权重：

5) 最终得到强学习器表达式：

本文数据集里存在较多的连续型数据与离散型数据，同时，需要对于医护记录出错导致的异常值有很强鲁棒性的算法。GBDT算法作为针对真实分布拟合最好的算法之一，较适合ICU这种复杂的医疗环境的数据分析。

Lasso^[14]是一种正规化线性回归方法，在特征选择方面有广泛应用^[15]。Lasso回归的特点是在拟合广义线性模型时进行变量筛选和复杂度调整。因此，无论目标因变量是连续的、二元的还是多元离散的，都可以使用Lasso回归进行建模和预测。通常当变量的数量大于数据点的数量时，或者当离散变量具有太多唯一值时，可能产生过拟合。因此，本文使用Lasso回归来防止过度拟合。同时，Lasso回归能忽略不重要的特征，构建一个稀疏且更易解释的模型。

Lasso回归的表达式为：

算法的目的是求最小化的目标函数$ {\hat{\beta }}_{{\rm{Lasso}}} $，$\displaystyle\sum\limits_{i = 1}^n {{{\left( {{y_i} - \displaystyle\sum\limits_{j = 1}^P {{\beta _j}{x_{ij}}} } \right)}^2}}$表示模型拟合程度，$\lambda \displaystyle\sum\limits_{j = 1}^P {\left| {{\beta _j}} \right|}$作为惩罚项，主要调节参数为$ \lambda $。参数$ \lambda $越大，表示惩罚力度越大，则保留的特征变少；参数$ \lambda $越小，表示惩罚力度越小，则保留的特征越多，特征筛选的数量通过对$ \lambda $的控制实现。

本文通过调节参数$ \lambda $，从所有预测影响因子中筛选出重要的因子，作为分析影响患者住院时间的主要因素。本文算法可忽略不重要的部分特征，防止过度拟合，最终构建了一个稀疏且更易解释的住院时间预测模型。

本文使用的是2021年3月16日发布的MIMIC-IV 1.0。 MIMIC-IV数据库包含2008年−2019年贝斯以色列女执事医疗中心ICU的4万多名患者的信息(https://physionet.org/content/mimiciv/1.0/)^[16]，该数据库是一个大型、开放的数据库，包括实验室计量结果、药品、保险、护理记录、生命体征计量等多种数据信息。也是目前重症领域中数据完整性较好的数据库，拥有近年来心脏手术患者的治疗流程、预后情况等记录。本文模型的预测结果不会因为医疗机构治疗水平的提升以及心脏外科的发展而产生偏差，时效性较好。

本文研究流程如图1所示，首先在MIMIC-IV数据库中筛选患者，从10938名患者中选出7567名患者，然后使用Lasso回归从126个预测因子中筛选出41个重要的预测因子，结合筛选的预测因子和全部预测因子分别使用传统逻辑回归(logistic regression, LR)算法和GBDT算法进行训练。训练模型前，采用网格搜索优化模型参数。

本文实验使用计算机CPU处理器为Intel Core i5-8500 3.00 GHz，内存为8 GB。算法使用Python语言，集成开发环境使用jupyter notebook，且使用了第三方工具包scikit-learn。

本文通过国际疾病分类手术码ICD-9-CM-3纳入心脏手术患者数据，最初纳入了10938名接受心脏手术的患者。然后，将缺失值超过15%的患者排除在分析之外^[17]，18岁以下的患者和死亡患者也被排除在外，最终共有7567名患者被纳入，纳入患者数据的平均心率为81.69，平均格拉斯哥昏迷评分为8.46，在ICU的平均住院时间为3.12天。

本文提取了患者在ICU住院前12 h内的数据。为了尽可能纳入所有影响住院时间的因子，提取了心率、收缩压、体温、通气状态、格拉斯哥昏迷评分等38个特征。对于重复测量的变量如心率、白细胞计数等，根据其生理意义在12 h内统计最大值、最小值和平均值。对于唯一的变量，如年龄，直接使用原始值。对于非数字变量，如入院类型和种族，使用one-hot编码处理。最终，共有126个预测因子作为模型的输入。

目前，对于住院时间的研究通过单变量分析住院时间的影响因素，或者采用简单二分类对患者住院时间进行预测，存在明显不足^[7,11,18]。为了对患者住院时间进行更细致地划分，本文根据专业心外科团队的建议，将结果指标中患者的住院时间分为4类：少于3天、大于等于3天且小于7天、大于等于7天且小于14天、大于等于14天，建立四分类预测模型。这种划分相比二分类模型更有助于明确衡量患者的住院时间，有利于准确地评估患者病情以及预后效果。

本文使用Lasso回归筛选重要的预测因子，参数$ \lambda $为0.05。经过Lasso算法筛选，从126个预测因子中得到对ICU住院时间影响较大的41个预测因子，具体如表1所示，预测因子中部分权重较大的预测因子权重值如图2所示。

从图2可见，预测因子中诊断个数和手术个数两个变量对ICU住院时间有显著影响，权重均在0.8以上，显然患者被诊断出患有的疾病越多，需要进行的手术越多，住院时间也会越长，这是一个符合临床预期的结果。预测因子乳酸盐浓度目前在ICU中被用作诊断工具和预后指标，因为乳酸盐浓度越高，死亡的风险越大，这一结果与文献[8,19]一致，这在一定程度上提示医护人员在护理患者时应注意的细节。通过Lasso回归分析，血清肌酐浓度(权重为0.192)是第七大最重要的预测指标，因为最小肌酐浓度是预测急性肾损伤最重要的变量，这一结果与文献[20]一致。此外，心率和血压、格拉斯哥昏迷评分(GCS)、入院类型和ICU病房类型也对心脏外科患者在ICU的住院时间有一定影响。

基于Lasso算法的预测因子筛选结果符合其临床意义，并与相关文献结果一致，说明通过机器学习方法进行ICU住院时间影响因子筛选是可行的，有助于临床决策支持系统的开发。

训练模型前，通过网格搜索优化模型参数，穷举搜索并将参数通过交叉验证以优化得到最优模型。网格搜索分为粗搜索和细搜索两个步骤^[20]，通过粗搜索确定参数的近似范围，然后进一步通过细搜索确定在近似范围内的准确参数值。

通过网格搜索，确定本文中GBDT分类模型的重要参数：每个弱学习器的权重缩减系数为0.1，弱学习器的最大迭代次数为40，决策树最大深度为10，叶子节点最少样本数为90，内部节点再划分所需最小样本数为300，最大的叶子节点个数为6，一个叶子节点所需的总权重的最小加权分数为0。

在本文实验中，每次训练随机抽取全体80%的数据作为训练集，20%的数据作为测试集，训练1000次后，最终评估模型效果。

图3显示，训练全部126个预测因子的逻辑回归算法平均准确度为0.603(95%置信区间 CI：[0.602, 0.604])，训练全部预测因子的GBDT算法平均准确度为0.688(95%置信区间 CI：[0.687, 0.689])，训练筛选出的41个预测因子的GBDT算法平均准确度为0.687(95%置信区间 CI：[0.687, 0.688])。

可以看出，训练所有预测因子的GBDT模型与传统LR模型相比预测结果更加准确。GBDT作为一种Boosting算法，由多棵决策树组成，最终结果是所有决策树的总和，这使其在区分不同病理特征和关联的病理特征组合方面具有天然优势^[21]。本文中，这一优势体现在重新衡量患者的预测因子时，可以处理非线性数据，对异常值具有很强的鲁棒性，这使得它适合ICU复杂的医疗环境。

对比训练重要预测因子的GBDT模型与训练所有预测因子的GBDT模型，结果的平均准确度基本相同，说明在减少了大量预测因子的情况下，模型仍能取得较好的预测效果，这样通过Lasso回归筛选并减少住院时间的预测因子，将更有助于减少临床数据收集的工作量，并保证临床决策支持系统的快速运行。

本文随机抽取1514名(总数据的20%)患者作为测试集，其中65%的患者ICU住院时间不超过3天。针对训练重要预测因子的GBDT模型预测值与实际值的差异进行分析，表3为二者的混淆矩阵，图4反映了4种类别上二者的差异。

结果显示，模型对住院时间小于3天的患者预测效果最好，真实值中92%(911名)的患者被正确预测。对于住院时间在3～7天的患者，仅34%(135名)被正确分类，大多数患者被归类为住院时间小于3天，这一定程度上是由于数据分布所导致的。住院时间小于3天的患者占所有患者的65%(991名)，因此对某一名患者的预测结果会更偏向于住院时间小于3天。而7～14天的患者的预测正确率最低，仅为11%(9名)，这主要是因为训练样本过少所导致的。对于最后一类住院时间大于等于14天的患者，算法取得了较好的预测效果，原因在于ICU长期住院患者的生理等各类指标与短期住院患者有明显的不同，因此更容易被正确分类。

总体对比可以看出，本文GBDT算法在预测心外科患者ICU住院时间时取得了较好的效果，能够准确预测心外科ICU患者的住院时间，对临床决策有一定的指导作用。

本文使用Lasso回归筛选出重要的预测因子，其中诊断个数、手术个数、乳酸盐浓度和血氧饱和度等因子对住院时间有显著影响，结果符合临床意义和临床研究结果，增加了机器学习模型的可解释性，有利于进一步临床决策支持系统的开发。

本文提出的基于GBDT算法的心外科手术患者重症监护室住院时间预测模型，取得了较好的预测效果，有利于长时间住院的ICU患者的早期干预，有利于智能方法合理配置医疗资源，提高治疗效率。