GBRT Traffic Accident Prediction Model Based on Time Series Relationship

GBRT是boosting^[17]类型的集成学习算法^[18]。集成学习是一种技术框架，它通过使用多个不同的基模型进行组合，完成相应的工作，以求更加高效、准确。目前常用的集成学习框架包括：bagging、stacking和boosting。其中boosting框架使用多组基模型分别进行训练，所有基模型的结果经过线性组合得到鲁棒性更高的预测结果。图1为boosting集成学习框架的示意图。

基于boosting框架描述如下：

式中，h_i(x)表示基模型。整体模型的训练目标是使预测值F(x)逼近真实值y，专家学者们以贪心算法的思想让每个基模型分别承担部门预测任务，分别逼近各自的预测任务，对每个基模型所产生的误差进行重点攻克。

通过引入任意损失函数，拟合反向梯度，有：

GBRT是基函数使用树结构的boosting集成学习模型。对于给定的n条记录的m个特征，使用K个树函数累加来预测输出：

式中，q表示将记录映射到相应的叶索引的每个树的结构；T是树上的叶子数；每个f对应一个独立的树结构q和叶子权重w；w_i表示第i个叶子上的得分。利用线性搜索估计叶节点区域的值，使损失函数极小化，然后更新回归树。

本文使用了英国运输部公开的2005−2015年的交通事故数据“road-accidents-safety-data”。经过统计排序，从207个城市筛选出了事故最多的城市Leicester(编码：E10000016)作为数据样本。2005−2015年，这座城市发生了49 209起交通事故，死亡人数为67 039，涉及事故车辆达到了91 963辆。

交通事故的发生由多种因素共同导致，本文综合考虑了人、车、路、环境4方面因素，选取的特征详细信息如表1所示。

表1中的11类离散类别特征，在时间维度上使用传统One-Hot Encoding方法时，只能表示出子类别，不能对子类别的数值进行量化表示。原始数据是根据每一起交通事故进行记录的，本文的目标是对某段时间周期内的事故量进行预测。

本文以天为时间单位，建立起每个离散类别特征子标签与事故数据的映射关系。对数值类型的特征处理是通过对每天的数据进行统计求和操作。表2为2005年1月1日道路类别的不同子标签与3类事故数据所建立的映射关系。

表1中，特征道路类别的子标签有8种。表2中，2005年1月1日统计结果显示，特征道路类别出现了两种子标签，另外6种子标签为空值。使用上述方法，统计出了2005−2015年间4 017天的离散特征的66个子标签的映射关系。最终的输入特征为66个子标签的映射结果和目标事故数据的上一个时间周期的历史值。

交通事故的时间空间稀疏性导致了经过映射的离散特征产生了大量空值，需要进行空值处理。

零值填充方法：在模型学习过程中，更容易学习到导致事故发生的高权重特征。均值填充方法：在风险防范角度考虑的更周全，虽然没有发生事故，但事故的风险始终存在。为了更好地选择出空值处理方法，本文使用零值填充和均值填充两类方法进行对比实验。

一个过程随时间的演变是人口的变化、城市化和机动化的过程、医学的进步、道路的改善、更安全的车辆、对风险以及其他社会规范态度的变化等^[19]。所以，本文利用时间序列中的周期关系，在传统的建模方法基础上，提出了周期时序关系(last_period)和多元周期时序关系(merge_period)建模方法。

1) 传统建模方法(one_by_one)：使用第t−1天的数据作为输入特征，对第t天的目标数据进行预测。

2) 周期时序关系建模方法(last_period)：利用数据中的周期性规律建模，使用第t−(period)天的数据，预测第t天的目标数据。

3) 多元周期时序关系建模方法(merge_period)：使用第t−1天、第t−(period)天的数据作为输入特征，预测第t天的目标数据。

本文使用年作为时间周期，来描绘相似的季节性环境特性；使用星期作为时间周期，描绘人们的工作生活规律特性。构造了last_week、last_year、merge_week、merge_year共4类数据。

因为预测目标无法验证，在构造数据时需要剔除最后一个时间周期的数据记录，由于平、闰年的问题，数据存在缺失的情况。如2008年2月29日的上一年不存在2007年2月29日，本文使用相邻两天的平均值来填充。last_year类别数据中，填充了2007年2月29日、2011年2月29日的两条记录。对merge_year类别数据，填充了2009年2月29日、2013年2月29日的两条记录。以星期作为时间周期不存在缺失的情况，可以直接使用第t−7天的数据预测第t天的数据。

最终利用不同的建模方法，分别对事故数(accident)、死亡人数(casualties)、涉事的车辆数(vehicles)3组目标特征构建了15组实验数据。由于空值处理分别使用了零值填充和均值填充，所以本文的30组实验数据、数据集的信息如表3所示。

式中，L是一个可微凸损失函数，用来度量预测值I和数据中真实预测目标值y_i之间的差异；${\hat y_i} $代表树模型得到的预测目标值；l表示对(y_i，${\hat y_i} $)计算损失函数；Ω(f_k)表示第k个树函数的惩罚项；Ω(f)代表惩罚项的详细表示，惩罚了模型的复杂性，平滑处理学习权重，可以避免过拟合；λ、γ是超参数，用于控制正则化程度；T代表f这个树函数的叶子数；ω为叶子对应的权重；||ω||²代表L2范数，通过权重的平方和来实现正则化。

模型的超参主要包括：学习率、估计器个数、树的最大深度、样本内部分裂节点数、叶子节点所需的最小样本及损失函数。

本文利用GridResearchCV在训练集上自动寻找最优超参。设定学习率分别为0.2、0.1、0.05。样本内部分裂节点和叶子节点所需的最小样本都设置为1～10之间，树的最大深度为1～15之间，估计器的个数取10～150之间10的倍数。表4为模型使用不同建模方法，零值填充和均值填充寻找到的超参数据表。

本文实验的个人电脑，CPU：AMD Ryzen 2600X Six-Core Processor@3.60 GHz，内存为16 GB，开发环境为python 3.5语言的PyCharm集成开发工具，使用skit-learn提供的GBRT模型。

性能评价指标误差率公式如下：本文使用均方根对数误差(rmsle)和决定系数(R-square)来衡量模型的拟合能力。均方根对数误差取值越小，模型的拟合性能越好。决定系数的值越接近1，变量对预测值的解释能力越强。

均方根对数误差和决定系数公式分别为：

式中，Y₀表示真实预测目标值；Y_P表示模型预测目标值；Y_mean表示真实预测目标值的平均数。

对上述30组数据，本文采用训练集与测试集7∶3的比例进行划分，再使用GBRT模型对训练集进行拟合，最后对测试集的预测性能进行分析。

对比实验为比较离散特征标签映射中的空值在两类填充方法下的实验结果。表5为模型在零值填充和均值填充方法下的测试集实验结果。

表5中的实验结果显示，one_by_one类型数据使用均值填空的方法整体好于零值填充方法。Last和merge类型数据中均值填充方法的模型效果较好，因此本文使用均值填充方法处理离散特征标签映射中的空值。

表5中3组预测目标的实验结果显示，事故数的预测精度整体比死亡人数及涉事的车辆数的预测效果明显要高，rmsle误差更小，R-square的值更接近1，变量对预测值的解释能力强。说明模型更容易拟合到交通事故的发生频率，但表征交通事故危害程度的死亡人数和涉事车辆数更难预测。

比较不同建模方法的预测结果，本文提出的last_period和merge_period方法比传统的one_by_one建模方法预测精度要高。其中传统建模方法在死亡人数和涉事车辆数的预测误差分别为0.069 5和0.055 7，R-square的值为0.177 6和0.318 6，说明传统建模方法在死亡人数和车辆数的预测能力较差。last_week建模方法在事故数和涉事车辆数的预测结果最佳，last_year建模方法对死亡人数的预测结果最佳。merge_period所考虑的因素更加全面，但实验结果却没有获得最佳的预测结果，本文考虑，该方法增加的特征表征是不同时间的数据，特征类别存在冗余。

本文挖掘了数据中的时间关系进行建模，提出基于时间序列关系的GBRT的交通事故预测模型。较传统方法在预测精度上有一定的提升，模型对道路交通安全水平的趋势具有很好的拟合能力。交通管理部门在制定决策、人员调度的过程中能从本文工作中得到有益的参考信息。另一方面，本文提出的时序建模方法可以在相似建模问题上进行推广，为同类型的预测工作提供了一种新的建模思路。

进一步的工作，将测试月、季度等更多类别的时间序列关系和更多的组合方式的merge_period建模方法；将测试更大数据量下，merge_period建模方法的预测效果。