-
随着监视技术的不断发展,目前可通过多种方式获取目标的航迹信息,如基于二次监视雷达和ADS-B的民航飞机航迹监视[1]以及基于AIS的船舶航迹获取[2]。在实际中,目标航迹质量的实时评估是目标航迹处理中的关键技术,也是实现目标运动状态监测、运动状态预测以及航迹实时融合等应用[3-7]的基础。
目前,在目标航迹质量评估指标方面,主要包含完整性、精确性、清晰性和连续性等指标[8-11],但是大多数指标仅能用于目标航迹质量的离线评估,难以支撑目标航迹质量的实时评估,而且各项指标均从传感器或信息融合处理综合能力角度出发,不适用于单一目标航迹质量的评估。
在目标航迹质量评估方法方面,围绕传感器性能、目标点迹、局部航迹以及系统航迹,形成了逐层分级评估的思路[9-12]。例如,文献[9]将航迹质量定义为评估窗内点迹质量的总和,根据单个点迹的质量完成一定评估时间窗内的航迹质量评估;文献[10]将目标航迹质量定义为对目标位置信息可靠性的度量,通过综合考虑传感器测量精度、参考地理位置质量、算法精度等因素来评估目标航迹质量;文献[11]提出基于局部航迹质量度量的系统航迹质量度量方法。在当前的目标航迹质量评估过程中,存在以下两个问题:1)若没有低层次数据质量如传感器精度、局部航迹精度等质量数据,则无法实现高层次数据质量的评估;2)在航迹质量综合评估中,各指标加权系数直接由经验给定,缺乏理论依据。
针对上述问题,本文提出了一种基于位置信息的目标航迹质量实时评估方法。该评估方法从目标航迹数据自身出发,将航迹质量定义为对目标运动状态稳定性的度量,实现了对单一目标航迹质量的实时评估,能够为目标运动状态监测和航迹实时融合等应用提供有效支撑。
-
在目标航迹质量实时评估方面,评估指标的选取与处理应合乎实际[13-15],这直接关系到航迹质量评估的有效性。目标航迹包括目标的位置、速度等运动状态信息以及国别、型号等属性信息。因此,目标航迹质量评估可从多个维度出发,如目标位置或速度的精确性、目标属性的准确性、航迹平滑度等。
在实际中,目标位置、速度以及属性的精确性评估依赖于目标真值,而目标真值往往难以得到,这导致精确性指标很难用于目标航迹质量的实时评估[16-17]。本文所提出的目标航迹质量实时评估问题是典型的在线评估问题。在线评估的难点是没有标准答案,如何建立与评估目标相一致、不涉及真值的评估指标体系是其核心。本文所述问题的评估目标是:利用目标实时航迹数据,实现对目标航迹质量的实时在线评估。
针对该情况,本文仅利用目标时间和位置等可观测信息,建立以时间间隔质量、漏点率质量和航迹平滑度质量为核心的评估指标体系,并给出评估指标的递推计算公式,从而实现目标航迹质量的实时在线评估。
-
一般来说,航迹点间隔时间越短,相同时间内可以接收数据信息越多,可以对目标进行更全面的监视,表明航迹质量越好。因此,本文将利用平均时间间隔
$\Delta \bar T$ 来定义时间间隔质量。为了在一定程度上消除异常时间间隔对统计结果的影响,设置航迹点时间间隔$\Delta T$ 的最大统计范围为${L_t}$ ,且仅选取落入有效区间$\left[ {0,{L_t}} \right]$ 内的航迹点时间间隔来计算平均时间间隔,其中${L_t}$ 可根据实际情况设置。前$k$ 个落入有效区间$\left[ {0,{L_t}} \right]$ 的航迹点时间间隔的平均时间间隔$\Delta \bar T\left( k \right)$ 如下所示:$$\begin{split} & \Delta \bar T\left( k \right) = \frac{{\Delta {T_1} + \Delta {T_2} + \cdots + \Delta {T_k}}}{k} = \\ &\quad\;\; \Delta \bar T\left( {k - 1} \right)\frac{{k - 1}}{k} + \frac{{\Delta {T_k}}}{k} \end{split} $$ (1) 式中,
$\Delta {T_k}$ 表示第$k$ 个落入有效区间$\left[ {0,{L_t}} \right]$ 内的航迹点时间间隔。可以看出,平均时间间隔可递推计算,有利于工程实现。为了计算时间间隔质量指标,需根据数据的理论更新速率,定义最大可接受的平均时间间隔
${T_a}$ ,并采用线性分段方式,设计时间间隔质量函数${T_e}$ ,如下所示:$$ {T_e}\left( {\Delta \bar T} \right) = \left\{ {\begin{array}{*{20}{l}} {1 - \dfrac{{0.1 \Delta \bar T}}{{{T_a}}}}&{\Delta \bar T \leqslant {T_a}}\\ {\dfrac{{0.9 {L_t}}}{{{L_t} - {T_a}}} - \dfrac{{0.9 \Delta \bar T}}{{{L_t} - {T_a}}}}&{\Delta \bar T > {T_a}} \end{array}} \right. $$ (2) 由上式可以得出,当
$\Delta \bar T = {T_a}$ 时,${T_e}\left( {\Delta \bar T} \right) = 0.9$ ;当$\Delta \bar T = {L_t}$ 时,${T_e}\left( {\Delta \bar T} \right) = 0$ 。这表明平均时间间隔$\Delta \bar T$ 正偏离${T_a}$ 的程度越大,时间间隔质量指标越差。综上所述,利用式(1)和式(2)即可计算时间间隔质量指标。
-
丢点率指的是在数据获取过程中丢失的航迹点数与理论上应获取航迹点数的比率。从定义可知,丢点率越低,航迹质量越好。前
$k$ 个航迹点时间间隔对应的丢点数${N_d}\left( k \right)$ 为:$$ \begin{split} &\qquad {N_d}\left( k \right) = \frac{{\Delta T'_1 + \Delta T'_2 + \cdots + \Delta T'_k}}{{\Delta {{\bar T}_k}}} - k =\\ & {N_d}\left( {k - 1} \right) \frac{{\Delta {{\bar T}_{k - 1}}}}{{\Delta {{\bar T}_k}}} + \frac{{\left( {k - 1} \right) \Delta {{\bar T}_{k - 1}} + \Delta T'_k}}{{\Delta {{\bar T}_k}}} - k \end{split} $$ (3) 式中,
$\Delta {T'_k}$ 表示第$k$ 个航迹点时间间隔;$\Delta {\bar T_k}$ 为截止到$\Delta T'_k$ 对应时刻的平均时间间隔。根据丢点数,丢点率$R\left( k \right)$ 的计算公式如下:$$ {R_d}\left( k \right) = \frac{{{N_d}\left( k \right)}}{{{N_r}\left( k \right) + {N_d}\left( k \right)}} $$ (4) 式中,
${N_r}\left( k \right)$ 为截止到丢点数为${N_d}\left( k \right)$ 对应时刻所接收到的航迹点数。定义丢点率质量函数${R_e}$ ,如下所示:$${R_e} = 1 - {R_d}$$ (5) 综上所述,根据式(3)~(5),即可递推计算丢点率质量指标。
-
航迹平滑度指的是目标空间位置的波动程度,波动程度越小,航迹质量越好。航迹平滑度的基本计算思路为:首先对航迹进行平滑拟合,然后计算测量值与拟合值之间的均方根值,用以评估航迹的平滑度。平滑拟合的方法主要有:多项式拟合和3次样条拟合等。
Savitzky-Golay平滑滤波器[18]是一种在时域内给予多项式,通过滑动窗口利用最小二乘法进行最佳拟合的方法,其中滑动窗口大小以及多项式次数可以根据实际处理需要进行设定。本文以观测时间为横坐标,观测数据的经度和纬度为纵坐标,利用Savitzky-Golay平滑滤波器,对观测数据进行多项式拟合,从而得到经度和纬度的拟合值。
定义目标航迹点经度和纬度的观测值分别为
${L_o}$ 和${B_o}$ ,它们对应的拟合值分别为$L{}_f$ 和${B_f}$ ,其中经纬度的单位为度,则观测值和拟合值之间的距离差$d$ 为:$$ d = \left( {\frac{{{\text π} R}}{{180}}} \right)\sqrt {{{({B_o} - {B_f})}^2} + {{({L_o} - {L_f})}^2} {{\cos }^2}{B_f}} $$ (6) 式中,
$R$ 为目标所在球面半径。一般而言,$R = 6\;378\;137\;{\rm{m}} + h$ ,$h$ 为目标的平均海拔高度。针对前
$k$ 个观测航迹点,计算它们对应距离差的均方根值,如下所示:$$ {E_r}\left( k \right) = \sqrt {\frac{1}{k}\sum\limits_{i = 1}^k {{{\left( {{d_i}} \right)}^2}} } = \sqrt {E_r^2\left( {k - 1} \right) \frac{{k - 1}}{k} + \frac{{d_k^2}}{k}} $$ (7) 式中,
${d_i}$ 为第$i$ 个航迹点的距离差。为了计算目标航迹平滑度指标,首先给定最大可接受的位置波动
${L_p}$ ,然后以均方根值${E_r}$ 为基础,采用指数方式,构造目标航迹平滑度质量函数${P_e}$ ,如下所示:$${P_{e}}\left( {{E_r}} \right) = {{\rm{e}}^{ - a\frac{{{E_r}}}{{{L_p}}}}}$$ (8) 式中,系数
$a$ 可由下式确定:$${{\rm{e}}^{ - a}} = \varepsilon \to a = - \ln \varepsilon $$ (9) 式中,
$\varepsilon $ 为${E_r} = {L_p}$ 时的航迹平滑度指标值,一般取$\varepsilon = 0.9$ 。综上所述,根据式(6)~(9),即可递推计算目标航迹平滑度质量指标。
-
评估指标体系的完备性是相对的。评估指标体系应注重完备性与可测性、简明性、独立性等原则的有机结合,考虑各原则之间的平衡度,尽可能形成最小完备集[18]。
本文基于时间、经度、纬度和高度4个可观测量,构建了上述指标体系,综合考虑如下:
可测性:所有指标均能根据4个可观测量计算得到,且计算简单。
独立性和简明性:虽然目标航迹还有航向、速度、加速度等信息,并且能够通过时间和位置信息推导得到,但是存在以下问题:1) 由于观测量存在误差且运动模型精确建模困难,新增信息难以被精确估计,且计算复杂性也会提高;2) 新增信息由时间和位置信息推导而来,基于这些信息建立的指标体系缺乏独立性和简明性。
完备性:在考虑可测性、独立性和简明性的基础上,本文构建的指标体系已经覆盖了所有4个可观测量,具备较好的整体完备性。
综上所述,本文构建的评估指标体系,充分考虑了完备性与可测性、简明性、独立性各原则之间的平衡,利用目标的时间信息和空间位置信息,形成了最小完备集。
-
由前述分析可知,时间间隔质量、丢点率质量和航迹平滑度质量等指标均可通过递推方式计算,因此便于实现目标航迹质量的实时评估。需要说明的是,上述3个评估指标均为效益型指标,即指标值越大,表示目标航迹质量越好。本文提出的目标航迹质量实时评估流程如图1所示。
-
待设置参数主要是计算时间间隔质量、丢点率质量和航迹平滑度质量等评估指标时涉及到的参数,包括最大可接受的平均时间间隔
${T_a}$ 、时间间隔最大统计范围${L_t}$ 、Savitzky-Golay平滑滤波器的滑动窗口大小${\rm{win}}$ 以及多项式次数$n$ 、最大可接受的位置波动${L_p}$ 等。这些参数值的确定主要从待评估目标的历史航迹规律和评估要达成的效果两方面考虑,依赖于目标的历史统计规律和专家经验。其中,对于参数
${T_a}$ ,可根据目标的典型历史最大时间间隔或航迹更新速率来设置,也可以根据评估要达成的效果来设置。一般而言,监视雷达的数据更新速率与雷达设计参数有关,通常为2~12 s;船舶自动识别系统AIS根据航速的不同,数据更新速率在2 s~3 min间变化[6];ADS-B航迹数据更新速率较快[14],最高可达到0.5 s。对于参数${L_t}$ ,主要是为了减小异常数据对平均时间间隔计算结果的影响,可以直接设置为目标典型历史最大时间间隔的2~3倍。对于参数${L_p}$ ,主要根据评估要达成的效果进行人为设置,可以直接根据评估任务目的,设置可以接受的位置波动程度。参数${\rm{win}}$ 和$n$ 的设置需要满足超定方程求解要求,即拟合点数需大于多项式次数,并且不同目标航迹质量对比时需要保持参数的一致性。 -
一般来说,对于目标航迹质量的评估,要想全面反映总体的情况,需要综合考虑每一项指标,从而给出航迹质量的综合评估,这就需要建立由各项指标到综合质量评估指标的标准。一般而言,对不同的指标赋予不同的加权系数,进行加权求和是一个比较好的方案。但是,若加权系数直接由经验给定,则缺乏理论依据。
合理确定加权系数对评估有着重要意义。为了合理确定指标体系中各个指标的加权系数,一般需要遵循以下原则[18]:1) 客观性原则,指的是加权系数的确定应能充分反映出被评估对象的自身特点及其所处的环境;2) 主观性原则,指的是在确定加权系数时,要尽可能反映出评估主体的意图和策略,要尽可能反映出评估主体的偏好。根据该原则,本文基于层次分析法,计算各项指标的加权系数。层次分析法(analytic hierarchy process, AHP)是针对多指标多方案客体的优化决策方法[19-20],是一种综合了定性和定量分析、使专家决策思维模型化的评估方法,具有科学性。
本文将时间间隔质量、漏点率质量和航迹平滑度质量作为单层次元素,构造两两比较判定矩阵,并基于判定矩阵计算归一化加权系数向量[21],从而得到航迹综合质量指标
$Q$ :$$Q = {\omega _1}{T_e} + {\omega _2}{R_e} + {\omega _3}{P_e}$$ (10) 式中,
${\omega _1}$ 、${\omega _2}$ 、${\omega _3}$ 分别为时间间隔质量${T_e}$ 、丢点率质量${R_e}$ 和航迹平滑度质量${P_e}$ 的归一化加权系数,满足${\omega _1} + {\omega _2} + {\omega _3} = 1$ 。 -
一般而言,当在若干个更新周期内没有再接收到新的目标航迹点时,则可认为目标航迹已结束。此外,若目标航迹具有结束标志时,也可作为判定依据。
-
为了验证本文所提出的目标航迹实时评估方法的有效性,利用两个目标的半物理仿真航迹数据对所提方法进行实验分析,两目标航迹数据通过对相应实测数据进行位置偏置得到。两个目标的航迹如图2所示。
两个目标的航迹数据更新速率在2~3 s之间,航迹点数均约为200,海拔高度为9000 m。从图2中可以看出,目标1航迹起伏较小,而目标2航迹起伏较大,目标1的航迹质量要优于目标2的航迹质量。
为了计算时间间隔质量、丢点率质量以及航迹平滑度质量评估指标,本文根据目标航迹实际情况设置参数值,如表1所示。
表 1 目标航迹质量指标计算时所设置参数值
参数 取值 时间间隔最大统计范围Lt/s 10 最大可接受的平均时间间隔Ta/s 5 Savitzky-Golay平滑滤波器滑动窗口大小${\rm{win}}$ 7 Savitzky-Golay平滑滤波器多项式次数n 3 最大可接受的位置波动Lp/m 50 此外,为了计算目标航迹综合质量评估指标,本文设计的判断矩阵
${{A}}$ 如下所示:$${{A}} = \left[ {\begin{array}{*{20}{c}} 1&{{1 / 3}}&{{1 / 5}} \\ 3&1&{{1 / 3}} \\ 5&3&1 \end{array}} \right]$$ (11) 根据判断矩阵
${{A}}$ 得到的加权系数向量为:$${{w}} = {[0.114\;\;0.405\;\;0.481]^{\rm{T}}}$$ (12) 从该向量可以看出,丢点率质量指标和航迹平滑度质量指标的重要性要高于时间间隔质量指标。
根据上面设置的参数值,本文给出时间间隔质量、丢点率质量、航迹平滑度质量以及目标航迹综合质量随时间的变化情况,如图3所示。从图3a中可以看出,目标1的时间间隔质量、丢点率质量以及航迹平滑度质量指标均比较高,因此,目标1的航迹综合质量指标也比较高。从图3b中可以看出,目标2的时间间隔质量指标较高,但是,其丢点率质量和航迹平滑度质量指标较低,考虑到指标加权系数,目标2的航迹综合质量指标比较低。
通过对比图3a和图3b可知,目标1的航迹质量要高于目标2,表现在目标2的丢点率较高以及航迹平滑性较差,与图2所示的目标航迹曲线相吻合,这表明本文所提出的目标航迹质量实时评估方法是有效的。此外,目标航迹质量随时间的变化趋势能够体现出目标运动状态的实时变化情况,例如在图3b中丢点率质量指标突然下降的时刻,目标航迹存在丢点情况,这可为目标运动状态监测、运动状态预测以及航迹实时融合等应用提供参考。
目标1和目标2航迹质量评估指标的对比总结如表2所示。从表2中可以看出,本文所提出的目标航迹质量评估方法能够有效反映目标航迹质量的真实情况。
表 2 航迹质量评估指标对比总结表
指标项 目标1 目标2 平均时间间隔$ \Delta \bar T$/s 2.64 2.58 时间间隔质量Te 0.9472 0.9483 丢点数Nd 0 50 丢点率质量Re 1.0 0.784 均方根值Er/m 45.68 113.60 航迹平滑度质量Pe 0.9082 0.7871 航迹综合质量Q 0.9499 0.8042
Real-Time Evaluation Method of Target Track Quality Using Location Information
-
摘要: 目标航迹质量评估属多指标评估问题,包括目标状态的精确性和连续性等指标,但是现有评估指标不适用于目标航迹质量的实时评估。此外,在航迹质量综合评估中,各指标加权系数直接由经验给定,缺乏理论依据。针对上述问题,该文提出了一种基于位置信息的目标航迹质量实时评估方法。该方法首先根据目标位置信息,建立目标航迹质量实时评估指标体系,给出评估指标的递推计算方法,然后基于层次分析法确定评估指标加权系数,最后利用加权求和方式,实现目标航迹的综合质量评估。基于仿真数据的实验结果验证了该方法的有效性。Abstract: Target track quality evaluation is a problem of multi-index evaluations, including the accuracy and continuity of the target state. The present evaluation indexes are not applicable to the real-time evaluation of the target track quality. Furthermore, in the comprehensive evaluation of track quality, weighted coefficients of each index are directly given by experience and thereby lack theoretical basis. To solve the problems above, a real-time evaluation method of target track quality based on location information is proposed. Firstly, a real-time evaluation index system of target track quality is established according to target location information, and the recursive calculation method of the evaluation index is given. Then, the weighted coefficients of evaluation index are determined based on the analytic hierarchy process. Finally, the method of weighted summation is used to evaluate the comprehensive quality of the target track. The experimental results based on simulation data proved the effectiveness of the proposed method.
-
表 1 目标航迹质量指标计算时所设置参数值
参数 取值 时间间隔最大统计范围Lt/s 10 最大可接受的平均时间间隔Ta/s 5 Savitzky-Golay平滑滤波器滑动窗口大小 ${\rm{win}}$ 7 Savitzky-Golay平滑滤波器多项式次数n 3 最大可接受的位置波动Lp/m 50 表 2 航迹质量评估指标对比总结表
指标项 目标1 目标2 平均时间间隔 $ \Delta \bar T$ /s2.64 2.58 时间间隔质量Te 0.9472 0.9483 丢点数Nd 0 50 丢点率质量Re 1.0 0.784 均方根值Er/m 45.68 113.60 航迹平滑度质量Pe 0.9082 0.7871 航迹综合质量Q 0.9499 0.8042 -
[1] ZHANG Xuan, ZHANG Jing-jing, WU Shu-fan, et al. Aircraft monitoring by the fusion of satellite and ground ADS-B data[J]. Acta Astronautica, 2018, 143: 398-405. doi: 10.1016/j.actaastro.2017.11.026 [2] TU En-mei, ZHANG Guang-hao, RACHMAWATI L, et al. Exploiting AIS data for intelligent maritime navigation: A comprehensive survey[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 19(5): 1559-1582. doi: 10.1109/TITS.2017.2724551 [3] LIU Yong, YAO Li-bo, XIONG Wei, et al. GF-4 satellite and automatic identification system data fusion for ship tracking[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(2): 281-285. doi: 10.1109/LGRS.2018.2869561 [4] HE X, THARMARASA R, KIRUBARAJAN T, et al. A track quality based metric for evaluating performance of multitarget filters[J]. IEEE Transactions on Aerospace and Electronic Systems, 2013, 49(1): 610-616. doi: 10.1109/TAES.2013.6404124 [5] 鹿强, 吴琳, 陈昭, 等. 海上目标多源轨迹数据关联综述[J]. 地球信息科学学报, 2018, 20(5): 571-581. doi: 10.12082/dqxxkx.2018.180024 LU Qiang, WU Lin, CHEN Zhao, et al. A review of multi-source trajectory data association for marine targets[J]. Journal of Geo-information Science, 2018, 20(5): 571-581. doi: 10.12082/dqxxkx.2018.180024 [6] 刘丽娜. 基于雷达和AIS信息质量的融合算法的研究[D]. 大连: 大连海事大学, 2017. LIU Li-na. The study on fusion algorithm based on radar and AIS information quality[D]. Dalian: Dalian Maritime University, 2017. [7] WANG Wan-wei, YANG Jun, ZHANG Zhe, et al. Research on global tracking and monitoring technology of aircraft based on multi-information sources[C]//2018 Integrated Communications, Navigation, Surveillance Conference. [S.l.]: IEEE, 2018: 4G3-1-4G3-8. [8] 毛亿, 张哲铭, 刘蓉. 无人机航迹质量分级体系与评估方法[J]. 指挥信息系统与技术, 2018, 9(4): 571-581. MAO Yi, ZHANG Zhe-ming, LIU Rong. UAV track quality grading system and assessment method[J]. Command Information System and Technology, 2018, 9(4): 571-581. [9] 刘红亮, 周生华, 刘宏伟, 等. 一种利用幅度信息的航迹质量评估方法[J]. 西安电子科技大学学报, 2017, 44(1): 65-70. LIU Hong-liang, ZHOU Sheng-hua, LIU Hong-wei, et al. Track quality evaluation method using amplitude information[J]. Journal of Xidian Univesity, 2017, 44(1): 65-70. [10] 赵宗贵, 刁联旺. 基于运动目标状态的航迹质量分级体系构建方法[J]. 指挥信息系统与技术, 2013, 4(3): 28-34. doi: 10.3969/j.issn.1674-909X.2013.03.006 ZHAO Zong-gui, DIAO Lian-wang. Track quality classification system construction method based on moving target state information[J]. Command Information System and Technology, 2013, 4(3): 28-34. doi: 10.3969/j.issn.1674-909X.2013.03.006 [11] 李洋, 张靖, 石教华, 等. 目标航迹融合质量度量方法研究[J]. 中国电子科学研究院学报, 2015, 10(3): 254-259. doi: 10.3969/j.issn.1673-5692.2015.03.006 LI Yang, ZHANG Jing, SHI Jiao-hua, et al. Research on fusion quality measurements for target tracks[J]. Journal of China Academy of Electronics and Information Technology, 2015, 10(3): 254-259. doi: 10.3969/j.issn.1673-5692.2015.03.006 [12] 晁云, 陈强, 田蕾. 空中航迹质量度量方法研究[J]. 信息安全与通信保密, 2010(8): 52-54. doi: 10.3969/j.issn.1009-8054.2010.08.022 CHAO Yun, CHEN Qiang, TIAN Lei. Study on measurements for quality of air tracks[J]. Information Security and Communications Privacy, 2010(8): 52-54. doi: 10.3969/j.issn.1009-8054.2010.08.022 [13] MIN Xia, XING Xiao-li, YAN Jin-tun. A calculation method of track quality[C]//2010 International Conference on Electrical and Control Engineering. Wuhan: IEEE, 2010: 4580-4583. [14] 曹娜. 基于海量实测数据的ADS-B数据质量分析[D]. 天津: 中国民航大学, 2017. CAO Na. Quality analysis on ADS-B massive real data[D]. Tianjin: Civil Aviation University of China, 2017. [15] ALI B S, OCHIENG W Y, SCHUSTER W, et al. A safety assessment framework for the automatic dependent surveillance broadcast (ADS-B) system[J]. Safety science, 2015, 78: 91-100. doi: 10.1016/j.ssci.2015.04.011 [16] KACEM T, BARRETO A, WIJESEKERA D, et al. ADS-Bsec: A novel framework to secure ADS-B[J]. ICT Express, 2017, 3(4): 160-163. doi: 10.1016/j.icte.2017.11.006 [17] SHI Xiao-bin, YANG Feng, TONG Fei, et al. A comprehensive performance metric for evaluation of multi-target tracking algorithms[C]// International Conference on Information Management. Chengdu: IEEE, 2017: 373-377. [18] 马亚龙, 邵秋峰, 孙明, 等. 评估理论和方法及其军事应用[M]. 北京: 国防工业出版社, 2013. MA Ya-long, SHAO Qiu-feng, SUN Ming, et al. Assess theories and methods and their military applications[M]. Beijing: National Defense Industry Press, 2013. [19] KRISHNAN S R, SEELAMANTULA C S. On the selection of optimum Savitzky-Golay filters[J]. IEEE Transactions on Signal Processing, 2013, 61(2): 380-391. doi: 10.1109/TSP.2012.2225055 [20] HO W, MA Xin. The state-of-the-art integrations and applications of the analytic hierarchy process[J]. European Journal of Operational Research, 2018, 267(2): 399-414. doi: 10.1016/j.ejor.2017.09.007 [21] 邓雪, 李家铭, 曾浩健, 等. 层次分析法加权系数计算方法分析及其应用研究[J]. 数学的实践与认识, 2015, 10(3): 254-259. DENG Xue, LI Jia-ming, ZENG Hao-jian, et al. Research on computation methods of AHP wight vector and its applications[J]. Mathematics in Practice and Theory, 2015, 10(3): 254-259.