-
运动人体实时跟踪是穿墙雷达的一项重要功能,能辅助判断人体目标运动情况、提取人体运动特征等。对于穿墙成像雷达,人体目标可看作一个多散射目标[1-3],而运动人体目标速度和姿态多变,具有扩展目标的典型特性。
近年来,本团队在分布式建筑物透视雷达背景下提出使用alpha-beta滤波对封闭空间内单目标进行实时跟踪,其算法假设目标沿直线运动且速度保持不变,算法具体实施效果比较理想[4]。文献[5]针对多运动目标应用场景,将卡尔曼标准滤波器扩展到多目标跟踪上,并使用实测数据验证算法的有效性,但实验场景较为简单且目标运动机动性较低。文献[6]研制出了一套实际应用有效的穿墙雷达多目标检测跟踪系统,包括检测、定位和对定位值进行跟踪处理,最终显示目标运动的航迹。文献[7]首次采用扩展目标模型描述封闭空间内的运动人体目标,通过基于逆散射的目标成像、恒虚警滤波器的目标检测算法及基于联合概率关联滤波器对多个机动目标进行跟踪,利用XFDTD进行仿真并验证算法的有效性。
由上述研究成果看出,目前穿墙雷达的目标模型大多为点目标,然而由于所使用超宽带雷达体制及目标成像算法,目标成像后结果不再是点目标,而是占据多个像素点的点集,而且由于实际墙体的非均匀性,使得墙体补偿不可能完全处理散焦问题,所以扩展目标模型才是符合实际运动人体模型。
本文针对穿墙成像雷达中图像域实时跟踪的问题,提出了基于均值漂移的扩展目标图像域跟踪方法。首先,建立穿墙成像雷达的回波模型;其次,提出了基于双轴投影的变尺度模板创建方法,给出了基于改进均值漂移的航迹更新方法,结合基于M/N准则的航迹管理方法进行图像域跟踪;最后,通过多组实测数据验证了所提出的跟踪算法的稳健性。
-
考虑如图 1所示的场景,目标位于厚度为${d_w}$、相对介电常数为$\varepsilon $的墙体后方,坐标为$T({x_{{\rm{tar}}}},{y_{{\rm{tar}}}})$。采用时分MIMO(multiple-input-multiple-output)天线阵列,$M$个发射天线、$N$个接收天线的天线阵列平行于墙体放置,与前墙表面距离为${d_3}$。对于第$i$个发射天线和第$j$个接收天线,${A_i}$、${B_i}$、${C_j}$、${D_j}$为电磁波传播过程中的折射点,则${d_{{T_i}}}$、${l_{{T_i}}}$、${d'_{{T_i}}}$、${d'_{{R_j}}}$、${l_{{R_j}}}$、${d_{{R_j}}}$为电磁波传播过程中的路径。
发射信号$s(t)$为超宽带步进频连续波信号,对于第$i$个发射天线和第$j$个接收天线,得到的回波信号可以表示为:
$$ {y_{i,j}}(t) = {\sigma _T}s(t - {\tau _{i,j}}) + {\psi _{i,j}}(t) $$ (1) 式中,${\sigma _T}$表示目标的反射系数;${\tau _{i,j}}$为目标的回波延迟;${\psi _{i,j}}(t)$表示噪声和杂波。
-
根据穿墙雷达探测中运动人体图像的特点,改进了视觉跟踪领域中的均值漂移算法。基于均值漂移的图像域跟踪方法主要包括3个部分:1)利用基于双轴投影的变尺度目标模板创建方法代替操作人员手动选择目标模板的方法,实现盲处理;2)通过对不同幅度像素点的加权处理,降低背景像素点的影响,使得迭代过程能收敛于目标图像中心;3)采用航迹管理,实现多目标的航迹管理,去掉虚假航迹。
回波信号经过加窗、FFT等预处理,再通过后向投影成像(back projection, BP)[8]算法得到整个场景的成像结果,再通过相位相干因子(phase coherence factor, PCF)[9]对成像结果进行处理,得到序列灰度图像${I_k}(x)$,$k = 1,2, \cdots ,N$,作为图像域跟踪的输入,其中N为总帧数,x为图像中像素点坐标集合。跟踪流程如图 2所示。
本节先介绍基于膨胀处理的图像极大值估计和基于双轴投影的变尺度模板创建方法,然后提出基于改进均值漂移算法的航迹更新方法,最后利用M/N准则对航迹进行管理。
-
在第$k$帧序列灰度图像${I_k}(x)$中,首先要对目标进行检测并用一个合适的椭圆包裹住目标,该椭圆包含的像素点集合即为目标模板。本文首先采用膨胀处理进行图像极大值的估计,然后基于双轴投影的变尺度目标模板创建方法进行目标模板创建[10]。
形态学的膨胀处理操作可表示为:
$$ {Y_k}(x){\rm{ = }}E \oplus {I_k}(x) $$ (2) 式中,E为椭圆形圆盘;${Y_k}(x)$为膨胀处理后的灰度图像。当像素点${x_i}$满足如下关系时为局部极大值点:
$$ {Y_k}({x_i}) = {I_k}({x_i}) $$ (3) 通过上述方法得到的局部极大值通常很多,为加快计算效率,仅需保留幅值较大和高于噪声门限的极大值点。
基于双轴投影的模板尺寸缩放算法的基本思想为:首先将某个极大值点占据的像素点作为初始模板,向4个方向($x$轴正、负方向,y轴正、负方向)求累加和,判断4个方向的累加和是否超过设定的门限${T_s}$,如果高于门限,则模板向对应方向的尺寸加1,如果低于门限,则尺寸暂停放大,循环直到4个方向均低于门限,此时得到的矩形的内切椭圆为当前极大值对应的目标模板。
扩展目标通常含有多个极大值点,为了加快计算效率,先计算幅值较大的极大值点的目标模板,剔除位于其中的幅值较小的极大值点。
假设此时$\{ x_i^*\} $表示目标模型的像素点坐标集合,$\,i = 1,2, \cdots ,n$,$n$为目标模型占据的像素点个数,可用幅度直方图(m bins)${\boldsymbol{\hat q}} = \{ {\hat q_u}\} $表示,$u = 1,2, \cdots ,m$,其中:
$$ {\hat q_u} = C\sum\limits_{i = 1}^n {k(||x_i^*|{|^2})\delta [b({\boldsymbol{x}}_i^*) - u]} $$ (4) 式中,$b(x_i^*)$是像素点$x_i^*$的直方图索引;$\delta $是冲击响应函数;归一化常量C可以根据条件$\sum\limits_{u = 1}^m {{{\hat q}_u}} = 1$导出。于是可以得到:
$$ C{\rm{ = }}\frac{1}{{\sum\limits_{i = 1}^n {k(||x_i^*|{|^2})} }} $$ (5) 根据雷达目标图像的特点,使用核函数Epanechnikov kernel[11]为椭圆内的不同像素点赋予不同的权值,越靠近椭圆中心的像素点权值越大,核函数可表示为:
$$ k\left(\|x\|^{2}\right)=\left\{\begin{array}{l}{1-\|x\|^{2}} \;\;\;\;\|x\|<1\\ {0}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;其他\end{array}\right. $$ (6) 对于候选目标模型,假设$\{ {x_i}\} $为当前帧的候选目标模板,其中心位置为$y$,$i = 1,2, \cdots ,{n_h}$,$h$为候选模板相对目标模板的缩放因子,在可变范围$h$运用同样的内核函数$k(x)$,则候选目标模板的幅度直方图${\boldsymbol{\hat{\boldsymbol {p}}}}(y) = \{ {\hat p_u}(y)\} ,\,\;u = 1,2, \cdots ,m$,其中:
$$ {\hat p_u}(y) = {C_h}\sum\limits_{i = 1}^{{n_h}} {k\left( {{{\left\| {\frac{{y - {x_i}}}{h}} \right\|}^2}} \right)} \delta [b({x_i}) - u] $$ (7) 式中,${C_h}$是归一化常量。运用条件$\sum\limits_{u = 1}^m {{{\hat q}_u}} = 1$,可以得到:
$$ {C_h} = \frac{1}{{\sum\limits_{i = 1}^{{n_h}} {k\left( {{{\left\| {\frac{{y - {x_i}}}{h}} \right\|}^2}} \right)} }} $$ (8) -
将前一帧的位置估计作为当前帧的第一个候选目标模板,假设该候选模板中心为${\hat y_0}$,则幅度直方图为${\hat p_u}({\hat y_0})$,$u = 1,2, \cdots ,m$。
引入Bhattacharyya系数[11]描述候选模板和目标模板的相似程度,表达式为:
$$ \rho ({\boldsymbol{y}}) = \rho [{\boldsymbol{\hat p}}(y),{\boldsymbol{\hat q}}] = \sum\limits_{u = 1}^m {\sqrt {{{\hat p}_u}(y){{\hat q}_u}} } $$ (9) 对式(9)进行Taylor展开,则Bhattacharyya系数可以近似写为:
$$ \begin{gathered} \rho [{\boldsymbol{\hat p}}(y),{\boldsymbol{\hat q}}] \approx \frac{1}{2}\sum\limits_{u = 1}^m {\sqrt {{{\hat p}_u}(y){{\hat q}_u}} } + \\ \frac{{{C_h}}}{2}\sum\limits_{i = 1}^{{n_k}} {{w_i}k\left( {{{\left\| {\frac{{y - {x_i}}}{h}} \right\|}^2}} \right)} \\ \end{gathered} $$ (10) 式中,${w_i}$即为第$i$个像素点的权值:
$$ {w_i} = \sum\limits_{u = 1}^m {\sqrt {\frac{{{q_u}}}{{{{\hat p}_u}({{{\boldsymbol{\hat y}}}_0})}}} } \delta [b({x_i}) - u] $$ (11) 为了使迭代收敛于目标图像的中心,需要降低背景像素点在目标位置更新中的比重,定义针对特征的加权因子${W_u}$为:
$$ {W_u} = u - 1 $$ (12) 从而第$i$个像素点的权值式(11)将修改为:
$$ {w_i} = \sum\limits_{u = 1}^m {\delta [b({x_i}) - u]{W_u}\sqrt {\frac{{{q_u}}}{{{{\hat p}_u}({{\hat y}_0})}}} } $$ (13) 使相似度系数式(10)最大化,得到从${{\boldsymbol{\hat y}}_0}$迭代到${{\boldsymbol{\hat y}}_1}$的公式为:
$$ {{\boldsymbol{\hat y}}_1} = \frac{{\sum\limits_{u = 1}^{{n_k}} {{x_i}{w_i}g\left( {{{\left\| {\frac{{{{\hat y}_0} - {x_i}}}{h}} \right\|}^2}} \right)} }}{{\sum\limits_{u = 1}^{{n_k}} {{w_i}g\left( {{{\left\| {\frac{{{{\hat y}_0} - {x_i}}}{h}} \right\|}^2}} \right)} }} $$ (14) 式中,$g(x) = - k'(x)$,并设$k(x)$的一阶导数在区间$x \in [0,\infty ]$除有限点外都存在。
将${\hat y_1}$作为新的候选模板,重新计算幅度直方图并更新候选模板位置,直到相邻两次迭代的位置满足$|{\hat y_{j + 1}} - {\hat y_j}| < \varepsilon $,$j = 0,1,2, \cdots $,或迭代次数达到预设的最大值,此时得到的候选模板中心位置作为当前帧图像的目标位置估计。
-
本文采用经典的M/N准则作为航迹管理策略,解决墙后多运动人体的实时跟踪存在的航迹争夺、航迹分叉、虚假航迹和丢失航迹的问题。即在航迹起始时,判断最近$N$帧内目标位置发生改变的帧数是否大于$M$帧,如果是,则认为起始成功。M/N准则还可以作为航迹终止的准则,如果连续${M_s}$帧位置未更新,则认为航迹运行失败,将其终止。
Mean-Shift Based Multiple Targets Tracking for TWR
-
摘要: 针对穿墙成像雷达中多人体目标跟踪的问题,提出了一种基于均值漂移的多目标图像域跟踪方法。首先,通过基于双轴投影的变尺度模板创建方法进行航迹起始;其次该文利用均值漂移算法进行航迹更新,并对不同幅度像素点的加权处理使得迭代过程能收敛于目标图像中心;最后,结合M/N准则,实现了对航迹的管理。通过对多组实测数据的处理可以看出,该算法具有稳健的跟踪性能。Abstract: This paper deals with the tracking problem of multiple human targets hidden behind walls using through-wall-imaging (TWI) radar. We propose a mean-shift based multi-target tracking algorithm in dzkjdxxb-48-3-321 domain. Firstly, an adaptive method of target template construction based on biaxial projection is presented. Secondly, the mean-shift algorithm is used to update the trajectories, and the different amplitudes is weighted in order to make the iterative process converge to the center of the target. The M/N logic is finally considered to manage trajectories. The proposed algorithm is evaluated by the experiments.
-
Key words:
- mean-shift /
- multi-target tracking /
- tracking in dzkjdxxb-48-3-321 domain /
- TWIR
-
[1] van DORP P, GROEN F C A. Human walking estimation with radar[J]. IEE Proceedings-Radar, Sonar and Navigation, 2003, 150(5):356-365. doi: 10.1049/ip-rsn:20030568 [2] 张驰, 李悦丽, 周智敏.基于独立分量分析法的稀疏阵列穿墙成像雷达直达波干扰抑制[J].雷达学报, 2014, 3(5):524-532. http://d.old.wanfangdata.com.cn/Periodical/ldxb201405005 ZHANG Chi, LI Yue-li, ZHOU Zhi-min. Wall clutter mitigation in through-the wall imaging radar with sparse array antenna based on independent component analysis[J]. Journal of Radars, 2014, 3(5):524-532. http://d.old.wanfangdata.com.cn/Periodical/ldxb201405005 [3] 梁福来, 李浩楠, 祁富贵, 等. UWB MIMO生物雷达多静止人体目标成像方法研究[J].雷达学报, 2016, 5(5):470-476. http://d.old.wanfangdata.com.cn/Periodical/ldxb201605003 LIANG Fu-lai, LI Hao-nan, QI Fu-gui, et al. Imaging of multiple stationary humans using a UWB MIMO Bio-radar[J]. Journal of Radars, 2016, 5(5):470-476. http://d.old.wanfangdata.com.cn/Periodical/ldxb201605003 [4] YUAN Xiang, KONG Ling-jiang, JIA Yong, et al. Cooperative target localization and tracking for random sparse array through-wall-radar[C]//IEEE Cie International Conference on Radar. Chengdu: IEEE, 2011: 1343-1345. http://www.researchgate.net/publication/254055525_Cooperative_target_localization_and_tracking_for_random_sparse_array_through-wall-radar [5] ROVNAKOVA J, KOCUR D. UWB radar signal processing for through wall tracking of multiple moving targets[C]//The 7th European Radar Conference. Munich: IEEE, 2010: 372-375. http://www.researchgate.net/publication/224187062_UWB_radar_signal_processing_for_through_wall_tracking_of_multiple_moving_targets [6] CHEN Xiao-li, LEUNG Henry, TIAN Mao. Multitarget detection and tracking for through-the-wall radars[J]. IEEE Transactions on Aerospace and Electronic Systems, 2014, 50(2):1403-1415. doi: 10.1109/TAES.2014.120693 [7] GENNARELLI G, VIVONE G, BRACA P, et al. Multiple extended target tracking for through-wall radars[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(12):6482-6494. doi: 10.1109/TGRS.2015.2441957 [8] 崔国龙, 孔令讲, 杨建宇.步进变频穿墙成像雷达中反投影算法研究[J].电子科技大学学报, 2008, 37(6):864-867. doi: 10.3969/j.issn.1001-0548.2008.06.016 CUI Guo-long, KONG Ling-jiang, YANG Jian-yu. Back-projection algorithm to stepped-frequency through-the-wall radar imaging[J]. Journal of University of Electronic Science and Technology of China, 2008, 37(6):864-867. doi: 10.3969/j.issn.1001-0548.2008.06.016 [9] LIU Jian-gang, WANG Ming-yang, KONG Ling-jiang, et al. Through-wall tracking using mean-shift algorithm[C]//IEEE Radar Conference. Seattle: IEEE, 2017, 2: 1274-1277. http://www.researchgate.net/publication/317702486_Through-wall_tracking_using_mean-shift_algorithm [10] 刘剑刚.穿墙雷达隐蔽目标成像跟踪方法研究[D].成都: 电子科技大学, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10614-1017076194.htm LIU Jian-gang. Imaging-tracking technology for hidden targets of a through-the-wall radar[D]. Chengdu: University of Electronic Science and Technology of China, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10614-1017076194.htm [11] COMANICIU D, RAMESH V, MEER P. Real-time tracking of non-rigid objects using mean shift[C]//IEEE Conference on Computer Vision and Pattern Recognition. Flilton Head: IEEE, 2002: 2142. http://www.researchgate.net/publication/2355023_Real-Time_Tracking_of_Non