本文方法的主要特点在于侵入目标检测、侵入目标识别、侵入目标跟踪与云台跟随控制的闭环结合，各个环节采用性能优良的算法实现，同时闭环结构将最大限度地提升侵入跟踪的鲁棒性。同时，在侵入目标的识别环节，该方法根据室内侵入检测主要针对人体的特点，将首要识别目标定为人脸，次要识别目标定为人体。当同时识别到多个侵入目标情况下，选取最显著目标进行跟踪。

方法设计的总体流程如图 1所示，由设计总体流程可见，该方法的核心思想在于形成一个提高侵入目标跟踪鲁棒性和时效性的闭环结构。

图  1  方法设计总体流程

该方法首先需检测视频图像中的运动目标。侵入目标检测作为该方法第一个环节，为满足方法的高效与鲁棒性，运动目标的检测需采用运动前景提取高效、检测效果明显的算法^[3]。

本文采用vibe算法进行运动目标检测，该算法具备前景检测和背景模型更优的优势。

vibe算法提取运动目标前景分为3个步骤：

1) 初始化单帧图像中每个像素点的背景模型。当输入第一帧图像时，建立像素的背景模型：

式中，${N_G}(x, y)$表示空域上相邻的像素值；${f^0}({x^i}, {y^i})$表示当前点的像素值。在初始化过程中，选择第一帧图像建立背景模型。

2) 对后续的图像序列进行前景目标分割操作。初始化之后，前景提取由下式决定：

式中，k为当前图像帧；$(x, y)$为像素点；${\rm{BK}}_M^{k - 1}$为背景模型；${f^k}(x, y)$为像素值；$T$为预设阈值，根据当前像素点背景模型和阈值的比较确定其为前景或背景。

3) 背景模型更新。通常背景变化不大，所以每次背景模型更新的次数相近。因此将第一帧背景更新的次数作为比较值，符合式(3)则对背景模型进行重新初始化：

式中，${\rm{Update}}$为背景更新次数；${\rm{Init}}$为一帧图像更新次数，以此避免由于大面积的光照变化导致的误判。

图 2为vibe算法对运动目标的前景提取效果。可见，使用vibe算法在视频中能够高效清晰地提取出运动目标前景。

图  2  vibe算法运动目标前景提取

检测到侵入目标运动后进入侵入目标识别环节，该环节需识别侵入目标的类型，针对室内安防需求，识别的侵入目标为人体，本文将侵入目标分为人脸与人体的双重递进识别，首要识别目标为人脸，识别到人脸即进入跟踪环节，当人脸存在遮挡、角度位置不理想等无法识别的情况下，进行人体识别。

对人脸与人体识别采用目前流行的深度学习神经网络技术。相对传统机器视觉方法神经网络技术进行识别具备更高的识别率，更快的速度。

侵入识别的首要目标为人脸，本文采用ssd网络进行人脸检测。ssd为全卷积网络，通过不同位置的layer进行预测，用低层网络检测小物体，高层网络检测大物体，实现了one-stage检测的算法。ssd检测速度可以和yolo媲美，精度又可媲美FasterRCNN，非常适合小目标的检测，因此，对于侵入目标中的人脸检测非常适用^[19]。

本文采用基于人脸检测预训练模型res10_300× 300_ssd_iter_140000的ssd人脸检测网络，选取检测框大小为300×300，设定识别阈值为0.5。

ssd网络对人脸的检测效果如图 3所示。由检测效果可以看出，当图像中存在多个人脸的情况下，除存在遮挡的面部外，使用ssd网络可以成功检测出所有人脸，并标注最显著的人脸进行后期的跟踪。

图  3  ssd网络检测人脸效果

侵入目标如果检测人脸不成功即进行人体检测，本文使用yolov3网络进行人体检测。

yolo(you only look once)网络的特点在于快速、简单、背景误检率低、通用性强。yolo对小目标识别率较ssd稍差，而对较大目标识别的精度与速度非常优异，因此适用于侵入检测中的人体检测。

在闭环结构中为保证识别精度，同时提高识别的速率，采用官方发布的yolov3版预训练模型权重，选取检测框大小为320×320，识别阈值设为0.5。

yolov3网络在人脸检测后进行人体检测效果如图 4所示。可以看出，相对于人脸检测，人体检测在存在一定遮挡的情况下，检测出人体的数量更多、更准确，同时标注最显著的人体目标进行后期跟踪。

图  4  yolov3网络检测人体效果

在侵入目标识别环节检测出侵入目标中最明显的人脸或人体目标之后，进入侵入目标的跟随环节。

本文选取csr-dcf目标跟踪算法，该算法的特点在于跟踪的准确性较高、鲁棒性强、速度较快、综合性能较好^[4-6]。

文献[7]给出了最新和经典目标跟踪算法官方数据的比较，如表 1所示。

由官方数据可见，csr-dcf在平均准确率(Aav)、平均失败率(Rav)、处理速度(FPS)3项指标上性能最高。适用于对侵入目标的高效、稳定跟踪。

csr-dcf是一种基于相关滤波的跟踪算法，而滤波跟踪算法存在以下两个问题：1)由于FFT算法限定了滤波器尺寸与图像块尺寸必须一致，这样就限制了检测范围；2)由于引入了循环矩阵，导致滤波器的训练数据并不真实，只能支持矩形目标，与真实世界不符。

针对以上问题，csr-dcf算法采用了“空间置信”方法进行改进。其主要思想是利用图像分割方法产生适应能力更好的蒙版(mask)，空间置信图通过后验概率的求解得到。

求解目标的后验概率：

式中，p_o是先验概率，可以是固定的数值，与采样数据中的前景/背景区域有关；forlikelihood为似然，在给定的前景图像中，该像素属于目标的概率；prob_o为后验概率，在给定的目标图像条件下，该像素属于前景蒙版的概率。

先验概率p_o为：

式中，p(x, y)为目标出现的概率函数。

该算法思路为：用先验概率图与似然概率图进行的某种图像卷积而形成的滤波过程，最终实现了对不规则形状的物体的自适应，从而克服和改进了滤波跟踪算法中存在的不足之处^[7-8]。

csr-dcf目标跟踪算法对视频中目标跟踪的效果如图 5所示。由图 5可见csr-dcf目标跟踪算法能够对视频指定的跟踪目标进行快速、稳定地跟踪锁定。

图  5  csr-dcf算法跟踪效果

智能球机的底座为两个数码舵机控制的2自由度云台，本文提取跟踪目标的中心坐标后，分析中心坐标位置与视频中心位置的关系，启动云台跟随目标，让摄像头跟随目标运动，延长捕获目标的时间。因此云台的控制算法需要反应快，跟踪准确，本文采用了模糊自适应pid(proportion-integral- differential)控制算法控制云台。

本文采用的模糊自适应pid控制算法主要由模糊控制器和pid控制器结合而成，模糊控制器以误差e和误差变化率ec作为输入，利用模糊规则对pid控制器的参数Kp、Ki和Kd进行自适应整定，使被控对象保持在良好的动、静态稳定状态。相比传统的pid控制，模糊自适应pid更加灵活稳定，特别是对时变性和非线性较大的被控对象，其优点更加突出^[10-12]。

实验测试、视频处理硬件环境为：自行搭建的2自由度云台球机平台，intel i7 4核处理器2.5 GHz，8 GB内存，Gforce GT 950M显卡。软件平台使用VS2015+opencv3.4.2+cuda8.0环境。

为验证本文提出方法的有效性，采用云台球机进行完整的功能与性能测试，包括对目标的运动检测、目标的识别以及使用跟踪算法和pid控制算法对目标的跟踪效果，同时测试该方法的闭环结构工作性能以验证该方法的高鲁棒性。

综合测试结果如图 6所示，可以看出球机首先进行运动检测，在存在运动目标的前提下，启动目标识别，其中首要识别目标为人脸，人脸无法检测时进行人体识别，以保证侵入识别的全面性。在识别到侵入目标后进入目标跟踪环节，使用目标跟踪算法提取跟踪目标位于图像中的位置，启动球机云台进行跟随，正对跟踪目标后再次切换到识别模式，验证当前跟随目标为侵入目标，当目标消失后再次进入运动检测模式。

图  6  系统综合测试结果

云台实时采集一定时长的(140帧)视频以测试系统的鲁棒性综合性能，测试结果如表 2所示。由表 2的性能分析可见，整个系统在实时采集的140帧视频图像中，各个环节高效切换，闭环工作性能完善，跟随锁定时间长，鲁棒性高。

本文提出了适用于小型智能球机的高鲁棒性侵入目标的检测、识别、跟踪方法。该方法结合了高性能的运动目标的检测、识别、跟踪和云台控制算法，使其形成一个闭环跟踪系统，对室内侵入目标进行高鲁棒性、长时间的跟随，家用智能监控球机运用该方法可以极大地提高对侵入目标的跟踪稳定性和延长跟踪时间。在下一步研究中，可以在各个环节采用更新的检测、识别、跟踪算法与云台控制算法，更合理的闭关跟踪机制以进一步提高侵入目标的跟踪性能。