ISSN 
-
在人类无法介入或者人力代价昂贵的情况下，无人机的使用是十分必要的[1]，具有自主着陆能力的无人机更能体现其巨大优势。在军事领域，具有自主着陆能力的无人机能更好地适应艰苦的作战环境，对基站相关辅助设备性能的要求也较低。当作战或自然灾害发生时，基站的设备受到干扰或被损毁，相比于普通无人机，具备自主着陆能力的无人机能更好地完成任务。在民用领域，具有自主着陆能力的无人机对人力资源的要求更低，降低了成本和事故发生的概率，减少了很多中间环节，也大大提升了效率。
经过多年的研究与发展，目前国内外无人机应用的自主着陆导航技术主要有惯性导航系统(INS)、GPS导航系统、光电导航系统、视觉导航系统及组合导航系统[2]。美国建设有完备的GPS系统，可在全球范围获得高精度GPS定位信息，美国的无人机大多采用基于GPS/DGPS的着陆系统。但GPS信息容易受到干扰以及环境的影响，如多径效应、电磁噪声等[3]。而且GPS系统只能提供无人机所在的位置信息，不能检测其所在环境周围的目标[4]。惯性导航系统则存在定位误差会随使用时间延长而增大，长期精度差的缺点。光电导航系统由于自身功能的限制，一般只是作为辅助导航系统。与上述几种导航系统相比，视觉导航系统具有隐蔽性、自主性、独立性的优点，且其使用的相关传感器具有重量轻、功耗低、体积小等优点。
近年来，基于计算机视觉的无人机自主着陆技术得到了海内外科研机构大量的研究，主要包括对着陆地标的设计与检测以及无人机位姿估计算法的研究。目前国内外设计的地标主要包括以下几种形状：圆形[5-6]、矩形[7]、H形[8-10]、T形[11-12]等及不同形状的组合[13-15]。地标的检测方法主要包括：基于角点检测的方法、基于圆特征的检测方法、基于圆特征与角点的混合检测方法、基于不变矩的检测方法等。T形地标简单实用，易于处理，但定位精度与姿态角精度需要提高；H形地标目前在直升机降落领域实用范围最广，但由于其空间对称性存在一定的缺陷，需要进行优化；矩形地标有一定数量的特征点，通过提取其特征点，易于进行位姿计算；圆形地标易于识别与检测，但获取位姿信息相对困难且精度相对较低；组合图形可提供丰富的信息，但处理方法相对复杂，所需时间也较长。位姿估计方法主要包括坐标变换、GPS信息、估计方法、卡尔曼滤波、求方程法等。
本文设计了一个半圆环形状的地标，该地标简单易于处理，且能提供足够的信息。针对该地标，本文提出了一种基于显著性检测算法的地标检测方法，该算法能突显出地标区域且有清晰的边缘信息，在不需要进行模板匹配的前提下能自动检测出目标(地标)区域，大大减少了目标检测所需的处理时间。本文提出了一种新的基于极坐标转换的位姿估计算法，极坐标系所需处理的参数少，且与距离、角度直接相关，大大优化了传统的基于坐标转换的位姿估计算法。
-
设计无人机着陆地标需要满足以下4个要求：
1)为了保证着陆系统准确得到无人机着陆所需的位姿信息，地标要包含足够多相关的特征信息；2)组成地标的特征图案及地标的颜色要与周围环境区别开，使其容易被识别；3)能够在特定场合如舰艇船舶等着陆平台进行使用；4)能够实时处理，从而满足实时性的要求。本文考虑到极坐标系统所需参数少、计算量小的优点，设计了利于进行极坐标变换的着陆地标，如图 1所示。其中将地标颜色设为黑色，便于将其与周围环境区别，且利于检测算法对其进行检测。
图 1 基准坐标系
该地标是一个半圆环形，两个半径不同的圆弧相连可得一条直线，将该直线设为世界坐标系的x轴，其垂直且指向地标的方向为y轴正方向。该地标颜色和形状都较为特殊，易于对其进行检测和特征提取。首先建立一个以地标为参照的基准坐标系，将相连所得直线的右方向设为x轴正方向，将与其垂直且向上的方向设为y轴正方向，如图 1所示。
-
本文采用文献[16]提出的显著区域检测算法对着陆地标进行检测，该算法计算量小，能一致凸显显著区域且有清晰的边界，还能得到全分辨率的显著图，克服了以往大多数方法得到的显著图分辨率不高的问题。
首先需要对输入图像进行滤波操作，为了减少计算量，用DoG滤波器近似LoG滤波器作为带通滤波器，有：
$$\begin{array}{l} {\rm{DoG}}(x,y) = \frac{1}{{2{\rm{\pi }}}}\left[ {\frac{1}{{\sigma _1^2}}{{\rm{e}}^{ - \frac{{({x^2} + {y^2})}}{{2\sigma _1^2}}}} - \frac{1}{{\sigma _2^2}}{{\rm{e}}^{ - \frac{{({x^2} + {y^2})}}{{2\sigma _2^2}}}}} \right]{\rm{ = }}\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;G(x,y,{\sigma _1}) - G(x,y,{\sigma _2}) \end{array}$$ (1) 式中，${\sigma _1}$和${\sigma _2}$是高斯函数的标准差，且${\sigma _1} > {\sigma _2}$。
定义${\omega _{{\rm{lc}}}}$和${\omega _{{\rm{hc}}}}$分别为低频阈值和高频阈值。为了突出显著目标，需要考虑原始图像中的低频，即${\omega _{{\rm{lc}}}}$须非常低，这也利于一致突出显著区域。为了得到清晰的目标边界，则需要保留原始图像中的高频，即${\omega _{{\rm{hc}}}}$须很高。为了避免噪声、纹理图案、块效应等的影响，最高的频率被舍去。由于${\sigma _1} > {\sigma _2}$，${\omega _{{\rm{lc}}}}$由${\sigma _1}$决定，而${\omega _{{\rm{hc}}}}$由${\sigma _2}$决定。将${\sigma _1}$设为无限大以保证${\sigma _1}$与${\sigma _2}$有很大的比值，再令。
对于一幅宽为W高为H的原始图像I，计算其显著图，有：
$$S(x,y) = \left| {{I_{\rm{\mu }}} - {I_{{\omega _{{\rm{hc}}}}}}(x,y)} \right|$$ (2) 式中，${I_{\rm{\mu }}}$是图像像素的算术平均值；${I_{{\omega _{{\rm{hc}}}}}}$是对原始图像进行高斯模糊以消除精细的纹理细节以及噪声和编码效应后的图像。为了利用颜色与亮度特征，将式(2)扩展为：
$$S(x,y) = \left\| {{\mathit{\boldsymbol{I}}_\mu } - {\mathit{\boldsymbol{I}}_{{\omega _{{\rm{hc}}}}}}(x,y)} \right\|$$ (3) 其中，是图像在Lab颜色空间的平均颜色特征向量；是高斯模糊后的图像中对应的特征向量。在Lab颜色空间中，每个像素都是一个${[L,a,b]^{\rm{T}}}$向量，${L_2}$范数就是像素的欧式距离。
利用上述显著性检测算法对地标进行检测，结果如图 2所示。从检测结果可以看到，该算法能一致凸显地标区域，且很好地保存了地标的边缘信息。
图 2 显著性检测结果
在检测到地标后，提取地标中的直线以得到其与基准坐标的夹角。直线检测采用Hough算法，调整参数后，将提取到的两条直线合并为一条直线，结果如图 3所示。从图中可以看到，Hough直线提取算法准确地提取到了需要的直线信息。
图 3 直线检测
上述得到的检测结果只是理论条件下的情况，考虑到在实际着陆过程中，地标所处的环境会受到周围环境的干扰，让地标处于复杂背景干扰的着陆点环境下，再对摄像机获取到的图像进行相关检测，检测结果如图 4所示。
图 4 复杂背景下的处理过程及结果
将地标置于复杂的草地背景下，拍摄得到的图像如图 4a所示，显著性检测结果如图 4b所示，图 4c是对图 4b进行阈值处理的结果，最后再利用Hough算法提取到直线，如图 4d所示。通过效果图可以看到，当地标处于复杂的背景下，有多种杂物和颜色的干扰，显著性检测算法也能成功地将地标检测出来，突出地标区域，抑制背景区域。再对其进行阈值化处理，以将背景分割出来，并进一步突出目标区域，最后Hough算法成功提取所需要的直线。
-
位姿估计是导航系统在接收到传感器采集的降落区域相关数据后，利用位姿估计算法求出无人机相对于降落区的位姿参数，包括无人机的三维坐标、偏航角、俯仰角和滚动角。俯仰角β为机体轴与着陆地点所在平面的夹角；偏航角α为机体轴在着陆平面上的投影与跑道所在直线方向的夹角；滚动角γ也称为倾斜角，是机体轴纵平面与铅垂面之间的夹角。为了保证无人机自主着陆的准确性与安全性，得到精确、有效的位姿信息至关重要。根据计算位姿参数所依据的主导思想，可将目前常用的位姿估计方法分为3大类：基于投影关系的方法、基于几何关系的方法和基于统计模式识别的方法[17]。
本文有如下假设：1)无人机自身的晃动忽略不计；2)机载摄像头保持固定，且其光轴与无人直升机轴线处于同一平面；3)地标大小满足降落要求。
在完成地标检测与直线提取后，图像的基准坐标固定，基准方向与提取到的直线夹角即为偏航角。世界坐标系与无人机机体坐标系及偏航角、俯仰角和滚动角的关系图如图 5所示。其中，XYZ表示无人机坐标系，xyz表示世界坐标系，${u_x}O{u_y}$表示图像坐标系。
图 5 世界坐标系与无人机机体坐标系
根据摄像机的小孔成像模型，图像坐标系与世界坐标系有如下转换关系：
$$s \cdot {\mathit{\boldsymbol{m}}_{3 \times 1}} = {\mathit{\boldsymbol{A}}_{3 \times 3}}[\begin{array}{*{20}{c}} \mathit{\boldsymbol{R}}&\mathit{\boldsymbol{t}} \end{array}]{\mathit{\boldsymbol{M}}_{4 \times 1}}$$ (4) 其中，s是比例参数；A是摄像机标度矩阵(内部参数)；t表示世界坐标系的原点在摄像机坐标系的位置坐标；R为欧几里德常数矩阵，是一个正交旋转变换矩阵；m是图像坐标系坐标；M是世界坐标系坐标。将式(4)扩展为：
$$\begin{array}{*{20}{l}} {\;\;\;s\left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{f_x}}&{ - {f_x}\cot \phi }&{{c_x}}\\ 0&{{f_y}/\sin \phi }&{{c_y}}\\ 0&0&1 \end{array}} \right][\begin{array}{*{20}{c}} \mathit{\boldsymbol{R}}&\mathit{\boldsymbol{t}} \end{array}]\left[ {\begin{array}{*{20}{c}} x\\ y\\ z\\ 1 \end{array}} \right] = }\\ {\left[ {\begin{array}{*{20}{c}} {{f_x}}&{ - {f_x}\cot \phi }&{{c_x}}\\ 0&{{f_y}/\sin \phi }&{{c_y}}\\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{r_{11}}}&{{r_{12}}}&{{r_{13}}}&{{t_x}}\\ {{r_{21}}}&{{r_{22}}}&{{r_{23}}}&{{t_y}}\\ {{r_{31}}}&{{r_{32}}}&{{r_{33}}}&{{t_z}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} x\\ y\\ z\\ 1 \end{array}} \right]} \end{array}$$ (5) 式中，$\phi $是图像坐标系x轴与y轴之间的夹角；cx和cy是投影平面坐标中心的位移大小，即图 5中点O1的坐标；fx和fy表示摄像机的两个焦距参数，其大小以像素为单位。欧几里得常数矩阵可表示为：
$$\left\{ \begin{array}{l} {r_{11}} = \cos \alpha \sin \beta \sin \gamma - \sin \alpha \cos \gamma \\ {r_{12}} = \sin \alpha \sin \beta \sin \gamma + \cos \alpha \cos \gamma \\ {r_{13}} = \cos \beta \sin \gamma \\ {r_{21}} = \cos \alpha \sin \beta \cos \gamma + \sin \alpha \sin \gamma \\ {r_{22}} = \sin \alpha \sin \beta \sin \gamma - \cos \alpha \sin \gamma \\ {r_{23}} = \cos \beta \cos \gamma \\ {r_{31}} = \cos \alpha \cos \beta \\ {r_{32}} = \sin \alpha \cos \beta \\ {r_{33}} = - \sin \beta \end{array} \right.$$ (6) 对于空间中任意一点Pi，其在世界坐标系下的齐次坐标表示为，在图像坐标系下的齐次坐标为，可将两个坐标带入式(5)进行计算。由式(5)可知，比例参数s可为：
$${s_i} = [\begin{array}{*{20}{c}} 0&0&1 \end{array}][\begin{array}{*{20}{c}} \mathit{\boldsymbol{R}}&\mathit{\boldsymbol{t}} \end{array}]{[\begin{array}{*{20}{c}} {{x_{w,i}}}&{{y_{w,i}}}&{{z_{w,i}}}&1 \end{array}]^{\rm{T}}}$$ (7) 再将其带入式(5)可得：
$$\left[ {\begin{array}{*{20}{c}} {{u_i}}\\ {{v_i}}\\ 1 \end{array}} \right][\begin{array}{*{20}{c}} 0&0&1 \end{array}][\begin{array}{*{20}{c}} \mathit{\boldsymbol{R}}&\mathit{\boldsymbol{t}} \end{array}]\left[ {\begin{array}{*{20}{c}} {{x_{w,i}}}\\ {{y_{w,i}}}\\ {{z_{w,i}}}\\ 1 \end{array}} \right] = \mathit{\boldsymbol{A}}[\begin{array}{*{20}{c}} \mathit{\boldsymbol{R}}&\mathit{\boldsymbol{t}} \end{array}]\left[ {\begin{array}{*{20}{c}} {{x_{w,i}}}\\ {{y_{w,i}}}\\ {{z_{w,i}}}\\ 1 \end{array}} \right]$$ (8) 通过求解式(8)即可求得无人机的位姿参数。当考虑到无人机自身的降落控制系统可将俯仰角和滚动角都调整为零时，欧几里德常数矩阵可表示为：
$$\mathit{\boldsymbol{R}} = \left[ {\begin{array}{*{20}{c}} { - \sin \alpha }&{\cos \alpha }&0\\ 0&0&1\\ {\cos \alpha }&{\sin \alpha }&0 \end{array}} \right]$$ (9) 将世界坐标系表示成极坐标的形式，地标上两个半圆的半径分别为r1、r2(r1>r2)，有：
$$\left[ {\begin{array}{*{20}{c}} {{x_{w,i}}}\\ {{y_{w,i}}}\\ {{z_{w,i}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{r_i}\cos \alpha }\\ {{r_i}\sin \alpha }\\ {{z_{w,i}}} \end{array}} \right]$$ (10) 通过式(10)的坐标系转换关系可以发现，计算需要的参数大大减少。在利用前文提取得到的偏航角大小后，只需要求出地标参考中心到无人机在地面投影点的半径大小和无人机的高度即可得到无人机的位姿参数，计算过程得到了极大的简化。计算得到偏航角所需的时间与精确度是一个关键的步骤，下面将对其进行实验验证。
-
本文对设计的地标进行了实验验证，采用1 300万摄像头对地标进行采样，进行仿真的计算机的内存大小为2 GB，CPU处理频率为2.5 GHz。实际采集到的地标图像如图 5所示，本文计算无人机的偏航角并与真实数据进行比对，对比数据如表 1所示。
表 1 实验对比数据
实验序号 真实数据/(°) 测量结果/(°) 处理时间/s 误差/(°) 1 45.2 44.8 0.018 0.4 2 67.1 67.0 0.021 0.1 3 89.9 89.7 0.015 0.2 4 30.0 30.5 0.029 0.5 5 18.5 18.3 0.023 0.2 本文实验有5组对比数据，其中最大误差为0.5°，平均误差为0.3°。5组实验的最大处理时间为0.029 s, 平均处理时间为0.021 s，处理速度约为48帧/s，能满足实时性的要求。对大量实际采集的地标图像进行检测的结果表明，地标的检测成功率为100%，直线提取成功率大于95%。综上可知，在只考虑偏航角的情况下，本文提出的地标检测与位姿估计算法能很好地完成预期目标。
Novel Landmark Design of Autonomous Landing in Unmanned Aerial Vehicle
-
摘要: 在基于计算机视觉的无人机自主着陆过程中，地标的设计与检测以及无人机位姿估计是其中的关键问题。该文提出了一种基于极坐标变换的无人机位姿估计算法，并设计了新型的着陆地标。首先，充分利用极坐标所需参数少、计算简单的优点，将极坐标变换运用到位姿估计算法中，由此设计了半圆环形状的着陆地标；其次，利用显著性检测算法对地标进行检测，并利用Hough算法提取所检测到的地标中的直线；最后，实验结果表明该算法准确快速，且适用于复杂背景的情况，该地标在无人机自主着陆中是可行的。Abstract: The design and detection of landmark and unmanned aerial vehicle (UAV) pose estimation are key points in the process of UAV autonomous landing based on computer vision. This paper proposes a pose estimation algorithm based on polar coordinates transform and designs a new landmark. Firstly, the polar coordinates transform is applied to the pose estimation algorithm for its related parameters are few and low computational complexity, then a landmark with hemi-toroidal shape is designed. Secondly, the saliency detection algorithm is used to detect the landmark, which is accurate, fast and robust to clutter background. Then the Hough transform algorithm is used to extract the lines of the detected landmark. Lastly, the experimental results show that the landmark is feasible in the process of UAV autonomous landing.
-
Key words:
- autonomous landing /
- landmark /
- polar coordinates /
- unmanned aerial vehicle
-
表 1 实验对比数据
实验序号 真实数据/(°) 测量结果/(°) 处理时间/s 误差/(°) 1 45.2 44.8 0.018 0.4 2 67.1 67.0 0.021 0.1 3 89.9 89.7 0.015 0.2 4 30.0 30.5 0.029 0.5 5 18.5 18.3 0.023 0.2 
下载: 导出CSV
-
[1] SARIPALLI S, MONTGOMERT J F, SUKHATME G S. Vision-based autonomous landing of an unmanned aerial vehicle[C]//Proceedings of the 2002 IEEE International Conference on Robotics & Automation. Washington DC, USA:IEEE, 2002. [2] 张广军, 周富强.基于双圆特征的无人机着陆位置姿态视觉测量方法[J].航空学报, 2005, 26(3):344-348. http://www.cnki.com.cn/Article/CJFDTOTAL-HKXB200503017.htm ZHANG Guang-jun, ZHOU FU-qiang. Position and orientation estimation method for landing of unmanned aerial vehicle with two circle based computer vision[J]. Acta Aeronautica et Astronautica Sinica, 2005, 26(3):344-348. http://www.cnki.com.cn/Article/CJFDTOTAL-HKXB200503017.htm [3] MERZ T, DURANTI S, CONTE G. Autonomous landing of an unmanned helicopter based on vision and inertial sensing[C]//The 9th International Symposium on Experimental Robotics Series. Berlin Heidelberg:Springer, 2006:343-352. [4] FENG Lin, CHEN B M, LEE T H. Vision aided motion estimation for unmanned helicopters in GPS denied environment[C]//IEEE Conference on Cybernetics and Intelligent Systems. Singapore:IEEE, 2010:64-69. [5] LANGE S, SUNDERHAUF N, PROTZEL P. A vision based onboard approach for landing and position control of an autonomous multirotor UAV in GPS-denied environments[C]//International Conference on Advanced Robotics. Munich:IEEE, 2009:1-6. [6] VERBANDT M, THEYS B, De SCHUTTER J. Robust marker-tracking system for vision-based autonomous landing of VTOL UAVs[C]//International Micro Air Vehicle Conference and Competition. Delf, Holland:Delft University of Technology, 2014:84-91. [7] CUI Xu, QIU Lian-kui, LIU Ming, et al. Stereo vision based relative pose and motion estimation for unmanned helicopter landing[C]//IEEE International Conference on Robotics and Automation. Shandong, China:IEEE, 2006:31-36 [8] ZENG Fu-cen, SHI Hai-qing, WANG Hong. The object recognition and adaptive threshold selection in the vision system for landing an unmanned aerial vehicle[C]//International Conference on Information and Automation. Zhuhai/Macau, China:IEEE, 2009:117-122. [9] YANG Fan, SHI Hai-qing, WANG Hong. A vision-based algorithm for landing unmanned aerial vehicles[C]//International Conference on Computer Science and Software Engineering.[S.l.]:IEEE, 2008:993-996. [10] LUO Ke-zheng, MIAO Huan-zhou, WANG Lang. Recognition algorithm of landmark for quadrotors aircraft based on image feature of corner points[C]//IEEEInternational Conference on Information and Automation. Lijiang, China:IEEE, 2015:1437-1440. [11] TSAI A, GIBBENS P, STONE R. Terminal phase vision-based target recognition and 3D pose estimation for a tail-sitter, vertical takeoff and landing unmanned air vehicle advances in image and video technology[J]. Advance in Image and Video Technology, 2006, 43(19):672-681. http://cn.bing.com/academic/profile?id=1580030775&encoded=0&v=paper_preview&mkt=zh-cn [12] XU Gui-li, ZHANG Yong, JI Sheng-yu, et al. Research on computer vision-based for UAV autonomous landing on a ship[J]. Pattern Recognition Letters, 2009, 30:600-605. doi: 10.1016/j.patrec.2008.12.011 [13] JAN I U, KHAN M. U, IQBAL N. Combined application of Kalman filtering and correlation towards autonomous helicopter landing[C]//2nd International Conference on Computer, Control and Communication. Karachi, Pakistan:IEEE, 2009:1-6. [14] BAGEN Wu-lan, HU Ji-zhong, XU Yuan-ming. A vision-based unmanned helicopter ship board landing system[C]//2nd Image and Signal Processing. Tianjing, China:IEEE, 2009:12-15. [15] JUNG Youe-yun, LEE Dong-jin, BANG Hyo-choong. Close-range vision navigation and guidance for rotary UAV autonomous landing[C]//IEEE International Conference on Automation Science and Engineering (CASE). Gothenburg, Sweden:IEEE, 2015:342-347. [16] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Miami, FL, USA:IEEE, 2009:1597-1604. [17] 任沁源, 李平, 韩波.基于视觉信息的微型无人直升机位姿估计[J].浙江大学学报(工学版), 2009, 43(1):18-22. http://www.cnki.com.cn/Article/CJFDTOTAL-ZDZC200901005.htm REN Qin-yuan, LI Ping, HAN Bo. Vision-based mini unmanned helicopter pose and position estimation[J]. Journal of Zhejiang University (Engineering Science), 2009, 43(1):18-22. http://www.cnki.com.cn/Article/CJFDTOTAL-ZDZC200901005.htm -
点击查看大图
图(5) / 表(1)
计量
- 文章访问数: 4299
- HTML全文浏览量: 1217
- PDF下载量: 208
- 被引次数: 0
