-
道路作为一种重要的基础设施,在城镇建设、交通运输和军事应用等领域都扮演着重要的角色。随着高分辨率遥感数据的大量投入使用,如何快速、准确地从遥感图像中提取道路信息引起了众多国内外学者的关注。在提取方法上,目前较为成熟的是半自动提取方法,然而,海量的遥感图像数据和复杂的地表信息,使得采用人机交互提取道路信息的方法,不但效率低下、不及时和不准确,而且会导致决策延误。因此,一种稳定高效的全自动道路提取方法无论是在军事上,还是GIS数据更新上都具有重大的意义。目前,道路周边的环境也会对低等级道路信息的提取造成干扰,因此如何去除干扰道路信息提取的噪声也是亟待解决的技术难题之一。深度学习理论和技术的成熟使得图像信息提取的效果和效率大幅度提高,以深度学习为背景的图像处理技术,如图像分类[1-2]、语义分割[3]、全连接网络[4-5]等都是当前研究的热点。
文献[6]采用卷积神经网络(convolutional neural network, CNN)自适应提取特征点的分层卷积特征,进行影像的配准。文献[7]引入深度信念网络对高分辨率遥感影像进行分类操作,使得分类的总体准确率和Kappa系数最高。文献[8]通过卷积神经网络实现了对探测目标的实时监测。文献[9]利用深度卷积神经网络对包含道路的图片进行训练,但此方法需要人工选取种子点,因此只能达到半自动提取道路信息的目标。文献[10]采用32*32切片的方法处理遥感图片,利用3层卷积层+1层全链接层的深度学习模型判别道路像素,但此方法依然需要人工参与。各种类型的深度学习方法和海量数据的应用大幅度提升了图像信息提取的效果和效率[11],也被广泛应用于遥感其他领域,如光谱分类[12]、特征选择[13]等。
生成对抗网络(generative adversarial networks, GANs)的出现和成熟,使得图像处理的精度在深度学习领域得到了进一步的提升[14-16]。生成对抗网络的核心思想是用神经网络来指导神经网络,彼此之间通过相互学习和对抗达成一种纳什均衡的状态。本文设计一种基于生成对抗网络的无人机图像道路信息提取模型,通过交替训练生成对抗网络中的生成器和判别器,同时提高生成网络与判别网络的表现能力,从而提升基于遥感图像的道路信息提取精度。实验中采取将生成网络的生成结果作为应用中的语义分割结果,并通过形态学去噪提高精度,从而实现从无人机(unmanned aerials vehicle, UAV)图像中自动提取低等级道路的科学目标。
-
在对抗网络中,给定N个训练图像X的数据集和相应的标签映射Y,用损失函数来度量网络预测输出结果的概率分布和真实标签分布的差异,将损失函数定义为:
$$ \begin{gathered} l({\theta _g}, {\theta _d}) = \sum\limits_{n = 1}^N {{l_{{\rm{mec}}}}} (s({x_n}), {y_n}) - \\ a[{l_{{\rm{bce}}}}(d({x_n}, {y_n}), 1) + {l_{{\rm{bce}}}}(d({x_n}, {\rm{s}}({x_n})), 0)] \\ \end{gathered} $$ (1) 式中,${\theta _g}$和${\theta _d}$分别代表生成网络和判别网络的参数;$s({x_n})$表示输入图像${x_n}$得到的概率特征图;${l_{{\rm{mec}}}}$表示多类交叉熵;${l_{{\rm{bec}}}}$表示二类交叉熵。
通过一定的训练,损失函数输出结果如图 5所示,可以看到,随着迭代次数的增加,与真实标签图像差异的损失值越来越小,表明整个生成对抗网络模型处于收敛状态。
-
图 6为本研究采用包含规则平直道路的无人机图像进行道路信息提取的结果。
图 6a为经过处理的无人机遥感图像,从图中可以看出生长旺盛的植被和平直延伸的道路,但是可以看到路面上有植被及阴影对道路的遮蔽。图 6a中道路旁边的高大树木对最左侧道路的遮蔽非常严重,图 6b为制作的道路信息标签,从图 6c提取结果中也能发现右侧和中间两条道路提取效果良好,但左侧道路信息提取受到很大影响,图 6d为经过形态学处理的道路信息提取效果,对这种遮蔽严重的情况,信息提取效果有待提升。图 6a②中只有一条道路,旁边的高大树木的阴影在图中清晰可见,但是对道路的遮蔽影响不大,对比提取道路的基本信息与图像标签,可以发现图像上散落的白点意味着旁边裸露的地表造成图像分割效果的精度不高,通过形态学处理去除噪声之后,效果比较理想。图 6a③中虽然路边植被相对较少,但提取结果也受到了噪声的影响,这种情境利用形态学去噪效果较好。对比3张原图和提取效果,利用生成对抗网络可以实现对规则道路信息的提取,道路的干扰越多,提取效果受到的影响越大,通过形态学去噪,可以较好地提高道路信息提取精度,基本满足输入图像获取结果的设计目的。
-
图 7为曲折道路的原图和提取效果图。图 7a为经过处理的无人机遥感图像,其中图②,③都是根据无人机拍摄的一幅图像分别进行裁剪和旋转后得到的原始输入图像。从图 7中可以发现道路在茂密的树木间蜿蜒徘徊,可以看到3张原图都有电线通过,在提取结果中也能看到有电线的信息输出。图 7b为是根据道路信息所做的标签,能清晰地表示道路的面积和方向。
从图 7a中可以看到由于拍摄角度而导致植被遮挡整个路面的情况,以及道路旁边大块的裸露土地,从提取结果中也可以看到植被和裸露土地对提取结果的影响。从图 7d中发现利用形态学去除斑点较大的裸露地块,效果不甚理想。图 7a②中道路曲折度比较大,只有一条道路,旁边靠近图中央的转折地带有建筑物,针对与建筑物相连的道路信息提取,反射率类似的状况导致在提取结果中道路与建筑物难以区分,而形态学去噪对于较大的斑点效果一般。在图 7a③中靠近中央转折处的建筑物与道路提取信息连为一体。树木遮挡导致的道路中断现象在图中也很明显。在图 7c③中可以发现,相同图形旋转之后进行道路信息提取时,植被对道路的遮挡造成的影响有很大差异,导致提取结果中道路信息缺失状况有很大变化,图 7c③的形态学去噪结果表明依然难以去除较大的白色斑块。提取结果存在噪声是因为在网络训练和提取过程中,卷积网络和反卷积网络的信息抽象和提取中存在差异。
-
本文在搭建平台、选择网络、改进算法、训练样本之后,进行了输入无人机遥感图像自动获取道路信息的实验。本研究选择规则的平直道路和不规则曲折道路进行道路信息的提取结果分析。对比两类图像发现,平直道路提取效果明显好于曲折道路,形态学处理对规则道路的去噪效果也要强于曲折道路。另外,高大植被的阴影和对道路的遮挡都会造成道路信息提取的干扰,而临近道路的建筑物由于反射率与道路相近似,会在道路信息提取图中与道路连成一体,难以区分。另外裸露土地会造成图像上出现大量白色斑块,说明网络训练时需要提高分割精度。后续实验时,需要对图像细节进行处理,利用生成网络细化分类信息,去除道路附近植被、建筑物、裸露土壤和天空中的电线对道路信息提取的干扰,提高自动提取道路信息的精度。
Road Extraction with UAV Images Based on Generative Adversarial Networks
-
摘要: 该文基于TensorFlow开发平台,搭建了生成对抗网络模型,通过无人机遥感图像预处理、道路标签制作、网络训练和算法改进,完成了道路特征信息的深度学习,固化了生成网络参数,实现了基于无人机图像的低等级道路信息自动提取的科学目标,并通过形态学处理进一步增强了道路的提取效果。通过分析不同特征道路提取的信息,证明了本方法对利用高分辨率无人机图像提取低等级道路信息具有较好的借鉴作用。Abstract: Focused on scientific goals of automatic extraction of low-grade road information from unmanned aerials vehicle (UAV) images, the paper proposes a method based on generative adversarial networks (GANs). First, GANs are built based on TensorFlow platform; second, the UAV images are preprocessed and the road information is tagged in such images; third, the road feature of UAV images is trained by GANs built in the research. Finally, the low-grade road information from UAV images can be extracted automatically. Comparison and verification show that the proposed method provide a reference for extraction of road information.
-
Key words:
- generative adversarial network /
- image processing /
- road extraction /
- UAV image
-
[1] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL].[2018-06-02]. https://arxiv.org/abs/1409.1556. [2] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[EB/OL].[2018-06-02]. https://arxiv.org/abs/1506.01497. [3] LONG J, SHELHAMER E, DARELL T. Fully convolutional networks for semantic segmentation[EB/OL].[2018-06-02]. https://arxiv.org/abs/1411.4038. [4] CHEN L, PAPANDREOU G, KOKKINOS I, et al. Deep Lab:Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018, 40:357-361. http://cn.bing.com/academic/profile?id=26330817f9adb93fab745cbcdab9f831&encoded=0&v=paper_preview&mkt=zh-cn [5] LONG J, SHELHAMER E, DARELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 99:640-651. http://d.old.wanfangdata.com.cn/Periodical/njydxyxb201804014 [6] 雒培磊, 李国庆, 曾怡.一种改进的基于深度学习的遥感影像拼接方法[J].计算机工程与应用, 2017, 53:180-186. http://d.old.wanfangdata.com.cn/Periodical/jsjgcyyy201720031 LUO Pei-lei, LI Guo-qing, ZENG Yi. Modified approach to remote sensing image mosaic based on deep learning[J]. Computer Engineering and Applications, 2017, 53:180-186. http://d.old.wanfangdata.com.cn/Periodical/jsjgcyyy201720031 [7] 韩洁, 李盛阳, 张涛.基于深度学习的遥感影像城市扩展方法研究[J].载人航天, 2017, 23:414-418. doi: 10.3969/j.issn.1674-5825.2017.03.021 HAN Jie, LI Sheng-yang, ZHANG Tao. Research on urban expansion method based on deep learning of remote sensing image[J]. Manned Spaceflight 2017, 23(3):414-418. doi: 10.3969/j.issn.1674-5825.2017.03.021 [8] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[EB/OL].[2018-06-02]. https://arxiv.org/abs/1512.03385. [9] WANG J, SONG J, CHEN M, et al. Road network extraction:A neural-dynamic framework based on deep learning and a finite state machine[J]. International Journal of Remote Sensing, 2015, 36(12):3144-3169. doi: 10.1080/01431161.2015.1054049 [10] LI P, ZANG Y, WANG C, et al. Road network extraction via deep learning and line integral convolution[C]//IEEE 2016 International Geoscience and Remote Sensing Symposium. Beijing: IEEE, 2016: 1599-1602. https://ieeexplore.ieee.org/document/7729408 [11] GARCIA A, ORTS-ESCOLANO S, OPERA S. A review on deep learning techniques applied to semantic segmentation[EB/OL].[2018-06-02]. https://arxiv.org/abs/1704.06857. [12] CHENG G, YANG C, YAO X, et al. When deep learning meets metric learning:Remote sensing image scene classification via learning discriminative CNNs[J]. IEEE Transactions on Geoscience & Remote Sensing, 2018, 99:1-11. https://ieeexplore.ieee.org/document/8252784 [13] ZOU Q, NI L, ZHANG T, et al. Deep learning based feature selection for remote sensing scene classification[J]. IEEE Geoscience & Remote Sensing Letters, 2015, 12(11):2321-2325. http://cn.bing.com/academic/profile?id=0bad7c9d8921e69332ed14a43789d20a&encoded=0&v=paper_preview&mkt=zh-cn [14] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[J]. Advances in Neural Information Processing Systems, 2014, 27:2672-2680. http://d.old.wanfangdata.com.cn/Periodical/hwyhmb201804009 [15] MAKHZARI A, GOODFELLOW I, JAITLY J, et al. Adversarial autoencoders[EB/OL].[2018-06-02]. https://arxiv.org/abs/1511.05644. [16] LUC P, COUPRIE C, CHINTALA S, et al. Semantic segmentation using adversarial networks[EB/OL].[2018-06-02]. https://arxiv.org/abs/1611.08408v1. [17] ABADI M, AGARWAL A, BARHAM P, et al. TensorFlow: Large-scale machine learning on heterogeneous systems[EB/OL].[2018-06-02]. http://tensorflow.org/Softwareavailablefromtensorflow.org. [18] RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2015: 234-241. [19] LI Y, HE L, PENG B, et al. Geometric correction algorithm of UAV remote sensing image for the emergency disaster[C]//IEEE International Geoscience and Remote Sensing Symposium. Beijing: IEEE, 2018: 6691-6694. https://ieeexplore.ieee.org/document/7730747