道路作为一种重要的基础设施，在城镇建设、交通运输和军事应用等领域都扮演着重要的角色。随着高分辨率遥感数据的大量投入使用，如何快速、准确地从遥感图像中提取道路信息引起了众多国内外学者的关注。在提取方法上，目前较为成熟的是半自动提取方法，然而，海量的遥感图像数据和复杂的地表信息，使得采用人机交互提取道路信息的方法，不但效率低下、不及时和不准确，而且会导致决策延误。因此，一种稳定高效的全自动道路提取方法无论是在军事上，还是GIS数据更新上都具有重大的意义。目前，道路周边的环境也会对低等级道路信息的提取造成干扰，因此如何去除干扰道路信息提取的噪声也是亟待解决的技术难题之一。深度学习理论和技术的成熟使得图像信息提取的效果和效率大幅度提高，以深度学习为背景的图像处理技术，如图像分类^[1-2]、语义分割^[3]、全连接网络^[4-5]等都是当前研究的热点。

文献[6]采用卷积神经网络(convolutional neural network, CNN)自适应提取特征点的分层卷积特征，进行影像的配准。文献[7]引入深度信念网络对高分辨率遥感影像进行分类操作，使得分类的总体准确率和Kappa系数最高。文献[8]通过卷积神经网络实现了对探测目标的实时监测。文献[9]利用深度卷积神经网络对包含道路的图片进行训练，但此方法需要人工选取种子点，因此只能达到半自动提取道路信息的目标。文献[10]采用32*32切片的方法处理遥感图片，利用3层卷积层+1层全链接层的深度学习模型判别道路像素，但此方法依然需要人工参与。各种类型的深度学习方法和海量数据的应用大幅度提升了图像信息提取的效果和效率^[11]，也被广泛应用于遥感其他领域，如光谱分类^[12]、特征选择^[13]等。

生成对抗网络(generative adversarial networks, GANs)的出现和成熟，使得图像处理的精度在深度学习领域得到了进一步的提升^[14-16]。生成对抗网络的核心思想是用神经网络来指导神经网络，彼此之间通过相互学习和对抗达成一种纳什均衡的状态。本文设计一种基于生成对抗网络的无人机图像道路信息提取模型，通过交替训练生成对抗网络中的生成器和判别器，同时提高生成网络与判别网络的表现能力，从而提升基于遥感图像的道路信息提取精度。实验中采取将生成网络的生成结果作为应用中的语义分割结果，并通过形态学去噪提高精度，从而实现从无人机(unmanned aerials vehicle, UAV)图像中自动提取低等级道路的科学目标。

1.   数据和方法

1.1   技术方案

TensorFlow是谷歌公司基于DistBelief研发的第二代人工智能学习系统^[17]，在深度学习领域获得了广泛的应用。本文基于TensorFlow构建生成对抗网络来实现道路信息提取的技术路线如图 1所示。

图  1  无人机图像道路提取技术路线

下载: 全尺寸图片 幻灯片

图 1中的网络模型架构如图 2所示。

图  2  对抗生成网络架构

下载: 全尺寸图片 幻灯片

1) 生成网络

生成网络用U-Net网络^[18]，它是一个编码-解码对称结构的端到端训练学习的图像分割网络。该网络输入为原始图像，通过卷积层、池化层和激活层来学习目标对象的特征信息，进而通过反卷积操作扩大特征图像，使得输出分割结果图像与原始图像大小一样。

2) 判别网络

判别网络采用卷积神经网络，网络结构如图 3所示。

图  3  判别网络结构图

下载: 全尺寸图片 幻灯片

它以图像作为输入参数并产生一个类标签。当输入参数来自真实标签时，期望输出数是1；当输入参数来自生成网络时，期望输出为0。

1.2   标签制作

通过对无人机遥感图像进行预处理，对拍摄过程中的俯仰、翻滚和偏航模式进行图像校正^[18]，继而进行标签制作。首先在图片上标注道路所在的区域，根据标注软件设计的分类类型，在整个闭合区域内进行所有道路信息的标注(如图 4a所示)。在确认图片上已经没有道路的相关区域后便继续标注其余类型的区域，直到处理过的遥感图像上所有分类类型都得到对应的标注，完成标注工作。图 4b对所有的训练图片包括道路、建筑、农田、荒地、植被以及河流区域都进行了标注。

图  4  图像分类标注图

下载: 全尺寸图片 幻灯片

1.3   制作数据集

对于卷积神经网络模型的训练，训练数据越多，模型表现能力越强，在实际应用中效果越理想。本次的制作的样本仅1 000多张，无法满足网络训练的需求。根据神经网络识别特点，旋转和裁切的图片都可以作为新的样本输入网络进行训练。本研究通过图片裁切和旋转的手段获得了20 000张图片作为数据集，基本能够满足训练网络模型的样本数据需求。在训练过程中，网络模型需要不断读取原始图像和对应的标签图像进行训练，在实践中发现，读取大量小文件的速度比读取相同大小的一个大文件的速度要慢很多，因此将这些数目庞大的原始图像和对应的标签图像制作为一个tfrecords格式数据集。该格式是TensorFlow提供的输入数据的统一格式。

1.4   网络训练

本文提出的基于生成对抗网络的无人机影像道路信息提取方法，通过输入样本数据进行训练，使得生成对抗网络中的生成网络与判别网络达到平衡。此种情况下由生成网络生成的假图与真实标签图像差异很小，以至于判别网络无法判别其输入的图像是来自于标签图像还是由生成网络生成的假图。最终将平衡状态下的模型参数固化，采用生成网络的生成结果作为最后的分割结果即提取的道路区域图像进行输出。

算法流程如下：

1) 获取训练数据

将处理后的无人机遥感图像裁剪成n×n大小的一系列遥感图像，然后制作标记出道路区域的标签图像，将各遥感图像及其对应的标签图像作为训练数据。

2) 构建生成网络

在生成网络中，对于n×n大小的RGB遥感图像，通过一个端到端训练的图像分割网络，经过卷积与反卷积操作，得到大小为n×n的概率特征图。

3) 构建判别网络

① 将训练数据中n×n大小的遥感图像输入到步骤2)构建的生成网络中，得到输出特征图，将输出特征图与n×n大小的遥感图像分别经过一次卷积操作，将卷积得到的特征图连接起来作为判别网络的输入，通过判别网络后得到一个介于0~1之间的输出，判别网络将此输入当做是假图像的输入，此时判别网络的期望输出为0，判别网络输出与此时的期望输出相减得到误差；

② 将训练数据中n×n大小的遥感图像及其对应的标签图像分别经过一次卷积操作，然后将卷积得到的特征图连接起来作为判别网络的输入，通过判别网络后得到一个介于0~1之间的输出，判别网络将此输入作为真实图像的输入，此时判别网络的期望输出为1，判别网络输出与此时的期望输出相减得到误差。

4) 更新参数

将步骤3)得到的误差反向传播，更新生成网络和判别网络参数。

5) 网络训练

步骤1)得到的训练数据中的所有遥感图像以及各自对应的标签图像，经过步骤2)、3)，对生成网络进行训练，使生成对抗网络中的生成网络与判别网络达到一个平衡状态，生成网络产生的输出特征图即假图与标签图像差异很小，以至于判别网络也判别不了其输入的图像是来自于标签图像还是来自于生成网络所产生的输出特征图。

6) 提取信息

抽取外于平衡状态下的生成对抗网络中的生成网络，固化网络参数，把裁剪成n×n大小的一系列UAV图像输入生成网络，把输出生成特征图作为分割结果，最终获得提取的道路信息区域图像。

7) 形态学处理

对提取的道路信息区域图像进行形态学去噪处理来增强道路显示效果。

2.   结果与讨论

2.1   训练结果

在对抗网络中，给定N个训练图像X的数据集和相应的标签映射Y，用损失函数来度量网络预测输出结果的概率分布和真实标签分布的差异，将损失函数定义为：

式中，${\theta _g}$和${\theta _d}$分别代表生成网络和判别网络的参数；$s({x_n})$表示输入图像${x_n}$得到的概率特征图；${l_{{\rm{mec}}}}$表示多类交叉熵；${l_{{\rm{bec}}}}$表示二类交叉熵。

通过一定的训练，损失函数输出结果如图 5所示，可以看到，随着迭代次数的增加，与真实标签图像差异的损失值越来越小，表明整个生成对抗网络模型处于收敛状态。

图  5  损失函数值

下载: 全尺寸图片 幻灯片

2.2   规则道路信息提取结果与分析

图 6为本研究采用包含规则平直道路的无人机图像进行道路信息提取的结果。

图  6  规则道路提取结果

下载: 全尺寸图片 幻灯片

图 6a为经过处理的无人机遥感图像，从图中可以看出生长旺盛的植被和平直延伸的道路，但是可以看到路面上有植被及阴影对道路的遮蔽。图 6a中道路旁边的高大树木对最左侧道路的遮蔽非常严重，图 6b为制作的道路信息标签，从图 6c提取结果中也能发现右侧和中间两条道路提取效果良好，但左侧道路信息提取受到很大影响，图 6d为经过形态学处理的道路信息提取效果，对这种遮蔽严重的情况，信息提取效果有待提升。图 6a②中只有一条道路，旁边的高大树木的阴影在图中清晰可见，但是对道路的遮蔽影响不大，对比提取道路的基本信息与图像标签，可以发现图像上散落的白点意味着旁边裸露的地表造成图像分割效果的精度不高，通过形态学处理去除噪声之后，效果比较理想。图 6a③中虽然路边植被相对较少，但提取结果也受到了噪声的影响，这种情境利用形态学去噪效果较好。对比3张原图和提取效果，利用生成对抗网络可以实现对规则道路信息的提取，道路的干扰越多，提取效果受到的影响越大，通过形态学去噪，可以较好地提高道路信息提取精度，基本满足输入图像获取结果的设计目的。

2.3   曲折道路信息提取结果与分析

图 7为曲折道路的原图和提取效果图。图 7a为经过处理的无人机遥感图像，其中图②，③都是根据无人机拍摄的一幅图像分别进行裁剪和旋转后得到的原始输入图像。从图 7中可以发现道路在茂密的树木间蜿蜒徘徊，可以看到3张原图都有电线通过，在提取结果中也能看到有电线的信息输出。图 7b为是根据道路信息所做的标签，能清晰地表示道路的面积和方向。

图  7  不规则道路提取结果

下载: 全尺寸图片 幻灯片

从图 7a中可以看到由于拍摄角度而导致植被遮挡整个路面的情况，以及道路旁边大块的裸露土地，从提取结果中也可以看到植被和裸露土地对提取结果的影响。从图 7d中发现利用形态学去除斑点较大的裸露地块，效果不甚理想。图 7a②中道路曲折度比较大，只有一条道路，旁边靠近图中央的转折地带有建筑物，针对与建筑物相连的道路信息提取，反射率类似的状况导致在提取结果中道路与建筑物难以区分，而形态学去噪对于较大的斑点效果一般。在图 7a③中靠近中央转折处的建筑物与道路提取信息连为一体。树木遮挡导致的道路中断现象在图中也很明显。在图 7c③中可以发现，相同图形旋转之后进行道路信息提取时，植被对道路的遮挡造成的影响有很大差异，导致提取结果中道路信息缺失状况有很大变化，图 7c③的形态学去噪结果表明依然难以去除较大的白色斑块。提取结果存在噪声是因为在网络训练和提取过程中，卷积网络和反卷积网络的信息抽象和提取中存在差异。

2.4   结果讨论

本文在搭建平台、选择网络、改进算法、训练样本之后，进行了输入无人机遥感图像自动获取道路信息的实验。本研究选择规则的平直道路和不规则曲折道路进行道路信息的提取结果分析。对比两类图像发现，平直道路提取效果明显好于曲折道路，形态学处理对规则道路的去噪效果也要强于曲折道路。另外，高大植被的阴影和对道路的遮挡都会造成道路信息提取的干扰，而临近道路的建筑物由于反射率与道路相近似，会在道路信息提取图中与道路连成一体，难以区分。另外裸露土地会造成图像上出现大量白色斑块，说明网络训练时需要提高分割精度。后续实验时，需要对图像细节进行处理，利用生成网络细化分类信息，去除道路附近植被、建筑物、裸露土壤和天空中的电线对道路信息提取的干扰，提高自动提取道路信息的精度。

3.   结束语

本文基于TensorFlow平台搭建深度学习网络模型，通过研究卷积神经网络及其算法，选取了生成对抗网络进行低等级道路信息自动提取的研究和实验。通过图像处理、标签制作、网络架构设计、网络训练、参数固化、结果输出和形态学处理等步骤，构建了自动提取低等级道路信息的深度学习模型。本研究构建的生成对抗网络，通过生成网络和判别网络的网络对抗，有效提升了道路信息提取的效果和效率。通过图像中规则道路和曲折道路提取结果的对比分析，发现本模型对于规则道路提取效果较好，对于不规则道路提取效果有待提升。通过对校正的无人机遥感图像裁切原图和特征学习后的道路提取信息输出的对比，发现道路信息提取效果基本可以满足低等级道路信息自动提取的研究目标。针对道路周边环境如植被和建筑物对提取效果的影响，后续会增加图像多尺度融合的算法，实现剔除植被、建筑物和裸露土地对道路信息提取的干扰，进一步提高自动提取道路信息的精度。