留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于堆栈式稀疏自编码器的高光谱影像分类

戴晓爱 郭守恒 任淯 杨晓霞 刘汉湖

戴晓爱, 郭守恒, 任淯, 杨晓霞, 刘汉湖. 基于堆栈式稀疏自编码器的高光谱影像分类[J]. 电子科技大学学报, 2016, 45(3): 382-386. doi: 10.3969/j.issn.1001-0548.2016.02.012
引用本文: 戴晓爱, 郭守恒, 任淯, 杨晓霞, 刘汉湖. 基于堆栈式稀疏自编码器的高光谱影像分类[J]. 电子科技大学学报, 2016, 45(3): 382-386. doi: 10.3969/j.issn.1001-0548.2016.02.012
DAI Xiao-ai, GUO Shou-heng, REN Yu, YANG Xiao-xia, LIU Han-hu. Hyperspectral Remote Sensing Image Chassification Using the Stacked Sparse Autoencoder[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(3): 382-386. doi: 10.3969/j.issn.1001-0548.2016.02.012
Citation: DAI Xiao-ai, GUO Shou-heng, REN Yu, YANG Xiao-xia, LIU Han-hu. Hyperspectral Remote Sensing Image Chassification Using the Stacked Sparse Autoencoder[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(3): 382-386. doi: 10.3969/j.issn.1001-0548.2016.02.012

基于堆栈式稀疏自编码器的高光谱影像分类

doi: 10.3969/j.issn.1001-0548.2016.02.012
基金项目: 

国家自然科学基金 41201440,41071265,41102225

教育部高等学校博士学科点专项科研基金 20135122120009

四川省教育厅科研项目 15ZB0066

国土资源部地学空间信息技术重点实验室课题 KLGSIT2013-02

详细信息
    作者简介:

    戴晓爱(1979-),女,博士,副教授,主要从事遥感与GIS方面的研究

  • 中图分类号: TP751.1

Hyperspectral Remote Sensing Image Chassification Using the Stacked Sparse Autoencoder

图(4) / 表(3)
计量
  • 文章访问数:  6619
  • HTML全文浏览量:  1309
  • PDF下载量:  561
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-05-26
  • 修回日期:  2015-12-10
  • 刊出日期:  2016-05-01

基于堆栈式稀疏自编码器的高光谱影像分类

doi: 10.3969/j.issn.1001-0548.2016.02.012
    基金项目:

    国家自然科学基金 41201440,41071265,41102225

    教育部高等学校博士学科点专项科研基金 20135122120009

    四川省教育厅科研项目 15ZB0066

    国土资源部地学空间信息技术重点实验室课题 KLGSIT2013-02

    作者简介:

    戴晓爱(1979-),女,博士,副教授,主要从事遥感与GIS方面的研究

  • 中图分类号: TP751.1

摘要: 为挖掘高光谱影像数据的内在光谱特征,该文基于深度学习理论,引用堆栈式稀疏自编码器构建原始数据的深层特征表达。首先通过稀疏自编码器,得到原始数据的稀疏特征表达。其次通过逐层学习稀疏自编码器构建深度神经网,输出原始数据的深度特征。最后将其连接到支持向量机分类器,完成模型的精调。实验结果分析表明:基于堆栈式稀疏自编码器的最优分类模型,总体精度可达87.82%,优于实验中的其他方法,证明了深度学习方法在高光谱影像处理中具有良好的分类性能。

English Abstract

戴晓爱, 郭守恒, 任淯, 杨晓霞, 刘汉湖. 基于堆栈式稀疏自编码器的高光谱影像分类[J]. 电子科技大学学报, 2016, 45(3): 382-386. doi: 10.3969/j.issn.1001-0548.2016.02.012
引用本文: 戴晓爱, 郭守恒, 任淯, 杨晓霞, 刘汉湖. 基于堆栈式稀疏自编码器的高光谱影像分类[J]. 电子科技大学学报, 2016, 45(3): 382-386. doi: 10.3969/j.issn.1001-0548.2016.02.012
DAI Xiao-ai, GUO Shou-heng, REN Yu, YANG Xiao-xia, LIU Han-hu. Hyperspectral Remote Sensing Image Chassification Using the Stacked Sparse Autoencoder[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(3): 382-386. doi: 10.3969/j.issn.1001-0548.2016.02.012
Citation: DAI Xiao-ai, GUO Shou-heng, REN Yu, YANG Xiao-xia, LIU Han-hu. Hyperspectral Remote Sensing Image Chassification Using the Stacked Sparse Autoencoder[J]. Journal of University of Electronic Science and Technology of China, 2016, 45(3): 382-386. doi: 10.3969/j.issn.1001-0548.2016.02.012
  • 高光谱影像分类是高光谱影像处理中的重要环节,由于Hughes现象[1]的影响,在不进行降维处理的情况下传统分类算法很难在高光谱影像分类中取得理想结果[2]。支持向量机(SVM)算法[3]能够较好地解决Hughes现象,近年来在高光谱影像分类中得到了广泛应用[4]。但其直接通过原始像元来进行分类,由于影像获取过程中,传感器和成像条件等因素的影响,使同类像元在原始特征空间中具有不稳定性,导致分类精度降低。通过深度学习(deep learning,DL)算法,可提取原始像元的深度特征,使其具有更好的鲁棒性[5]

    深度学习模型由多层非线性运算单元组成,较低层的输出作为更高层的输入,最终学习到的特征表达中包含输入数据的许多结构信息,实现了对数据的抽象表达,从而提升分类的准确性[6]

    本文利用深度学习理论中的堆栈式自编码器(stacked autoencoder,SAE)模型[7]对高光谱影像像元进行非监督的特征学习,学习到的深度特征用于支持向量机分类器的学习。在自编码器模型中加入稀疏表示[8]的限定条件,以提高模型的泛化能力与分类精度。通过调整参数得到基于堆栈式稀疏自编码器(stacked sparse autoencoder,SSAE)的最优分类模型,与传统方法进行比较,证明了其分类精度更优。

    • 自编码器由一个三层前馈神经网构成。通过解码器重构特征与原始特征之间近似的优化条件来进行非监督训练,使未标记样本能用于训练,解决了高维数据分类时,需要大量标记训练样本的困难。稀疏自编码器是在编码过程中加入稀疏表示的限制条件。

      算法步骤如下:

      1) 原始数据 $x \in {R^{{n_1}}}$ (n1为输入层神经元数),通过线性函数和激活函数f(·),映射到隐含层得编码结果 $x \in {R^{{n_2}}}$ (n2为隐含层神经元数),有:

      $$X = f({W_1}x + {B_1}) = \frac{1}{{1 + \exp [ - ({W_1}x + {B_1})]}}$$ (1)

      通过同样的过程将X映射到重构层得 $Z \notin {R^{{n_1}}}$ ,有:

      $$Z = f({W_2}X + {B_2})$$ (2)

      式中,X为原始数据的特征表达;W1W2B1B2分别为输入层到隐含层、隐含层到重构层的权重及偏移系数。

      2) 调整W1W2B1B2使xZ之间近似,并加入稀疏表示的限制条件,有数学表达式:

      $${\rho _i}\underline{\underline \Delta } \frac{1}{N}\sum\limits_{K = 1}^N {{X_j}(K)} = \rho $$ (3)

      式中,N为样本数据个数;ρiN个数据的第j个分量中非零元素占比;ρ为可设定的超参数。

      得到损失函数为:

      $$\eqalign{ & J({W_1},{B_1},{W_2},{B_2}) = \frac{1}{N}\sum\limits_{K = 1}^N {{{\left\| {Z(K) - x(K)} \right\|}^2}} + \cr & \lambda (\left\| {{W_1}} \right\|_F^2 + \left\| {{W_2}} \right\|_F^2) + \mu \sum\limits_{j = 1}^{{n_2}} {KL(\rho \left\| {{\rho _i}} \right.)} \cr} $$ (4)
      $$KL(\rho \left\| {{\rho _i}} \right.) = \rho \log \frac{\rho }{{{\rho _i}}} + (1 - \rho )\log \frac{{1 - \rho }}{{1 - {\rho _i}}}$$ (5)

      式中, $\left\| {{W_1}} \right\|_F^2 + \left\| {{W_2}} \right\|_F^2$ 为正则项; $\sum\limits_{j = 1}^{{n_2}} {KL(\rho \left\| {{\rho _i}} \right.)} $ 为稀疏惩罚项;λm为正则项和稀疏惩罚项权重系数。

      文献[8]提出稀疏编码特征学习算法,证明了其特征表达更优,且可降低系数矩阵的复杂度。

      3) 通过迭代算法优化损失函数对训练参数W1W2B1B2进行更新,直至算法收敛,可得训练参数和编码结果为:

      $$\eqalign{ & \frac{\partial }{{\partial {W^k}}}J(W,B) = \cr & \left[ {\frac{1}{N}\sum\limits_{k = 1}^N {\frac{\partial }{{\partial {W^k}}}J(W,B,Z(k),x(k))} } \right] + 2\lambda {W^k} \cr} $$ (6)
      $$\frac{\partial }{{\partial {B^k}}}J(W,B) = \frac{1}{N}\sum\limits_{k = 1}^N {\frac{\partial }{{\partial {B^k}}}} J(W,B,Z(k),x(k))$$ (7)
      $${W^k} = {W^k} - \alpha \frac{\partial }{{\partial {W^k}}}J(W,B)$$ (8)
      $${B^k} = {B^k} - \alpha \frac{\partial }{{\partial {B^k}}}J(W,B)$$ (9)

      式中,x(k)、Z(k)为第k个原始数据和重构数据;α表示学习率。

    • 堆栈式稀疏自编码器是由若干稀疏自编码器结构单元组成的深度神经网,模型技术流程如图1所示。随着稀疏自编码器层数的增加,学习得到原始数据的特征表达更抽象。

      图  1  模型技术流程

    • 采用挪威NEO公司Hyspex成像光谱仪以地面成像方式在选定试验区获取影像数据进行模型性能的测试,光谱范围为400~1 000 nm,谱段数为108,大小为350x450,试验区内地物具有较好代表性,适于进行本文实验验证。

    • 用Hyspex成像光谱仪辐射定标模块中的校准函数进行辐射校正,通过平场域法反演像元的相对反射率。采用随机选取感兴趣区得到训练样本与测试样本,选取全部108个波段数据,样本共7类,具体选取如表1所示。

      表 1  试验区样本数据

      类别标签 类别名称 训练样本数 测试样本数 总计
      0 331 120 451
      1 苏铁 324 108 432
      2 小叶女贞 220 78 298
      3 岩浆岩 270 163 433
      4 花岗岩 211 124 335
      5 钢铝板(汽车) 143 86 229
      6 玻璃(汽车) 90 60 150
    • 由于深度学习模型中超参数调节较复杂,本文实验根据文献[9]给出的超参数选取意见,设定隐含层平均活动神经元参数ρ为0.05,正则项权重λ为3×10-3,稀疏惩罚项权重μ为3,迭代次数为400。文献[10]比较了不同支持向量机核函数在高光谱分类中的精度,得出径向基核函数效果最好。采用网络搜寻法[11]选取径向基核函数的参数σ为0.01,惩罚参数为100。实验分析中讨论隐含层神经元数,隐含层层数对分类精度的影响。

    • 当隐含层神经元数过少时,可导致特征表达能力不足。反之,又可导致过拟合[12]。由于原始数据维数为108,选取隐含层神经元数{50,100,150,200,250}。采用单层稀疏自编码器连接支持向量机,重复进行40次实验,分类总体精度如图2a所示,盒内横线表示总体精度的平均值,盒子的边缘是第25和第75百分数位,盒须表示最小点和最大点。训练时间如图2b所示,圆点表示平均值,竖线表示标准差。故隐含层神经元数为150时,分类精度最高。训练时间随隐含层神经元数增多明显增加,且由于深度神经网参数多,训练时间长。

      图  2  不同隐含层神经元数分类总体精度和训练时间比较

    • 当层数增加时,能得到更抽象的特征,但层数过多又易使模型陷入过拟合[13]。由上节得,取隐含层神经元数为150,为降低参数调整复杂度,不同隐含层神经元数保持一致,设隐含层层数{1,2,3,4,5}。重复进行40次实验,分类总体精度如图3a所示,训练时间如图3b所示。故当隐含层神经元数为150,隐含层层数为3时,得到最优分类模型,分类精度最高达87.82%,训练时间保持在4 min左右。

      图  3  不同隐含层层数分类总体精度和训练时间比较

    • 将基于堆栈式稀疏自编码器的最优分类模型与3种模型进行比较分析。3种模型分别为:支持向量机,最小噪音分离(minimum noise fraction,MNF)降维后连接支持向量机,主成分分析(principal component analysis,PCA)降维后连接支持向量机。选取最小噪音分离与主成分分析提取特征数为4,支持向量机参数同上节。分别进行40次实验,取最优结果。4种模型比较分析如表2所示,得SSAE-SVM模型分类精度最高且测试时间最短。

      表 2  4种分类模型的比较分析

      分类模型 SVM MNF-SVM PCA-SVM SSAE-SVM
      总体精度/% 82.68 78.39 74.81 87.82
      Kappa系数 0.80 0.76 0.71 0.85
      测试时间/s 2.61 0.63 0.94 0.37
    • 为验证SSAE-SVM模型性能,在上节比较总体精度(全部测试样本中被正确分类的样本数与总样本数的比值)的基础上,选取SVM模型与之进一步比较分析。给出两种模型下每类地物的分类精度,即制图精度(单类地物中被正确分类的样本数与单类地物中总样本数的比值),如表3所示。

      表 3  两种分类模型的不同地物制图精度

      类别名称 SVM制图精度/% SSAE-SVM制图精度/%
      94.17 96.67
      苏铁 81.48 89.81
      小叶女贞 75.64 87.18
      岩浆岩 87.73 92.64
      花岗岩 67.74 68.55
      钢铝板(汽车) 86.04 89.53
      玻璃(汽车) 83.33 91.67

      总体精度与制图精度转换关系为:根据各类地物测试样本数将制图精度进行加权平均可得总体精度。进行整幅影像分类,如图4b图4c所示。

      图  4  试验区原始影像图和分类效果图

      由此可得,直接使用SVM时,小叶女贞易被错分为草和苏铁,苏铁易被错分为花岗岩,分析得由于光照大气等因素的影响,错分处地物光谱曲线与标准曲线存在偏差,且小叶女贞和草及苏铁和岩浆岩光谱曲线具有相似性,故造成错分。通过SSAE-SVM首先提取原始像元的抽象表达,得到像元的深度结构信息,这种深度特征使地物类间可分性增强。各类地物分类精度比较及效果图说明,SSAE-SVM分类模型使分类精度提高,尤其苏铁和小叶女贞分类精度明显提高,地物的总体分类效果得到改进。

    • 本文以Hyspex成像光谱仪影像数据为例,引入深度学习理论,采用一种基于堆栈式稀疏自编码器的分类模型对影像进行分类。得出以下主要结论:

      1) 在隐含层神经元数为50~250,隐含层层数为1~5的区间内进行实验测试其对分类精度的的影响,得出当隐含层神经元数为150,隐含层层数为3时分类精度最佳,表明两种参数设置过大或过小均会对分类精度产生影响。

      2) 利用堆栈式稀疏自编码器提取的深度特征来进行分类与直接使用原始特征相比可将分类精度由82.68%提高到87.82%,同时深度特征明显优于传统的MNF和PCA等方法提取的特征。

      3) 由于深度学习模型参数调整复杂,选取不当可使模型陷入局部最小或过拟合,影响分类结果。因此下一步需对参数调整方法进行深入研究。同时考虑获取更广泛的影像数据来验证模型的普适性及拓展深度学习理论在高光谱遥感领域中的应用。

      本文的研究工作得到了成都理工大学骨干教师培养计划(DG0002)的资助,在此表示感谢!

参考文献 (13)

目录

    /

    返回文章
    返回