高光谱图像LSTM分类《Spatial Sequential Recurrent Neural Network for Hyperspectral Image Classification》
空间序列递归神经网络用于高光谱图像分类
本文基于2018年发表于期刊Journal of Selected Topics in Applied Earth Observations and Remote Sensing上的论文“Spatial Sequential Recurrent Neural Network for Hyperspectral Image Classification”
- 背景
近年来，由于高光谱数据的独特性质以及所包含的海量信息，对于高光谱图像的分析与处理已经成为遥感影像研究领域的热点之一，而其中的高光谱图像分类任务又对地质勘探、农作物检测、国防军事等领域起着实质性的重要作用，值得更加深入的研究。然而高光谱图像分类任务中，数据特征的获取和学习一直是研究的重点与难点，如何提取充分有效的特征直接影响到分类结果的好坏。
- 问题描述
高光谱图像一般可以看作具有两个空间维度和一个光谱维的三维数据立方体，其中蕴含着丰富的信息。通常高光谱数据具有波段多，波段宽度窄；光谱分辨率高的特点，但同时也有着特征维度高的缺点。
地物分类主要目标是对图像中的地物进行分类，通常方法是利用图像中的先验信息如少量有标准类标的训练样本等，学习分辨出高光谱图像中其他像素对应的地物类别。要想得到好的分类效果，表示性高、判别性好的特征是必不可少的，甚至可以说，特征工程对高光谱图像起着至关重要的作用。本文也是从这一点出发的。
- 方法动机
目前出现的几种深度学习做高光谱图像分类的方法并没有对高光谱图像的局部空间邻域信息进行充分的探索，有的只是对局部空间窗口中像素简单的拼接，而且他们都没有考虑局部空间中不同像素对分类的影响。例如对于局部区域的像素，有的像素与中心像素所属类别相同，他们的特征对于分类结果其实是有负面影响的，即同一块局部区域不同的像素对于分类结果的影响不同，而且低层的特征只是简单的利用光谱特征，这样的低层特征没有很好的表示性，包含的信息量不足。
- 方法介绍
针对上述的问题，文中提出一种基于非局部空间序列递归神经网络的高光谱图像分类方法，受到深度学习领域中的RNN框架的启发，构建整合低层特征，并利用递归神经网络独有的时序连接结构，提取高光谱图像的局部空间高层语义特征，用于分类任务。
局部空间序列特征：为了解决局部空间对分类效果影响不同的问题，文章提出了一种构建局部空间序列特征（Local Spatial Sequential, LSS）的方法，可以有效地探索局部空间区域内像素之间的关系，加强“好”像素的积极作用，同时减少“坏”像素的恶劣影响，从而提升分类效果。对于中心像素的一个邻近像素，他们越相似，对于中心像素正确分类的帮助就越大越好。相反越不相似则越“坏”。具体来说，对于一个像素和它的局部空间区域，按照每个像素的重要性程度进行排序。重要的像素被设置为第一个时间步长的输入特征，最不重要的像素被设置为最后的时间步长的输入。重要性的判断依据就是局部空间像素与中心像素点的相似性高低，越相似就越重要。这样就得到了LSS特征。
在LSS特征的基础上，文章提出的NLSS-RNN模型，大致思想为首先提取高光谱图像的传统特征作为低层特征，根据样本之间的相似度，构建训练样本和测试样本的非局部特征，具体方法是全局寻找与样本最相似的非局部像素，并提取每个非局部像素的局部空间特征（LSS），共同组合为原样本的非局部序列特征（Local and Non-local Spatial Sequential, NLSS）然后用训练样本的NLSS和标准类标训练RNN网络，并用训练好的RNN网络完成对测试样本的分类任务。NLSS-RNN模型的结构图如图1：
图 1 非局部序列递归神经网络（NLSS-RNN）
- 实验结果
- 分类结果分析
通过对三组不同高光谱数据集进行实验，验证了所提出的NLSS-RNN模型的有效性。各个算法实验的分类结果同样采用整体分类正确率（OA）、平均分类正确率（AA）和Kappa系数分类指标进行评价。
分类结果图通过固定训练和测试样本的位置，用不同方法分类得到。从三个数据集可以看到NLSS-RNN模型除了保留LSS-RNN模型的各种优秀特性之外，NLSS-RNN模型的NLSS特征相比LSS-RNN的LSS特征更能充分利用全局相似样本之间的特性，而非局限于某一样本的局部空间区域，最终的分类图在平坦的区域更加准确且平滑，如白色矩形区域所示。表格中的分类正确率也证明了上述的结论，NLSS-RNN模型的OA、AA和Kappa系数相比于LSS-RNN获得了全面的提升，而且都为各种对比算法中的最好结果。
图 2 Indian Pines 数据集分类结果图：(a) 训练样本；(b) 测试样本; (c) SVM; (d) SVM(Gabor-DMP); (e) SOMP; (f) SAE; (g) CNN; (h) LS-RNN; (i) LSS-RNN(Gabor); (j) LSS-RNN(DMP); (k) LSS-RNN; (l) NLSS-RNN.
表格 1 Indian Pines 数据集测试集分类正确率（%）
图 3 Pavia University 数据集分类结果图：(a) 训练样本; (b) 测试样本; (c) SVM; (d) SVM(Gabor-DMP); (e) SOMP; (f) SAE; (g) CNN; (h) LS-RNN; (i) LSS-RNN(Gabor); (j) LSS-RNN(DMP); (k) LSS-RNN; (l) NLSS-RNN.
表格 2 Pavia University 数据集测试集分类正确率（%）
图 4 Salinas数据集分类结果图：(a) 训练样本; (b) 测试样本; (c) SVM; (d) SVM(Gabor-DMP); (e) SOMP; (f) SAE; (g) CNN; (h) LS-RNN; (i) LSS-RNN(Gabor); (j) LSS-RNN(DMP); (k) LSS-RNN; (l) NLSS-RNN.
表格 3 Salinas数据集测试集分类正确率（%）
- 参数分析
文中同样研究了参数对于分类正确率的影响，主要包括局部区域窗口的大小以及训练样本的多少，非局部邻域数量和不同窗口大小对NLSS-RNN的影响。参数分析实验主要在Indian Pines和 Pavia University 两组数据集上进行。
图5分别选择1%，2%，5%，10%，15%，20%，25%和30%的训练样本比例，每个算法的正确率如图5所示，可以看到随着训练样本的增加，各个算法的分类正确率都得到了显著的提高，在小样本的情况下，LSS-RNN比其他算法的分类效果更好，当训练样本数量足够多时，各算法的正确率区域相同并稳定。
图6展示了采用不同特征的LSS-RNN模型在不同局部空间窗口大小的情况下，分类正确率的变化情况。明显可以看到，正确率并不是随着窗口的增大而一直提高，窗口大小在3到9之间时正确率逐渐增加，但再大的窗口反而会导致正确率的下降。
图7看出对于Indian Pines和 Pavia University数据集来说w=7的分类结果要普遍好于窗口大小为3或5的情况。而全局最相似样本点个数K一般在2或3处取得最好的分类效果，一味增大K值的话虽然可以包含更多的非局部样本点但是不仅增加了计算复杂度而且也会增大其他杂乱样本点对于NLSS特征的影响，分类正确率反而会降低。
图 5 训练样本比例对分类正确率的影响：(a) Indian Pines 数据集(b) Pavia University 数据集。
图 6 窗口大小对分类正确率的影响：(a) Indian Pines 数据集(b) Pavia University 数据集。
图 7 非局部邻域数量和不同窗口大小对NLSS-RNN的影响：(a) Indian Pines 数据集(b) Pavia University 数据集。
- 总结
文章提出的方法整合了纹理特征和形态学特征，引入了非局部特征的思想，通过在整幅图像上选取样本的最相似样本，同时构建每个相似样本的LSS特征，并将原始样本及其全局相似样本的特征共同组成的NLSS特征，既保留了LSS特征的优秀性质，又增加了特征包含的信息量，提高了分类正确率。在多组数据上的大量实验也验证了相比于LSS-RNN模型，NLSS-RNN模型可以取得更好的分类效果。