题目:Joint Spatial–Spectral Attention Network for
Hyperspectral Image Classification

作者：Lei Li, Jihao Yin , Senior Member , IEEE, Xiuping Jia, Senior Member , IEEE,Sen Li, and Bingnan Han

期刊:IEEE GEOSCIENCE AND REMOTE SENSING LETTERS

一、提出问题

1.如何更有效的充分利用空-谱信息？
（1）有使用3-D卷积神经网络去进行空谱特征提取
（2）有突出双路深度卷积网络提取联合空谱特征
（3）也有提出新颖的贝叶斯卷积神经网络

总结为两个方面问题：
1.高光谱图像的光谱波段对于需要分类任务来说贡献不均等
2.我们需要对想要的地物特征进行分类，从而忽略到背景类

二、本文解决的关键问题

寻找一个方法可以让卷积网络的在进行空谱特征提取的时候自适应的去选择目标地物和有包含大量信息量的光谱带。

三、作者提出的模型

概述：联合空谱注意力机制网络(JSSAN),能够很好的去模拟空间土地覆盖和光谱波段之间的长期相互依赖的关系。与此同时，将具有区分性的空谱特征选择性的聚合在一起，生成attention mask。然后，将注意力合并到特征图中，帮助卷积层突出和增强目标土地覆盖和信息波段的特征，以提取更具代表性的特征。

四、模块分析

A.Spatial-Spectral Attention Block
提出一个S2A的block来实现生成attention-mask。S2A的结构如上图的FIG3所示，主要划分成三个分支：spital attention branch,spectral attention branch、attention distribution branch

（1）Spatial Attention Branch
主要用来获取土地覆盖在空间域中复杂的长期相互依存关系。使用两个11的卷积核将输入特征X(HW*C)转换成光谱嵌入，用嵌入高斯函数计算任意两个位置的空间相似度得分sij，由于输入为两路，其中一路做了转置操作，两路相乘得到空域上相似得分，进而所有的相似得分结合起来形成空间的相似矩阵，可以量化土地覆盖物在空间的相互依赖的关系。

（2）Spectral Attention Branch
采用两个33 depth-wise卷积将输入的X转换成空间嵌入，和Spatial Block 相似，我们矩阵乘法和softmax**函数计算最后的光谱相似矩阵，可以量化土地覆盖物在光谱的相互依赖的关系。
（3）Attention Distribution Branch：
为了生成attention mask，最后的操作是自适应的将上述两种相似矩阵分配到所有的位置和谱带中去，因此采用了33卷积将输入的X转化成空间-光谱嵌入
B. Joint Spatial-Spectral Attention Network

将注意力机制和残差网络结合起来，如上图所示，三个attention进行元素相加，最终通过全局池化和全连接进行输出

这是以上网络的参数结构图。

五、实验结果

创新点

1.将注意力机制和残差网络相结合，让网络自适应去提取需要分类的区域，进而忽视了图像背景等无用的部分，降低了噪声的干扰。
2.创造性的提出了S2A block可以去捕捉获取土地覆盖物和光谱波段的长期关系，并选择性的聚合可分辨的空间-光谱特征，这种S2A block嵌入到CNN网络结构中使得CNN网络能够提取到更多代表性特征，提高分类的准确率。