论文阅读：Scalable One-Pass Self-Representation Learning for Hyperspectral Band Selection
Scalable One-Pass Self-Representation Learning for Hyperspectral Band Selection
本文主要干了三件事：
1、首先利用权值向量v对t时刻不同样本的重构误差进行线性组合。
2、基于图的正则化矩阵tS，用于从保持局部流形结构的角度检查所选波段的代表性。
3、使用缓存矢量q去捕获样本矩阵之间的一致性并执行频带选择。
创新点：
1、设计了缓存矢量，因此可以保留样本子集之间的连续性。提出了一种有效的算法来求解非凸和非光滑的SOP-SRL模型。
2、提出了一种可扩展的SRL，为每个样本的损失函数分配适当的权重，以强调样本中的差异。 此外，还添加了基于图的正则化项，以通过测量由选定频段构建的样本之间的局部相似性来增强频段的代表性。
SRL With Band Selection
对于给定的样本矩阵X, SRL将每个频带表示为其他频带(包括自身)的线性组合
其中变量W∈Rb×b和E∈Rn×b分别是表示系数和残差矩阵。 矩阵E的第i行代表训练样本Xi的重构误差（RE）。 为了避免在模型（3）中获得明显解（可理解为齐次线性方程, 总是有零解w≡0.基本是这个意思）（例如W = I和E = 0），必须对W进行正则化。因此，SRL的正式定义可以表示为：
第一项是损失函数，如最小二乘或平方损失函数，以最小化RE。第二项是避免常规解和引导带选择的正则化项。低秩约束和行稀疏约束是两种常见的正则化项。通过交叉验证确定的正参数τ用于实现第一项和第二项之间的平衡。
波段选择可以使用各种损失函数和正则化项的组合来实现。与平方损失函数相比，最小平方损失函数对异常值具有较好的鲁棒性。此外，当增加主要检查波段之间关系的低秩约束时，需要增加聚类，如[31][33]中所做的那样，增加了计算复杂度，使波段选择模型陷入麻烦。因此，由最小二乘损失函数和行稀疏约束组成的带自动选择的鲁棒自表示(RSR)模型可以表示为
根据定义（2），W 2,1在理论上可以使矩阵W的某些行的值变为零。 Wi 2 = 0表示第i个频段在重建过程中被放弃。 相反，Wi 2的值越大，选择第i个频段的可能性就越大。 因此，Wi 2可以被认为是第i波段的分数。 在求解变量W之后，RSR模型选择得分较高的波段。公式（5）可以用收敛的迭代加权算法来求解。
提炼：SRL就是对样本集用最小二乘损失函数和行稀疏约束进行处理，以此去进行波段选择，选择分数最大的波段作为特征。所谓的“self-representation”，暂且理解为：每个频带表示为其他频带(包括自身)的线性组合
Graph-Based Regularization
基于图的正则化的目的是编码样本之间的局部流形结构。换句话说，如果两个样本相似，那么它们对应的表示也应该相似。具体来说，对于给定的样本集X，令G =（V，E; S）包含有n个顶点的信标，其中V和E分别代表顶点集和边集。 每个顶点对应一个样本。 相似度矩阵S∈Rn×n定义了图G的结构，通常使用热核函数计算图G的结构，如下所示：
其中K（Xi）是顶点Xi的k个近邻（KNN）的集合，而σ是内核参数。 如果Sij = 0，则第i个顶点和第j个顶点通过与权重Sij关联的边连接。因此，通过优化以下目标，可以保持顶点间局部流形结构:
其中，投影矩阵W用于获得新的表示，而WTXi是顶点Xi的表示。 公式（7）表明，第i个样本和第j个样本之间的相似度Sij越高，则它们的对应表示越相似。 因此，定义图G的结构的相似度矩阵S在保留局部流形结构中起着关键作用。
提炼：基于图的正则化的目的是编码样本之间的局部流形结构
METHODOLOGY
图1显示了我们提出的频带选择模型SOP-SRL的流程图，该模型用于处理具有不完整频带的动态样本。在我们的方法中，**缓存矢量q∈Rb用于记录所有频段的分数。 元素的值越大，选择相应波段的可能性就越大。 当在时间t处具有不完整频带的样本矩阵X∈Rbt×nt t可用时，我们首先从对应于X可用频带的缓存向量q中获得子向量q∈Rbt。然后，提出了一个具有行稀疏约束的可伸缩SRL来获得X对应的系数矩阵W。此外，添加了一个由数据本身驱动的基于图的正则项，以增强所选频段的代表性。**同时，考虑到X的第i个波段可以通过Wi 2进行测量，我们通过最小化Wi 2和qi之间的差距来达到捕获当前样本与历史样本之间一致性的目的。随后，矩阵W用于更新高速缓存矢量q中X的可用频带的分数。 当时间点的样本矩阵X可用时，重复上述过程。最后，在对所有可用样本矩阵进行一次扫描之后，使用向量q进行波段选择。
A. Formulation
我们从一个可伸缩的SRL开始，然后扩展它来处理带不完整带的动态数据集。然后，添加一个新的基于图的正则化项来得到最终的sopl - srl模型。
由模型(4)不难发现，传统的SRL模型在最小化RE时没有区别地考虑所有样本的贡献，由于高光谱像素[42]的复杂性，高质量和低质量样本应该区别对待。更合理的做法是根据每个样品的质量来分配适当的权重。当选择损失函数作为评价样本质量的准则时，一个可伸缩的SRL模型可以表示为:
其中W（·）是分配权重的函数，W（Li）表示与第i个样本关联的权重，Ω表示这些权重应满足的一组约束（例如，非负数）。正参数τ1是用来保持第一项和第二项之间的平衡。模型(8)是对传统SRL的扩展，增加了W(·)函数。W(Li)的值应该随着Li的值的变化而变化。换句话说，分辨率越小的样本被认为是高质量的，因此应该有更大的权重。
类似于RSR模型（5），分别采用最小二乘损失函数和行稀疏范数来最小化RE和执行频带选择。 因此，对于在时间t到达的样本矩阵X，可以将特定且可扩展的SRL模型表示为：
xt对应的系数矩阵wt,vt依赖于RE的权重向量，r是调整权重分布的参数。我们将详细说明每个样本的权重如何随对应的RE变化。与RSR模型(5)相比，目标(9)被定义为基于回归的损失函数的自适应线性组合。因此，它可以量化不同样本的贡献更微妙的方式波段选择。
但在模型(9)中，对不同时间的样本矩阵分别进行处理，不能有效地度量这些样本之间的一致性，导致历史信息的丢失。因此，我们提出一个假设，即带的重要性是连续的，以解决这个问题。换句话说，如果一个频带很重要，那么它在不同时间的样本矩阵中同样重要。基于此假设，我们设计了一个具有记忆功能的缓存向量q Rb来记录所有频带的得分。在这个向量中，元素的值越大，选择相应波段的概率越大。
与公式（5）相似，对于时间t的样本矩阵X，可用带的得分可以通过模型（9）中系数矩阵wt的行的l2-范数来计算。因此，我们检查系数矩阵和缓存向量q之间的关系，以捕获不同时间样本矩阵之间的一致性。为了方便起见，我们假设缓存向量q在一次处理样本之前记录了大量的历史频带。当样本矩阵X可用时，我们首先从对应于X可用频带的缓存向量q中获得子向量q。因此，子向量q反映了当前可用频带的历史分数。 然后，基于带的重要性是连续的上述假设，我们提出了一种新颖的正则项，
以在优化矩阵W时利用历史信息.W和q分别表示X和历史样本中当前第i波段的分数。因此，在t时刻，基于SRL的可扩展的一次频带选择学习模型可以表示为。
其中，τ2为正参数。 公式（11）在求解与x相关的系数矩阵w时考虑了当前和历史信息. 我们用矩阵w的行的l2-范数值更新向量q中与x的可用带相对应的那些元素的值. 这样，我们在缓存向量中记录了样本矩阵X所反映的频带的分数. 当t + 1时刻的样本矩阵X可用时，重用更新缓存向量的式(11)。注意，在这个过程中只涉及到几个波段。因此，模型(11)适用于带不完全的本。
在模型(11)中，仅从RE的角度测量波段的代表性，可能会丢失当前样本的一些固有信息。使相似样本具有相似表示的局部流形结构就是这样一种信息。虽然利用模型(7)对HSIs[41]、[43]、[44]的特征提取来研究该结构较为常见，但对于高光谱波段选择的研究较少。因此，我们从保持局部流形结构的角度来研究波段的代表性。这项研究背后的想法是，如果选择的波段是有代表性的，那么由这些波段重建的相似样本的表示应该是相似的。在模型(7)中，需要预先确定图的结构并保持不变。因此，得到的图很容易被噪声破坏，可能不是最优的。合理的策略是在优化过程中**动态地调整图的结构以捕获其内在信息。**对于t时刻的样本矩阵t X，可以通过优化以下目标来实现上述目标:
其中υ是正则化参数，并且强制执行S以避免平凡的解决方案。与（6）相似，Sij表示在时间t的第i个样本和第j个样本之间的相似性，而K（Xi）是样本Xi的KNN集合。注意，参数υ不需要明确指定，并且可以通过满足第二约束条件来自动确定，这将在后面说明。
根据第II-C节，图的结构由样本之间的相似度矩阵定义。 因此，模型（12）具有通过更新变量S动态调整图结构的能力。另外，与模型(7)相比，模型(12)只涉及到参数k，结合(11)和(12)，可得sopl - srl的优化目标为
提炼：本节主要就是讲如何去处理不完整的动态样本，就是利用缓存向量q。然后说了一个新的图正则化。
B. Optimization
目标函数(16)是一个非凸非光滑模型，这是由三个原因造成的。首先，l2-1范数只是一个凸非光滑函数。第二，变量在第一项和第四项是耦合的。第三，变量v和S的约束是非凸的，开发了一种有效的替代迭代算法来求解该模型。
通过固定v和S更新W：使用固定的v和S，可以将与W有关的目标转换为无约束的优化，如下所示：
由于不能保证矩阵S是对称的，它对应的拉普拉斯矩阵不一定是半定的. 因此，新的对称矩阵S满足.