Robust De-noising by Kernel PCA

Takahashi T, Kurita T. Robust De-noising by Kernel PCA[C]. international conference on artificial neural networks, 2002: 739-744.

引

这篇文章是基于对Kernel PCA and De-Noisingin Feature Spaces的一个改进。

针对高斯核：
$k(x,y) = \exp (-\|x-y\|^2/c)$k(x,y)=exp(−∥x−y∥2/c)
我们希望最小化下式（以找到$x$x的一个近似的原像):
$\rho(z) = \|\Phi(z) - P_H \Phi(x)\|^2$ρ(z)=∥Φ(z)−PH​Φ(x)∥2
获得了一个迭代公式：
$z(t) = \frac{\sum_{i=1}^N w_i k(x_i, z(t-1))x_i}{\sum_{i=1}^N w_i k(x_i, z(t-1))}$z(t)=∑i=1N​wi​k(xi​,z(t−1))∑i=1N​wi​k(xi​,z(t−1))xi​​
其中$w_i=\sum_{h=1}^Hy_h u_i^h$wi​=∑h=1H​yh​uih​,$u$u通过求解kernel PCA获得（通常是用$\alpha$α表示的）,$z(0)=x$z(0)=x。

主要内容

虽然我们可以通过撇去小特征值对应的方向，但是这对于去噪并不足够。Kernel PCA and De-Noisingin Feature Spaces中所提到的方法，也就是上面的那个迭代的公式，也没有很好地解决这个问题。既然$\{y_h\}${yh​}并没有改变——也就是说，我们可能一直在试图用带噪声的数据去恢复一个不带噪声的数据。

所以，作者论文，在迭代更新过程中，$y_h$yh​也应该进行更新。

这样，每一步我们都可以看作是在寻找：
$\|\Phi(z)-P_H\Phi(\widetilde{x}(t)\|$∥Φ(z)−PH​Φ(x(t)∥
的最小值。
从$(10)$(10)可以发现，除非$\widetilde{x}(t)=z(t-1)$x(t)=z(t−1)是$x$x的一个比较好的估计，否则，通过这种方式很有可能会失败（这里的失败定义为，最后的结果与$x$x差距甚远)。这种情况我估计是很容易发生的。所以，作者提出了一种新的，更新$\widetilde{x}(t)$x(t)的公式：

其中$B(t)$B(t)为确定度，是一个$M \times M$M×M的矩阵，定义为：
$B(t) = diag(\beta_1(t), \ldots, \beta_M(t)) \\ \beta_j(t) = \exp (-(x_j - z_j (t-1))^2/2\sigma_j^2)$B(t)=diag(β1​(t),…,βM​(t))βj​(t)=exp(−(xj​−zj​(t−1))2/2σj2​)
对角线元素，反映了$x_j$xj​和$z_j(t-1)$zj​(t−1)的差距，如果二者差距不大，说明$P_H(x)$PH​(x)和$x$x的差距不大，$x$x不是异常值点，所以，结果和$x$x的差距也不会太大，否则$x$x会被判定为一个异常值点，自然$z$z应该和$x$x的差别大一点。

$\sigma_j$σj​的估计是根据另一篇论文来的，这里只给出估计的公式：

$\mathrm{med}(x)$med(x)表示$x$x的中位数，$\varepsilon_{ij}$εij​表示第$i$i个训练样本第$j$j个分量与其重构之间平方误差。话说，这个重构如何获得呢？