Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明

Fisher线性判别中散度矩阵的表现形式可以改写,类内散度：

\begin{aligned} S_{w} & = \sum_{i = 1}^{c} \sum_{j : y_{j} = i} (x_{j} - μ_{i}) (x_{j} - μ_{i})^{T} \\ = \frac{1}{2} \sum_{i, j} A_{i j}^{(w)} (x_{i} - x_{j}) (x_{i} - x_{j})^{T} \end{aligned}

其中，

μ_{i} = \frac{1}{n_{i}} \sum_{j : y_{j} = i} x_{j}

A_{i j}^{(w)} = {\begin{aligned} \frac{1}{n_{k}}, & if y_{i} = y_{j} = k \\ 0, & if y_{i} \neq y_{j} \end{aligned}

而类间散度为：

\begin{aligned} S_{b} & = \sum_{i = 1}^{c} n_{i} (μ_{i} - μ) (μ_{i} - μ))^{T} \\ = \frac{1}{2} \sum_{i, j}^{n} A_{i j}^{(b)} (x_{i} - x_{j}) (x_{i} - x_{j})^{T} \end{aligned}

其中，

μ = \frac{1}{n} \sum_{i = 1}^{n} x_{j}

A_{i j}^{(b)} = {\begin{aligned} \frac{1}{n} - \frac{1}{n_{k}}, & if y_{i} = y_{j} = k \\ \frac{1}{n}, & if y_{i} \neq y_{j} \end{aligned}

证明过程如下。
首先证明类内散度

S_{w}

：

而对于另一种表达：

因此，有公式（1）和（2）可知，两者相等，那么类内散度矩阵

S_{w}

的改写得证！
接下来证明类内散度矩阵：

Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明

而对于另一种表达：

而公式（4）的前半部分为：

Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明

而公式（4）的后半部分为：

Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明

那么，根据公式（3）（5）（6）则有

Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明

那么，根据公式（3）（7）可知，两公式相等，也即得证。
而在论文M. Sugiyama, Local Fisher Discriminant Analysis for Supervised Dimensionality Reduction, ICML, 2006也对这个问题进行了阐述和证明。在该论文中，是直接由通常的一般式推导至改写式，证明过程为：

Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明

证明中同样用到了

x_{i} 和 x_{j}

的等价性。

Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明

相关推荐