Fisher判别分析

将高维度空间的样本投影到低维空间上，使得投影后的样本数据在新的子空间上有最小的类内距离以及最大的类间距离，使得在该子空间上有最佳的可分离性

Fisher判别分析

可以看出右侧投影后具有更好的可分离性。

刚学完感觉两个很类似，实际上两个方法是从不同的角度来降维。

Fisher判别分析

PCA是找到方差尽可能大的维度，使得信息尽可能都保存，不考虑样本的可分离性，不具备预测功能。
LAD(线性判别分析) 是找到一个低维的空间，投影后，使得可分离性最佳，投影后可进行判别以及对新的样本进行预测。

Fisher判别详解
Fisher判别分析是要实现有最大的类间距离，以及最小的类内距离

1.LDA处理后的维度要小于类别数C，Sb的秩肯定小于等于C-1。
2.Sw矩阵不可逆情况很多，可以先用PCA处理成C-1维后再用LDA，效果挺好的
3.多分类情况下Sb用全局离散度矩阵减去类内离散度矩阵