feature extraction之 理解 LDA和PCA 的区别

降维的必要性

1.多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。

2.高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有0.02%。

3.过多的变量会妨碍查找规律的建立。

4.仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能落入仅反映数据某一方面特征的一个组内。

降维的原理

所谓降维，就是把原始数据投影到一个新的低维空间。低维空间的坐标方向是以“方差最大化”原则从原始特征空间中转换而来的。

PCA不考虑数据的label；

LDA考虑数据的label，即“投影后类内方差最小，类间方差最大”。

对比PCA和LDA（在SKLearn中都有现成工具包）