多元统计分析------------主成成分分析

支持向量机:投到高维的

利用相关性,有冗余降维

利用特征抽取

主要思想:

将原始变量做线性加权形成 少数几个无关的综合变量,

反应变量的大部分信息,当地一个线性组合不能提取更多的信息时,再考虑第二个线性组合·····

这些线性组合成为主成分。

  1. 使用方差描述信息,方差越大,越好

 总体的主成分:

 有几个随机变量有几个主成分

公式:

第一主成分:

方差越大,含有的信息量越多

最大化第一各组合变量的方差

协方差=0线性不相关

在上述条件下求解线性组合:第二主成分

多元统计分析------------主成成分分析

信息量:

 越离谱,提供的信号量越多,度量信息不稳定的程度。

因子载荷,把样本分开:fisher,用了标签信息

主成分析,没有用样本信息,标签信息,用了几何分布信息,越乱信息越多,只是降维而已,