PCA理解——复习篇
复习到特征工程,联想到了PCA,就小结一下:
1、核心:PCA的思想是基于最大方差理论(某一维方差越大代表了包含了原始数据的绝大部分信息,这也可以从信息论的角度理解,信息熵),将n维特征映射到k维上(k<n),这k维是全新的正交特征。注意:这k维特征称为主成分,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征。
2、数学上的推导:
补充:
复习到特征工程,联想到了PCA,就小结一下:
1、核心:PCA的思想是基于最大方差理论(某一维方差越大代表了包含了原始数据的绝大部分信息,这也可以从信息论的角度理解,信息熵),将n维特征映射到k维上(k<n),这k维是全新的正交特征。注意:这k维特征称为主成分,是重新构造出来的k维特征,而不是简单地从n维特征中去除其余n-k维特征。
2、数学上的推导:
补充: