浙大机器学习课程-15-特征选择与特征提取
特征提取:PCA(主成分分析)1947
特征选择:AdaBoost(自适应提升算法)1995
特征提取
特征选择
特征提取是构造一个函数,把N个特征都用上,构造一些f把x降低到一个低的维度
特征选择是从N个特征中选M个使得识别率最高当N很大M很小,选法将会很多,而且这是一个离散化问题(连续化问题是指求最优化的时候至少有导数,有导数就可以用梯度下降,离散化的问题没有导数的概念(选了这个不选另外一个),除了暴力**或者启发性的方法之外 ,暂时还没有别的方法来做这样的事情)
启发性方法:①递增法, 先选一个x1,再一次加入x2,x3…知道加入某个特征识别率开始下降,就停下来
②递减法:每次减少一个特征训练模型看识别率
③基因算法
④模拟退火算法
这些算法都不常用,常用的是自适应提升算法(AdaBoost)
针对大规模冗余特征自适应提升算法(AdaBoost)是一个比较好的算法