浙大机器学习课程-15-特征选择与特征提取
特征提取：PCA（主成分分析）1947
特征选择：AdaBoost(自适应提升算法)1995
特征提取
特征选择
特征提取是构造一个函数，把N个特征都用上，构造一些f把x降低到一个低的维度
特征选择是从N个特征中选M个使得识别率最高当N很大M很小，选法将会很多，而且这是一个离散化问题（连续化问题是指求最优化的时候至少有导数，有导数就可以用梯度下降，离散化的问题没有导数的概念（选了这个不选另外一个），除了暴力**或者启发性的方法之外 ，暂时还没有别的方法来做这样的事情）
启发性方法：①递增法， 先选一个x1,再一次加入x2,x3…知道加入某个特征识别率开始下降，就停下来
②递减法：每次减少一个特征训练模型看识别率
③基因算法
④模拟退火算法
这些算法都不常用，常用的是自适应提升算法（AdaBoost）
针对大规模冗余特征自适应提升算法（AdaBoost）是一个比较好的算法