7.1 概述-机器学习笔记-斯坦福吴恩达教授
概述
我们很希望有足够多的特征（知识）来保准学习模型的训练效果，尤其在图像处理这类的任务中，高维特征是在所难免的，但是，高维的特征也有几个如下不好的地方：
- 学习性能下降，知识越多，吸收知识（输入），并且精通知识（学习）的速度就越慢。
- 过多的特征难于分辨，你很难第一时间认识某个特征代表的意义。
- 特征冗余，如下图所示，厘米和英尺就是一对冗余特征，他们本身代表的意义是一样的，并且能够相互转换。
我们使用现在使用了一条绿色直线，将各个样本投影到该直线，那么，原来二维的特征 = (厘米，英尺) 就被降低为了一维 = (直线上的相对位置)
而在下面的例子中，我们又将三维特征投影到二位平面，从而将三维特征降到了二维：
综上，不难发现，特征降维的一般手段就是将高维特征投影到低维空间。