Lecture 12 ： Nonlinear Transformation

Lecture 12 ： Nonlinear Transformation

【参考】https://redstonewill.com/246/

【概括】
主要介绍了非线性分类模型：

1. 通过非线性变换，将非线性模型映射到另一个空间，转换为线性模型，再来进行线性分类；
2. 非线性变换的整体流程（特征转换+线性模型训练）。得到一个好的二次hypothesis来达到良好的分类效果的目标就是在z域中设计一个最佳的分类线；
3. 非线性变换可能会带来的一些问题：时间复杂度和空间复杂度的增加；
4. 在要付出代价的情况下，使用非线性变换的最安全的做法，尽可能使用简单的模型，而不是模型越复杂越好。

12.1 Quadratic Hypothesis

二次hypothesis：
通过非线性变换，将非线性模型映射到另一个空间，转换为线性模型，再来进行线性分类

12.2 Nonlinear Transform

讨论如何设计一个好的二次hypothesis来达到良好的分类效果，目标就是在z域中设计一个最佳的分类线。

利用映射变换的思想，通过映射关系，把x域中的最高阶二次的多项式转换为z域中的一次向量，也就是从quardratic hypothesis转换成了perceptrons问题。用z值代替x多项式，其中向量z的个数与x域中x多项式的个数一致（包含常数项）。这样就可以在z域中利用线性分类模型进行分类训练。训练好的线性模型之后，再将z替换为x的多项式就可以了。

整个过程就是通过映射关系，换个空间去做线性分类，重点包括两个：

1. 特征转换
2. 训练线性模型

其实，我们以前处理机器学习问题的时候，已经做过类似的特征变换了。比如数字识别问题，我们从原始的像素值特征转换为一些实际的concrete特征，比如密度、对称性等等，这也用到了feature transform的思想。

12.3 Price of Nonlinear Transform

那么如何选择合适的Q，来保证不会出现过拟合问题，使模型的泛化能力强呢？
一般情况下，为了尽量减少特征自由度，我们会根据训练样本的分布情况，人为地减少、省略一些项。但是，这种人为地删减特征会带来一些“自我分析”代价，虽然对训练样本分类效果好，但是对训练样本外的样本，不一定效果好。所以，一般情况下，还是要保存所有的多项式特征，避免对训练样本的人为选择。

12.4 Structured Hypothesis Sets