林轩田机器学习技法课程笔记三 Kernel支持向量机

Lecture3: Kernel Support Vector Machine

---

kernel function: transform + inner product是一种偷吃步

kernel trick: plug in efficient kernel function to avoid dependence on d(tilde)

different inner product=>different geometry=>different margin

不同的內积=>不同的几何=>不同的margin

change of kernel <=> change of margin definition

改变kernel就是改变margin的定义

以前我们对转换（transform）做选择，現在我们对kernel做选择

时刻牢记线性模型优先原则。

Gaussian Kernel/ Radial Basis Function(RBF)Kernel

Radial的意思是从中心向外面延伸，Basis Function是用来做线性组合的基本量。

kernel代表相似性(kernel represents special similarity)，內积就是一种相似性。

一个kernel有效的充分必要条件（Mercer’s condition）：

i)对称性

ii)K(xi,xj)半正定(positive semi-definite) ，也就是可以表示成一个矩阵与自身转置的相乘。

note:半正定矩阵判別方法：所有特征值为非负数

林轩田老师在youtube评论区的回答：机器学习现在比较重要的成果应该都集中在顶尖的国际会议，像是 ICML, NIPS 等等。

Most of the contents correspond to e-Chapter 8 of the Learning from Data book (amlbook.com). You can freely download the chapter from the book readers' forum. You can also watch our sister course ( https://work.caltech.edu/telecourse.html ), which contains some SVM classes