斯坦福CS229机器学习笔记-Lecture6-多元伯努利事件模型+SVM支持向量机
作者：teeyohuang
本文系原创，供交流学习使用，转载请注明出处，谢谢
声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来
博文中部分图片和公式都来源于CS229官方notes。
CS229的视频和讲义均为互联网公开资源
Lecture6
Lecture 6 的主要内容：
·multinomialevent model（多元伯努利事件模型）
·NeuralNetwork(神经网络)
·SupportVector Machine（支持向量机）
1、multinomialevent model（多项式事件模型）
就是让朴素贝叶斯中 的X能够取更多的值(在上一节Lecture中，我们的X只取1和0(存在/不存在)这两个值），可以有k个取值。可采用同样的方式进行建模，只是要注意，此时等号右边是多项式分布而不是伯努利分布了，因为X可以取多种值：
在多项式事件模型中，我们的参数为：
进而有：
对其进行拉普拉斯平滑之后：
2、Neural Network(神经网络)
这里只是简要的介绍了一下神经网络，鉴于现在deep learning这么火，网上有很多专门讲神经网络的课程，我这里就不详细记录这部分的内容了，就一笔带过吧。吴老师在这里举了个mnist手写体识别的例子，也就是LeNet的例子，这样是我们现在学习深度学习的同学的一个入门级网络，堪称CNN中的“hello world”
3、SupportVector Machine（支持向量机）
SVM可以说是统计学习时代一个很经典的算法了。
①Margins
先来一些直观上的感觉：
第一个例子，Logistic Regression
第二个例子，线性可分平面的例子
我们能感受到，A点离我们的分割线很远，所以对于A点的分类是confident的，而C点十分靠近分割线，那么我们就觉得C点的分类有点不好，因为如果一旦分割线有所移动，C的分类就可能分到下面那堆点去！
所以我们希望，能够找到一个分隔线（平面），使得对每个样本点都是做出一个稳健的分类！
以上两个例子中，从直观上来看，我们希望样本点都能尽量远离分界标准，也即希望都离分界位置 有一定的 Margin。 下文我们会对Margin作函数上和几何上的解释。
②Notation（注释）
我们先从一个线性分类器—--一个二分类器来谈起。
同时要注意，我们现在讨论的都是线性可分的情况。
③Functionaland geometric margins（函数间隔 和 几何间隔）
Functional margins：
Geometric margins.
Lecture6其实还简要谈了一点最优间隔分类器的内容，但主要放在Lecture7中讲解的，
所以我干脆写到Lecture7中去了。Lecture7继续在讲SVM（支持向量机）