作者：teeyohuang

邮箱：[email protected]

本文系原创，供交流学习使用，转载请注明出处，谢谢

 

声明：此系列博文根据斯坦福CS229课程，吴恩达主讲 所写，为本人自学笔记，写成博客分享出来

          博文中部分图片和公式都来源于CS229官方notes。

          CS229的视频和讲义均为互联网公开资源

 

Lecture7

 

 

Lecture7

主要内容如下：

·The optimal margin classifier (最优间隔分类器)

·primal / dual optimization (原始优化问题&对偶优化问题)

·（KKT条件）

·SVM dual (SVM对偶问题)

·Kernels (核方法)（Lecture8中）

 

注：VM的最开始的一部分内容在Lecture6的末尾，所以想再回顾其基础的朋友请查阅本专栏中的上一篇博文Lecture6

1、The optimal margin classifier 最优间隔分类器

      

       根据我们上面的讨论，对于一批线性可分的数据集，如果我们找到一个几个超平面使得它能够使数据集的几何间隔达到最大，那么这个超平面的置信度就很好。

       那么我们的问题就描述为：

 

最大间隔分离超平面存在且唯一，证明略。

 

    支持向量：

       在线性可分的情况下，训练数据中的样本点与分离超平面距离最近的样本的实例 称为 支持向量（support vector）。

       也就是说，支持向量，是使得上述不等式约束条件中，等号成立的点！

 

如图中位于H1和H2上的点，就是支持向量，H1和H2之间的距离称为间隔（Margin）！间隔依赖于超平面的法向量w的大小，H1和H2称为间隔边界。

 

 

2、Lagrangeduality（拉格朗日对偶）

    讲到这里暂时先把SVM放到一边，来谈一下一个优化的问题，以便于后面内容的理解。

    我们微积分中都学过拉格朗日乘数法，描述如下：

 

我们将其推广到带约束的优化问题上（同时含有不等式和等式约束）：

 

现在来看另一个问题：

 

3、SVM dual

4 kernel核方法

以上结果也引出了我们要继续讲的核方法-kernel，但是由于时间问题，吴老师放在了Lecture8中讲解