您的位置: 首页  >  文章  >  理解支持向量机SVM

理解支持向量机SVM

分类: 文章 • 2024-10-17 19:53:10

一、预备知识

1、向量的定义

  • 有方向有大小的量，也称矢量。

2、向量的大小 即“长度”即“模”！

  • L2范数

3、单位向量

  • 模为1的向量。求出向量的模，原向量 / 向量的模

4、法向量

5、向量的内积

  • 几何意义
  • 相似度
  • 点到面距离： 过任意点的向量 内积 法向量

6、利用法向量求点到平面距离

  • https://wenku.baidu.com/view/ba53db82541810a6f524ccbff121dd36a32dc497.html
    -思路：利用法向量求点到平面的距离，常常不需要画出垂线段，利用平面的法向量即可。点A到平面的距离 = 点A到平面上任意一点B所构成的AB向量，在法向量方向上的投影的长度！（如果不知道判断方向，可以取投影长度的绝对值）
    理解支持向量机SVM
    理解支持向量机SVM

二、SVM概述

SVM是一种二类分类模型。是定义在特征空间上的间隔最大的线性分类器，间隔最大使其有别于感知机。SVM初学者建议先学明白感知机，有助于SVM学习（推荐林轩田的机器学习基石感知机部分）。核技巧使SVM成为实质上的非线性分类器。
SVM类型由简至繁：
1. 线性可分SVM：数据集线性可分，硬间隔最大化
2. 线性SVM：数据集近似线性可分，软间隔最大化
3. 非线性SVM：数据集线性不可分，核技巧及软间隔最大化

核函数：表示讲输入从输入空间映射到特征空间得到的特征向量之间的内积。通过使用核函数可以学习非线性SVM，等价于隐式地在高维的特征空间中学习线性SVM。这样的方法称为核技巧。
理解支持向量机SVM
输入空间于特征空间是两个不同的空间。
输入空间：欧氏空间，或离散空间；特征空间：欧氏空间，或希尔伯特空间
输入都要从输入空间转到特征空间，SVM的学习是在特征空间上进行的。而非线性SVM通过非线性映射将输入映射为特征向量

未完，持续更新中。。本人也是初学者，如有错误还望告知。一同学习进步！

参考链接：
李航《统计学习方法》（SVM章节写的很赞，此书无一句废话，精读多少遍都不为过）
林轩田《机器学习》
吴恩达《机器学习》
https://blog.****.net/red_stone1/article/details/73526457（林轩田机器学习笔记）
https://blog.****.net/v_july_v/article/details/7624837（博客看此一篇完全足矣）
https://www.jianshu.com/p/0a6ef31ff77a（CS229所有资料）
https://www.zhihu.com/question/21094489/answer/86273196

相关推荐