支持向量机(Support Vector Machine SVM)

1.摘要

这篇文章主要介绍支持向量机的有关内容,主要包括支持向量机的推导,支持向量机的特性,支持向量机简单的数学原理介绍,核函数,最后还对比了一下逻辑回归,支持向量机,神经网络,简单说明他们各自的适用情况。

关键词:支持向量机,核函数。

2.正文

2.1支持向量机的引入推导

支持向量机是一种强大的拟合非线性方程的工具,首先介绍一下它的引入。
由前面学习,我们可以知道,对于逻辑回归的一组样本,我们有代价函数:J(θ)=ylog11+eθTx(1y)log(111+eθTx)J(\theta)=-ylog\frac{1}{1+e^{\theta^Tx}}-(1-y)log(1-\frac{1}{1+e^{\theta^Tx}})但是log11+eθTxlog\frac{1}{1+e^{\theta^Tx}}这一项太复杂了,我们要想办法简化它,使代价函数计算起来方便一点。对代价函数做如下近似:
支持向量机(Support Vector Machine SVM)

将原来的曲线用两段折线来近似。对log11+eθTx-log\frac{1}{1+e^{\theta^Tx}},