《人工智能》工程师:支持向量机

支持向量机是一个有监督的二分类线性模型。

核心方法:最大间隔分类器。

与逻辑回归的对比:

区别:

逻辑回归输出的是一个概率模型,比如大于0.5分类为正,小于分类为负。支持向量机是确定的结果,输出是1或者-1。sgn(Wt) = -1 if Wt < 0;sgn(Wt) = 1 if Wt >= 0。

损失函数的区别:L( Wt) = - y * logp(y=1|x) - (1-y)log(1-p(y=1|x)) ;支持向量机:铰链(hinge)损失函数  L(x,y) = max{ 0, 1 - yWtx} 当Wt趋近于无穷小时,损失函数和逻辑回归损失函数差不多。

正则化模型:都一样,|w|2范数。逻辑回归只是用来防止过拟合,但是支持向量机除了防止过拟合,还有 1/|w|2 是超平面离支持向量的距离。

《人工智能》工程师:支持向量机