决策函数

在本章，我们主要介绍四种不同线性分类模型：Logistic回归、Softmax回归、感知器和支持向量机，这些模型的区别主要在于使用了不同的损失函数．

线性模型

线性判别函数和决策边界

多分类有不同的方法，会有不同的效果。

逻辑回归模型

Logistic 回归采用交叉熵作为损失函数，并使用梯度下降法来对参数进行优化。

Softmax回归

Softmax 回归（Softmax Regression），也称为多项（Multinomial）或多类（Multi-Class）的Logistic回归，是Logistic回归在多分类问题上的推广。
Softmax回归使用交叉熵损失函数来学习最优的参数矩阵。

感知器（Perceptron）

由 Frank Roseblatt 于 1957 年提出，是一种广泛使用
的线性分类器。

支持向量机

是一个经典的二分类算法，其找到的分割超平面具有更好的鲁棒性。
支持向量机的目标函数可以通过SMO等优化方法得到全局最优解，因此比其他分类器的学习效率更高．此外，支持向量机的决策函数只依赖于支持向量，与训练样本总数无关，分类速度比较快。

核函数

支持向量机还有一个重要的优点是可以使用核函数（Kernel Function）隐式地将样本从原始特征空间映射到更高维的空间，并解决原始特征空间中的线性不可分问题．比如在一个变换后的特征空间????中，支持向量机的决策函数为。

软间隔

在支持向量机的优化问题中，约束条件比较严格．如果训练集中的样本在特征空间中不是线性可分的，就无法找到最优解．为了能够容忍部分不满足约束的样本，我们可以引入松弛变量。