分类问题——Logistic分类器/softmax分类器

Sigmoid

先来了解一个函数——sigmoid：

它所对应的图像为

sigmoid函数中，z作为我们的自变量，它的范围可以在（-∞，+∞），但是当z映射到sigmoid当中的，它的范围则为（0，1），这个范围是不是容易让你联想到概率?当我们的概率大于0.5，我们记作正类，当概率小于0.5，记作负类

回归原理

有了接下来我们需要确定我们分类的边界，有时候我们的分类边界是线性的，有时候分类边界非线性的，这里搬两张吴恩达教授的图来说明：

我们在确定好分类的边界后，将其边界的数学函数记作Z，就是我们sigmoid的那个Z，
假定我们的边界是线性的：

那么将其代入sigmoid函数：

对于二分类问题的话，我们得到的是（0，1）两类结果

整合后：

我们利用似然函数

为了计算的方便，我们将其取对数，得到新的函数——对数似然函数：

为了使得我们的模型尽可能的准确，我们需要得到它的最大值，此时引入梯度上升法，引入新的函数：

此时我么的任务变成了常见的梯度下降任务：
老规矩，先求导：

参数迭代更新：

最后得到一个较优的参数θ，我们的模型建立的过程也差不多快结束了。