逻辑回归

定义

在线性回归的基础上增加了Sigmod function/Logistic function，将线性回归产生的值进行归一化处理到$[0,1]$[0,1]区间内。
$g(z)=\frac{1}{1+e^{-x}}\tag{1}$g(z)=1+e−x1​(1)
重点说明一下，逻辑回归解决的是分类问题，由于历史原因，方法上带有回归二字。

为什么要在线性回归的基础上引入逻辑回归？

$h_\theta(x)=\theta^TX\tag{2}$hθ​(x)=θTX(2)
在线性回归中，我们知道$\theta^TX$θTX就代表了分类的置信度。我们定义一个阈值$\theta_0$θ0​, 来进行分类，但实际上，$\theta^TX$θTX的值与$\theta_0$θ0​的差值越大，则分类正确的概率越大，差值越小则正确概率越小。我们希望输出这样的一个概率，就需要将$\theta^TX$θTX的范围从$(−∞,+∞)$(−∞,+∞)限制到$(0,1)$(0,1)中。
因此，由公式(1)(2)可以得到
$h(g(\theta))=\frac{1}{1+e^{-\theta^TX}}\tag{3}$h(g(θ))=1+e−θTX1​(3)

代价函数

线性回归的代价函数存在最小值，若依旧使用线性回归的代价函数应用到逻辑回归，则由于输入不同(增加了Sigmod function),导致代价函数是非凸函数，存在很多极小值，使用梯度下降法无法保证收敛到全局最小值。

$Cost(h_\theta(x),y)=\begin{cases} -log(h_\theta(x))& \text{if\ y\ =\ 1}\\ -log(1-h_\theta(x))& \text{if\ y\ =\ 0} \end{cases}\tag{4}$Cost(hθ​(x),y)={−log(hθ​(x))−log(1−hθ​(x))​if y = 1if y = 0​(4)