监督学习的Logistic回归算法

函数原型

$h_\theta(X)=\frac{1}{1+e^{-\theta^TX}}...称h_\theta(X)为y=1的概率。$hθ​(X)=1+e−θTX1​...称hθ​(X)为y=1的概率。

决策界限的定义

$根据函数表达式可知当z>=0时y>=0.5当z<0时y<0.5...z=\theta^TX,y=h_\theta(X)$根据函数表达式可知当z>=0时y>=0.5当z<0时y<0.5...z=θTX,y=hθ​(X)

$故直线z=\theta^TX为决策界限$故直线z=θTX为决策界限

代价函数

线性回归的代价函数为：
$J(\theta)=2\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^i)-y(x^i))^2$J(θ)=2m1​i=1∑m​(hθ​(xi)−y(xi))2
我们另：
$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}Cost(h_\theta(x^i),y(x^i))$J(θ)=m1​i=1∑m​Cost(hθ​(xi),y(xi))
$Cost为：$Cost为：
$Cost(h_\theta(x^i),y(x^i))=\begin{cases} -log(h_\theta (x))& \text if&y=1\\-log(1-h_\theta (x))& \text if&y=0\end{cases}$Cost(hθ​(xi),y(xi))={−log(hθ​(x))−log(1−hθ​(x))​ifif​y=1y=0​
为什么这样选择？

$-log(1-h_\theta (x))图像为：$−log(1−hθ​(x))图像为：

其中$h_\theta(X)=\frac{1}{1+e^{-\theta^TX}}.$hθ​(X)=1+e−θTX1​.
当$h_\theta (x)$hθ​(x)无限靠近与0时，代价函数为无穷大。
故$h_\theta (x)=0表示y=1的概率为0，与条件y=1完全矛盾。故给该算法加大惩罚。$hθ​(x)=0表示y=1的概率为0，与条件y=1完全矛盾。故给该算法加大惩罚。

当$h_\theta (x)$hθ​(x)无限靠近与1时，代价函数为0。
故$h_\theta (x)=1表示y=1的概率为100\%，与条件y=1完全符合。$hθ​(x)=1表示y=1的概率为100%，与条件y=1完全符合。

$-log(1-h_\theta (x))图像为：$−log(1−hθ​(x))图像为：

证明方式与图1类似…

合并代价函数

$J(\theta)=\frac{1}{m}\sum_{i=1}^m(-ylog(h_{\theta}(x^i))-(1-y)log(1-h_{\theta}(x^i)))$J(θ)=m1​i=1∑m​(−ylog(hθ​(xi))−(1−y)log(1−hθ​(xi)))

使用梯度下降法迭代

公式与线性回归公式相同。
证明参考：https://blog.csdn.net/qq_29663489/article/details/87276708

多分类问题

思想：二分，归类于y=1概率的的一类。
如图，三个函数同时处理，得到$h_\theta(X)$hθ​(X)，故点归类于$h_\theta(X)$hθ​(X)大的一类。