机器学习-逻辑回归

本博客只是当作自己的笔记，贴上一篇本人参考的博客，写的非常好
log. csdn.net/han_xiaoyang/article/details/49123419

$
谁能告诉我csdn的latex公式怎么显示的这奇怪呢，写博客的预览还很漂亮，发布后就很奇怪

1.逻辑回归的产生

线性回归很好的解决了连续值预测的问题。但是存在另一种问题，有两类样本点（暂时只考虑两类），我们需要一条边界来区分开这两类样本点，即线的一侧为一类，另一侧为一类。
虽然线性回归与逻辑回归都是确定一条边界线，但线性回归的目的是解决同一类样本点的连续值预测，而逻辑回归的目的是解决两类样本点的区分。

2.逻辑回归公式

其实逻辑回归的本质还是找到一条线h(x)$h(x)$来区分两类样本点，但是该函数的输出是一个无限制，那么我们需要将他映射到可表达概率的函数里。即大名鼎鼎的sigmoid函数g(z)=11+e−z$g(z)=\frac{1}{1+e^{-z}}$

sigmoid函数的函数图像如下（图片也是从上边博客盗的，希望不会被锤）和标准答案一样美的函数图象

所以，如果我们线性回归函数是y=wTx$y=w^{T}x$，则对应的逻辑回归输出函数为h(x)=g(f(x))$h(x)=g(f(x))$

3.逻辑回归函数求解

对输出函数h(x)$h(x)$，我们用似然函数的思想来构造方程
对于任意的输入h(x)，它为1的概率为P,则它为0的概率为1-P。所以，对于所有的h(x)，他的概率表达式
P(y=1|x;w)=h(x)$P(y=1|x;w)=h(x)$
P(y=0|x;w)=1−h(x)$P(y=0|x;w)=1-h(x)$
整合该函数

y只有两类取值0，1

3.1求解似然函数

步骤还是差不多，似然函数取对数求对数似然，再求导
给出最终导数

所以w的参数更新为