LR
属于对数线性模型
logistic分布(S曲线)
logistic函数
二项logistic回归模型:分类模型,用条件概率P(x|y)来表示,类别Y取值0/1
注意:logistic 回归的特征取值都是数值型,包括连续特征值和离散特征值,也就是说类别型特征要进行转化
注意:logistic回归得到的最终结果是介于0-1之间的概率值,并不是直接输出类别,因此我们再看它的cost function时候注意并不是训练误差驱动的,而是因为我们的Y是概率,我们不能利用最小误差等,我们这里用的是极大化所有样本的对数似然函数
PS:这里说明一下logistic函数和logit函数
logistic:
函数有非线性化和限幅的作用,限制在(0,1)之间,才能够用于分类
logit:
两者互为反函数
总结:
Logistic回归是对特征(feature)做加权相加后,输入给Sigmoid函数,用Sigmoid函数的输出来确定二分类的结果。
其中的logistic就是sigmoid函数,因为它也叫logistic函数。它与logit函数互为反函数。
其中的回归在这里的含义可以理解为最佳拟合,表示要找到最佳拟合参数集用于对特征加权。训练分类器就是用最优化方法去寻找最佳拟合参数。
在logistic进行参数求解的时候就用的极大似然估计(对数求解)
未知量就是w,其中Pi(就是p)可以通过样本来近似表示(就是经验概率)
求解w就采用SGD就可以!
w := w + alpha*L对w的偏导
说明一下:广义线性模型