介绍
逻辑回归(Logistic Regression)是机器学习中一种应用非常广泛的分类预测算法,而且简单。工业中广泛应用LR算法,例如CTR预估,推荐系统等。逻辑回归模型的预测函数为:
hw,b(x)=1+e−(wTx+b)1
其中w,b为模型参数。
Sigmoid函数
首先f(x)=sigmoid(x)=1+e−x1的定义域为R,值域为(0,1),两端不可取。sigmoid(x)关于点(0,21)对称。其函数图为:
而且非常重要的一点,sigmoid(x)′=sigmoid(x)(1−sigmoid(x))。
LR模型
考虑二分类任务,y∈{0,1},有:
P(y=1∣x;w,b)=1+e(wTx+b)e(wTx+b)
P(y=0∣x;w,b)=1+e(wTx+b)1
考虑到w是一个向量,我们令Θ=(w1,w2,w3,w4,...,b),表示的是样本每一个属性xj的权重。相应的,x=(x1,x2,x3,x4,...,1),则模型预测函数可以改写成:
hθ(x)=1+e−(ΘTx)1
然后,我们用极大似然估计法来估计模型参数Θ,有:
L(Θ)=−m1i=1∑m(y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))))
则我们的优化目标是找到能使目标函数最小的参数:
Θ^=argminL(Θ)
参数估计
LR的目标函数是关于Θ的凸函数,并且连续可导,这里可以采用梯度下降来求解其最优解:
∂Θj∂L(Θ)=−m1i=1∑m(y(i)hθ(x(i))1−(1−y(i))1−hθ(x(i))1)∂Θj∂hθ(x(i))=−m1i=1∑m(y(i)−hθ(x(i)))xj
则每次梯度下降更新参数:
Θj=Θj+m1i=1∑m(y(i)−hθ(x(i)))xj