逻辑回归模型(一)——数学模型
学习李航的《统计学习算法》,今天周三,这周任务之一完成逻辑回归模型的博文记录。
逻辑回归(Logistic Regression)属于分类方法(classification)。逻辑回归与最大熵模型(maximum entropy)都属于对苏线性模型。
【逻辑回归模型】
【逻辑分布】
X连续随机变量,服从逻辑分布是指:
分布函数 (1.1)
密度函数 (1.2)
如图所示,F(x)为sigmoid函数,(即S形函数),以为中心对称,即
【二项逻辑回归模型】
二项逻辑回归模型(binomial logistic regression),一种分类模型,由条件概率分布表示。
其中,Y取值为0,1;X取值为实数。
条件概率分布如下:
(1.3)
(1.4)
其中,为输入。为输出。w为权值向量,b为偏置。
基本分类方法为,按照(1.3)(1.4)分别计算出输入对应的,的概率值,将x分类到概率较大的一方。
【注】为方便书写和计算,将权值向量和输入向量加以扩充,仍记作w,x,即
相应的模型变为:
时间发生的几率(odds)为事件发生的概率与事件没有发生的概率的比值。
假设发生概率为p,没有发生为1-p,则几率为 .
对数几率(log odds)或logit函数为
对于逻辑回归,。演算如下图:
【模型参数估计】
给定训练数据集 ,
设 ,
似然函数 :
对数似然函数:
对L(w)求极大值,得到w的估计值。将问题变为以对数似然函数为目标的最优化问题。
假设得到的w的极大似然估计值为,则得到逻辑回归模型为