机器学习—深度学习之基础理论算法原理推导逻辑回归(Logistic Regression)算法原理推导
1. 概述
逻辑回归(Logistic Regression)是一个经典的二分类算法,并非回归算法。在机器学习实际解决分类问题时,可优先考虑逻辑回归算法。逻辑回归的决策边界可以是非线性的。
同时也可用其变形softmax完成多分类任务。
2. 算法推导
2.1 Sigmoid函数
Sigmoid函数公式为:
其中定义域x∈(-∞, +∞),值域f(x)为(0,1)。可以看出Sigmoid函数将任意大小的实数输入映射到了(0,1)之间的值,而(0,1)之间的数刚好可当作分类概率看待。
2.2 预测函数
与线性回归类似,假设样本数据集X为m*n的矩阵,Y为m*1的向量,W为n*1的向量。
因此,预测函数为:
2.3 似然函数
在逻辑回归问题中,一般假设样本属于伯努力分布(n重二项分布),即:
则根据式(3),得:
则对于所有样本,每个样本概率相乘得到似然函数:
2.4 对数似然函数
为了方便计算,通过式(5)将累乘通过对数变换成累加:
2.5 梯度
最大似然估计求的是最大值,即为梯度上升的问题,而此时需要求梯度下降最小值的问题,因此需引入负号,除以m是为了平均累加的和,令:
将式(7)用矩阵的形式表示:
其中f为式(1)所表示的函数,根据式(8)对W求偏导:
2.6 更新参数
根据式(9)中所求得的梯度,即可更新W参数的值:
上式可认为是批量梯度下降算法参数更新,其中α为学习率。对于小批量梯度下降算法的参数更新,可参考下式:
上式中针对W中第j个参数的更新,其中t为批大小。