逻辑回归的认识

逻辑回归的认识

逻辑回归是一种用于解决监督学习(Supervised Learning)问题的学习算法,进行逻辑回归的目的,是使训练数据的标签值与预测出来的值之间的误差最小化。

逻辑回归的推导

Sigmoid 函数:(z值就是预测值)

Logistic Regression虽然名字里带“回归”,但是它实际上是一种分类方法,用于两分类问题(即输出只有两种)。根据第二章中的步骤,需要先找到一个预测函数(h),显然,该函数的输出必须是两个值(分别代表两个类别)

所以利用了Logistic函数(或称为Sigmoid函数),函数形式为:
逻辑回归的认识二分类问题的概率与自变量之间的关系图形往往是一个S型曲线,如图所示,采用的Sigmoid函数实现:
逻辑回归的认识

推导

逻辑回归的认识

推导得到似然函数,和对数似然:

逻辑回归的认识

求导计算

逻辑回归的认识

求解(通过参数的变化得到最优解):

逻辑回归的认识

参考文献:https://www.cnblogs.com/hum0ro/p/9652674.html