Day5--Logistic Regression理论推导
逻辑回归
今天没有概念图和代码,只有一段话如下:
今天我深入研究了逻辑回归到底是什么,以及它背后的数学是什么。学习了如何计算代价函数,以及如何使用梯度下降法来将代价函数降低到最小。
由于时间关系,我将隔天发布信息图。如果有人在机器学习领域有一定经验,并愿意帮我编写代码文档,也了解github的Markdown语法,
下面是我自己整理的逻辑回归理论推导
逻辑回归就是这样的一个过程:面对一个回归或者分类问题,建立代价函数,然后通过优化方法迭代求解出最优的模型参数,然后测试验证我们这个求解的模型的好坏。
Logistic回归虽然名字里带“回归”,但是它实际上是一种分类方法,主要用于两分类问题(即输出只有两种,分别代表两个类别)
构造预测函数h(x)
1) Logistic函数(或称为Sigmoid函数),函数形式为:
下面左图是一个线性的决策边界,右图是非线性的决策边界。
对于线性边界的情况,边界形式如下:
其中,训练数据为向量
最佳参数
构造预测函数为:
函数的值有特殊的含义,它表示结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:
构造损失函数
Cost函数和J函数如下,它们是基于最大似然估计推导得到的。
下面详细说明推导的过程:
(1)式综合起来可以写成:
取似然函数为:
对数似然函数为:
根据“最大似然估计”,求l(θ)取最大值时的θθ,定义损失函数J(θ)为
因为乘了一个负的系数-1/m,所以取最小值时的θ为要求的最佳参数。
所以最后目标变成取J(θ)最小值时的θ为最佳参数。
与线性回归类似,利用梯度下降法更新θ
逻辑回归的优缺点
优点:
1)速度快,适合二分类问题
2)简单易于理解,直接看到各个特征的权重
3)能容易地更新模型吸收新的数据
缺点:
对数据和场景的适应能力有局限性,不如决策树算法适应性那么强