怎样求解逻辑回归算法的损失函数?
写在一开始
1.逻辑回归二分类算法,而不是回归算法
2.逻辑回归只是对对线性回归的计算结果加上了一个Sigmoid函数,将数值结果转化为了0到1之间的概率
3.分类问题的坐标轴是特征,回归问题的问题是坐标轴是标签
4.逻辑回归并没有正规方程解,只能通过梯度下降算法来进行求解
那么损失函数又是什么呢?
通俗的说就是真实值和预测差值,在线性回归中,利用y_hat=theta.dot(X)就是估计值,利用y_hat和y的差值就是损失函数
了解了线性回归的损失函数,为什么逻辑回归不能使用MSE作为损失函数呢?
由于逻辑回归的本质是二分类问题,所以并不可以同线性回归那样简单利用二者相减来进行判断,那么我们可以思考
那么可以使用log函数来描述这个损失函数
注:p=sigmoid(theta.dot(X))
那么损失函数的图像就是
所以损失函数可以总结为
所有样本的损失函数就是