机器学习算法梳理（二）：逻辑回归
逻辑回归
与线性回归的关系
二者都属于监督学习算法。但是线性回归解决回归问题，逻辑回归解决分类问题。
求代价函数最优值时都可以用到梯度下降法，虽然更新规则看起来相同，但由于假设的定义不同，所以其实是完全不同的两个过程。
原理
类似线性回归。首先有一个预测函数，然后构造损失函数，求和得代价函数，然后采用一些方法求代价函数最小值。
解决分类问题，输出值永远在0-1之间。
假设函数：
算法结果有相应的判定边界。
损失函数、代价函数
如果沿用线性回归的损失函数，得到的代价函数将是一个非凹函数：
这意味着代价函数有很多局部最小值，这会影响使用梯度下降法求取最小值。
重新定义代价函数：
简化一下：
可以证明重新定义的损失函数是个凸函数，没有局部最优值。具体证明推导过程可见吴恩达机器学习网课。
优化算法可以采用梯度下降法，还有一些更高级的，如BFGS、L-BFGS等。
正则化
评估指标
分类问题最常用的两个评估指标是错误率和精度。
错误率：分类错误的样本数占总样本数的比例
精度：分类正确的样本数占总样本数的比例
还有一些为了满足特殊需求的评估指标，如准确率和召回率。
对于二分类问题，可构造混淆矩阵
准确率P、招呼率R分别定义为：
更多关于P.R的知识点见西瓜书。
逻辑回归优缺点
http://blog.sina.com.cn/s/blog_5dd0aaa50102vjq3.html
样本不均衡问题
主流解决办法有几个：
1.样本的过采样和欠采样。
2..使用多个分类器进行分类。
3.将二分类问题转换成其他问题。
4.改变正负类别样本在模型中的权重。
sklearn参数