对数几率回归(logistic regression)逻辑回归
对于二分类任务,最理想的是用“单位阶跃函数”(unit-step function)
需要将线性回归模型产生的预测值 转换为0/1值。
但是单位阶跃函数不连续,于是用对数几率函数 (logistic function) 作为替代函数:
对数几率函数是一种“sigmoid”函数。它将z值转化为一个接近0或1的 值,并且其输出值在 附近变化很陡。
将 代入 ,得到 。
可将其变化为 ,
若将 视作样本 作为正例的可能性,则 是其反例的可能性,两者的比值 称为“几率”(odds),反映了 作为正例的相对可能性。则几率取对数则得到“对数几率”(log odds,亦称logit): 。
由此可看出, 实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率,因此,其对应的模型称为“对数几率回归”(logistic regression,亦称 logit regression)。
参考:周志华《机器学习》