对数几率回归(logistic regression)逻辑回归

对于二分类任务,最理想的是用“单位阶跃函数”(unit-step function)

对数几率回归(logistic regression)逻辑回归

需要将线性回归模型产生的预测值 对数几率回归(logistic regression)逻辑回归 转换为0/1值。

但是单位阶跃函数不连续,于是用对数几率函数 (logistic function) 作为替代函数:

对数几率回归(logistic regression)逻辑回归

 对数几率函数是一种“sigmoid”函数。它将z值转化为一个接近0或1的 对数几率回归(logistic regression)逻辑回归 值,并且其输出值在 对数几率回归(logistic regression)逻辑回归 附近变化很陡。

对数几率回归(logistic regression)逻辑回归 代入  对数几率回归(logistic regression)逻辑回归  ,得到 对数几率回归(logistic regression)逻辑回归  。

可将其变化为  对数几率回归(logistic regression)逻辑回归 ,

若将 对数几率回归(logistic regression)逻辑回归 视作样本 对数几率回归(logistic regression)逻辑回归 作为正例的可能性,则 对数几率回归(logistic regression)逻辑回归 是其反例的可能性,两者的比值 对数几率回归(logistic regression)逻辑回归 称为“几率”(odds),反映了 对数几率回归(logistic regression)逻辑回归 作为正例的相对可能性。则几率取对数则得到“对数几率”(log odds,亦称logit): 对数几率回归(logistic regression)逻辑回归  。

由此可看出, 对数几率回归(logistic regression)逻辑回归  实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率,因此,其对应的模型称为“对数几率回归”(logistic regression,亦称 logit regression)。

 

参考:周志华《机器学习》