如何理解LogisticRegression基本算法原理

       相信大家在学习机器学习时一定会学到一个重要的算法,对数几率回归(LogisticRegression)。它主要被用来做分类问题,且多被用来做二分类问题。比如:这个汽车的品牌是宝马还是奥迪?

       这个算法的思想是:先找一个类Sigmoid函数,他可以将Z值转化为类似阶跃函数的方法。作为阶跃函数的替代函数,它同时又单调可微。

如何理解LogisticRegression基本算法原理

对数几率函数如下:

如何理解LogisticRegression基本算法原理

这时的z=wTx+b,代入上式

如何理解LogisticRegression基本算法原理

为什么叫它对数几率函数呢?因为它可以通过化简为如下的形式:

如何理解LogisticRegression基本算法原理

类后验概率估计:如何理解LogisticRegression基本算法原理,其主要含义是在X已发生的情况下,这时的导致因素可能性大小为P。

如何理解LogisticRegression基本算法原理

这时我们可以用极大似然法来估计w,b的值。(我理解最大似然法,就是考虑现在情况发生的因素最大可能性的求解,谁可能性最大,我们就认为是谁导致的。)

如何理解LogisticRegression基本算法原理

再通过经典的数值优化算法:梯度下降、牛顿法等求最优解。

β的解如何理解LogisticRegression基本算法原理

以上就是我对LogisticRegression算法的复述和自己的理解,若有错误,请不吝赐教。