如何理解LogisticRegression基本算法原理
相信大家在学习机器学习时一定会学到一个重要的算法,对数几率回归(LogisticRegression)。它主要被用来做分类问题,且多被用来做二分类问题。比如:这个汽车的品牌是宝马还是奥迪?
这个算法的思想是:先找一个类Sigmoid函数,他可以将Z值转化为类似阶跃函数的方法。作为阶跃函数的替代函数,它同时又单调可微。
对数几率函数如下:
这时的z=wTx+b,代入上式
为什么叫它对数几率函数呢?因为它可以通过化简为如下的形式:
类后验概率估计:,其主要含义是在X已发生的情况下,这时的导致因素可能性大小为P。
这时我们可以用极大似然法来估计w,b的值。(我理解最大似然法,就是考虑现在情况发生的因素最大可能性的求解,谁可能性最大,我们就认为是谁导致的。)
再通过经典的数值优化算法:梯度下降、牛顿法等求最优解。
β的解
以上就是我对LogisticRegression算法的复述和自己的理解,若有错误,请不吝赐教。