逻辑回归（Logistic Regression）最形象简单、通俗易懂的理解方式

逻辑回归（Logistic Regression）的目的是分类，最开始是从逻辑分类（即二分类）展开并进一步扩充的，思想来源于线性回归，故名逻辑回归。本文从简单形象的例子出发，解释逻辑回归的思想和推导过程，通俗易懂，只要接触过概率论就能看得明白。

一、思想由来（买衣服例子）

——比如来到商场，看见一件衣服你比较喜欢，你会更仔细打量它，并决定是否购买，你的内心经过 博弈后做出最终方案：买与不买，逻辑回归就可以很好比拟这个博弈过程。
——博弈过程中，你会思考很多属性，比如价格、质量、颜色、尺码……，每一个属性都同时给你待来快乐和失望，只是比重不同。价格便宜给你带来快乐远大于失望、价格昂贵给你带来的快乐远小于失望……
——当综合所有因素以后，如果你还是愿意购买，说明买这件衣服的所有属性给你带来的快乐要高于失望；反则不愿意购买，说明给你带来的快乐少于失望。逻辑回归的过程就是把这些属性带给你的情感结合起来，判断你最终是快乐多还是失望多。用逻辑回归模拟这个过程，当回归模型输出1，表示你快乐多，决定买它；输出0，表示失望多，决定放弃。

二、结合例子简单推导过程

一件衣服（Xi）的各种属性（价格、质量、颜色、尺码……）用Xi1、Xi2、Xi3、Xi4……代表



用Zi表示快乐与失望的差值，如下：

根据上面的式子，得出yi=1的概率，如下：

根据大数定律，推导出：

接下来，就要运用逻辑函数进一步推导

经过数学证明有如下公式：


再代回原来的所有式子，得到想要的最终公式：


好了，有关“逻辑”的推导已经完成，如果给定任意的一个属性向量

总可以通过推导出来的公式算出y 等于1和0的概率，当p(y=1)>0.5，说明y=1的概率更大，认为y的值应该是1，也就是决定购买衣服。在实际分类问题中就认为它属于1的这一类；当p(y=1)<0.5，结果相反。
那么，怎么又和“回归”扯上关系呢？

三、与线性回归关系

设：Ω为发生比例，即 p(y=1)/p(y=0)，那么通过上面求得的概率，有如下关系

在这里，lnΩ 就完全是一个线性回归了。

当然，也有很多是直接从线性回归出发去解释逻辑回归，我这里是先用例子解释“逻辑”，再将前面的结果与线性回归结合起来，我认为这种理解更直观一些。

另外，因为lnΩ是一个线性回归的模型，所以我们可以用线性回归的方法针对lnΩ去求回归系数β，而不是直接利用p(y=1)和p(y=0)的公式去求β，具体的求解过程和线性回归一模一样，下面介绍一个课本上的例子

四、实际例子

在一次住房展销会上，与房地产商签订初步购房意向书的共有n＝313名顾客，将313名顾客分为9组，根据调查，发现在随后的3个月的时间内，只有一部分顾客确实购买了房屋。购买了房屋的顾客记为y = 1，没有购买房屋的顾客记为 y = 0。以顾客的年家庭收入（万元）为自变量x，试对表2.6中的数据，建立Logistic回归模型。

设实际购房用y=1表示，最终实习购房的概率为p，即p表示y=1的概率