不忘初心——找找LR算法数学原理中的几个小彩蛋

不忘初心，方得始终，任何模型的初心都是其数学推导，不论是机器学习，还是深度学习，最有意思的部分就是从它的数学原理推导中，发现隐藏的彩蛋。

相信绝大部分人的机器学习算法的入门都是从LR开始，LR可以说是最简单、最直观的算法，但往往最简单的东西会隐藏着最深刻的道理，所谓大道至简，莫过于此了。

一、LR处理的是分类问题，线性回归处理的是回归问题

首先回顾下分类和回归在教材中的定义：

【分类】即是对离散值的预测
【回归】即是对连续值的预测
    
二、逻辑回归与线性回归的关系    

逻辑回归由于拟合的是离散值，最理想的拟合函数其实应该是阶跃函数，最终选用了sigmoid函数的原因、对数几率函数的由来请看下图：

1、因变量的区别：期望与近似

逻辑回归中，因变量取值是一个二元分布：
-- 比如二分类问题，因变量只有：1，-1
-- 模型学习的出的是给定自变量和超参数后，得到因变量的期望，并基于此期望来处理预测分类问题

而线性回归实际上求解的是：y' = θTx
-- 这是我们假设的真实关系:y=θTx+ξ的一个近似
-- 我们用这个近似来处理回归问题

2、公式上的联系

逻辑回归从公式上看
-- 可以整理为 log(p/1-p) = θTx,看起来很像线性回归的形式，p = P(y=1|x),也就是将给定输入x预测为正样本的概率。
-- 此时逻辑回归可以看作是对于“y=1|x”这一事件的对数几率的线性回归

3、离散与连续

-- 逻辑回归因变量是离散的
-- 线性回归因变量是连续的

4、都使用极大似然估计对训练样本建模

-- 线性回归使用最小二乘，实际上就是极大似然估计的一个化简

5、都可以使用梯度下降求解超参数
    
三、多分类问题与一条样本多标签问题    

1、多分类问题    

-- 即是用softmax函数代替sigmoid函数    

2、一条样本多标签问题
-- 假设一条样本最多有k个标签
   -- 可以训练k个二分类的逻辑回归分类器。第i个分类器用以区分每个样本是否可以归为第i类
      -- 训练第i个分类器时，需要把标签重新整理为“第i类标签”与“非第i类标签”两类。
      -- 通过这样的办法，我们就解决了每个样本可能拥有多个标签的情况。

四、从数学原理推导中发现的彩蛋
      
1、多项逻辑回归参数冗余特点：二分类问题与多分类问题的纽带

一般来说，多项逻辑回归具有参数冗余的特点
-- 即同时加减一个向量后预测结果不变
-- 由此推导出，多项逻辑回归实际上是 二分类逻辑回归在多标签分类下的一种拓展
-- 利用这个特点对softmax公式二分类情况变形：