机器学习升级版第七期——第八课logistic回归

首先看几个分类图，可以明显的看出哪个分类更好

下面logistic/sigmoid函数比较熟悉不做过多介绍。

logistic回归参数估计：

上面这种假定为发生与不发生，其对应的概率为h(x)与1-h(x),写成指数族（参考机器学习升级版第七期——第二课中的内容）的形式为

那么对于m个样本有L（θ）

                                                                          

                                                        

对数似然对其求导：

                                 

参数的迭代：（即我们在写代码时进行循环的部分），注意到h(x)是关于参数θ的sigmoid函数，后面如果我们想用其他的active function 我们只需将h(x)进行替换就可以了。

                     

========================================================

对数线性模型：

           

下面给出logistic回归对应两种不同的输出（分类）时其指数族以及loss function的不同形式，loss 取负号是因为似然函数是求最大值时的参数θ，而我们定义loss function是取最小值，所以为了一致，将其取负号

                         

                            

下面是常见的广义线性模型

         

上面讲到的h(x)对应着表中的μ，如果我们要做细菌培养皿中细菌的情况，只需将h(x) 换成poission的link function 就可以了。

============================================================

softmax 回归（多分类）

先看下max(x1,x2)的图像

                                             

发现在拐点即（1,1），（2,2,），（3,3）处函数图像为不可导点，即图像比较生硬hard，为了较好的处理这种情况，引入

                                             

其图像为

                                        

可以看出图像在拐点处变成了光滑的曲线，连续可导，因此先对某些数取指数然后再取对数，相当于做了软化(soft),所以softmax回归的数据处理就是如此。

-----------------------------------------------

下面具体看softmax回归：

                     

当k=2时就是逻辑回归~O(∩_∩)O~

                                     

即softmax回归是logistic回归的推广