机器学习四:Logistic Regression逻辑回归算法

前情提要:

上一节我们已经将朴素贝叶斯分类器的算法公式进行的推导
机器学习四:Logistic Regression逻辑回归算法

逻辑回归算法

Step 1: Function Set

机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法

Step 2: Goodness of a Function

最大似然
机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法

Step 3: Find the best function

机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法

逻辑回归为什么不采用平方误差作为损失函数

机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法
交叉熵的速度比较快

Discriminative v.s. Generative

判别式模型VS生成式模式对应平方差和交叉熵具有相同的model
机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法

多类分类模型Multi-class Classification

机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法

逻辑回归的限制

机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法

Feature Transformation功能转化

将上面的四个点转换为各自到(0,0)(1.1)点的距离,这样就可以完美的分为两类
机器学习四:Logistic Regression逻辑回归算法
机器学习四:Logistic Regression逻辑回归算法
但是找到好的转换并不总是那么容易

Cascading logistic regression models

级联逻辑回归模型
机器学习四:Logistic Regression逻辑回归算法

功能转换
机器学习四:Logistic Regression逻辑回归算法
分类
机器学习四:Logistic Regression逻辑回归算法
so,引出了下一个内容:深度学习Deep Learning!

机器学习四:Logistic Regression逻辑回归算法