[阅读笔记]《统计学习方法》李航著：Chp6 逻辑斯谛回归与最大熵模型
[阅读笔记]《统计学习方法》李航著：Chp6 逻辑斯谛回归与最大熵模型
本章概要
6.1 逻辑斯谛回归模型
- 逻辑斯谛分布：分布函数是以点为中心对称的S形曲线
- 几率(oods): 事件发生的概率与事件不发生的概率的比值
- 对数几率
- 多项逻辑斯谛回归
6.2 最大熵模型
- 最大熵原理：在所有可能的概率模型中，熵最大的模型是最好的模型；通过熵的最大化来表示等可能性
- 解决最优化问题的习惯，将求最大值问题改写为等价的求最小值问题
- 如果目标函数是光滑的凸函数，可以将约束最优化的原始问题转换为无约束最优化的对偶问题
6.3 模型学习的最优化算法
- 光滑的凸函数的最优化问题，有多种最优化方法可用来寻找全局最优解，常用的有：改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法(收敛速度更快)