机器学习-统计学习方法第二版学习笔记-第八章 提升方法

第八章 提升方法

提升方法的基本思路:将弱可学习算法提升为强可学习方法

集成学习两个主要类别:序列方法、并行方法

8.1 提升方法Adaboost算法

Adaboost算法

机器学习-统计学习方法第二版学习笔记-第八章 提升方法
机器学习-统计学习方法第二版学习笔记-第八章 提升方法
机器学习-统计学习方法第二版学习笔记-第八章 提升方法

8.2 Adaboost算法的训练误差

机器学习-统计学习方法第二版学习笔记-第八章 提升方法
机器学习-统计学习方法第二版学习笔记-第八章 提升方法

8.3Adaboost算法的解释

问题:二分类问题

模型:加法模型

机器学习-统计学习方法第二版学习笔记-第八章 提升方法

策略:损失函数为指数函数

机器学习-统计学习方法第二版学习笔记-第八章 提升方法

算法:前向分布算法

8.4 提升树

基本分类器:分类树或回归树

提升树模型:

机器学习-统计学习方法第二版学习笔记-第八章 提升方法

前项分布算法

机器学习-统计学习方法第二版学习笔记-第八章 提升方法
机器学习-统计学习方法第二版学习笔记-第八章 提升方法

回归问题梯度提升:

机器学习-统计学习方法第二版学习笔记-第八章 提升方法
机器学习-统计学习方法第二版学习笔记-第八章 提升方法