强分类器-----提升树的原理和推导

参考李航老师的统计学习方法一书

提 升方法实际上采用加法模型和前向分布算法,其中以决策树为基函数的提升方法称为提升树。

对于分类问题:决策树是二叉分类树,其中损失函数为指数损失函数

对于回归问题:决策数是二叉回归树,其中损失函数为误差平方和

一般决策问题:一般损失函数,为梯度下降算法

1. 提升树原理

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

对于二分类问题只需要将AdaBoost中的基本分类器限定为二分类树即可,即是AdaBoost的特殊情况

下面进行讨论回归问题的提升树模型

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

2 提升树算法例子

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

则s及对应的m(s)的计算结果列表如下

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导

强分类器-----提升树的原理和推导