您的位置: 首页  >  文章  >  机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

分类: 文章 • 2024-08-13 08:39:22

文章目录

一、提升

1.提升的概念

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

2.提升算法

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

3.梯度提升决策树-GBDT

1)提升算法推导-梯度提升法

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

2）GBDT

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

4.XGBT推导

1）提升算法推导-考虑使用二阶导信息

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

2）决策树结构的划分

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

3）XGBT总结

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

5.Adaboost算法

1）Adaboost算法推导

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

2）Adaboost算法举例

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

3）Adaboost算法收敛性证明

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

4）Adaboost总结

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

6.方差与偏差

机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方
机器学习基础算法22-提升理论-GBDT、XGBoost、Adaboost、方差与偏方

相关推荐