XGBoost
一 Boosting
-
Boosting: 将弱学习器组合成强分类器
– 构造一个性能很高的预测(强学习器)是一件很困难的事情
– 但构造一个性能一般的预测(弱学习器)并不难
– 弱学习器:性能比随机猜测好(层数不深的CART是一个好选择) -
亦可视为一种自适应基模型:
其中
为基函数/弱学习器。
二 Gradient Boosting
三 XGBoost
- XGBoost:eXtreme Gradient Boosting
– 可自定义损失函数:损失函数采用二阶近似
– 规范化的正则项:叶子节点数目、叶子结点的分数
– 建树与剪枝:先建完全树后剪枝 - 支持分裂点近似搜索
- 稀疏特征处理
- 缺失值处理
– 特征重要性与特征选择
– 并行计算
– 内存缓存