手推 GBDT与xgboost
先说结论：
GBDT与xgboost的主要区别是GBDT利用的一阶导数的思想去拟合每棵树，xgboost利用二阶导数思想去拟合每棵树。
另外xgboost还加入了其他许多技巧，比如xgboost加入和正则项是模型泛化能力更强；同时xgboost还支持并行计算（每棵树还是串行，并行是特征维度的并行）；xgboost在训练完一棵树后都会为其叶子节点的分数乘以一个缩减权重(shrinkage)。来给后面的树留下更大的学习空间。
先说结论：
GBDT与xgboost的主要区别是GBDT利用的一阶导数的思想去拟合每棵树，xgboost利用二阶导数思想去拟合每棵树。
另外xgboost还加入了其他许多技巧，比如xgboost加入和正则项是模型泛化能力更强；同时xgboost还支持并行计算（每棵树还是串行，并行是特征维度的并行）；xgboost在训练完一棵树后都会为其叶子节点的分数乘以一个缩减权重(shrinkage)。来给后面的树留下更大的学习空间。