LightGBM算法总结
向AI转型的程序员都关注了这个号????????????
机器学习AI算法工程 公众号： datayx
目录
1 LightGBM原理
1 LightGBM原理
1.2 LightGBM 的动机
使用直方图算法有很多优点。首先，最明显就是内存消耗的降低，直方图算法不仅不需要额外存储预排序的结果，而且可以只保存特征离散化后的值，而这个值一般用 8 位整型存储就足够了，内存消耗可以降低为原来的1/8。
然后在计算上的代价也大幅降低，预排序算法每遍历一个特征值就需要计算一次分裂的增益，而直方图算法只需要计算k次（k可以认为是常数），时间复杂度从O(#data*#feature)优化到O(k*#features)。
访问AI图谱 技术分享社区
https://loveai.tech
Leaf-wise 则是一种更为高效的策略，每次从当前所有叶子中，找到分裂增益最大的一个叶子，然后分裂，如此循环。因此同 Level-wise 相比，在分裂次数相同的情况下，Leaf-wise 可以降低更多的误差，得到更好的精度。Leaf-wise 的缺点是可能会长出比较深的决策树，产生过拟合。因此 LightGBM 在 Leaf-wise 之上增加了一个最大深度的限制，在保证高效率的同时防止过拟合。
1.4.3 直方图加速
1.4.4 直接支持类别特征
1.4.5 LightGBM并行优化
1.5 其他注意XGboost ，lightGBM案例代码
关注微信公众号 datayx 然后回复 GBM 即可获取。
5 lightGBM的坑
使用min_data_per_group，cat_smooth去处理过拟合（当#data比较小，或者#category比较大）
https://blog.****.net/weixin_39807102/article/details/81912566
阅读过本文的人还看了以下：
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx
长按图片，识别二维码，点关注
访问AI图谱
https://loveai.tech