学习笔记:聚类降维矩阵分解
学习内容:
lightgbm, pca, clustering, k-means
关键词:
聚类,降维
LightGBM:
LightGBM(Light Gradient Boosting Machine)是微软开发基于决策树算法的分布式梯度提升框架.支持高效率并行运算,低内存消耗,高准确率分布式支持.
LightGBM优化:
基于Histogram的决策树算法,仅需要存储离散化后的数值,不需要原始特征值无需排序,相对于xgboost的exact算法,内存占用量为xgboost的1/8.同时,对每个个正计算增益点的次数减少,次数为bin次.带有深度限制的leaf-wise算法(leaf-wise高精度,容易过拟合,level-wise低效,易进行多线程工作).LightGBM可以直接支持类别特征
LightGBM使用:
imort lightgbm as lgb 或者from sklearn import lgb.sklearn.LGBMClassifier
第一步构造dataset:
第二步进行训练:
第三部进行评价: