XGBoost实战
1.XGBoost参数
1.1常规参数General Parameters
booster[default=gbtree]:选择基分类器,可以是:gbtree,gblinear或者dart。gbtree和draf基于树模型,而gblinear基于线性模型。
slient[default=0]:是否有运行信息输出,设置为1则没有运行信息输出。
nthread[default to maximum number of threads available if not set]:线程数,默认使用能使用的最大线程数。
num_pbuffer [set automatically by xgboost, no need to be set by user]:预测缓冲区的大小,通常设置为训练实例的数量。缓冲区用于保存最后一个提升步骤的预测结果。
num_feature [set automatically by xgboost, no need to be set by user]:boosting过程中用到的特征维数,设置为特征个数。
1.2模型参数Booster Parameters
eta[default=0.3]:收缩参数,也即学习率。用于更新叶节点权重时,乘该系数,避免步长过大。参数值越大,越可能无法收敛。把eta设置的小一些,小的学习率可以使后面的学习更加仔细。通常最后设置eta为0.01~0.2。
min_child_weight[default=1]:每个叶子里面的h的和至少是多少,这个参数非常影响结果,控制叶子节点中二阶导的和的最小值,该参数越小,越容易过拟合。
max_depth[default=6]:每棵树的最大深度,该参数设置越大,越容易过拟合。建议通过交叉验证(xgb.cv ) 进行调参。通常取值:3-10。
max_leaf_nodes:最大叶节点数,和max_depth类似。
gamma[default=0]:后剪枝时,用于控制是否后剪枝。模型在默认情况下,对于一个节点的划分只有在其loss function得到结果大于0的情况下才进行,而gamma 给定了所需的最低loss function的值。gamma值使得算法更conservation,且其值依赖于loss function,在模型中应该进行调参。
max_delta_step[default=0]:该参数可以使得更新更加平缓,如果取0表示没有约束,如果取正值则使得更新步骤更加保守,防止更新时迈的步子太大。通常不需要设置这个值,但在使用logistics 回归时,若类别极度不平衡,则调整该参数可能有效果。
subsample[default=1]:样本随机样本,该参数越大,越容易过拟合,但设置过大也会造成过拟合。
colsample_bytree[default=1]:列采样,对每棵树生成时用的特征进行列采样,一般设置为0.5-1
lambda[default=1]:模型的L2正则化参数,参数越大,越不容易过拟合。
alpha[default=0]:模型的L1正则化参数,参数越大,越不容易过拟合。
scale_pos_weight[default=1]:如果取值大于0,在类别样本偏斜时,有助于快速收敛。
1.3学习任务参数(Learning Task Parameters)
objective[default=reg:linear]:定义最小化损失函数类型,常用参数:
binary:logistic –二元分类的逻辑回归模型,返回预测概率(p(y=1|x,w))
multi:softmax –使用softmax objective的多类分类模型,返回预测的分类。这里需要设置一个额外的num_class参数,表示类的个数。
multi:softprob –与softmax相同,但是返回每个数据点属于每个类的预测概率。
eval_metric[default according to objective]:用于衡量验证数据的参数,即是各评价标准,常用参数如下:
rmse – root mean square error
mae – mean absolute error
logloss – negative log-likelihood
error – Binary classification error rate (0.5 threshold)
merror – Multiclass classification error rate
mlogloss – Multiclass logloss
auc: Area under the curve
seed[default=0]:随机种子,用于产生可复现的结果。
这里,xgboost与sklearn的命名风格有点区别,如:
eta->learning_rate
lambda->reg_lambda
alpha->reg_alpha
2.代码实战
引入库
import numpy as np
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
加载数据,并将数据集切分成训练集和测试集
# load data
dataset =np.loadtxt('pima-indians-diabetes.csv',delimiter=',')
# split data into X and y
X = dataset[:,0:8]
y = dataset[:,8]
# split data into train and test sets
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.33,random_state=7)
进行拟合
# fit model with train data
model = XGBClassifier()
model.fit(X_train,y_train)
进行预测
# make predictions for test data
y_pre = model.predict(X_test)
predictions = [round(value) for value in y_pre]
# evaluate predictions
accuracy = accuracy_score(y_test,predictions)
print("Accuracy: %.2f%%" % (accuracy * 100.0))
输出结果:Accuracy: 77.95%
查看训练过程verbose=False不打印过程
eval_set = [(X_test,y_test)]
model = XGBClassifier()
model.fit(X_train,y_train,early_stopping_rounds=20,
eval_metric='logloss',eval_set=eval_set,verbose=True)
y_pre = model.predict(X_test)
predictions = [round(value) for value in y_pre]
# evaluate predictions
accuracy = accuracy_score(y_test, predictions)
print("Accuracy: %.2f%%" % (accuracy * 100.0))
输出结果:
[0] validation_0-logloss:0.660186
Will train until validation_0-logloss hasn't improved in 10 rounds.
[1] validation_0-logloss:0.634854
[2] validation_0-logloss:0.612239
[3] validation_0-logloss:0.593118
[4] validation_0-logloss:0.578303
[5] validation_0-logloss:0.564942
……
[42] validation_0-logloss:0.492369
Stopping. Best iteration:
[32] validation_0-logloss:0.487297
Accuracy: 77.56%
用XGBoost衡量特征的重要程度
from xgboost import plot_importance
import matplotlib.pyplot as plt
plot_importance(model)
plt.show()
找到最好的学习率
from sklearn.model_selection import GridSearchCV,StratifiedKFold
model = XGBClassifier()
eta = [0.0001, 0.001, 0.01, 0.1, 0.2, 0.3]
param_grid = dict(eta=eta)
kfold = StratifiedKFold(n_splits=10,shuffle=True,random_state=7)
grid_search = GridSearchCV(model,param_grid=param_grid,
scoring='neg_log_loss',n_jobs=-1,cv=kfold,iid=True)
grid_result = grid_search.fit(X_train,y_train)
# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
params = grid_result.cv_results_['params']
for mean, param in zip(means, params):
print("%f with: %r" % (mean, param))
注:KFold和StratifiedKFold的区别
StratifiedKFold 分层采样交叉切分,确保训练集,测试集中各类别样本的比例与原始数据集中相同。KFold交叉采样,按顺序取。
下面是对数据进行四等分采样的结果:
(1)StratifiedKFold切分结果如下:
Train: [1 3 4 5 6 7] | test: [0 2]
Train: [0 2 4 5 6 7] | test: [1 3]
Train: [0 1 2 3 5 7] | test: [4 6]
Train: [0 1 2 3 4 6] | test: [5 7]
(2)KFold切分结果如下:
Train: [2 3 4 5 6 7] | test: [0 1]
Train: [0 1 4 5 6 7] | test: [2 3]
Train: [0 1 2 3 6 7] | test: [4 5]
Train: [0 1 2 3 4 5] | test: [6 7]
参考文章:
https://www.cnblogs.com/mengnan/p/9307632.html
https://blog.****.net/wzmsltw/article/details/50994481