XGBoost实战

1.XGBoost参数
1.1常规参数General Parameters
      booster[default=gbtree]:选择基分类器,可以是:gbtree,gblinear或者dart。gbtree和draf基于树模型,而gblinear基于线性模型。
      slient[default=0]:是否有运行信息输出,设置为1则没有运行信息输出。
      nthread[default to maximum number of threads available if not set]:线程数,默认使用能使用的最大线程数。
      num_pbuffer [set automatically by xgboost, no need to be set by user]:预测缓冲区的大小,通常设置为训练实例的数量。缓冲区用于保存最后一个提升步骤的预测结果。
      num_feature [set automatically by xgboost, no need to be set by user]:boosting过程中用到的特征维数,设置为特征个数。
1.2模型参数Booster Parameters
      eta[default=0.3]:收缩参数,也即学习率。用于更新叶节点权重时,乘该系数,避免步长过大。参数值越大,越可能无法收敛。把eta设置的小一些,小的学习率可以使后面的学习更加仔细。通常最后设置eta为0.01~0.2。
      min_child_weight[default=1]:每个叶子里面的h的和至少是多少,这个参数非常影响结果,控制叶子节点中二阶导的和的最小值,该参数越小,越容易过拟合。
      max_depth[default=6]:每棵树的最大深度,该参数设置越大,越容易过拟合。建议通过交叉验证(xgb.cv ) 进行调参。通常取值:3-10。
      max_leaf_nodes:最大叶节点数,和max_depth类似。
      gamma[default=0]:后剪枝时,用于控制是否后剪枝。模型在默认情况下,对于一个节点的划分只有在其loss function得到结果大于0的情况下才进行,而gamma 给定了所需的最低loss function的值。gamma值使得算法更conservation,且其值依赖于loss function,在模型中应该进行调参。
      max_delta_step[default=0]:该参数可以使得更新更加平缓,如果取0表示没有约束,如果取正值则使得更新步骤更加保守,防止更新时迈的步子太大。通常不需要设置这个值,但在使用logistics 回归时,若类别极度不平衡,则调整该参数可能有效果。
      subsample[default=1]:样本随机样本,该参数越大,越容易过拟合,但设置过大也会造成过拟合。
      colsample_bytree[default=1]:列采样,对每棵树生成时用的特征进行列采样,一般设置为0.5-1
      lambda[default=1]:模型的L2正则化参数,参数越大,越不容易过拟合。
      alpha[default=0]:模型的L1正则化参数,参数越大,越不容易过拟合。
      scale_pos_weight[default=1]:如果取值大于0,在类别样本偏斜时,有助于快速收敛。
1.3学习任务参数(Learning Task Parameters)
      objective[default=reg:linear]:定义最小化损失函数类型,常用参数:
      binary:logistic –二元分类的逻辑回归模型,返回预测概率(p(y=1|x,w))
      multi:softmax –使用softmax objective的多类分类模型,返回预测的分类。这里需要设置一个额外的num_class参数,表示类的个数。
      multi:softprob –与softmax相同,但是返回每个数据点属于每个类的预测概率。
      eval_metric[default according to objective]:用于衡量验证数据的参数,即是各评价标准,常用参数如下:
            rmse – root mean square error
            mae – mean absolute error
            logloss – negative log-likelihood
            error – Binary classification error rate (0.5 threshold)
            merror – Multiclass classification error rate
            mlogloss – Multiclass logloss
            auc: Area under the curve
            seed[default=0]:随机种子,用于产生可复现的结果。
      这里,xgboost与sklearn的命名风格有点区别,如:
            eta->learning_rate
            lambda->reg_lambda
            alpha->reg_alpha
2.代码实战
引入库

import numpy as np
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

加载数据,并将数据集切分成训练集和测试集

# load data
dataset =np.loadtxt('pima-indians-diabetes.csv',delimiter=',')
# split data into X and y
X = dataset[:,0:8]
y = dataset[:,8]
# split data into train and test sets
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.33,random_state=7)

进行拟合

# fit model with train data
model = XGBClassifier()
model.fit(X_train,y_train)

进行预测

# make predictions for test data
y_pre = model.predict(X_test)
predictions = [round(value) for value in y_pre]
# evaluate predictions
accuracy = accuracy_score(y_test,predictions)
print("Accuracy: %.2f%%" % (accuracy * 100.0))

输出结果:Accuracy: 77.95%

查看训练过程verbose=False不打印过程

eval_set = [(X_test,y_test)]
model = XGBClassifier()
model.fit(X_train,y_train,early_stopping_rounds=20,
		  eval_metric='logloss',eval_set=eval_set,verbose=True)
y_pre = model.predict(X_test)
predictions = [round(value) for value in y_pre]
# evaluate predictions
accuracy = accuracy_score(y_test, predictions)
print("Accuracy: %.2f%%" % (accuracy * 100.0))

输出结果:

[0]	validation_0-logloss:0.660186
Will train until validation_0-logloss hasn't improved in 10 rounds.
[1]	validation_0-logloss:0.634854
[2]	validation_0-logloss:0.612239
[3]	validation_0-logloss:0.593118
[4]	validation_0-logloss:0.578303
[5]	validation_0-logloss:0.564942
……
[42]	validation_0-logloss:0.492369
Stopping. Best iteration:
[32]	validation_0-logloss:0.487297

Accuracy: 77.56%

用XGBoost衡量特征的重要程度

from xgboost import plot_importance
import matplotlib.pyplot as plt
plot_importance(model)
plt.show()

XGBoost实战
找到最好的学习率

from sklearn.model_selection import GridSearchCV,StratifiedKFold
model = XGBClassifier()
eta = [0.0001, 0.001, 0.01, 0.1, 0.2, 0.3]
param_grid = dict(eta=eta)
kfold = StratifiedKFold(n_splits=10,shuffle=True,random_state=7)
grid_search = GridSearchCV(model,param_grid=param_grid,
						   scoring='neg_log_loss',n_jobs=-1,cv=kfold,iid=True)
grid_result = grid_search.fit(X_train,y_train)
# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
params = grid_result.cv_results_['params']
for mean, param in zip(means, params):
    print("%f  with: %r" % (mean, param))

KFold和StratifiedKFold的区别
StratifiedKFold 分层采样交叉切分,确保训练集,测试集中各类别样本的比例与原始数据集中相同。KFold交叉采样,按顺序取。
下面是对数据进行四等分采样的结果:
      (1)StratifiedKFold切分结果如下:
            Train: [1 3 4 5 6 7] | test: [0 2]
            Train: [0 2 4 5 6 7] | test: [1 3]
            Train: [0 1 2 3 5 7] | test: [4 6]
            Train: [0 1 2 3 4 6] | test: [5 7]
      (2)KFold切分结果如下:
            Train: [2 3 4 5 6 7] | test: [0 1]
            Train: [0 1 4 5 6 7] | test: [2 3]
            Train: [0 1 2 3 6 7] | test: [4 5]
            Train: [0 1 2 3 4 5] | test: [6 7]

参考文章:
https://www.cnblogs.com/mengnan/p/9307632.html
https://blog.****.net/wzmsltw/article/details/50994481