本文重点阐述了xgboost和lightgbm的主要参数和调参技巧，其理论部分可见集成学习,以下内容主要来自xgboost和LightGBM的官方文档。

xgboost

Xgboost参数主要分为三大类：

General Parameters（通用参数）：设置整体功能

Booster Parameters（提升参数）：选择你每一步的booster(树or回归）

Learning Task Parameters（学习任务参数）：指导优化任务的执行

General Parameters（通用参数）

booster [default=gbtree]

选择每次迭代过程中需要运行的模型，一共有两种选择：gbtree和gblinear。gbtree使用基于树的模型进行提升计算，gblinear使用线性模型进行提升计算。缺省值为gbtree
silent [default=0]

取0时表示打印出运行时信息，取1时表示以缄默方式运行，不打印运行时信息。缺省值为0
nthread [default to maximum number of threads available if not set]

XGBoost运行时的线程数。缺省值是当前系统可以获得的最大线程数

剩余两个参数是Xgboost自动指定的，无需设置。

Booster Parameters（提升参数）

虽然有两种类型的booster，但是我们这里只介绍tree。因为tree的性能比线性回归好得多，因此我们很少用线性回归。

eta [default=0.3]

学习率，可以缩减每一步的权重值，使得模型更加健壮：

典型值一般设置为：0.01-0.2

取值范围为：[0,1]
gamma [default=0]

这个指定了一个结点被分割时，所需要的最小损失函数减小的大小。这个值一般来说需要根据损失函数来调整。

range: [0,∞]
max_depth [default=6]

数的最大深度。缺省值为6

这个可以用来控制过拟合，典型值是3-10。

取值范围为：[1,∞]
min_child_weight [default=1]

孩子节点中最小的样本权重和。在现行回归模型中，这个参数是指建立每个模型所需要的最小样本数。该值越大算法越保守

取值范围为: [0,∞]
subsample [default=1]

用于训练模型的子样本占整个样本集合的比例。如果设置为0.5则意味着XGBoost将随机的冲整个样本集合中随机的抽取出50%的子样本建立树模型，这能够防止过拟合。

取值范围为：(0,1]
colsample_bytree [default=1]

在建立树时对特征采样的比例。缺省值为1

取值范围：(0,1]
lambda [default=1, alias: reg_lambda]

L2正则化。
alpha [default=0, alias: reg_alpha]

L1正则化，主要用在数据维度很高的情况下，可以提高运行速度。
scale_pos_weight, [default=1]

在类别高度不平衡的情况下，将参数设置大于0，可以加快收敛。

Learning Task Parameters（学习任务参数）

objective [ default=reg:linear ]

定义学习任务及相应的学习目标，可选的目标函数如下：

“reg:linear” –线性回归。

“reg:logistic” –逻辑回归。

“binary:logistic” –二分类的逻辑回归问题，输出为概率。

“binary:logitraw” –二分类的逻辑回归问题，输出的结果为wTx。

“count:poisson” –计数问题的poisson回归，输出结果为poisson分布。

“multi:softmax” –让XGBoost采用softmax目标函数处理多分类问题，同时需要设置参数num_class（类别个数）

“multi:softprob” –和softmax一样，但是输出的是ndata * nclass的向量，可以将该向量reshape成ndata行nclass列的矩阵。每行数据表示样本所属于每个类别的概率。

eval_metric [ default according to objective ]

评估方法，主要用来验证数据，根据一个学习目标会默认分配一个评估指标

“rmse”:均方根误差（回归任务）

“logloss”：

“error”

“mlogloss”

“merror”

“auc”

seed [ default=0 ]

随机数的种子。缺省值为0

调参方法

调参的通用方法：

选择一个相对较高的学习率。通常来说学习率设置为0.1。但是对于不同的问题可以讲学习率设置在0.05-0.3。通过交叉验证来寻找符合学习率的最佳树的个数。

当确定好学习率与最佳树的个数时，调整树的某些特定参数。比如：max_depth, min_child_weight, gamma, subsample, colsample_bytree

调整正则化参数 ，比如： lambda, alpha。这个主要是为了减少模型复杂度和提高运行速度的。适当地减少过拟合。

降低学习速率，选择最优参数

import xgboost as xgb

params={

'booster':'gbtree',

'objective': 'multi:softmax', #多分类的问题

'num_class':10, # 类别数，与 multisoftmax 并用

'gamma':0.1,  # 用于控制是否后剪枝的参数,越大越保守，一般0.1、0.2这样子。

'max_depth':12, # 构建树的深度，越大越容易过拟合

'lambda':2,  # 控制模型复杂度的权重值的L2正则化项参数，参数越大，模型越不容易过拟合。

'subsample':0.7, # 随机采样训练样本

'colsample_bytree':0.7, # 生成树时进行的列采样

'min_child_weight':3,

# 这个参数默认是 1，是每个叶子里面 h 的和至少是多少，对正负样本不均衡时的 0-1 分类而言

#，假设 h 在 0.01 附近，min_child_weight 为 1 意味着叶子节点中最少需要包含 100 个样本。

#这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数值越小，越容易 overfitting。

'silent':0 ,#设置成1则没有运行信息输出，最好是设置为0.

'eta': 0.007, # 如同学习率

'seed':1000,

'nthread':7,# cpu 线程数

#'eval_metric': 'auc'

}

model = xgb.train(plst, xgb_train, num_rounds, watchlist,early_stopping_rounds=100)

model.save_model('./model/xgb.model') # 用于存储训练出的模型

print "best best_ntree_limit",model.best_ntree_limit

#Grid seach on subsample and max_features

param_test1 = {

    'max_depth':list(range(3,10,2)),

    'min_child_weight':list(range(1,6,2))

}

"""

参数说明;

n_estimators：基学习器的个数(第一步得到)

scoring：得分排名依据，因为是越高越好，这是mean_squared_error取负

"""

gsearch1 = GridSearchCV(estimator = XGBRegressor( learning_rate =0.1, n_estimators=33, max_depth=5,

                                        min_child_weight=1, gamma=0, subsample=0.8, colsample_bytree=0.8,

                                        objective= 'gpu:reg:linear', nthread=4, scale_pos_weight=1, seed=27),

                       param_grid = param_test1, scoring='neg_mean_squared_error',n_jobs=1,iid=False, cv=5)

gsearch1.fit(X,y)

print(gsearch1.cv_results_, gsearch1.best_params_, gsearch1.best_score_)

#进一步探索参数max_depth，min_child_weight(前面得到最好的是{‘max_depth’: 5, ‘min_child_weight’: 1})

#Grid seach on subsample and max_features

param_test2 = {

    'max_depth':[4,5,6],

    'min_child_weight':[0,1,2]  #范围: [0,∞]

}

gsearch2 = GridSearchCV(estimator = XGBRegressor( learning_rate=0.1, n_estimators=33, max_depth=5,

                                        min_child_weight=2, gamma=0, subsample=0.8, colsample_bytree=0.8,

                                        objective= 'gpu:reg:linear', nthread=4, scale_pos_weight=1,seed=27),

                       param_grid = param_test2, scoring='neg_mean_squared_error',n_jobs=1,iid=False, cv=5)

gsearch2.fit(X,y)

print(gsearch2.cv_results_, gsearch2.best_params_, gsearch2.best_score_)

#继续搜索参数min_child_weight {‘max_depth’: 5, ‘min_child_weight’: 2}

#Grid seach on subsample and max_features

#-3775.018211540544

param_test2b = {

    'min_child_weight':[2,4,6,8]

}

gsearch2b = GridSearchCV(estimator = XGBRegressor( learning_rate=0.1, n_estimators=33, max_depth=5,

                                        min_child_weight=2, gamma=0, subsample=0.8, colsample_bytree=0.8,

                                        objective= 'gpu:reg:linear', nthread=4, scale_pos_weight=1,seed=27),

                       param_grid = param_test2b, scoring='neg_mean_squared_error',n_jobs=1,iid=False, cv=5)

gsearch2b.fit(X,y)

print(gsearch2b.cv_results_, gsearch2b.best_params_, gsearch2b.best_score_)

#调整参数gamma，range: [0,∞]，default=0

#Grid seach on subsample and max_features

#在树的叶子节点上进行进一步划分所需的最小损失。越大，算法就越保守。

param_test3 = {

    'gamma':[i/10.0 for i in range(0,5)]

}

gsearch3 = GridSearchCV(estimator = XGBRegressor( learning_rate =0.1, n_estimators=33, max_depth=5,

                                        min_child_weight=2, gamma=0, subsample=0.8, colsample_bytree=0.8,

                                        objective= 'gpu:reg:linear', nthread=4, scale_pos_weight=1,seed=27),

                       param_grid = param_test3, scoring='neg_mean_squared_error',n_jobs=1,iid=False, cv=5)

gsearch3.fit(X,y)

print(gsearch3.cv_results_, gsearch3.best_params_, gsearch3.best_score_)

#调整参数subsample，colsample_bytree

#Grid seach on subsample and max_features

param_test4 = {

    'subsample':[i/10.0 for i in range(6,10)],

    'colsample_bytree':[i/10.0 for i in range(6,10)]

}

gsearch4 = GridSearchCV(estimator = XGBRegressor( learning_rate =0.1, n_estimators=53, max_depth=5,

                                        min_child_weight=2, gamma=0, subsample=0.8, colsample_bytree=0.8,

                                        objective= 'gpu:reg:linear', nthread=4, scale_pos_weight=1,seed=27),

                       param_grid = param_test4, scoring='neg_mean_squared_error',n_jobs=1,iid=False, cv=5)

a=gsearch4.fit(train[predictors],train[target])

print(a)

gsearch4.fit(X,y)

print(gsearch4.cv_results_, gsearch4.best_params_, gsearch4.best_score_)

---

LightGBM

LightGBM中的主要调节的参数包括核心参数、学习控制参数、IO 参数、目标参数、度量参数等。

Core Parameters（核心参数）

task [default=train]

数据的用途 选择 train，predict或者convert_model（将模型文件转换成 if-else 格式）：
objective [default=regression]

模型的用途

‘regression’表示回归任务，但是使用L2损失函数。

‘regression_l1’：表示回归任务，但是使用L1损失函数。

‘huber’： 表示回归任务，但是使用huber 损失函数。

‘fair’： 表示回归任务，但是使用fair 损失函数。

‘binary’： 表示二分类任务，使用对数损失函数作为目标函数。

‘multiclass’： 表示多分类任务，使用softmax 函数作为目标函数。必须设置num_class 参数

‘multiclassova’ ： 表示多分类任务，使用one-vs-all 的二分类目标函数。必须设置num_class 参数

‘xentropy’： 目标函数为交叉熵（同时具有可选择的线性权重）。要求标签是[0,1] 之间的数值。

‘xentlambda’ ： 替代了参数化的cross_entropy 。要求标签是[0,1]之间的数值。
boosting [default=gbdt]

给出基学习器模型算法。可以为：

‘gbdt’： 表示传统的梯度提升决策树。默认值为’gbdt’

‘rf’： 表示随机森林。

‘dart’： 表示带dropout 的gbdt

goss：表示Gradient-based One-Side Sampling 的gbdt (基于梯度的单侧采样)
data, [default=""]

训练数据, LightGBM 将会使用这个数据进行训练
valid, [default=""]

验证/测试 数据, LightGBM 将输出这些数据的度量
num_iterations, [default=100]

boosting的迭代次数。

对于python/R包，该参数是被忽略的。对于python，使用train()/cv()的输入参数num_boost_round来代替。
learning_rate, [default=0.1]

学习率
num_leaves, [default=31]

一棵树上的叶子数。
tree_learner,[default=serial]

主要用于并行学习。 默认为’serial’单台机器。
num_threads, [default=OpenMP_default]

LightGBM 的线程数
device, [default=cpu]

指定计算设备。默认为’cpu’。 可以为’gpu’,’cpu’。

为了加快学习速度，GPU 默认使用32位浮点数来求和。你可以设置gpu_use_dp=True 来启动64位浮点数，但是它会使得训练速度降低。

Learning Control Parameters（学习控制参数）

max_depth, [default=-1]

限制树模型的最大深度。如果小于0，则表示没有限制。
min_data_in_leaf, [default=20]

一个叶子上数据的最小数量. 可以用来处理过拟合.
min_sum_hessian_in_leaf, [default=1e-3]

一个叶子上的最小 hessian 和也就是叶节点样本权重之和的最小值）， 类似于 min_data_in_leaf, 可以用来处理过拟合.
feature_fraction, [default=1.0]

如果小于1.0，则lightgbm 会在每次迭代中随机选择部分特征。如0.8 表示：在每棵树训练之前选择80% 的特征来训练。
feature_fraction_seed, [default=2]

feature_fraction 的随机数种子
bagging_fraction, [default=1]

类似于 feature_fraction, 但是它将在不进行重采样的情况下随机选择部分数据

Note: 为了启用 bagging, bagging_freq 应该设置为非零值
bagging_freq, [default=0]

bagging 的频率, 0 意味着禁用 bagging. k 意味着每 k 次迭代执行bagging
bagging_seed , [default=3]

bagging 随机数种子
early_stopping_round, [default=0]

如果一个验证集的度量在 early_stopping_round 循环中没有提升, 将停止训练
lambda_l1, [default=0]

L1 正则
lambda_l2, [default=0]

L2 正则
min_split_gain, [default=0]

执行切分的最小增益
lambda_l1, [default=0]

L1 正则
feature_fraction_seed, [default=2]

feature_fraction 的随机数种子
feature_fraction_seed, [default=2]

feature_fraction 的随机数种子
feature_fraction_seed, [default=2]

feature_fraction 的随机数种子

IO Parameters（IO 参数）

max_bin, [default=255]

表示最大的桶的数量。lightgbm 会根据它来自动压缩内存。如max_bin=255 时，则lightgbm 将使用uint8 来表示特征的每一个值。

min_data_in_bin, [default=3]

表示每个桶的最小样本数。该方法可以避免出现一个桶只有一个样本的情况。

data_random_seed, [default=1]

表示并行学习数据分隔中的随机数种子。默认为1它不包括特征并行。

output_model, [default=LightGBM_model.txt]

表示训练中输出的模型被保存的文件的文件名。

input_model, [default=""]

表示输入模型的文件的文件名。默认空字符串。对于prediction任务，该模型将用于预测数据，对于train任务，训练将从该模型继续

output_result, [default=LightGBM_predict_result.txt]

prediction 任务的预测结果文件名

pre_partition, [default=false]

用于并行学习(不包括功能并行). 如果为true，则不同的机器使用不同的partition 来训练。

is_sparse, [default=true]

用于 enable/disable 稀疏优化. 设置 false 就禁用稀疏优化

two_round, [default=false]

一个布尔值，指示是否启动两次加载。默认值为False，表示只需要进行一次加载。默认情况下，lightgbm 会将数据文件映射到内存，然后从内存加载特征，这将提供更快的数据加载速度。但是当数据文件很大时，内存可能会被耗尽。如果数据文件太大，则将它设置为True

save_binary, [default=1]

表示是否将数据集（包括验证集）保存到二进制文件中。默认值为False。如果为True，则可以加快数据的加载速度。

verbosity, [default=1]

表示是否输出中间信息。默认值为1。如果小于0，则仅仅输出critical 信息；如果等于0，则还会输出error,warning 信息； 如果大于0，则还会输出info 信息。

header, [default=false]

如果输入数据有标识头, 则在此处设置 true

label , [default=""]

表示标签列。默认为空字符串。你也可以指定一个整数，如label=0 表示第0列是标签列。你也可以为列名添加前缀，如label=prefix:label_name

weight , [default=""]

一个字符串，表示样本权重列。默认为空字符串。你也可以指定一个整数，如weight=0 表示第0列是权重列。注意：它是剔除了标签列之后的索引。假如标签列为0，权重列为1，则这里weight=0。你也可以为列名添加前缀，如weight=prefix:weight_name

query, [default=""]

表示query/group ID 列。

ignore_column , [default=""]

表示训练中忽略的一些列，默认为空字符串。可以用数字做索引，如ignore_column=0,1,2 表示第0,1,2 列将被忽略。注意：它是剔除了标签列之后的索引。

categorical_feature, [default=""]

指定category 特征的列。默认为空字符串。可以用数字做索引，如categorical_feature=0,1,2 表示第0,1,2 列将作为category 特征。注意：它是剔除了标签列之后的索引。你也可以为列名添加前缀，如categorical_feature=prefix:cat_name1,cat_name2 在categorycal 特征中，负的取值被视作缺失值。

predict_leaf_index[default=false]

表示是否预测每个样本在每棵树上的叶节点编号。默认为False。在预测时，每个样本都会被分配到每棵树的某个叶子节点上。该参数就是要输出这些叶子节点的编号。该参数只用于prediction 任务。

bin_construct_sample_cnt [default=200000]

表示用来构建直方图的样本的数量。默认为200000。如果数据非常稀疏，则可以设置为一个更大的值，如果设置更大的值，则会提供更好的训练效果，但是会增加数据加载时间。

num_iteration_predict[default=-1]

表示在预测中使用多少棵子树。默认为-1。小于等于0表示使用模型的所有子树。该参数只用于prediction 任务。

Objective Parameters（目标参数）

sigmoid[default=1]

sigmoid 函数的参数. 将用于 binary 分类 和 lambdarank。
scale_pos_weight[default=1]

用于调整正样本的权重，默认值为0，用于二分类任务。
is_unbalance[default=false]

指示训练数据是否均衡的。默认为True。用于二分类任务。
num_class[default=1]

指示了多分类任务中的类别数量。默认为1，用于多分类任务。
reg_sqrt[default=false]

一个布尔值，默认为False。如果为True，则拟合的结果为：\(\sqrt{label}\)。同时预测的结果被自动转换为：\({pred}^2\)。它用于回归任务。

Metric Parameters（度量参数）

metric[default={l2 for regression}, {binary_logloss for binary classification}, {ndcg for lambdarank}]

度量的指标，默认为：对于回归问题，使用l2 ；对于二分类问题，使用binary_logloss；对于lambdarank 问题，使用ndcg。如果有多个度量指标，则用逗号, 分隔。

‘l1’ 或者 mean_absolute_error或者 mae或者 regression_l1： 表示绝对值损失
‘l2’ 或者mean_squared_error或者 mse或者 regression_l2或者 regression：表示平方损失
‘l2_root’ 或者root_mean_squared_error或者 rmse：表示开方损失
‘quantile’： 表示Quantile 回归中的损失
‘mape’ 或者 ‘mean_absolute_percentage_error’ ：表示MAPE 损失
‘map’ 或者’mean_average_precision’： 表示平均的精度
‘auc’： 表示AUC
‘binary_logloss’或者’binary’： 表示二类分类中的对数损失函数
‘binary_error’： 表示二类分类中的分类错误率
‘multi_logloss’或者 ‘multiclass’或者 ‘softmax’或者 ‘multiclassova’或者 ‘multiclass_ova’,或者’ova’或者 ‘ovr’： 表示多类分类中的对数损失函数
‘multi_error’： 表示多分类中的分类错误率
‘xentropy’或者’cross_entropy’： 表示交叉熵
‘xentlambda’ 或者’cross_entropy_lambda’： 表示intensity 加权的交叉熵
‘kldiv’或者’kullback_leibler’： 表示KL 散度
metric_freq[default=1]

每隔多少次输出一次度量结果。默认为1。
train_metric [default=false]

如果为True，则在训练时就输出度量结果。

调参方法

针对 leaf-wise 树的参数优化：

num_leaves：控制了叶节点的数目。它是控制树模型复杂度的主要参数。

如果是level-wise，则该参数为\(2^{depth}\)，其中\(depth\)为树的深度。但是当叶子数量相同时，leaf-wise的树要远远深过level-wise树，非常容易导致过拟合。因此应该让num_leaves小于\(2^{depth}\)。在leaf-wise树中，并不存在\(depth\)的概念。因为不存在一个从\(leaves\)到\(depth\)的合理映射。

min_data_in_leaf：每个叶节点的最少样本数量。它是处理leaf-wise树的过拟合的重要参数。将它设为较大的值，可以避免生成一个过深的树。但是也可能导致欠拟合。
max_depth： 控制了树的最大深度。该参数可以显式的限制树的深度。

针对更快的训练速度：

通过设置 bagging_fraction 和 bagging_freq 参数来使用 bagging 方法
通过设置 feature_fraction 参数来使用特征的子抽样
使用较小的 max_bin
使用 save_binary 在未来的学习过程对数据加载进行加速

获取更好的准确率：

使用较大的 max_bin （学习速度可能变慢）
使用较小的 learning_rate 和较大的 num_iterations
使用较大的 num_leaves （可能导致过拟合）
使用更大的训练数据
尝试 dart

缓解过拟合：

使用较小的 max_bin
使用较小的 num_leaves
使用 min_data_in_leaf 和 min_sum_hessian_in_leaf
通过设置 bagging_fraction 和 bagging_freq 来使用 bagging
通过设置 feature_fraction 来使用特征子抽样
使用更大的训练数据
使用 lambda_l1, lambda_l2 和 min_gain_to_split 来使用正则
尝试 max_depth 来避免生成过深的树

xgboost&lightgbm调参指南的相关教程结束。