0523西瓜书——04决策树
0523西瓜书——04决策树
一、树的划分流程
二、树如何进行划分
如何选择最优划分属性?我们希望决策树分支节点所包含的样本尽可能属于同一类别,即结点的“纯度”越来越高。
1、信息增益
信息增益:结点划分前后信息熵的差值。
2、增益率
信息增益准则对可取值数目较多的属性有所偏好,为减少这种偏好可能带来的不利影响,因此采用增益率来选择最优划分属性。
增益率准则对可取数目较少的属性有所偏好,因此C4.5算法不是直接选择增益率最大的候选划分属性,而是先从候选划分属性中找出信息增益率最大的候选划分属性,再从中选择增益率最高的。
3、基尼指数
CART决策树使用“基尼指数”来选择划分属性。
三、对抗过拟合的手段——剪枝处理
决策树剪枝的基本策略有“预剪枝”和“后剪枝”。预剪枝是在决策树生成过程中,对每个结点在划分前先进行评估;后剪枝是先从训练集生成一棵完整的决策树,然后自底向上地对非叶结点进行考察。
后剪枝决策树通常比预剪枝决策树保留更多的分支,一般情况下,后剪枝欠拟合的风险很小,泛化能力往往优于预剪枝决策树。但后剪枝是先生成树再自底向上的对所有非叶结点进行逐一考察,其训练时间开销比未剪枝和预剪枝决策树都要大得多。
四、如何处理连续值、缺失值
连续值的处理:二分法。找区间的中位点作为候选划分点。
缺失值的处理:
对于问题1,我们可以仅根据没有缺失的样本来判断属性优劣
学习资料:机器学习——周志华