决策树算法

树的组成

根节点 :选择的第一个节点
非叶子节点 :中间过程节点
叶子节点:最终决策结果的节点

熵 :表示一堆物体内部的混乱程度,不确定性越高 熵越大
决策树算法
决策树 训练的步骤
1 算所有样本的熵 根据Y 计算 熵值H
2找根节点 假如有4给特征 x1 x2 x3 x4 y是输出
分别以 四个变量做根节点计算熵的值 比较与H的大小 哪个比H小的最多 哪个就是根节点
以此类推 一直到叶子节点
下面举例 14天 是否打球的情况
决策树算法
决策树算法
outlook 算熵的值要加权算熵值
决策树算法
outlook 下降最快 所以 outlook是根节点 循环这个步骤 直接到叶子节点
决策树就构建完了