（四）机器学习——监督学习（supervised Learing）——决策树（Decision Tree）
1、机器学习中分类和预测算法的评估：
准确率、
速度、
强壮性（部分数据缺失情况，能否正确判断）、
可规模性（数据量变大，算法性能变化）、
可解释性（特征值和规律，是否能够进行解释）
2、决策树定义：类似于流程图的树结构，每个内部结点表示一个属性上的测试，每个分支代表一个属性输出，每个叶结点代表类或类分布。最顶层：根结点。
3、熵entropy
香农提出“信息熵”：
一条信息的信息量大小和它的不确定性有直接的关系——》信息量的度量等于不确定性的多少
每一个发生的概率 P(X)
变量的不确定性越大，熵也就越大。
4、 决策树归纳算法 ID3
1970-1980 J.Ross. Quinlan
选择数据判断节点
信息获取量（Information Gain）：Gain(A) = Info(D) - info_A(D)
14个实例，no 5个 yes 9ge
年轻人：5个： 3个 no
; 2个 yes
5、贪心算法、自上而下
C4.5 gain ration
CART gini index
6、树剪枝叶（避免过拟合 overfitting）
先剪枝
后剪枝
7、优缺点：
优点：直观、便于理解、小规模数据集有效
缺点：处理连续变量不好
类别较多时，错误增加比较快。