决策树算法
定义
决策树算法以树状结构表示数据分类的结果。每个决策点实现一个具有离散输出的测试函数,记为分支。
- 根节点 root node
- 非叶子节点(决策点)non-leaf node
- 叶子节点 leaf node
- 分支 branches
决策树-熵
联合概率密度:P(X,Y)=P(X)*P(Y) ,X和Y两个事件相互独立 log(XY)=log(X)+log(Y)
当前对象发生的不确定性:H(X),H(Y) ,即
P(概率越大)→H(X)不确定性越小
P(概率越小)→H(X)不确定性越大