决策树算法

定义

决策树算法以树状结构表示数据分类的结果。每个决策点实现一个具有离散输出的测试函数,记为分支。

  • 根节点 root node
  • 非叶子节点(决策点)non-leaf node
  • 叶子节点 leaf node
  • 分支 branches

决策树算法


决策树-熵

联合概率密度:P(X,Y)=P(X)*P(Y) ,X和Y两个事件相互独立 log(XY)=log(X)+log(Y)

当前对象发生的不确定性:H(X),H(Y) ,即

P(概率越大)→H(X)不确定性越小

P(概率越小)→H(X)不确定性越大