机器学习----统计学习方法-2

五、决策树

机器学习----统计学习方法-2

5.1、信息增益

机器学习----统计学习方法-2

5.2、信息增益比

机器学习----统计学习方法-2

5.3、决策树的生成

5.3.1、ID3算法(信息增益算法)

机器学习----统计学习方法-2

5.3.2、C4.5算法(信息增益率)

机器学习----统计学习方法-2

5.3.3、CART算法(GINI算法)

机器学习----统计学习方法-2
机器学习----统计学习方法-2

5.4、剪枝

5.4.1、决策树的剪枝

机器学习----统计学习方法-2

5.4.2、CART剪枝

机器学习----统计学习方法-2

六、逻辑斯蒂回归与最大熵

6.1、逻辑斯蒂回归模型

解释
机器学习----统计学习方法-2

计算
机器学习----统计学习方法-2

6.2、最大熵模型

机器学习----统计学习方法-2

6.3、改进

6.3.1、迭代尺度法(IIS)

机器学习----统计学习方法-2

6.3.2、拟牛顿法(BFGS)

原理类似牛顿法
计算过程如下:
机器学习----统计学习方法-2

七、支持向量机

解释
机器学习----统计学习方法-2

这里有详细的讲解点击这里
在这里,复习一下推导式

7.1、线性支持向量机

机器学习----统计学习方法-2

机器学习----统计学习方法-2

机器学习----统计学习方法-2

线性支持向量机
机器学习----统计学习方法-2

7.2、非线性支持向量机

机器学习----统计学习方法-2

7.3、核函数

机器学习----统计学习方法-2

常用核函数
机器学习----统计学习方法-2