机器学习_树_SVM
决策树：
类似二叉树 对于一堆数据进行层层分类判断
为监督学习
（递归过程）
根据表数据设置每个节点阈值进行层层分类
ID3：有信息熵决定节点。每个节点熵值最小（即判断最准确）
分类过细 容易过拟合
C4.5： ID3除以信息增益（越细越大）
CART：分类回归树，使用GINI指数（总体内包含的类别越杂乱越大），选取最小的方案。 回归（分类到每一个节点只有一个类别时停止）。同样会过拟合
均可采用交叉验证法选取最小错误率的决策树。
随机森林：由多个弱分类器组合成强分类器
每棵树训练的时候，随机有放回地取全部数据的一部分进行学习。
尽可能随机！！！然后产生不同属性的决策树进行“民主”决策。
先行采样 再列采样。
SVM:
简而言之寻找超平面，以最大间隔把两类样本分开
最后变为优化问题：
由拉格朗日变化（凸优化）：
KKT条件：
SVM：
拉格朗日+强对偶：
序列最小优化（每次优化一个）：
求偏导：
软间隔：解决不可完全线性分割问题，允许部分样本点不满足条件
拉格朗日+强对偶
核函数：解决低纬度非线性的分类
SVM优缺点：
PS：
贝叶斯公式：