[机器学习入门] 李宏毅机器学习笔记-36（Ensemble part 2；集成方法 part 2）
[机器学习入门] 李宏毅机器学习笔记-35（Ensemble；集成方法）
| VIDEO |
|---|
上接part 1
Ensemble
Ensemble Boosting
AdaBoost
Algorithm for AdaBoost
上面
空白处为+1或-1，由下式决定。
于是：
我们要把这些classifier通通aggregate集合起来，怎么集合呢？
对 smaller error ,larger weight 的通俗理解就是，如果这个 f 本来就比较真确，那么最后算集合时投票权自然就大一点。
For example：
T=3, weak classifier = decision stump
ε1：error rate
d1：让example weight增加或减少的weight
α1：f1的weight，=ln(d1)
改变training data 的distribution，让 f1 废掉（红圈是分错的，乘以d1，其他除以d1），然后train f2。
与上一步同理。
最后把三个classifier合起来。
合起来后平面被分成六块，每一块都有自己的decision。
接下来要证明一句话：
warning of math
AdaBoost 有一个神奇的现象，左图，当classifer越来越多，training data 的error rate 很快变成0，但奇怪的是 test data 的error rate 依然会下降。右图，后来有人分析margin，classifer的增多会把margin往右推。
For example：
Adaboost + Decision Tree (depth = 5)
General Formulation of Boosting
Adaboost是一个特例。