机器学习算法之Adaboost原理和计算过程
AdaBoost算法是基于Boosting思想的机器学习算法,AdaBoost是adaptive boosting(自适应boosting)的缩写,其运行过程如下:
1) 计算样本权重
设定每个样本的权重都是相等的,即
2) 计算错误率
利用第一个弱学习算法对其进行学习,学习完成后进行错误率ε的统计:
3) 计算弱学习算法权重
弱学习算法也有一个权重,用向量 表示,利用错误率计算权重 :
4) 更新样本权重
在第一次学习完成后,需要重新调整样本的权重,以使得在第一分类中被错分的样本的权重,在接下来的学习中可以重点对其进行学习:
其中,表示对第个样本训练正确,不等于则表示分类错误。是一个归一化因子:
这个公式我们可以继续化简,将两个公式进行合并,化简如下:
其中是符号函数。