机器学习问与答(四):支持向量机学习(下)
问题五:
为什么要满足这个不等式约束?
问题六:
二次规划算法有哪些?序列最小化优化算法具体是什么样的?
二次规划(QP):是求解一类特殊的数学优化问题的过程,它是一个线性约束的二次优化问题,即多个变量的二次函数在这些变量上受线性约束的优化(最小化或最大化)问题。二次规划是一类特殊的非线性规划。
二次规划求解方法:拉格朗日方法、Lemke方法、内点法、有效集法、椭球算法等。
SMO详见:https://blog.****.net/miscclp/article/details/8565814
问题七:
怎样选择合适的核函数?
在选用核函数的时候,如果我们对我们的数据有一定的先验知识,就利用先验来选择符合数据分布的核函数;如果不知道的话,通常使用交叉验证的方法,来试用不同的核函数,误差最小的即为效果最好的核函数,或者也可以将多个核函数结合起来,形成混合核函数。
在吴恩达的课上,也曾经给出过一系列的选择核函数的方法:
如果特征的数量大到和样本数量差不多,则选用LR或者线性核的SVM;
如果特征的数量小,样本的数量正常,则选用SVM+高斯核函数;
如果特征的数量小,而样本的数量很大,则需要手工添加一些特征从而变成第一种情况。
出处:https://blog.****.net/ningyanggege/article/details/84072842