机器学习预备知识
匆忙之中将凌乱的学习摘录记录于此,有胜于无吧。
涉及部分预备知识,比较杂乱。
线性代数
1.内积
2.范数
3.正交
4.二次型
运筹学
1.线性规划
线性规划的求解方法:图解法、单纯形法等。
2. 对偶问题
3. 二次规划
二次规划求解过程,转化成对偶问题,以及利用拉格朗日乘子和KKT条件是关键。
可以参照 周志华《机器学习》附录部分的拉格朗日乘子法的知识以及《运筹学》中提到的KT条件等进行理解。
本篇知识主要为 支持向量机(SVM)铺路。
其实还有很多重要的基础知识,比如特征值与特征向量等等知识,都是值得进一步理解的。
----------------------------------------------------------------------------------
2018/10/02 补充
学习路上吃了很多亏,无法及时的将所学的东西运用起来。时间不够用啊,我的专业不是这个方向,有很多事情等着我去做呢,这个时候最高效的方式是先了解如何使用,然后练习即可。学有余力再去专研其理论知识(人生苦短)。以今天的经验教训来看,本文的这些东西,以后不要再纠结了,尽量不要把时间花在这方面。
----------------------------------------------------------------------------------
参考资料:
1. 《工程数学 线性代数》 同济大学,第六版。
2. 《运筹学》清华大学,第三版。
3. 《机器学习》周志华著。