机器学习（4）-KNN，线性回归，逻辑回归，朴素贝叶斯
接着前文的介绍，这一篇文章继续对机器学习的基础算法进行总结。这些算法都比较简单，没有太多的推理过程，因此集中放在这里汇总一下。
（一）KNN
K近邻学习算法
（二）线性回归
这一小节主要对岭回归和lasso回归进行总结，他们都是普通线性模型的推广形式，引入了不同的正则化项。
岭回归如下（L2正则化项）
lasso回归如下（L1正则化项）
（三）逻辑回归
二类分类模型如下
多类分类逻辑回归模型如下
（四）朴素贝叶斯
朴素贝叶斯的分类器
分母对于每一个都是一样的，因此可以去掉分母，上式可以简化为
朴素贝叶斯算法
采用极大似然估计可能造成概率为0的情况，因此采用贝叶斯估计，条件概率的贝叶斯估计如下
其中，参数λ为0是最大似然估计，为1则为拉普拉斯平滑，先验概率如下