李宏毅机器学习笔记02（logistic regression）

李宏毅老师的classification 一共讲了两种类型的方法。
首先讲的是基于概率模型的(PS：在听这一讲的时候有点懵逼，之前听吴恩达老师这一部分的时候就是直接一个sigmoid函数，接liner model，就完成了，这个概率模型没有听过)
这个模型的原理如下：

根据概率计算出一个蓝色的球是属于box1的还是box2的。

类比成分类。
接下来是高斯分布模型，使用训练数据来寻找一个最适合的高斯模型来描述这些训练数据的分布。
如何找到u和E的最好的值呢？使用Maximum Likelihood 最大可能, L(u, E) = f(x1)f(x2)…f(xn)代表一个高斯分布能够sample出这n个点的几率，我们寻找一个u和E，使得L(u,E)最大就训练完成了。讲的通俗一点就是寻找高斯分布的两个参数，使得这个高斯模型能够尽可能的包含训练样本。

接下来是正常的logistic regression，f = sigmoid(wx + b)，其实上面的概率模型，在经过一系列数学运算之后，就会发现其实寻找u和E的过程就是一个寻找w和b的过程。那么使用logistic regression的直接寻找w和b 的话就更加的直接。

两者的区别在于，前一个概率模型预先就脑补了一个训练数据可能会遵循的分布（高斯啊，伯努利啊等），而后者就没有这些脑部，直接使用训练数据来说话。第一种概率模型的话，在训练数据量较少的时候相对于logistic regression可能会有更好的效果。但是数据量如果足够大的话，logistic regression则会有更好的分类效果。

明天写作业的分析！