【机器学习算法】：极大似然估计

1.极大似然估计在什么情况下用

step1：已知一个模型（比如逻辑回归模型，线性回归模型）。
step2：给定已知的数据集D。
step3：用极大似然估计来估计step1中模型的参数。
step4：得到参数后，模型就完整啦~ 可以用完整的模型对未来的结果进行预测。

2.为什么可以用极大似然估计来估计模型中的参数

• 似然函数定义：
  假设数据集D服从一个参数为w的概率分布f(x)=p(D=x|w)$f(x)=p(D=x|w)$(含义就是知道w的条件下，数据集D取样本x的概率)，p(D|w)$p(D|w)$表示的是数据集D的联合概率分布，基于我们的独立性假设，该值为所有样本的概率密度函数f(x)$f(x)$的乘积。我们将p(D|w)$p(D|w)$称为参数w的似然函数。log(p(D|w))$log(p(D|w))$为参数w的对数似然函数，记作L(w|D)$L(w|D)$。
  Note:之所以取对数是因为后续会对似然函数求导，取对数后方便求导（对数运算将乘法变成了加法）

• 最大化似然函数估计参数
  为什么我们可以通过最大化似然函数来估计模型参数呢。主要原因在于：样本数据集D是已经出现的状态，所以我们可以认为，D出现的概率比所有其他样本数据集D’出现的概率都要大，就是说L(w|D)>L(w|D′)$L(w|D)>L(w|D^{\prime })$。所以说用极大似然估计得到一个参数w。
  

  Wml=argmaxwlL(w|D)=argmaxwlog(p(D|w))$W_{ml}=argma{x}_{wl}L(w|D)=argma{x}_{w}log(p(D|w))$

3.以逻辑回归为例，极大似然法估计参数的过程