logistics regression

1.定一个 f w,b(x) = P(C1 | x )
假设training data 来自于这个probability。

---

2.给定某个w和b，上面这个式子就是计算这组参数得到该training data 的机率。
3.最大的L(w,b) 的w，b就是最好的。

---

4.H(p,q) 表示distribution p 与 distribution q有多接近（可理解为真实值与预测值），所以该值越小越好（ L(f) ）。

---

5.Find best function：
寻找最小的-lnL（w,b），对 -lnL（w,b）的w，b进行梯度下降（求微分）
离目标很近，则微分会比较小。

---

6 .① P(C1 | x ) =② σ(wx+b)
在①中，为generative model。Generative model 会进行假设，如在此视频中假设数据来自高斯分布(回归)，假设是不是朴素贝叶斯，伯努利分布(二元分类)等等。
该视频中利用朴素贝叶斯的公式，求出∑和μ，再将其代入公式。
而在②中，是直接初始化w和b，并通过梯度下降求解w*和b（discriminative model）。

---

多元分类：

7.多元分类中的多项分布：
使用softmax 函数(强化大的值，就是将大值与小值的差距拉开)，用于估计概率。

通过feature transformation，可将逻辑回归中的两类别成功放置在分界线的两侧。
采用多个logistics regression model进行调整（机器找到合适的feature transformation）。

---

参考资料：

https://www.bilibili.com/video/av35932863?p=9