【机器学习5】逻辑回归 Logistic Regression
逻辑回归应用于二分类问题，如果是多分类问题，则需要用softmax
1. Logistic(Logit) Function (i.e. Sigmoid function)
- Input为X在实数区间，Output为Y 在0-1之间（大多数时候，也用h(x)表示output）
- 分类方法：Y = 1的概率 < 0.5，则不属于该类别; Y = 1的概率 > 0.5，则属于该类别
- 构造步骤 （两步法）：
1）一个Input为X的线性函数
2）通过一个逻辑函数h(z)，即sigmoid函数，将线性函数转换为非线性函数
Sigmoid 曲线
注意：在上图中，Z = W·X + b，这个theta(z)就是h(z)
2. Loss Function
损失函数：
1）损失函数的一个构造原则就是：预测结果Y与真实结果越相近，函数值越小
2）逻辑回归损失函数的核心构造技巧：当真实观测值h(x)=1，但是你预测值y=0时，误差损失无穷大；similarly，当真实观测值h(x)=0，但是你预测值y=1时，误差损失无穷大；所以我们有了初步的设计
3）损失函数就是若干次训练结果与真实观测值的误差，再取平均，因此前面有个系数1/m
4）负号是使得损失函数的值是一个正数
=> 完整的损失函数如下：
说明： y是样本预测值，h(x)是实际观测值
3. 模型训练
- 梯度下降法：训练出合适的权重w，并不断更新w，使得损失函数下降最快
- 损失函数的性质：h’(z) = h(z) * (1 - h(z) )
- 参数w的更新原则：