LR

二分类逻辑回归

目前不能再简化了。那这里的w和b到底如何求出来呢？ 这是优化算法的主要职责。

逻辑回归没法通过导数设为0求解。这时候可以考虑迭代式的优化算法。 其中一个最经典的迭代式算法叫做梯度下降法。 这种算法的核心是通过不断迭代的方式来求解函数的最优解。

对于梯度下降法，有一个重要的参数η叫做学习率(learning rate)，它控制着每一次迭代的程度。学习率越大，学习速度会越快； 学习率越小，学习速度越慢。但有一个潜在问题是，一旦学习率大于一定的值之后算法就无法收敛，这是我们不想看到的结果。




一开始需要随机初始化参数w和b。 之后就可以通过循环来不断更新参数的值了，直到整个优化过程收敛为止。
梯度下降法里 ηt 代表的是每一时刻的学习率，它是可以随时间而动态变化的。一般情况下，我们以人工的方式来定义学习率的变化。通常使用的标准是随着时间的推移，学习率不断变小。

大多数情况下判断优化过程收敛，偏向于用前者。
如果一个目标函数是凸函数就意味着它的最优解就是全局最优解，反之我们只能保证找到局部最优解。在第二种情况下，不同的初始化会带来不一样的最终结果，也可以理解为不同的初始化值有好有坏。那好的初始化可以带来更好的局部最优解。
这里幸运的是，逻辑回归的目标函数是凸函数，所以我们可以保证找到的是全局最优解。所以不管如何初始化参数，只要梯度下降法实现上没问题，就可以找到同一个全局最优解。