吴恩达《Machine Learning》-gradient descent 梯度下降（三）
在实际中，我们有n个参数θ0，θ1，θ2```````θn
在此我们以两个参数举例，最小化J(θ0,θ1)
算法：
我们以θ0=0,θ1=0开始，
保持θ0，θ1参数改变，然后查看J(θ0,θ1)。
当J(θ0,θ1)为最小的时候 即为结束
从图中点出发，假设你身处在山顶上，即为寻找当前最快下降的方向下山。
下降一个位置后，再次寻找当前最快下降的方向下山。
最后抵达了局部最优点(低点)
另一个位置，来到了其他的局部最优点(低点)
a：=b（：=为赋值）
a=b（为判断是否相等）
α为学习率 表明下降步子的大小。学习率越大，表明下降的步子越大。
注意：
θ0，θ1需要同时更新。
错误的方法为：
更新完θ0后，使用更新后的θ0的值，去计算θ1的值
检测题：
答案为(B)。注意同时更新的含义。
导数项∂J(θ1)/∂θ1解释：(以一个参数θ1举例)：
当导数为正数时,∂J(θ1)/∂θ1>=0，学习率α正数∂J(θ1)/∂θ1=正数
故θ1-α∂J(θ1)/∂θ1<0 所以θ1随着梯度越来越小
当导数为负数时,∂J(θ1)/∂θ1<=0，学习率α正数∂J(θ1)/∂θ1=负数
故θ1-α∂J(θ1)/∂θ1>0 所以θ1随着梯度越来越大
学习率α解释：
α小的话，相当于每次都迈出很小的一步。所以梯度下降将会变得很慢。但是不会跨过最优点，导致无法收敛。
α大的话，相当于每次都迈出很大一步。所以梯度下降将会变得很快。但可能扩过最优点，导致无法收敛。（导数为负，梯度下降后的值，更大了）
练习题：
选择（A），导数为0，θ1=θ1 - 0 =θ1 故，保持不变
当梯度越来越小的时候，即为越来越接近0的时候。梯度下降算法，会越来越减小下降的步伐，来接近局部最优点。不需要每次减少学习率α。
梯度下降与线性回归相结合：
关键在于∂J(θ0，θ1)/∂θj的微分项
对∂θj求导：（此处推导较难，建议多看几遍）
展开式 与结果：
梯度下降会产生很多局部最优值：
加入线性回归的损失函数后，线性回归的损失函数只有一个全局最优值（凸函数）：
结果演示：
批处理梯度下降Batch Gradient Descent：
每次总是使用全部的样本来进行训练。因为∑（h（x(i)）-y(i)）
练习题
Which of the following are true statements? Select all that apply.(C，D)
A. To make gradient descent converge, we must slowly decrease α over time.
B. Gradient descent is guaranteed to find the global minimum for any function J(θ0,θ1).
C. Gradient descent can converge even if α is kept fixed. (But α cannot be too large, or else it may fail to converge.)
D. For the specific choice of cost function J(θ0,θ1) used in linear regression, there are no local optima (other than the global optimum).
解析：
C选项 当学习率持续改变的时候，梯度下降仍然能够收敛。但是过大的学习率会导致跨过最优点。
D选项 线性回归的损失函数只有一个全局最优点。所以使用梯度下降算法，只能找到一个全局最优点。