学习笔记,自liuyubobo老师,慕课网
**
梯度下降法
**
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值
![AI算法--3.梯度下降 AI算法--3.梯度下降](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzkwOS84MzBiZTEwMmU1ZjcxNWZlODhmNjA4NzcxZTIzNDAxNS5wbmc=)
通过调参确定 ‘一塔’ 参数
![AI算法--3.梯度下降 AI算法--3.梯度下降](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzk0NS9kNDRlM2NlMTI3NmRlOGYzOGZmNDMxMzA0ZTg1MjMxMS5wbmc=)
缺陷:如果从椭圆处出发,可能找到的是局部最优解,并不是全局最优解。
![AI算法--3.梯度下降 AI算法--3.梯度下降](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzQzMS81MTUzZDU0NzdiOTA3N2NiNjNiM2FjM2U0MmJlMTkxZi5wbmc=)
解决:
![AI算法--3.梯度下降 AI算法--3.梯度下降](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzg4OS8yNmFjNjhkYTQyNWY5Y2M5ODIxN2MyMDgzODExMTZmOS5wbmc=)
对于线性回归法,比较特殊,是具有唯一的最优解的。
![AI算法--3.梯度下降 AI算法--3.梯度下降](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzM2Mi9iYjIzZTFjZDQ3NGYzNzM3OTNhMDlmZTdhY2ZiMzFlMi5wbmc=)