深度学习中的梯度下降算法
深度学习中的梯度下降算法
梯度下降算法-----致力于找到函数极值点的算法，深度学习中的核心算法。
所谓的学习便是改进模型参数，以便通过大量训练步骤将损失最小化。
有了这个概念，将梯度下降法应用于寻找损失函数的极值点便构成了依据输入数据的模型学习。
其实在tensorflow中已经封装了许多的函数，会自动初始化a和b。
改变a和b的值使得函数朝着变化最快方向。
梯度也就是微分
在上一个文章中，已经知道了adam的优化算法，其实默认的学习率为0.001.
学习速率：
一种超参数或着对模型的一种手工可配置的设置
需要为它指定正确的值
太大--------损失函数极小值点可能需要很长的时间
太小--------可能会跳过极小值点并且周期跳跃而永远无法达到极小值点。
总而言之，学习率设置太大或者太小都会有影响寻找最小的损失函数。