优化算法
min-batch梯度下降法：
把训练集分成小一点的子集，取名为min-batch。
指数加权平均：
当β为0.98时，大约得到的温度为之前五十天的平均温度。
指数加权平均的偏差修正，因为初始有可能太小了
动量梯度下降算法：
减少纵向的波动，平稳靠近最小值的点。
RMSprop算法:
增加横轴的变化速度，所以除一个小的数，减小纵轴的变化所以除一个大的数。
Adam算法（实际上就是将上述两个算法结合）
学习率衰减：
公式不一，还有很多方法。
在梯度下降的过程中，导数为零的点叫做鞍点.。
关于参数的选取，如果线性轴上不能抽取均匀分布的点，可以将其映射到对数轴上在进行抽取。