神经网络的优化
1、神经元模型
2、神经网络**函数
3、神经网络层数计算
4、神经网络的优化
5、学习率
指数衰减学习率
根据batch_size的轮数，动态更新学习率
1、定义global_step记录当前运行了多少轮；只是计数功能，不可训练，trainable=False标记为不可训练
2、学习率衰减率在(0,1)之间，
滑动平均衰减率
滑动平均tf 实现
滑动平均通常有两个参数，滑动平均衰减率、global_step
通过apply来对参数求平均值，tf.trainable_variables()将所有参数归纳到一个列表；
tf.control_dependencies将将训练过程和滑动平均绑定在一起
滑动平均的实现
6、正则化
参考：