深度学习笔记(8.DNN优化算法)
前言
DNN中引入mini_batch方法，学习了gd、momentum、RMSprop和Adam优化算法。在原DNN实现（包括正则化）中，添加优化算法。
程序地址：https://github.com/ConstellationBJUT/Coursera-DL-Study-Notes
公式
公式和程序对比在前一篇文章中已经写到，公式和程序基本一样。
https://blog.****.net/bjjoy2009/article/details/101001991
详情请查看github代码：
(1)dnn_v4.py : DNN网络的构建和训练
(2)optimizer_class.py : 不同优化算法参数初始化和梯度下降
(3)dnn_optimization.py : 实验程序
下面代码是模型训练，添加了红色框（不同算法初始化参数），蓝色框（把数据集分块程序提出来），绿色框（不同算法update parameters）
运行结果
和课件给的相同
结论
为了和课件保持一致，调了好久。主要是各个代码块散落的np.random.seed()。由于dnn_v4.py里边代码太长，自己调试时候翻着有点费劲，把优化算法相关的内容放到了optimizer_class.py里边。