《吴恩达深度学习工程师系列课程之——改善深层神经网络：超参数调试、正则化以及优化》学习笔记

本课程分为三周内容：

1. 深度学习的使用层面
2. 优化算法
3. 超参数调试、Batch正则化和程序框架

WEEK1 深度学习的使用层面

1.创建神经网络时选择：
神经网络层数
每层隐藏单元的个数
学习率为多少
各层采用的**函数为哪些
2. 深度学习应用层面有
自然语言处理NLP、计算机视觉Vision、语音识别Speech、结构化数据等。
3. 数据分类：训练集、 验证集、测试集
4. 数据的获取方式：网页抓取等
5. 分析训练集训练算法产生的误差和验证集验证算法产生的误差，来判断算法是否存在高偏差或高方差
6. 当出现高偏差时，应换更大的神经网络，或更多隐藏单元，更长时间更先进算法等等，反复尝试直至低方差。
7. 当出现高方差时，应采用更多数据，或采用正则化来减少过拟合，或更先进的算法等等。
8. 通常用训练验证集来诊断算法是否存在偏差或方差。
9. L2正则化是最常见的正则化类型。如果使用L1正则化，W最终会是稀疏的。正则化参数通常使用验证集或交叉验证。
10. 神经网络加正则化，是给损失函数加范数平方公式。范数由backprop函数给出对w的偏导数求得。
11. 如果正则化参数变得很大，参数W很小，z也会相对变小。如果J已经有一个全新的定义，你用的是原函数J，也就是第一个正则化项，可能会看不到单调递减现象。因此，为了调试地图下降，务必使用新定义的函数，它包含第二个正则化项。
12. 另一个实用的正则化方法——dropout（随机失活）。它可以随机删除网络中的神经单元。通L2正则化，实施后会压缩权重，并完成一些预防过拟合的外层正则化。dropout需要设置每一次的keep-prob值，即每层剩余比例。其在计算机视觉领域应用广泛。缺点是代价函数J不再被明确定义
13. early stopping，提早结束神经网络，获得合适的W值。
14. 机器学习包括几个步骤：1，选择一个算法来优化代价函数J，可用梯度下降法，Momentum，RMSprop和Adam等等；2，优化代价函数J后，如果发生过拟合，可通过正则化、扩增数据等；3，超参数激增，选出可行算法变得复杂，如果用一组优化代价函数J，机器学习会变得简单。优化时只需关注W和b，J(w,b)的值越小越好。只需要减少这个值，不用关注其他的。预防过拟合还可以减少方差。
15. 训练神经网络时，其中一个加速训练的方法就是归一化输入。其有两个步骤：第一步是零均值化，即移动训练集，直到它完成零处置化。第二步是归一化方差。目的是让代价函数J优化起来更简单更快速。尤其是面对输入值的范围有很大的差异时。


16. 在训练深层神经网络时面对的一个问题：梯度消失或梯度爆炸。即导数或坡度有时会变得非常大，或非常小。权重的变化，导致超参数呈现指数级增长或下降。这个问题需要通过为权重矩阵初始化合理值。
17. 反向传播backprop时，有一个梯度检验，作用是确保backprop正确实施。剃度逼近时，使用双边误差的方法更逼近导数，结果也最准确。
18. 使用双边误差，来判断函数是否实现了正确的偏导。用这个方法可以检验反向传播是否得以正确实施。
19. 梯度检验只能用于调试bug，不能用于训练。如果算法的梯度检验失败，要检查所有项，并试着找出bug。一般关闭 dropout用梯度检验进行双重检查。

WEEK2 优化算法

1. 优化算法，使神经网络运行得更快。
2. 机器学习的应用是一个高度依赖经验的过程。
3. Mini-batch梯度下降法。使用batch梯度下降法，一次遍历训练集只能让你做一个梯度下降。使用Mini-batch梯度下降法，一次遍历训练集,能够做所需个数的梯度下降。多次遍历训练集还需要一个while循环设置另一个for循环。从而一直处理训练集，直到最后收敛到一个合适的精度。Mini-batch的值要取合适，1则随机，有波动；m则为baich梯度下降。选取原则：当训练数据集过小时，直接使用batch梯度下降法，小于2000个；过大时，Mini-batch，64-512大小，设置为2的次方，代码运行速度较快。此时输入和输出要符合GPU/CPU。
4. 指数加权平均
5. 指数加权平均的偏差修正
6. 动量梯度下降法momentum
7. RMSprop
8. Adam 优化算法
9. 学习率衰减，学习率的设置，指数衰减。

WEEK3 超参数调试

1. 调试处理，取值的优先次序。随机初始化，粗糙到精细的搜索过程。
2. 为超参数选择合适的范围
3. 正则化网络的**函数
4. 将Batch Norm拟合进神经网络
5. Softmax回归
6. 训练一个Softmax
7. 深度学习框架
8. TensorFlow