Andrew Ng——神经网络和深度学习——第四周笔记
Week 4
4-1深层神经网络
这是我们之前学过的逻辑回归和单隐藏层神经网络,如今我们要接触更深的神经网络,比如下图的双隐藏层神经网络和五层的神经网络:
首先,我们对深层神经网络进行一个符号约定:
4-2深层网络中的前向传播
首先这是一个深层的网络:
深层网络的前向传播用符号表示其实就是两部分:其中小写的l代表的是第几层
接着是向量化:
4-3核对矩阵的维数
当我们实现深度神经网络的时候,我们常用的一个检查代码是否存在错误的办法就是:用纸过一遍算法中矩阵的维数!
接下来是参数维数的总结:
4-4为什么使用深层表示
为什么神经网络好用?
举例:当你在构建一个人脸识别系统时,当你输入一张脸部的照片,然后把神经网络的第一层当成一个特征探测器或者说是边缘探测器。接着就能够提取到一些特征,然后将这些特征组合在一起。
当然,神经网络不是越深越好,具体情况具体分析。
4-5搭建深层神经网络块
网络的每一层都对应着前向传播和反向传播:
4-6前向传播和反向传播
前向传播的输入与输出:
向量化之后:
反向传播的输入与输出:
向量化之后:
4-7参数和超参数
想要深度神经网络起到很好的效果,还需要规划好参数,以及超参数。也许会问,什么是超参数呢?别急,我们先看看参数有哪些。这些就是参数:
当然,在学习算法的时候还需要有其他的参数,需要学习到算法中,比如学习率、梯度下降算法循环的的数量、隐层数、隐藏单元、**函数……这些数字都需要自己来设置,而这些数字就控制了最后参数W和b的值。所以以上这几种就是超参数!(当然还有其他的超参数:如mini_batch、等)
4-8总结