吴恩达深度学习--深度神经网络

介绍

• logistic回归是浅层神经网络，浅层神经网络和深层神经网络是神经网络的层数决定的。

深度神经网络例子及符号约定

4层神经网络示意图

符号约定

• 上图表示的是一个4层神经网络，3层隐层1层输出层，这4层的单元的数目分别是：4、4、3、1。我们有如下符号约定：

• l为层数，这里l=5。

• 输入层的维度：n[0]=3

• 隐藏层的维度：n[1]=5、n[2]=5、n[3]=3

• 输出层的维度：n[4]=1

• **函数：a[l]=g[l](z[l])、z[l]=wTa[l−1]+b[l]，(l>=1)

正向传播

z[l]=w[l]A[l−1]+b[l]

A[l]=g[l](z[l])

正向传播的向量化

z[1]=w[1]A[0]+b[1]

A[1]=g[1](z[1])

z[2]=w[2]A[1]+b[2]

A[2]=g[2](z[2])

z[3]=w[3]A[2]+b[3]

A[3]=g[3](z[3])

z[4]=w[4]A[3]+b[4]

Y′=g[4](z[4])=A[4]

• 从第一层到第4层的计算显式的使用for循环，没有其他办法。

核对矩阵的维数

• w[l]的维度：(n[l],n[l−1])

• b[l]的维度：(n[l],1)

• dw维度同w维度

• db维度同b维度

• z的维度：(n[l],m)

• a的维度同z的维度

• x的维度：(n[l−1],m)

-