吴恩达深度学习第一课第四周（深层神经网络）

打卡（1）

4.1 深层神经网络

* 符号约定：输入层X=a[0],预测值ŷ =a[L]$X=a^{[0]},预测值\hat{y}=a^{[L]}$

打卡（2）

4.2 深层网络中前向传播

单个样本：
X=a[0]$X=a^{[0]}$
Z[1]=W[1]a[0]+b[1]$Z^{[1]}=W^{[1]}{a}^{[0]}+b^{[1]}$
a[1]=g[1](Z[1])$a^{[1]}=g^{[1]}(Z^{[1]})$ 第一层
Z[2]=W[2]a[1]+b[2]$Z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}$
a[2]=g[2]Z[2]$a^{[2]}=g^{[2]}{Z}^{[2]}$ 第二层
…..
Z[4]=W[4]a[3]+b[4]$Z^{[4]}=W^{[4]}{a}^{[3]}+b^{[4]}$
a[4]=g[4]Z[4]=ŷ 第四层$a^{[4]}=g^{[4]}{Z}^{[4]}=\hat{y}第四层$

Z[l]=W[l]a[l−1]+b[l]$Z^{[l]}=W^{[l]}{a}^{[l-1]}+b^{[l]}$
a[l]=g[l]Z[l]$a^{[l]}=g^{[l]}{Z}^{[l]}$
所有样本：
Z[1]=W[1]A[0]+b[1]$Z^{[1]}=W^{[1]}{A}^{[0]}+b^{[1]}$
A[1]=g[1](Z[1])$A^{[1]}=g^{[1]}(Z^{[1]})$ 第一层
Z[2]=W[2]A[1]+b[2]$Z^{[2]}=W^{[2]}{A}^{[1]}+b^{[2]}$
A[2]=g[2]Z[2]$A^{[2]}=g^{[2]}{Z}^{[2]}$ 第二层
…….

4.3 核对矩阵的维数

假定：输入层的维度为n[0]$n^{[0]}$，隐藏层第一层为n[1]$n^{[1]}$，第二层n[2]$n^{[2]}$，…..。
则：
第一层的权重W[1]:(n[1],n[0]),截距b[1]:(n1,1)$W^{[1]}:(n^{[1]},n^{[0]}),截距b^{[1]}:(n^1,1)$
第二层的权重W[1]:(n[2],n[1]),截距b[2]:(n2,1)$W^{[1]}:(n^{[2]},n^{[1]}),截距b^{[2]}:(n^2,1)$
…..
W[l]:(n[l],n[l−1])$W^{[l]}:(n^{[l]},n^{[l-1]})$
b[l]:(nl,1)$b^{[l]}:(n^l,1)$
同样反向传播时：
dW[l]与W[l]有同样的维度:(n[l],n[l−1])$d{W}^{[l]}与W^{[l]}有同样的维度:(n^{[l]},n^{[l-1]})$
db[l]与b[l]有同样的维度:(n[l],n[l−1])$d{b}^{[l]}与b^{[l]}有同样的维度:(n^{[l]},n^{[l-1]})$

单个样本的计算:
Z[1]=W[1]X+b[1]$Z^{[1]}=W^{[1]}X+b^{[1]}$
其中，Z[1]$Z^{[1]}$的维度是（n[1],1）$（n^{[1]},1）$，W[1]$W^{[1]}$的维度是（n[1],n[0])，$（n^{[1]},n^{[0]})，$X的维度是（n[0],1)$（n^{[0]},1)$，b[1]$b^{[1]}$的维度是（n[1],1）$（n^{[1]},1）$;
对于整个训练集（m个样本):
Z[1]$Z^{[1]}$的维度为（n[1],m）$（n^{[1]},m）$ ，W[1]$W^{[1]}$的维度是(n[1],n[0])$(n^{[1]},n^{[0]})$，X$X$的维度是(n[0],m)$(n^{[0]},m)$，b[1]$b^{[1]}$的维度是(n[1],m)$(n^{[1]},m)$.

• Z[l]$Z^{[l]}$，a[l]$a^{[l]}$:（n[l],1）$（n^{[l]},1）$
• Z[l]$Z^{[l]}$，A[l]$A^{[l]}$: (n[l],m)$(n^{[l]},m)$
• l=0$l=0$时，A[0]=X=(n[0],m)$A^{[0]}=X=(n^{[0]},m)$
• dz[l]，dA[l]：（n[l],m）$d{z}^{[l]}，d{A}^{[l]}：（n^{[l]},m）$

4.4 为什么使用深层表示

深度神经网络并不需要很大的神经网络，但是得有深度，得有比较多的隐藏层

4.5 搭建深层神经网络块

编程过程中需要将Z[l]，W[l]，b[l]$Z^{[l]}，W^{[l]}，b^{[l]}$缓存，在反向传播时可直接使用，节省时间

4.6 前向和反向传播

前向传播：

后向传播
损失函数：L=f(ŷ ,y)，ŷ =a[l]$损失函数：L=f(\hat{y},y)，\hat{y}=a^{[l]}$
"da[l]"=dLda[l]$"d{a}^{[l]}"=\frac{dL}{d{a}^{[l]}}$
"dZ[l]"=dadZ="da[l]"∗g[l]′(Z[l])$"d{Z}^{[l]}"=\frac{da}{dZ}="d{a}^{[l]}"\ast g^{[l{]}^{\prime }}(Z^{[l]})$
"dW[l]"="dZ"∗dZdW[l]="dZ[l]"a[l−1]$"d{W}^{[l]}"="dZ"\ast \frac{dZ}{d{W}^{[l]}}="d{Z}^{[l]}"a^{[l-1]}$
"db[l]"="dZ"∗dZdb[l]="dZ[l]"$"d{b}^{[l]}"="dZ"\ast \frac{dZ}{d{b}^{[l]}}="d{Z}^{[l]}"$
"da[l−1]"="dZ"∗dZda[l−1]=W[l]T"dZ[l]"$"d{a}^{[l-1]}"="dZ"\ast \frac{dZ}{d{a}^{[l-1]}}=W^{[l]T}"d{Z}^{[l]}"$
求"dal−1"时W[l]$"d{a}^{l-1}"时W^{[l]}$需要转置，因为"da[l−1]"$"d{a}^{[l-1]}"$维度为(n[l−1],1)$(n^{[l-1]},1)$，W[l]$W^{[l]}$维度为（n[l],n[l−1])$（n^{[l]},n^{[l-1]})$，"dZ[l]"$"d{Z}^{[l]}"$维度为(n[l],1)$(n^{[l]},1)$

4.7 参数和超参数

• 超参数在某种程度上决定了参数