回顾 Logistic Regression

$z = \omega^Tx + b \to a=\sigma(z) \to \mathcal{L}(a,y)$z=ωTx+b→a=σ(z)→L(a,y)

浅层神经网络(只有一层隐藏单元)

在本周的课程中，浅层神经网络的 $W$W 均没有转置，也就是说，对于 $m$m 个大小为 $n_x$nx​ 的输入样本，$W$W 的大小为 $m*n_x$m∗nx​

神经网络的命名中，输入层的下一层作为神经网络的第一层，输出层作为神经网络的最后一层。图中每一个节点进行线性和非线性变换，即 $z = \omega^Tx + b$z=ωTx+b 和 $a = g(z)$a=g(z)， $g(x)$g(x) 为**函数。
要理解课程最重要的是分清每个符号的代表的意思

网络中每个符号的含义

以每个输入样本为照片拉成的向量为例，输入样本的大小为 $n_x * m$nx​∗m，$n_x = w*h*channels$nx​=w∗h∗channels
$x_i$xi​：单个输入向量的 $i$i 位置上的值

$a^{[j]}$a[j]： 第j层的输入值

$a^{[j]}_i$ai[j]​： 第 $j$j 层的第 $i$i个输入值

$n^{[i]}$n[i]：第 $i$i 层输入向量的维度，$n^{[0]} = n_x$n[0]=nx​

$x^{(i)}$x(i)：第 $i$i 个输入的样本

所以该浅层神经网络的第一层计算过程可以表示为
$z_1^{[1]} = \omega_1^{[1]T}x^{(i)} + b_1^{[1]}, a_1^{[1]} = g(z_1^{[1]})$z1[1]​=ω1[1]T​x(i)+b1[1]​,a1[1]​=g(z1[1]​)
$z_2^{[1]} = \omega_2^{[1]T}x^{(i)} + b_2^{[1]}, a_2^{[1]} = g(z_2^{[1]})$z2[1]​=ω2[1]T​x(i)+b2[1]​,a2[1]​=g(z2[1]​)
$z_3^{[1]} = \omega_3^{[1]T}x^{(i)} + b_3^{[1]}, a_3^{[1]} = g(z_3^{[1]})$z3[1]​=ω3[1]T​x(i)+b3[1]​,a3[1]​=g(z3[1]​)
$z_4^{[1]} = \omega_4^{[1]T}x^{(i)} + b_4^{[1]}, a_4^{[1]} = g(z_4^{[1]})$z4[1]​=ω4[1]T​x(i)+b4[1]​,a4[1]​=g(z4[1]​)
整个网络的计算过程可表示为
$Z^{[1]} = W^{[1]}A^{[0]} + b^{[1]}，A^{[0]}\in (n_0*m), W\in(n_1*n_0),b_1\in(n_1,1)$Z[1]=W[1]A[0]+b[1]，A[0]∈(n0​∗m),W∈(n1​∗n0​),b1​∈(n1​,1)
$A^{[1]} = g(Z^{[1]})$A[1]=g(Z[1])
$Z^{[2]}=W^{[2]}A^{[1]} + b^{[2]}，A^{[1]}\in (n_1*m), W\in(n_2*n_1),b_1\in(n_2,1)$Z[2]=W[2]A[1]+b[2]，A[1]∈(n1​∗m),W∈(n2​∗n1​),b1​∈(n2​,1)
$A^{[2]}=g(Z^{[2]})$A[2]=g(Z[2])
$W^{[1]}$W[1] 的直观表示为
$\left[ \begin{matrix} —— & \omega^{[1]T}_1 & —— \\ —— & \omega^{[1]T}_2 & —— \\ —— & \omega^{[1]T}_3 & —— \end{matrix} \right]$⎣⎢⎡​——————​ω1[1]T​ω2[1]T​ω3[1]T​​——————​⎦⎥⎤​

**函数的选择

可选函数

$Sigmoid: a = \frac{1}{1+e^{-z}}$Sigmoid:a=1+e−z1​
$Tanh: a = \frac{e^{z} - e^{-z}}{e^{z}+e{-z}}$Tanh:a=ez+e−zez−e−z​
$ReLU: a=\max(0,z)$ReLU:a=max(0,z)
$leaky\;ReLU: a=\max(0.01z, z)$leakyReLU:a=max(0.01z,z)

**函数的选择

$sigmoid$sigmoid 函数在二分类具有很好的表现性能；除了该场景 $tanh$tanh 函数几乎在其他所有场合比 $sigmoid$sigmoid 函数有更好的表现性能；$sigmoid$sigmoid 和 $tanh$tanh 通常只在输出层使用，其余层的**函数通常选择 $ReLU$ReLU，因为 $sigmoid$sigmoid 或 $tanh$tanh 在 $z$z 较大或者较小时的梯度较小，使用梯度下降法速率变化较慢，而 $ReLU$ReLU 在大多数 $z$z 空间内的**函数的导数比0大很多，从而使梯度下降很快，当 $z &lt; 0$z<0 时，尽管梯度为0，但只要隐藏单元足够多就可以保证训练的速率；$leaky\;ReLU$leakyReLU 的表现性能略优于 $ReLU$ReLU，但没有很广泛的应用

使用非线性**函数

如果使用线性**函数，多个隐藏层的**函数经线性变换后可以变为一个式子，多个隐藏层没有意义，因此只能使用非线性**函数

神经网络的梯度下降

最后一层**函数为 $sigmoid$sigmoid 函数
$dZ^{[2]}=A^{[2]}-Y$dZ[2]=A[2]−Y
$dW^{[2]}=\frac{1}{m}dZ^{[2]}A^{[1]T}$dW[2]=m1​dZ[2]A[1]T
$db^{[2]}=\frac{1}{m}np.sum(dZ^{[2]},axis = 1, keepdims = True)$db[2]=m1​np.sum(dZ[2],axis=1,keepdims=True)
$dZ^{[1]}=W^{[2]T}dZ^{[2]}*g^{[1]&#x27;}(Z^{[1]})$dZ[1]=W[2]TdZ[2]∗g[1]′(Z[1])
$dW^{[1]}=\frac{1}{m}dZ^{[1]}X^T$dW[1]=m1​dZ[1]XT
$db^{[1]}=\frac{1}{m}np.sum(dZ^{[1]}, axis=1, keepdims=True)$db[1]=m1​np.sum(dZ[1],axis=1,keepdims=True)
注意 $dZ^{[1]}$dZ[1] 的求解是两个矩阵对应位置相乘，使用 $np.sum()$np.sum() 时注意 $keepdims$keepdims 保证矩阵加法不会使矩阵维度减少，避免不必要的错误

梯度下降详解

$n^{[i]}$n[i] 为每一个层的节点个数
$\mathcal{L}(A^{[2]},y) = \frac{1}{m}\sum_{i=1}^{m}J(A^{[2]},y)，\mathcal{L} \in(1*1)$L(A[2],y)=m1​i=1∑m​J(A[2],y)，L∈(1∗1)
$J(A^{[2]},y)=-(y\log A^{[2]}+(1-y)\log(1-A^{[2]}))， J \in (1*m)$J(A[2],y)=−(ylogA[2]+(1−y)log(1−A[2]))，J∈(1∗m)
$dA^{[2]}=-(\frac{y}{A^{[2]}}-\frac{1-y}{1-A^{[2]}})，dA^{[2]} \in (1*m)$dA[2]=−(A[2]y​−1−A[2]1−y​)，dA[2]∈(1∗m)
$dZ^{[2]}=(A^{[2]}*(1-A^{[2]})dA^{[2]}=A^{[2]}-Y，dZ^{[2]} \in (1*m)$dZ[2]=(A[2]∗(1−A[2])dA[2]=A[2]−Y，dZ[2]∈(1∗m)
$dW^{[2]} = \frac{1}{m}dZ^{[2]}A^{[1]T} ，dW^{[2]} \in (1*n^{[1]})这里乘 \frac{1}{m} 是因为通过 m 个样本的求和求得dW^{[2]}$dW[2]=m1​dZ[2]A[1]T，dW[2]∈(1∗n[1])这里乘m1​是因为通过m个样本的求和求得dW[2]
$db^{[2]}=\frac{1}{m}np.sum(dZ^{[2]}, axis =1, keepdims=True)，db^{[2]} \in (1*1)$db[2]=m1​np.sum(dZ[2],axis=1,keepdims=True)，db[2]∈(1∗1)
$dZ^{[1]} = W^{[2]T}dZ^{[2]}*g^{[1]&#x27;}(Z^{[1]})，dZ^{[1]} \in(n^{[1]}*m)，根据维度对比，这两个矩阵只能点乘$dZ[1]=W[2]TdZ[2]∗g[1]′(Z[1])，dZ[1]∈(n[1]∗m)，根据维度对比，这两个矩阵只能点乘
$dW^{[1]} = \frac{1}{m}dZ^{[1]}X^T，dW^{[1]} \in(n^{[1]}，n^{[0]}$dW[1]=m1​dZ[1]XT，dW[1]∈(n[1]，n[0]
$db^{[1]} = \frac{1}{m}np.sum(dZ^{[1]}, axis =1, keepdims = True)，db \in(n^{[1]},1)$db[1]=m1​np.sum(dZ[1],axis=1,keepdims=True)，db∈(n[1],1)
对矩阵求导，最好是根据输出矩阵的维度确定矩阵转置和相乘的位置

初始化

对logistic来说，可以将 $\omega$ω 初始化为0；但对于浅层神经网络而言，如果将 $W$W 初始为0，那么两个节点完全对称，节点计算一样的函数，在迭代之后的计算仍然相同；也就是说无论如何迭代计算两个节点的权重都相同。
在实际应用时用 $np.random.randn(())*0.01$np.random.randn(())∗0.01 初始化 ,选择乘0.01是为了使 $W$W 变小，那么**函数就不会落在函数平缓的地方，加快迭代速率。当训练浅层网络时，0.01满足要求，对于深层网络则需要选择其他的数值。