Deep Learning Notes - 1.3浅层神经网络

单隐藏层的神经网络

一些约定

• 上标 [i]${}^{[i]}$ 指第 i$i$ 层
• 上标 (i)${}^{(i)}$ 指第 i$i$ 个样例
• 下标 i${}_i$ 指特定层中的第 i$i$ 个节点
  
  • 例如： a[i]j$a_j^{[i]}$ 表示第 i$i$ 层中的第 j$j$ 个节点
• 通常输入层不看作一个标准的层，所以输入层常被记为第 0$0$ 层

范例网络

其中a[0]$a^{[0]}$为输入层，a[1]$a^{[1]}$为隐藏层，a[2]$a^{[2]}$为输出层。

神经网络的计算（一组训练样例）

每个神经元中，都会进行上图所示的计算，那么所有神经元的计算为：

向量化后为：

其中：

并且b$b$和z$z$均为纵向堆叠。

多组训练样例的向量化

假设一共有m$m$组样例，那么向量化之后如下：

其中：X=A[0]$X=A^{[0]}$

并且Z$Z$也为横向堆叠。

**函数

为什么要使用**函数

如果不适用**函数，即对结果处理为g(z)=z$g(z)=z$，那么最终输出层输出的是x$x$的线性组合，中间隐藏层便失去了意义（不如去掉）。

而只有面对回归问题时，线性**函数g(z)=z$g(z)=z$才应用于输出层。

**函数σ(z)$\sigma (z)$

sigmod**函数的使用范围不大，仅在二元分类网络的输出层使用较多。

**函数tanh(z)$tanh(z)$

效果略好于sigmod函数，但使用也不常用，因为训练速度稍慢。

**函数ReLU(z)$ReLU(z)$

此函数使用最为广泛，基本上作为默认使用。

**函数leakyReLU(z)$leakyReLU(z)$

一般 c$c$ 取一个很小的数，例如 0.01$0.01$。具体值需要根据训练情况而定。

此函数效果比ReLU要好，但是使用并不广泛。

梯度下降

向量化之后的计算过程：

上式中的 ∗$\ast$ 是指逐个相乘。

随机初始化

矩阵W$W$需要随机化，而b$b$置为全零就可以了。