深度神经网络（DNN）模型与前向传播算法

深度神经网络（Deep Neural Networks，以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型。

一、从感知机到神经网络

在感知机原理中，我们知道感知机的模型，它是一个有若干输入和一个输出的模型，如下图:
深度神经网络（DNN）模型与前向传播算法
输出和输入之间学习到一个线性关系，得到中间输出结果：
$z =\displaystyle \sum^m_{i = 1}w_ix_i + b$
接着是一个神经元**函数:
$sign(z)= \begin{cases} -1& \text{z>0}\\ 1& \text{z<0} \end{cases}$
从而得到我们想要的输出结果1或者-1。这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，因此在工业界无法使用。
而神经网络则在感知机的模型上做了扩展，总结下主要有三点：

1.加入了隐藏层

隐藏层可以有多层，增强模型的表达能力，如下图实例，当然增加了这么多隐藏层模型的复杂度也增加了好多。
深度神经网络（DNN）模型与前向传播算法

2.输出层的神经元不止一个输出

输出层的神经元也可以不止一个输出，可以有多个输出，这样模型可以灵活的应用于分类回归，以及其他的机器学习领域比如降维和聚类等。多个神经元输出的输出层对应的一个实例如下图，输出层现在有4个神经元了。深度神经网络（DNN）模型与前向传播算法

3.对**函数做扩展

感知机的**函数是 $sign(z)$ ,虽然简单但是处理能力有限，因此神经网络中一般使用的其他的**函数，比如我们在逻辑回归里面使用过的Sigmoid函数，即：
$f(z) = \frac{1}{1+e^{-z}}$
还有后来出现的 $tanx, softmax$ ，和 $ReLU$ 等。通过使用不同的**函数，神经网络的表达能力进一步增强。

二、DNN的基本结构

DNN可以理解为有很多隐藏层的神经网络。并且这个很多也没有什么度量标准, 多层神经网络和深度神经网络DNN其实也是指的一个东西，当然，DNN有时也叫做多层感知机（Multi-Layer perceptron,MLP）, 名字实在是多。
根据DNN中不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。
深度神经网络（DNN）模型与前向传播算法
层与层之间是全连接的，也就是说，第 $i$ 层的任意一个神经元一定与第 $i+1$ 层的任意一个神经元相连。虽然 $DNN$ 看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系 $z = \sum w_ix_i +b$ 加上一个**函数 $\sigma(z)$ 。
由于DNN层数多，则我们的线性关系系数 $w$ 和偏执 $b$ 的数量也就变得更多了。首先确定线性关系系数 $w$ 的定义。以下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为 $w^2_{4,2}$ 。上标2代表线性系数w所在的层数，而下标对应的是输出的第二层索引4和输入的第三层索引2。当然，如果在程序中为了方便计算可以将 $w^2_{4,2}$ 表示成 $w^2_{2,4}$ ，这样可以有效的避免矩阵的转置。
深度神经网络（DNN）模型与前向传播算法
再来看偏执 $b$ 的定义。还是以这个三层的DNN为例，第二层的第三个神经元对应的偏执的定义为 $b^2_3$ 。其中，上标2代表所在的层数，下标3代表偏执所在的神经元的索引。同样的道理，第三个的第一个神经元的偏倚应该表示为 $b^3_1$ 。深度神经网络（DNN）模型与前向传播算法

三、DNN前向传播算法数学原理

已知DNN各层线性关系系数 $w$ ,和偏倚 $b$ 的定义。假设我们选择的**函数是 $\sigma(z)$ ，隐藏层和输出层的输出值为 $a$ ，则对于下图的三层DNN,利用和感知机一样的思路，我们可以利用上一层的输出作为下一层的输入，从而计算下一层的输出，也就是所谓的DNN前向传播算法。
深度神经网络（DNN）模型与前向传播算法
对于第二层的的输出 $a^2_1$ ， $a^2_2$ ， $a^2_3$ ，我们有：
$a^2_1 = \sigma(z^2_1) = \sigma(w^1_{11}x_1 + w^1_{12}x_2+ w^1_{13}x_3 +b_1^2)$
$a^2_2 = \sigma(z^2_2) = \sigma(w^1_{21}x_1 + w^1_{22}x_2+ w^1_{23}x_3 +b_2^2)$
$a^2_3 = \sigma(z^2_3) = \sigma(w^1_{31}x_1 + w^1_{32}x_2+ w^1_{33}x_3 +b_3^2)$
对于第三层的的输出 $a^3_1$ ，我们有：
$a^3_1 = \sigma(z^3_1) =\sigma (w^2_{11}x^2_1 + w^2_{21}x^2_2 + w^2_{31}x^2_3 + w^2_{41}x^2_4 + b_1^3)$
将上面的例子一般化，假设第 $l-1$ 层共有m个神经元，则对于第 $l$ 层的第j个神经元的输出 $a^l_j$ ，我们有：
$a^l_j = \sigma(z^l_j) = \sigma(\displaystyle\sum^{m}_{i = 1}w^{l-1}_{ij}x^{l-1}_i + b^l_i)$
其中，如果 $l=2$ ,则对于的 $a^1_i$ 即为输入层的 $x_i$ 。
不难看出，使用代数法一个个的表示输出确实比较复杂，但是使用矩阵法则比较简洁。假设第 $l−1$ 层共有 $m$ 个神经元，而第 $l$ 层共有 $n$ 个神经元，则第 $l$ 层的线性系数 $w$ 组成了一个 $n×m$ 的矩阵 $W^{l-1}$ , 第 $l$ 层的偏倚 $b$ 组成了一个 $n×1$ 的向量 $b^l$ , 第 $l−1$ 层的输出 $a$ 组成了一个 $m×1$ 的向量 $a^{l−1}$ ，第 $l$ 层的未**前的线性输出 $z$ 组成了一个 $n×1$ 的向量 $z^l$ , 第 $l$ 层的输出 $a$ 组成了一个 $n×1$ 的向量 $a^l$ 。则用矩阵法表示，第 $l$ 层的输出为：
$a^l = \sigma(z^l) = W^{l-1}a^{l-1} +b^l$

四、DNN前向传播算法

经过上面的推导，可以轻易的得出向前传播算法，所谓的DNN的前向传播算法也就是利用若干个权重系数矩阵 $W$ 和偏执向量 $b$ 以及输入值向量 $x$ 进行一系列线性运算和**运算，从输入层开始，一层层的向后计算，一直到运算到输出层，最后得到输出结果。

输入: 总层数 $L$ ，所有隐藏层和输出层对应的矩阵 $W$ ,偏执向量 $b$ ，输入值向量 $x$
输出：输出层的输出 $a^L$
计算的通式为
$a^l = \sigma(z^l) = W^{l-1}a^{l-1} +b^l$
最后得到的输出结果为 $a^L$