神经网络：从逻辑回归到人工神经网络（ANN）
1. 什么是神经网络
人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
神经网络主要由：输入层，隐藏层，输出层构成。当隐藏层只有一层时，该网络为两层神经网络，由于输入层未做任何变换，可以不看做单独的一层。实际中，网络输入层的每个神经元代表了一个特征，输出层个数代表了分类标签的个数（在做二分类时，如果采用sigmoid分类器，输出层的神经元个数为1个；如果采用softmax分类器，输出层神经元个数为2个），而隐藏层层数以及隐藏层神经元是由人工设定。一个基本的三层神经网络可见下图：
1.1 从逻辑回归到神经元
为了便于大家理解，我们先回顾一下逻辑回归。逻辑回归模型如下：
其中
对此我们可以用以下结构进行理解：
根据上图，我们可以看出，逻辑回归可以分为线性变换部分与非线性变换部分。而只有输入层与输出层且输出层只有一个神经元的神经网络的结构便于逻辑回归一致。只不过在神经网络中，线性变换（求和）与非线性变换被集成在一个神经元（隐藏层或输出层）中。如下图所示：
于是，对于具有多层或多个输出神经元的神经网络就不难理解了。其每个隐藏层神经元/输出层神经元的值（**值），都是由上一层神经元，经过加权求和与非线性变换而得到的。其中非线性变换函数（又被称为**函数）可以是： sigmoid、tanh、relusigmoid、tanh、relu 等函数。
1.2 神经网络
根据1.1中所讲述，我们可以得到以下这样一个基本的三层神经网络：
其中 xi(i=1,2,3)为输入层的值，a(k)i(k=1,2,3...,K；i=1,2,3...,Nk) ，表示第 k 层中，第 ii个神经元的**值, Nk 表示第 k 层的神经元个数。当 k=1 时即为输入层，即 a(1)i=xi ，而 x0=1与a(2)0=1为偏置项。
为了求最后的输出值 hθ(x)=a(3)1，我们需要计算隐藏层中每个神经元的**值 a(k)ji(k=2,3)。。而隐藏层/输出层的每一个神经元，都是由上一层神经元经过类似逻辑回归计算而来。我们可以使用下图进行理解：
我们使用 θ(k)ji 来表示第 k 层的参数（边权），其中下标 j 表示第 k+1 层的第 j 个神经元，i 表示第 k 层的第 i 个神经元。于是我们可以计算出隐藏层的三个**值：
再将隐藏层的三个**值以及偏置项用来计算出输出层神经元的**值即为该神经网络的输出：
其中 g(z) 为非线性变换函数（**函数）。
到此，我们就大致了解了什么是神经网络了。
1.3 为什么要使用神经网络
首先，神经网络应用在分类问题中效果很好。 工业界中分类问题居多。LR或者linear SVM更适用线性分类。如果数据非线性可分（现实生活中多是非线性的），LR通常需要靠特征工程做特征映射，增加高斯项或者组合项；SVM需要选择核。 而增加高斯项、组合项会产生很多没有用的维度，增加计算量。GBDT可以使用弱的线性分类器组合成强分类器，但维度很高时效果可能并不好。而神经网络在三层及以上时，能够很好地进行非线性可分。现在我们使用下面的例子进行一下解释。
有这样一组样本，如下图：
若我们需要对上图中的样本进行分类，直观来看，很难找到一条线性分类边界对其进行分类，而观察上表中的输入输出值，我们可以看出分类结果与输入值是异或关系。而逻辑回归可以通过改变参数，来实现“与”、“或”、“非”简单操作。
（1）我们先来观察一下逻辑回归实现逻辑“与”操作，假设模型函数如下：
对应结构与结果为：
（2）逻辑回归实现逻辑“或非”操作，假设模型函数如下：
对应结果为：
（3）逻辑回归实现逻辑“或”操作，假设模型函数如下：
对应结果为：
观察（1）（2）中的 h(1)θ(x)与h(2)θ(x)hθ(1)(x)与hθ(2)(x) 的值，通过“或”操作，便能够得到“异或”操作的结果。
也就是说，若将三个逻辑回归操作进行叠加，便能够对上述例子进行非线性分类。大致结构图可理解为下：
而对线性分类器的逻辑与和逻辑或的组合可以完美的对平面样本进行分类。
隐层决定了最终的分类效果 ：
由上图可以看出，随着隐层层数的增多，凸域将可以形成任意的形状，因此可以解决任何复杂的分类问题。实际上，Kolmogorov理论指出：双隐层感知器就足以解决任何复杂的分类问题。
于是我们可以得出这样的结论：神经网络通过将线性分类器进行组合叠加，能够较好地进行非线性分类。
2.神经网络目标函数
同样的，对于神经网络我们也需要知道其目标函数，才能够对目标函数进行优化从而学习到参数。
假设神经网络的输出层只有一个神经元，该网络有 KK 层，则其目标函数为（若不止一个神经元，每个输出神经元的目标函数类似，仅仅是参数矩阵的不同）：
其中 a(i) 倒数第2层的**值，作为输出层的输入值。而其值为 a(k)=g(a(k−1)) ， y(i) 为实际分类结果 0/1 , m 为样本数，Nk 为第 k 层的神经元个数。
3.神经网络优化算法
神经网络与普通的分类器不同，其是一个巨大的网络，最后一层的输出与每一层的神经元都有关系。而神经网络的每一层，与下一层之间，都存在一个参数矩阵。我们需要通过优化算法求出每一层的参数矩阵，对于一个有 KK 层的神经网络，我们共需要求解出 K−1K−1 个参数矩阵。因此我们无法直接对目标函数进行梯度的计算来求解参数矩阵。
对于神经网络的优化算法，主要需要两步：前向传播(Forward Propagation)与反向传播(Back Propagation)
3.1 前向传播
前向传播就是从输入层到输出层，计算每一层每一个神经元的**值。也就是先随机初始化每一层的参数矩阵，然后从输入层开始，依次计算下一层每个神经元的**值，一直到最后计算输出层神经元的**值。
以下面这个例子来看：
（1）随机初始化参数矩阵 Θ(1)与Θ(2)：
（2）计算隐藏层的每个神经元**值：
即：
（3）计算隐藏层的每个神经元**值：
即：
以上便是前向传播计算**值的过程。
3.2 反向传播
反向传播总的来说就是根据前向传播计算出来的**值，来计算每一层参数的梯度，并从后往前进行参数的更新。
在介绍反向传播的计算步骤之前，我们先引入一个概念---除输入层外每个神经元节点的“损失” ，δkj 表示第 k 层第 j 个神经元的损失。
于是我们可以计算求得（除输入层）每一层神经元的损失（以上一个例子来解释）：
其中 y1 为实际值。向量化表示如下：
其中 ⋅∗ 表示两个矩阵对应位置上元素相乘， g′(z(2)) 是对函数求导。而
由上可看出，第二层的损失 δ(2) 是基于第三层的损失 δ(3) 计算而来。也就是说，我们可以先计算第三层的损失并对第二层的参数矩阵进行更新，再利用第三层的损失计算第二层的损失以及更新第一层的参数矩阵（至于为何可以这样进行，将在后面进行证明）。
于是，基于反向传播算法的梯度更新步骤如下：
（1）计算每一层的损失：δk（见上面所示）。
（2）计算每一层的 Δ(初始化为0)：Δ(k)=Δ(k)+δ(k+1)(a(k))T
（3）计算每一个参数的梯度：
也就是说。于是就可以使用梯度下降来进行参数的求解了。
3.3 反向传播的推导
大家可能都会有疑问，为什么求梯度时，要先对后一层进行计算，并利用其结果来求前一层的梯度？我们将针对如下例子进行推导证明：
第一层的参数为：
第二层的参数为：
我们先来对第二层的参数求梯度 ：
其中 yi 为实际值， g(θ(2)a(2))=a(3) 。
这一步的推导过程与逻辑回归一样，详细可参考逻辑回归梯度求导过程。
现在我们来对第一层的参数求梯度 ：
先对中括号内的求导：
故：
对比着3.2中的公式，我们可以看出，第 k 层的梯度可以根据第 k+1 层的损失来计算（上式是用第 2 的损失来推导第 1 层的梯度）。
到此，反向传播的推导过程就完成了。如果对式子还有不理解的，可以自己动手多试试。
4.神经网络算法分析
该部分参考博文[3]
（1）理论上，单隐层神经网络可以逼近任何连续函数（只要隐层的神经元个数足够）
（2）对于一些分类数据（比如CTR预估），3层神经网络效果优于2层神经网络，但如果把层数不断增加（4，5，6层），对最后的结果的帮助没有那么大的跳变。
（3）提升隐层数量或者隐层神经元个数，神经网络的“容量”会变大，空间表达能力会变强。
（4）过多的隐层和神经元结点会带来过拟合问题。
（5）不要试图降低神经网络参数量来减缓过拟合，用正则化或者dropout层。
注意：在代码中对参数的初始化并不是使用0来初始化，还是在范围 [−ϵ,ϵ][−ϵ,ϵ] 间随机初始化。对应代码为：