人工智能与深度学习概念——人工神经网络-ANN（2）
前言
在这主要将人工神经网络，在讲之前要先了解人工智能与深度学习的关系。
人工智能：
具有高度综合性和交叉性的学科，其研究范畴包括：自动推理、知识表达、专家系统、机器学习等。
机器学习：
机器学习是人工智能的核心，是人工智能的一个重要分支，其应用遍历了人工智能的各个领域，涉及的算法包括：决策树、支持向量机（SVM）、人工神经网络、聚类、贝叶斯分类器、规则学习、强化学习等。
深度学习：
这个概念是人工神经网络经过发展，进入了一个深层次的状态，便就是现在的深度学习。更深的网络使得模型的性能更好，相较于传统的机器学习，不需要进行手工提取特征。简单来说深度学习本质也就是人工神经网络。
深度学习的模型实质
为了更好的理解深度学习，所以还是要粗略了解一下模型实质。
深度模型的实质其实就是一个复杂的非线性函数，所以对于不同领域的不同的模型其实就是不同计算方式的函数。
一般的输入是我们传统的视、触、听、感灯一些可进行获取并转换的数据，经过模型处理，在输出可以观或感的数据，并进行可视化的显示。
上述就是个最简单的例子，一个图片转化成数据进行输入，经过一个风雷模型，然后输出数据并转化成人可识别的英文标记，这就是一个深度模型的实质。
深度学习网络
MLP是早前的人工神经网络
CNN常用于图像处理，
RNN主要处理序列的信息
LSTM是RNN的扩展
这里主要详细讲一些多层感知机（MLP）其他的后续进行讲解。
神经网络基本单元——神经元
将图片获取后，转化成矩阵数据，进行模型特征读取（x）并进行输入，（x）相当于神经的一个敏感部，每个输入占有一个权值（w），权重越大代表输入性越强，他的输出为每个输入×权重相加起来，加上一个偏置（b），偏置是一个常数，不占有权重。
公式表达：
实质：输入加权求和再加偏置，**函数进行非线性转化，映射到固定值域。
**函数一般用f来表示，早期的**函数采用的是阶跃函数，在数值大于0时为1，小于等于0时为0。
还有其他的**函数，
Sigmoid函数
由于都涉及指数运算，所以其运行成本较高，而且由图看如果输入在饱和区域，进行放大，基本是不变的，导致模型训练中梯度消失，最终模型失败。也不以0为中心，收敛速度慢。但是Sigmoid函数为连续函数，求导简单，且输出范围是有限的，优化相对简单。
tanh函数
tanh函数相比较与Sigmiod函数梯度相对缓和，以0为中心，且收敛速度很快。但是同样具有Sigmiod的缺点，指数函数的运算成本高，也会有模型梯度消失问题。
ReLU函数
ReLU函数是非常简单的函数，小于0的值全部为0，大于0的值是输入本身，所以它计算非常简单，而且输入为正数时不存在梯队消失问题，，但它小于0的值全部为0，会导致负半轴信息全部丢失，存在神经元死亡的问题。
Leaky ReLU函数
为了解决ReLU函数的神经元失活问题，所进行的调整。
Softplus函数
同样是ReLU的一个改进，进行了平滑处理。
Softmax函数
Softmax把一些输出的神经元映射到（0-1）之间的实数，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。常用在全连接的最后一层，判定输入在分类类别中的概率（各类概率和为1），概率最大的便是输出的分类类别。
前馈神经网络
单层神经网络（单层感知机）
单层感知机是指只有一层处理单元的感知机，它的结构与功能都非常简单，通过读网络权值的训练，可以使感知机对一组输入矢量的响应达到元素为0或1的目标输出，从而实现对输入矢量分类的目的，一般解决线性问题，由于它有下列几个缺点：
1、我们的优化方法不一定能够找到我们所希望的优化参数，也就找不到我们需要的拟合函数，虽然这个拟合的函数是存在的；
2、训练结果好，但是泛化能力差，即很容易产生过拟合
目前在解决实际问题时很少被采用，但由于它在神经网络研究中具有重要意义，是研究其他网络的基础，而且较易学习和理解，适合于作为学习神经网络的起点。
深层神经网络（多层感知机）：
多层感知机使用更深层的神经网络，可以得到更好的表达效果，这可以直观地理解为：在每一个网络层中，函数特点被一步步的抽象出来；下一层网络直接使用上一层抽象的特征进行进一步的线性组合。
简单来说就是神经元的堆叠，每个神经元只与前一层的神经元相连接受前一层的输出，并输出给下一层，各层间没有反馈。
但是深层神经网络也有缺点：
1、在面对大数据时需要人为提取原始数据的特征作为输入，这个尺度很难掌握，多层神经网络会把蹲在屋顶的Kitty和骑在猫奴头上的Kitty识别为不同的猫咪，又会把二哈和狼归类为同一种动物。前者是对不相关变量过于敏感，后者则因无法提取有实际意义的特征。
2、想要更精确的近似复杂的函数，必须增加隐藏层的层数，这就产生了梯度扩散问题。
3、无法处理时间序列数据（比如音频），因为多层神经网络不含时间参数。
参考文献
1、http://edu.cstor.cn/#/