多层感知机
三.多层感知机：
1.1 形成多层神经网络
1.2 表达公式
1.3 **函数
上述问题的根源在于全连接层只是对数据做仿射变换（affine transformation），而多个仿射变换的叠加仍然是一个仿射变换。解决问题的一个方法是引入非线性变换，例如对隐藏变量使用按元素运算的非线性函数进行变换，然后再作为下一个全连接层的输入。这个非线性函数被称为**函数（activation function）。
常用**函数种类：Relu函数, sigmoid函数,tanh函数
1.3.1
Relu函数
公式
函数图像：
梯度图像：
**sigmoid函数：
公式
**
函数图像
梯度图像：
tanh函数
公式
函数图像：
梯度函数：
函数选择：
一般情况下Relu函数 只适用隐藏层使用,而在分类器 并且隐藏层数较小时 sigmoid和tanh函数都适合.而当层数变多时,根据梯度图像可以观察到容易出现梯度消失的现象.