深度学习的**函数：加粗样式sigmoid、tanh、ReLU 、Leaky Relu、RReLU

**函数可以分为两大类：
饱和**函数： sigmoid、 tanh
非饱和**函数: ReLU 、Leaky Relu 、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】
深度学习的**函数：加粗样式sigmoid、tanh、ReLU 、Leaky Relu、RReLU
相对于饱和**函数，使用“非饱和**函数”的优势在于两点：
1.首先，“非饱和**函数”能解决深度神经网络【层数非常多！！】的“梯度消失”问题，浅层网络【三五层那种】才用sigmoid 作为**函数。
2.其次，它能加快收敛速度。

sigmoid 函数 (以前最常用)
tanh (双曲正切函数 ;Hyperbolic tangent function)
relu （Rectified linear unit; 修正线性单元）
Leaky Relu (带泄漏单元的relu )
RReLU（随机ReLU）

1 sigmoid函数

深度学习的**函数：加粗样式sigmoid、tanh、ReLU 、Leaky Relu、RReLU
该函数具有如下的特性：当x趋近于负无穷时，y趋近于0；当x趋近于正无穷时，y趋近于1；当x= 0时，y=0.5.
优点：：
1.Sigmoid函数的输出映射在(0,1)之间，单调连续，输出范围有限，优化稳定，可以用作输出层。
2.求导容易，处处可导，导数为：f′(x)=f(x)(1−f(x))
缺点：
1.由于其软饱和性，容易产生梯度消失，导致训练出现问题。
2.其输出并不是以0为中心的。

2 tanh函数

tanh是双曲函数中的一个，tanh()为双曲正切。在数学中，双曲正切“tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。
深度学习的**函数：加粗样式sigmoid、tanh、ReLU 、Leaky Relu、RReLU 其实tanh(x)=2sigmoid(2x)-1

特点

函数：y=tanh x；
定义域：R
值域：(-1,1)。
y=tanh x是一个奇函数，其函数图像为过原点并且穿越Ⅰ、Ⅲ象限的严格单调递增曲线，其图像被限制在两水平渐近线y=1和y=-1之间。
深度学习的**函数：加粗样式sigmoid、tanh、ReLU 、Leaky Relu、RReLU

3 ReLU、LReLU、PReLU

ReLu
深度学习的**函数：加粗样式sigmoid、tanh、ReLU 、Leaky Relu、RReLU
tensorflow中：tf.nn.relu(features, name=None)

LReLU (Leaky-ReLU)
深度学习的**函数：加粗样式sigmoid、tanh、ReLU 、Leaky Relu、RReLU
其中aiai是固定的。ii表示不同的通道对应不同的aiai.
tensorflow中：tf.nn.leaky_relu(features, alpha=0.2, name=None)

PReLU
深度学习的**函数：加粗样式sigmoid、tanh、ReLU 、Leaky Relu、RReLU
其中aiai是可以学习的的。如果ai=0ai=0，那么 PReLU 退化为ReLU；如果 aiai是一个很小的固定值（如ai=0.01ai=0.01），则 PReLU 退化为 Leaky ReLU（LReLU）。
PReLU 只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同 channels 使用相同的aiai时，参数就更少了。BP 更新aiai时，采用的是带动量的更新方式（momentum）。
tensorflow中:没找到啊!

深度学习的**函数 ：加粗样式sigmoid、tanh、ReLU 、Leaky Relu、RReLU