神经网络中的**函数

---

tanh(z)=ez−e−zez+e−z$tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$效果严格地比sigmoid$sigmoid$函数好，因为该函数的对称中心在(0,0)$(0,0)$，具有将数据归一化为0均值的效果。当然，二分类的输出层的**函数还是一般用sigmoid(z)$sigmoid(z)$，因为sigmod$sigmod$函数能将输出值映射到0∼1$0\sim 1$之间（概率值）
Relu(z)=max(0,z)$Relu(z)=max(0,z)$出现后，神经网络默认都用Relu$Relu$函数（rectified linear）来作为**函数。此时一般默认z>0$z>0$
leaky(z)=max(0.01z,z)$leaky(z)=max(0.01z,z)$可以避免z<0$z<0$时斜率为零的情况 输出层有时也用线性**函数（房价预测）

1. Sigmoid activation function

图1.1 **函数-sigmoid

2. Tanh activation function

图2.1 **函数-tanh

3. ReLU and Leaky ReLU

图3.1 **函数-ReLU
ReLU:


Leaky ReLU:

图3.2 **函数-Leaky ReLU

4.选择**函数的准则

• 如果处理的问题是二分类问题，输出为0和1，那么输出层选择sigmoid函数，其他神经元选择ReLU(有时也可用tanh)，理论上Leaky ReLU比ReLU好，但是实践中差不多。