**函数的作用
引入非线性，增强神经网络的表达能力
Sigmoid/Tanh/ReLu**函数的优缺点
这三个**函数都没能解决梯度消失
梯度弥散就是梯度消失。
一种很流行的说法是Relu解决了梯度消失的问题，其实并不是这样。
单从**函数的导数来说，看**函数的“死区”范围，即导数接近于0的区间。Sigmoid和Tanh仅0附近一小段范围非死区；即使是Relu仍有一半的死区。
此外，梯度不仅包括**函数的导数，还有输出值。不能指望一个**函数能解决梯度消失。不同的**函数对输出有不同的影响。要考虑的东西就更多了。
