神经元建模 **函数
1、sigmoid函数
缺点：当输入大于或者小于某一个值以后，函数的导数为0，也就是说函数的梯度为0。梯度为0的话，就没法更新网络参数了，网络永远没法收敛，导致梯度消失的现象。所以一般不使用sigmoid函数作为**函数。
2、relu函数
优点：可以解决梯度消失的问题，当输入x大于0的时候，函数导数为常数1。
函数梯度的求解非常简单。
大部分神经网络都使用relu函数作为 **函数。
1、sigmoid函数
缺点：当输入大于或者小于某一个值以后，函数的导数为0，也就是说函数的梯度为0。梯度为0的话，就没法更新网络参数了，网络永远没法收敛，导致梯度消失的现象。所以一般不使用sigmoid函数作为**函数。
2、relu函数
优点：可以解决梯度消失的问题，当输入x大于0的时候，函数导数为常数1。
函数梯度的求解非常简单。
大部分神经网络都使用relu函数作为 **函数。