sigmoid函数特性

sigmoid函数特性

(1)定义域为R
(2)值域为(0,1)
(3)函数在定义域内为连续和光滑的函数
(4)处处可导,且导函数满足S’(x)=S(x)(1-S(x))
(5)S形函数,中间梯度大,越趋近于两端梯度越小,容易梯度消失。
(6)导数值域为(0,0.25]

Sigmoid函数由下列公式定义
sigmoid函数特性

图形如下:
sigmoid函数特性
优点:平滑、易于求导。
缺点:**函数计算量大,反向传播求误差梯度时,求导涉及除法;反向传播时,很容易就会出现梯度消失的情况,从而无法完成深层网络的训练。