**函数Sigmoid

**函数 Sigmoid

Sigmoid函数输入一个实值的数,然后将其压缩到0~1的范围内。sigmoid函数能够很好的表达“**”的意思,未**就是0,完全饱和的**则是1。

函数公式:

**函数Sigmoid

求导公式:

**函数Sigmoid

函数图像:

**函数Sigmoid

优点

Logistics Regressionke可以选择Sigmoid函数。LR模型是一个二分类模型,即对于一个X,预测其发生或不发生。但事实上,对于一个事件发生的情况,往往不能得到100%的预测,因此LR可以得到一个事件发生的可能性,超过50%则认为事件发生,低于50%则认为事件不发生。

缺点:

1.Sigmoid函数 涉及指数运算,计算量比较大。
2. Sigmoid函数在趋向于正无穷或负无穷时,趋向于饱,出现梯度消失。
3. Sigmoid函数收敛缓慢。
4. 当使用的数据集全是正的时候,对W求导的结果就全是正的,这样在反向传播的过程中w要么都往正方向更新,要么都往负方向更新,导致有一种捆绑的效果,使得收敛缓慢;要想解决这个问题,就使用均值为0的数据。