Sigmoid函数（logsig）求导

通常情况下，我们所说的Sigmoid函数定义如下：
$\sigma(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{e^x+1}.$σ(x)=1+e−x1​=ex+1ex​.
它的形状如下：

导数如下：
$\frac{d\sigma(x)}{dx}=\sigma(x)\cdot (1-\sigma(x)).$dxdσ(x)​=σ(x)⋅(1−σ(x)).
本篇博文讲$\sigma(x)$σ(x)导数的推导过程。

注意

Sigmoid函数实际上是指形状呈S形的一组曲线[1]，上述公式中的$\sigma(x)$σ(x)正式名称为logistic函数，为Sigmoid函数簇的一个特例（这也是$\sigma(x)$σ(x)的另一个名字，即$logsig$logsig的命名来源）。我们经常用到的hyperbolic tangent函数，即$\tanh x=\frac{e^x-e^{-x}}{e^x+e^{-x}}$tanhx=ex+e−xex−e−x​也是一种sigmoid函数。

下文依旧称$\sigma(x)$σ(x)为logistic函数。

logistic函数的有效工作范围是$(-10,10)$(−10,10)，从它的图像也可以看出来：在$(-10,10)$(−10,10)以外，函数值的变化非常小。那么问题来了，如果用logistic函数当神经网络的**函数，当$x>10$x>10或者$x<-10$x<−10时会出现梯度消失（gradient vanishing）的问题，即$\frac{d\sigma(x)}{dx}\approx 0$dxdσ(x)​≈0。换句话说，梯度下降算法会进入死胡同。这一点要特别注意。

求导过程[2]

$\frac{d\sigma(x)}{dx}=\frac{d}{dx}\left[\frac{1}{1+e^{-x}}\right] = \dfrac{d}{dx} \left( 1 + \mathrm{e}^{-x} \right)^{-1} = -(1 + e^{-x})^{-2}(-e^{-x})$dxdσ(x)​=dxd​[1+e−x1​]=dxd​(1+e−x)−1=−(1+e−x)−2(−e−x)
$= \dfrac{e^{-x}}{\left(1 + e^{-x}\right)^2}$=(1+e−x)2e−x​
$= \dfrac{1}{1 + e^{-x}\ } \cdot \dfrac{e^{-x}}{1 + e^{-x}}$=1+e−x 1​⋅1+e−xe−x​
$= \dfrac{1}{1 + e^{-x}\ } \cdot \dfrac{(1 + e^{-x}) - 1}{1 + e^{-x}}$=1+e−x 1​⋅1+e−x(1+e−x)−1​
$= \dfrac{1}{1 + e^{-x}\ } \cdot \left( \dfrac{1 + e^{-x}}{1 + e^{-x}} - \dfrac{1}{1 + e^{-x}} \right)$=1+e−x 1​⋅(1+e−x1+e−x​−1+e−x1​)
$= \dfrac{1}{1 + e^{-x}\ } \cdot \left( 1 - \dfrac{1}{1 + e^{-x}} \right)$=1+e−x 1​⋅(1−1+e−x1​)
$= \sigma(x) \cdot (1 - \sigma(x))$=σ(x)⋅(1−σ(x))

复习一下一般求导法则

1. 乘法法则
   $(f\cdot g)'=f'g+fg'$(f⋅g)′=f′g+fg′
2. 除法法则
   $\left(\frac{f}{g}\right)'=\frac{f'g-fg'}{g^2} \qquad (g\neq 0)$(gf​)′=g2f′g−fg′​(g​=0)
3. 倒数法则
   $\left(\frac{1}{g}\right)'=\frac{-g'}{g^2} \qquad (g\neq 0)$(g1​)′=g2−g′​(g​=0)
4. 复合函数求导法则
   $(f[g(x)])'=\frac{df(g)}{dg}\frac{dg}{dx}$(f[g(x)])′=dgdf(g)​dxdg​

[1] https://en.wikipedia.org/wiki/Sigmoid_function
[2] https://math.stackexchange.com/questions/78575/derivative-of-sigmoid-function-sigma-x-frac11e-x