Sigmoid

神经网络最常见的**函数就是sigmoid函数。
sigmoid函数意为“S型曲线函数”，它常常指的是logistic（对数几率）函数：

y = 1 1 + e - x = e x e x + 1

但sigmoid函数还有其他的函数，例如tanh函数等。

tanh x = e x - e - x e x + e - x

（更多见https://en.wikipedia.org/wiki/Sigmoid_function）
常见**函数（sigmoid/logistic/tanh/softmax/ReLU关系解释）

Softmax

logistic函数是对于二分类的函数，若扩展到K维，则为softmax函数：

σ (z) j = e z j \sum K k = 1 e z k

其中z为K维向量，j=1,⋯,K。

2001年，神经科学家Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的**模型，ReLU（Rectified Linear Units）函数被提出：

f (x) = x + = max (0, x)

而ReLU函数是个分段函数，求它的平滑近似函数就是softplus函数：

f (x) = ln (1 + e x)

可以发现，softplus求导为

f' (x) = e x e x + 1 = 1 1 + e - x

，即Logistic函数。

所以可以得到以上提及的函数的关系图：