开学季，你要的**函数都在这里

什么是**函数？

**函数就是神经网络输出端的一个节点，来连接两个神经网络。

为什么要在神经网络中使用**函数

**函数用来确定神经网络的输入，比如“是”或“否”，将结果映射为[0，1]或[-1，1]之间，根据函数的曲线，可分为两种类型：线性**函数、非线性**函数。

1.线性**函数（恒等**函数）

如下图所示，函数是线性的，函数的输出范围为（-∞，+∞）。

线性**函数

方程式：f(x) = x

取值范围：（-∞，+∞）

2.非线性**函数

非线性**函数是最常用的**函数，其曲线如下图所示：

非线性**函数

使用非线性**函数，模型可以更容易进行自我调整，并区分不同的输出。非线性**函数中的主要术语有：

1.导数或微分：y轴随x轴的变化，称为斜率。

2.单调函数：完全递增或完全递减的函数。

根据取值范围，非线性**函数可分为以下几种：Sigmoid**函数、Tanh**函数、ReLU**函数、

1.Sigmoid**函数（Logistic**函数）

Sigmoid**函数的曲线呈“S”形。

Sigmoid**函数

sigmoid函数很受大众的欢迎，其主要原因是：它的输出处于[0,1]范围内，特别适用于输出概率的模型。由于任何概率的取值在0和1范围之间，因此，sigmoid**函数是最好的选择。

该函数是可微的，也就是说，我们可以得到“S”曲线上任意两点之间的斜率。这个函数是单调的，但是其导数不是，sigmoid **函数可能会导致神经网络在训练的时候卡住。

softmax函数是一种更通用的逻辑**函数，用于多类分类。

2.Tanh**函数

tanh**函数和sigmoid**函数类似，但是要比sigmoid**函数好。tanh**函数的取值范围是（-1,1），曲线也呈“S”形。

sigmoid**函数和tanh**函数

tanh**函数的优点在于，如果输入为负数，则输出也为负数，输入为0，则输出也近似为0。

该函数是可微分、单调的，但其导数不单调。tanh**函数主要用于分类。

tanh和sigmoid**函数都可用于前馈网络。

3.ReLU**函数(Rectified Linear Unit)

在神经网络中，使用最多的**函数是ReLU**函数，它几乎可用于所有卷积神经网络或深度学习中。

ReLU**函数和Sigmoid**函数

如上图所示，在ReLU**函数中，当z<0时，f(z)=0；当z>0时，f(z)=z。取值范围为[0,+∞]

ReLU**函数及其导数都是单调的。

但这存在一个问题：当输入为负值时，输出立刻变为0，这就降低了模型拟合或训练数据的能力。反过来说，为了不影响结果，就不能映射负值输入。

4. Leaky ReLU**函数

Leaky ReLU**函数的出现，试图解决ReLU**函数中出现的死亡问题。

 ReLU**函数和Leaky ReLU**函数

Leaky ReLU**函数扩大了ReLU**函数的取值范围，如上图所示，通常，a的值为0.01左右。取值范围：（-∞，+∞）。

当a不是0.01时，该函数称为Randomized ReLU。

本质上来说，Leaky  ReLU函数和Randomized ReLU函数都是单调的。 而且，它们的导数也单调。

为什么要使用导数和微分？

在更新曲线时，我们要知道哪个方向上会发生变化，或者是根据斜率来更新曲线。这就是我们要在机器学习和深度学习的每个部分都使用微分的原因。

**函数汇总

**函数的导数曲线图汇总

本文由北邮@爱可可-爱生活 老师推荐，阿里云云栖社区组织翻译。

文章原标题《Activation Functions Neural Networks》

译者：Mags，审校：袁虎。

文章为简译，更为详细的内容，请查看原文