您的位置: 首页  >  文章  >  【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——**函数的导数（Derivatives of activation functions）

【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——**函数的导数（Derivatives of activation functions）

分类: 文章 • 2024-01-01 17:20:36

文章目录

3.8 **函数的导数（Derivatives of activation functions）

在神经网络中使用反向传播的时候，你真的需要计算**函数的斜率或者导数。针对以下四种**，求其导数如下：
1）sigmoid activation function
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——**函数的导数（Derivatives of activation functions）
图3.8.1
其具体的求导如下：

【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——**函数的导数（Derivatives of activation functions）
2) Tanh activation function
【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——**函数的导数（Derivatives of activation functions）
图3.8.2
其具体的求导如下：

【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——**函数的导数（Derivatives of activation functions）
3）Rectified Linear Unit (ReLU)

【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——**函数的导数（Derivatives of activation functions）
4）Leaky linear unit (Leaky ReLU)
与ReLU类似

【吴恩达深度学习专栏】浅层神经网络(Shallow neural networks)——**函数的导数（Derivatives of activation functions）
注：通常在z=0的时候给定其导数1,0.01；当然z=0的情况很少

相关推荐