吴恩达 深度学习系列--浅层神经网络
吴恩达 深度学习系列- -浅层神经网络
单隐层神经网络的前向传播、反向传播以及梯度更新
- 以下面的单隐层神经网络为例子，公式推导如下：
公式推导参考借鉴了：浅层神经网络：反向传播公式推导 - 单个样本：
- m个样本：
- python伪代码：
不同的**函数
- 不同**函数对比：深度神经网络中常用的**函数的优缺点分析
全0初始化问题
权重参数全部初始化为0，梯度下降算法将不会起到任何作用。无论我们隐藏层神经元有多少个，由于权重的对称性，我们的隐层的神经单元输出始终不变，出现隐藏神经元的对称性。我们希望不同神经元能够有不同的输出，这样的神经网络才有意义。
相关推理：神经网络权重为什么不能初始化为0
作业
作业链接：assignment3