deeplearning.ai神经网络和深度学习学习笔记

单个样本的情况如下：
deeplearning.ai神经网络和深度学习学习笔记

假设一个样本有2个特征 $x_{1}, x_{2}$ ，从左向右传播，依次求出 $z, a$ 和损失函数，我们需要一次次的更新参数 $w_{1}, w_{2}, b$ 来最小化损失函数。

上述情况是一个样本的损失函数最小化过程，下面是训练集整体m个样本的过程：
首先来一些数学上符号的表示，这些符号在这门课中频繁使用。
- 整体的损失函数

J (w, b) = \frac{1}{m} \sum_{i = 1}^{m} L (a^{(i)}, y^{(j)})

\frac{\partial J (w, b)}{\partial_{w_{1}}} = \frac{1}{m} \sum_{m}^{i = 1} \frac{\partial L (a^{(i)}, y^{(j)})}{\partial_{w_{1}}}

在计算形如 $z = w^{T} x + b$ 会涉及大量运算，如果使用for循环串行计算很费时，使用numpy的矩阵运算大大节省时间，这也是为什么都用矩阵或者向量表示的一个原因。
deeplearning.ai神经网络和深度学习学习笔记

deeplearning.ai神经网络和深度学习学习笔记

一般双曲正切**函数在隐藏层中比sigmod更合适，除非在输出层使用sgmoid
deeplearning.ai神经网络和深度学习学习笔记