Deeplearning-Part4

4.1 深层神经网络

Deeplearning-Part4

  • 图三为双层神经网络(判断:隐藏层+输出层)

Deeplearning-Part4

  • n[x]层数从0开始,但输入层为第零层,以此类推,第x层。

Deeplearning-Part4

4.2 核对矩阵的维数

  • 在神经网络正反向的传播过程中,可以通过核对矩阵的维数来检验代码是否有错

Deeplearning-Part4

  • 在神经网络正反向的传播过程中,可以通过核对矩阵的维数来检验代码是否有错
  • 上图的右上角是总结性公式,各参数与上一层及下一层的维数都互有关联
  • 正向传播:已知Z&X,算出W[L] =(n[L], n[L-1]),b[L] =(n[L], 1)
  • 反向传播:dW维度应该和 W维度相同

Deeplearning-Part4

  • 上图右边重点

4.3 对深层的理解

Deeplearning-Part4

  • 在图像识别中,神经网络通过模拟人的大脑的判断方式,从简单到复杂,先辨别边缘信息再逐步组成眼睛鼻子等信息

Deeplearning-Part4

  • 深度学习其实就是多个隐层的神经网络,但并非隐层越多越好
  • 达叔通常先考虑使用1到2个隐层再+逻辑回归
  • 正向传播:
Deeplearning-Part4
  • 反向传播:
Deeplearning-Part4


4.4 参数和超参数

  • 参数(如W/b)
  • 超参数:学习算法中的,比如学习率/梯度下降法循环的数量/隐层数/隐藏单元数(需要自行设置的,能够控制最终的W/b的,称为超参数)
Deeplearning-Part4