深度学习中的核心知识
深度学习中的核心知识
前向运算
计算输出值的过程称为前向传播
前提:网络结构已知(两个方面:1. 每个层的构造 卷积/池化 2. 每个层的参数)
难点:1.f函数如何定义 2.每层的参数 (通过反向传播来计算)
反向传播(BP算法)
神经网络(参数模型)训练方法
- 解决神经网络优化问题
- 计算输出层结果与真实值之间的偏差来进行逐层调节参数(梯度下降)
神经网络参数训练是一个不断迭代的过程
参数更新多少?
- 参数优化问题(迭代)
利用有标签的样本x和y
求解 loss=(估计值 - 真实值) 的最小值
对w求导 - 导数和学习率(梯度下降算法)
什么是梯度
- 函数在A点无数个变化方向中变化最快的那个方向
梯度下降算法
- 沿着导数下降的方法,进行参数更新
- 选择合适的步长、学习率
- 局部最优解
常见的深度学习模型
- 卷积神经网(CNN)
- 循环神经网(RNN)
- 自动编码机(Autoencoder)
- Restricted Boltzmann Machines(RBM, 受限玻尔兹曼机)
- 深度信念网络(DBN,Deep Belid Network)