深度学习应用开发5.1监督学习的基本术语

1样本 特征

深度学习应用开发5.1监督学习的基本术语
简单线性回归案例
深度学习应用开发5.1监督学习的基本术语
y=w*x+b
深度学习应用开发5.1监督学习的基本术语
深度学习应用开发5.1监督学习的基本术语

2训练与损失

深度学习应用开发5.1监督学习的基本术语
损失
深度学习应用开发5.1监督学习的基本术语
可以发现左边损失大,右边小,右侧模型比较好
深度学习应用开发5.1监督学习的基本术语
深度学习应用开发5.1监督学习的基本术语
深度学习应用开发5.1监督学习的基本术语
右边的比较大

3模型训练降低损失

3.1模型训练的迭代损失

深度学习应用开发5.1监督学习的基本术语
深度学习应用开发5.1监督学习的基本术语
初始值取多少意义不大的,就像图像识别初始矩阵都取很小的值
深度学习应用开发5.1监督学习的基本术语

3.2计算损失函数

深度学习应用开发5.1监督学习的基本术语

4梯度下降法

一般来说w会随机取一个,这需要一个方法就是梯度下降法。以一个最快的方向下山,在这里取梯度
梯度的概念是一个向量,表示某一函数该点处的方向导数沿着该方向取最大值,即函数在该点处沿着该方向(此梯度方向)变化最快变化率最高。
深度学习应用开发5.1监督学习的基本术语
深度学习应用开发5.1监督学习的基本术语
下一个权重值通过负梯度进行下一步搜索
深度学习应用开发5.1监督学习的基本术语

5学习率和超参数

5.1学习率

深度学习应用开发5.1监督学习的基本术语
深度学习应用开发5.1监督学习的基本术语

5.2超参数

深度学习应用开发5.1监督学习的基本术语