交叉熵损失函数,梯度下降算法

机器学习的三要素

模型

模型就是一种映射。

线性模型与非线性模型的区别是基函数是线性还是非线性。
线性模型与非线性模型都是基函数的线性组合。
当基函数又可以被另外一组基函数线性表示时,该模型就是神经网络。

学习准则

期望风险/期望错误:真实值和期望值的差异的期望。

损失函数有很多种,功能是衡量真实值和期望值的差异。
比如交叉熵损失函数
交叉熵损失函数,梯度下降算法
风险最小化准则
交叉熵损失函数,梯度下降算法

优化算法

交叉熵损失函数,梯度下降算法