深度学习知识点（2）：标准梯度下降法

分类: 文章 • 2024-03-31 12:56:52

梯度下降是一种迭代式的最优化手段，在机器学习中一般用于求目标函数的极小值点，这个极小值点就是最优的模型内部参数。相比求解析解的手段，GD的通用性更强，所以受到广泛的使用。

1、一元函数的梯度下降法

比如求解f(x)=(x-1)2的最小值点

深度学习知识点（2）：标准梯度下降法

梯度下降的公式为深度学习知识点（2）：标准梯度下降法，上标表示第i轮的x值