Python3入门机器学习之4.3多元线性回归中的梯度下降法

Python3入门机器学习

4.3 多元线性回归中的梯度下降法

Python3入门机器学习之4.3多元线性回归中的梯度下降法
以下是对有两个参数的梯度下降法的可视化:
Python3入门机器学习之4.3多元线性回归中的梯度下降法
推导过程:
Python3入门机器学习之4.3多元线性回归中的梯度下降法
Python3入门机器学习之4.3多元线性回归中的梯度下降法

观察上式,显然梯度的大小将与样本数量m有关,这样其实是不合理的。我们希望最后求出的梯度向量中的每一个值与m无关,为此,我们让整个梯度值再除以一个m,如下:
Python3入门机器学习之4.3多元线性回归中的梯度下降法
于是,其实目标函数可以写成:
Python3入门机器学习之4.3多元线性回归中的梯度下降法