机器学习笔记(3)-----梯度下降算法中特征缩放
多变量线性回归
计算代价函数 ,其中:
octave求代价函数J(theta)代码:
function J = costFunctionJ(X,y,theta)
m = size(X,1);
prediction = X*theta;
sqrErrors = (prediction-y).^2;
J = 1/(2*m) * sum(sqrErrors);
Python 代码:
def computeCost(X, y, theta):
inner = np.power(((X * theta.T) - y), 2) # np为numpy包 import numpy as np
return np.sum(inner) / (2 * len(X))
然而 当我们的特征范围很大时,就要考虑这一对时间有影响的不可忽略的问题。
以房价问题为例,假设我们使用两个特征,房屋的尺寸和房间的数量,尺寸的值为 0-
2000 平方英尺,而房间数量的值则是 0-5,以两个参数分别为横纵坐标,绘制代价函数的等
高线图能,看出图像会显得很扁,梯度下降算法需要非常多次的迭代才能收敛。
分布图像如下:
X1 = size(0-2000feet^2)
x2 = number of bedrooms(1-5)
呈现椭圆形,进行梯度下降的话,则需要的时间会花费很大。
解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。如图:
最简单的方法是令: 其中