特征缩放

面对多维特征问题的时候,保证这些特征都具有相近的尺度,将帮助梯度下降算法更快地收敛。
并且,当有多个特征向量的时候,如果其中一个变化范围比较大,根据上次所说的多特征梯度下降法算法可以知道,该特征向量的参数可能会变化范围很大,从而主导整个梯度下降的过程,使得整个收敛轨迹变得复杂,让收敛的时间更长。
特征缩放

定义

特征缩放是用来标准化数据特征的范围。

方法

调节比例(Rescaling)
这种方法是将数据的特征缩放到[0,1]或[-1,1]之间。缩放到什么范围取决于数据的性质。对于这种方法的公式如下:
特征缩放

标准化(Standardization)
特征标准化使每个特征的值有零均值(zero-mean)和单位方差(unit-variance)。这个方法在机器学习地算法中被广泛地使用。例如:SVM,逻辑回归和神经网络。这个方法的公式如下:

特征缩放
分子上-平均值
分母为标准差

注意

特征缩放的范围如果收敛的很大或者很小,就不太适合,也就是不是一个很好的特征缩放。多特征的范围不一定要在相同范围内,只要接近即可。