多元线性回归

例如：

m=4 n=4

 

多元假设函数：

假设x0=1

多元变量梯度下降：

                                                           重复直到收敛

加速梯度下降

       特征缩放指将输入变量的输入值除以输入变量的范围(即最大值减去最小值)，让每个输入值处在大致相同的范围来加速梯度下降，使得输入值处在一个新的范围之内，如图所示。

       均值归一化指从输入变量的值减去输入变量的平均值除以输入值得范围，如图：

       ui是特征值i的平均值，si是输入值的范围（最大值-最小值），例如xi代表房价，范围是100到2000，均值为1000，则xi均值归一化结果为：

学习速率

       确保梯度下降正确工作可采用：调试梯度下降法和自动收敛测试。

       调试梯度下降法：绘制代价函数随着迭代次数变化而变化的图像。

       自动收敛测试：判断在一次迭代中，代价函数是否大于一个值，例如10的-3次幂，但是在实际中很难选择这个阈值。

       选择合适的学习速率，如果学习速率适中，在每一次迭代中代价函数减小；学习速率太小，梯度下降速度很慢；学习速率太大，每次迭代代价函数不会减小因此不会收敛。

特性和多项式回归

       可以用几种不同的方法来改进我们的特征和假设函数的形式。可以将多个功能组合成一个。例如,我们可以x1和x2合并成一个新特性x3 =x1⋅x2。

多项式回归

          我们的假设函数不一定是线性的(一条直线)，如果它不符合数据，我们可以将假设函数变为二次、三次或平方根函数(或任何其他形式)。特别要注意特征缩放的使用，使得输入值处在一个合理的范围。

正规方程法

        一次性最小化代价函数求得θ，而不使用迭代算法。公式为：

正规方程法和梯度下降法比较

正规方程及不可逆性

有时不可逆，在octave中有两个函数可以求逆，pinv()，inv()，第一个是伪逆，不论矩阵是否可能都可以求出结果，推荐使用。

              造成不可逆的原因可能是：一，两个变量是线性相关的。二，在训练样本个数比特征数量少很多时，可能有多余的特征。