【笔记】吴恩达第四章 多变量线性回归(Linear Regression with Multiple Variables)

四、多变量线性回归(Linear Regression with Multiple Variables)

4.1 多维特征

4.2 多变量梯度下降

4.3 梯度下降法实践1-特征缩放

4.4 梯度下降法实践2-学习率

4.5 特征和多项式回归

4.6 正规方程

 

4.1 多维特征

当特征数量超过1个时，特征使用n维列向量X，模型参数使用n维列向量表示：

                                                       ,           

其中， = 1；

此时，Hypothesis function可写为：

                                                                  

4.2 多变量梯度下降

算法与单变量梯度下降一致。

                                                 

4.3 梯度下降法实践1-特征缩放        

为了使得梯度下降算法能够更快更好的收敛，将所有的特征缩放；

一般特征值在[-3,3]或[-1/3,1/3]之间都视作OK。

 

4.4 梯度下降法实践2-学习率        

学习率的确定步骤：

try： …，0.001，0.003，0.01，0.03，0.1，0.3，1，…

选定某个值，绘制如下收敛曲线，取收敛速度最快的

                                         

4.5 特征和多项式回归

对于某些问题，线性回归可能不适用，应当建立多项式，进行多项式回归，如三次多项式：

                                                  

可令，即可将上式转化为多变量线性回归。注意：需要进行特征缩放

4.6 正规方程  Normal Equation

Normal Equation 直接通过导数计算出取最小值时的向量

公式：

例：

梯度下降	正规方程
需要选择学习率	不需要选择学习率
需要多次迭代	一次运算得出
当特征数量n很大时也能较好适用	需要计算矩阵求逆，因为矩阵逆的计算时间复杂度为O(n^3 )，n较大时求逆的时间代价太大，通常来说当n小于10000 时是可以接受的
适用于各种类型的模型	只适用于线性模型，不适合逻辑回归模型等其他模型