机器学习:Normal equation公式推导
Normal equation标准方程法
最近在学习吴恩达的机器学习视频,遇到了Normal equation方法,其直接给出了公式,没有推导过程。网上搜到的推导过程也不是很清楚。本文将着重进行公式推导,至于 Normal equation的含义以及其与梯度下降的对比,可以参见:机器学习笔记03。
在视频中,其给出了Normal equation的公式:
其主要是通过cost function推导过来的,首先我们做如下假设:
cost function函数为:
我们的目的是在不同的组合下,值能够最小。所以我们可以通过对每个求偏导,求出对应偏导数等于0的每个值,就是最终的组合。求偏导的过程如下:
我们先来看时候的公式:
转化为矩阵运算为:
将第二部分分开为:
将(5)带入得:
将(2)带入得:
因此:
我们可以通过矩阵将这n个式子结合到一起:
最前面的1/m可以舍去,因为:
所以上述(6)可以化简为:
将乘入括号得:
将移入等式右侧得:
等式两边同时乘以,得:
因为:
其中E是单位矩阵,有,所以: