初学算法——标准方程法

标准方程法（normal equation）

化简后的标准形式如图：

二次方程求极值：对方程求一阶导，然后令其等于零求解，得到的X的值就是原方程的极值点

当此处我们的θ为多维的相量的时候，也可依次求导，然后得到每个方程的极值点

此处有另外一种方式求极值点：

这样求出来的θ就是方程的极值点

案例：

这样的方法就是求成本函数最小值的标准方程法

 

注：

• 当出现不可逆的情况是，删除重复的特征值；
• 删除一些影响较小的特征相量

 

梯度下降法和标准方程法的对比

总：

当特征变量n大于一万下，由于计算(XTX)-1的计算量非常大，故两者比较，梯度下降法会更加有优势

特征变量：即考虑的因素