拉格朗日乘数法——从单约束条件到多约束条件的空间直观解释

拉格朗日乘数法的用处

拉格朗日乘数法用于约束条件并不容易用于消元的情况。这时候，就需要用拉格朗日乘数法进行约束条件和目标函数的统一，便于计算极值和最值。

1.单约束条件

多约束条件的最优化：

目标函数的梯度是多个约束条件梯度的线性组合

G和h是约束函数，而f是目标函数

可以理解为

为什么要在其张成的向量子空间：

https://zhuanlan.zhihu.com/p/29525538。

里面说的很清楚：

核心关键点是可行方向首先在约束平面上必须与约束平面切线平行，即与梯度垂直。

可行方向同时又要与多个约束平面切线平行，即同时与多个梯度向量垂直。

在目标函数上，可行方向必须与目标函数等值面相切运动，那么就必须与等值面的梯度方向垂直。

综合上述两点，可行方向必须满足：1.与多个约束平面梯度向量垂直。2.同时与目标函数的梯度垂直。

这里可以看到，如果要求出可行方向，必须让目标函数梯度向量位于约束梯度向量所张开的向量空间中