拉格朗日乘子法和对偶问题

拉格朗日乘子法和对偶问题

  优化问题中,拉格朗日乘子法在理论分析中非常重要。今天学习了一般情形的拉格朗日乘子法,并且理解了它的严谨的理论基础。


等式形式的约束

拉格朗日乘子法和对偶问题


不等式形式的约束

拉格朗日乘子法和对偶问题


一般约束的拉格朗日乘子法

  一般情形如下:
  min f(x)
  s.t.
  hi(x)=0
  gj(x)=0
  
  对应的拉格朗日乘子如下:
  L(x,λ,μ)=f(x)+λTh(x)+μTg(x)
  
  对应的KKL条件:
  g(x)0
  μ0
  μTg(x)=0

对偶问题

拉格朗日乘子法和对偶问题

  也就是说,原问题对偶问题为:
  maxL(x,λ,μ)
  s.t. KKT

  理解对偶问题,注意与它的特例—线性规划的对偶问题比较理解。
  事实上,线性规划的优化,也可以由拉格朗日乘子法推出。