KKT分析

昨天我们介绍了KKT 的大概今天稍微详细的看一下。
KKT理论所标明的是在拉格朗日乘数法中引入的系数与上面的不等式约束条件的乘积等于0始终成立，这个条件所保证的是优化问题的解存在。

下面我们来逐个分析这几个KKT的条件

在地上那个那个primal feasibility中：
hi(x) ≤ 0,
lj(x) = 0
分别表示不等式约束以及等式约束。

当我们假设第三条满足的时候，令x⋆和u⋆，v⋆是具有零对偶间隙的原始解和对偶解。 然后我们可以得到：

换句话说，所有这些不平等实际上都是平等

要从中学习两件事：

•点x⋆使x∈R上的L（x，u⋆，v⋆）最小。 因此，L（x，u⋆，v⋆）的次微分在x =x⋆处必须包含0-这恰好是stationarity条件
•我们必须有????，并且由于这里的每一项都≤0，这意味着每个i的-直观的解释可以这么看:要求得L(x,λ,u)的最小值一定是三个公式项中取得最小值，此时第三项最小就是等于0值的时候。这恰好是互补的松弛度。

如果x⋆和u⋆，v⋆是具有零对偶间隙的原始解和对偶解，则x⋆，u⋆，v⋆满足KKT条件

如果存在满足KKT条件的x⋆，u⋆，v⋆，则

其中第一个平等来自平稳性，第二个平等来自互补性松弛
因此对偶间隙为零（并且x⋆和u⋆，v⋆是原始和对偶可行的），因此x⋆和u⋆，v⋆是原始和对偶最优。 因此，我们得到了：

如果x⋆和u⋆，v⋆满足KKT条件，则x⋆和u⋆，v⋆是原始解和对偶解。

总的来说我们是在证明：