非线性优化中的KTT条件（知乎文章的理解）

知乎原文
对于优化问题：
$max(f(x)) 或者 min(f(x))\\ h_j(x)=0, j=1,2,3...\\ g_i(x)<=0, i=1,2,3...$max(f(x))或者min(f(x))hj​(x)=0,j=1,2,3...gi​(x)<=0,i=1,2,3...
其中$x$x为$n$n维向量。若存在极值点$x^*$x∗，且满足约束，则有：
$\bigtriangledown f(x^*)=\sum_j\lambda_j\bigtriangledown h_j(x^*)+\sum_i\mu_i\bigtriangledown g_i(x^*)\\ \mu_i\geq0(若g_i(x)>=0,则\mu_i<=0),\mu_ig_i(x^*)=0$▽f(x∗)=j∑​λj​▽hj​(x∗)+i∑​μi​▽gi​(x∗)μi​≥0(若gi​(x)>=0,则μi​<=0),μi​gi​(x∗)=0
若点$x^*$x∗是极大值点，则在可行域中的任意方向上移动$dx$dx，$df<=0$df<=0。

$\sum_j\lambda_j\bigtriangledown h_j(x^*)$∑j​λj​▽hj​(x∗)组成的分量与所有$h_j(x)=0$hj​(x)=0形成的可行域正交，所以$df=0$df=0。对于每个$g_i(x)<=0$gi​(x)<=0形成的可行域，$\bigtriangledown g_i(x)$▽gi​(x)在该可行域里所有方向上的分量系数非正，即夹角大于等于90°。

所以最终的可行域为，$h_j(x)=0$hj​(x)=0形成的可行域的方向中，与每个$\bigtriangledown g_i(x)$▽gi​(x)的夹角都大于等于90°的方向形成的可行域。

图中h为$\sum_j\lambda_j\bigtriangledown h_j(x^*)$∑j​λj​▽hj​(x∗)组成的分量，假设不等式约束只有一个，其梯度为g，左边扇形代表最终可行域，其与h正交，且与g的夹角大于等于90°。若g的系数$\mu$μ小于0，则$\bigtriangledown f(x^*)$▽f(x∗)将在可行域中的方向上有正的分量，不满足极大值的性质。所以$\mu$μ大于等于0。至于多个不等式约束的情况，不知道为什么每个$\mu$μ都要大于等于0，按照上图的简陋分析，，是不是只要每个$\bigtriangledown g_i(x^*)$▽gi​(x∗)的加权和如上图g一样即可，不必每个$\mu$μ都大于等于0？这个问题暂时放着。