Numerical Optimization之一阶线性约束条件
等式约束问题定义
1.1 有效集的定义
1.2 等式约束与拉格朗日等价
推导过程
1.3不等式与互补拉格朗日求解
推导
即 在内部目标函数梯度为0，在边界目标函数与约束梯度同向。因为有上述两种情况，因些需要第二个条件（互补条件）来对拉格朗日等式进行限定
1.3.2两个不等式约束
上述方法共性是 约束函数用泰勒一阶近似展开，因此当可行域中可行点附近不能有线性结构似无法成立
对于x 的二次方这样的函数，如果用一阶近似，则可行方向是可以任意取的，但只有0解，因 此需要假设确保可行域中c(x)可以用线性近似
1.4 线性化可行方向的定义
注意线性可行方向第一个对应等式约束，第二个代表不等式约束，在不等式约束中为什么没有考虑非积极的约束，如下对于非积极的话，如红色所示，>0,的，可行方向d 相当于没有约束，可以任意取。只要第二项足够小
1.5 点的切锥
上面这个图中的点的切椎和可行的纯性化可行方向是相同的（有定理保证）（因为约束条件的梯度在最优点不为零，即不是线性相关的不存在非零向量线性组合为0 ）
对于这个约束来说可行化方向是和切椎不同的（因为约束梯度为零的不满足线性无关），即切椎依赖于几何结构，而线性可行化方向是代数形式有关。
1.6 Constraint Qualifcations
当这个条件成立时，即线性可行方向和切椎相同，则=线性近似是可以反应最优点x 处的几何特征的（可以视为线性的），因此可以采用之前计论的线性近似
线性独立约束条件
2. 一阶必要性条件
如前，将不等或等式约束最优解求解转化为求解拉格朗日乘子的稳定点
2.1 KKT 条件
当成立时，只要找出最优点的积集，就将转换为了等式约束求解
注意KKT 是一阶心要性条件
上述证明中LICQ中满足，才可以利用线性近似，因此有d与目标函数在最优点的点积为非负，在LICQ成产时满足点积为正的可行方向称为充列可行方向，这个证明是在序列可行方向和线性可行方向相同时的结论，可参考最优化算法袁亚湘 定理8.2.7