对偶上升（普通拉格朗日方法）和 增广朗格朗日方法
区别：
对偶上升：梯度上升的步长是针对每一次迭代都不固定。
增广拉格朗日方法：不过梯度上升的步长改成了固定的参数，而且罚项的系数也和这个步长有关。（一般取1）
增广拉格朗日的鲁棒性更好，容易收敛。较为适合等式约束，对于不等式约束需要对问题进行变形，得到中间变量，然后对中间变量讨论求解。
类似于增广拉格朗日的方法：交替方向乘子法（ADMM）
区别：
对偶上升：梯度上升的步长是针对每一次迭代都不固定。
增广拉格朗日方法：不过梯度上升的步长改成了固定的参数，而且罚项的系数也和这个步长有关。（一般取1）
增广拉格朗日的鲁棒性更好，容易收敛。较为适合等式约束，对于不等式约束需要对问题进行变形，得到中间变量，然后对中间变量讨论求解。
类似于增广拉格朗日的方法：交替方向乘子法（ADMM）