数学优化学习笔记
在方程中 我们习惯用
这样的形式来描述我们的二次中矩阵的规划形式
并且P其实是该方程的黑塞矩阵
黑塞矩阵的求法为
也就是说 在一个二元二次方程中 左上为x1二次求导结果 右下为对x2二次求导结果 其余为分别对x1、x2求导结果
剩下的部份就是正常的Ax=b来描述了
凸优化问题的基本形式
凸函数的判断方式:
通过梯度的方法可以进行对凸函数的判断,但是需要的计算量较大。
通过对函数的结构进行分析。
注意:线性规划和最小二乘问题都是凸优化的一种特殊形式。
解决方法:
线性规划:内点法、单纯形法
凸优化:内点法
Using convex optimization is, at least conceptually, very much like using leastsquares or linear programming. If we can formulate a problem as a convex optimization problem, then we can solve it efficiently, just as we can solve a least-squares problem efficiently. With only a bit of exaggeration, we can say that, if you formulate a practical problem as a convex optimization problem, then you have solved the original problem.
即是说,只要转化形式成功,基本就可以解出原问题了。但相对而言,凸优化问题较之最小二乘问题,更加难以转化。
凸锥的定义
最小二乘法
判断最小二乘法的方法:
Recognizing an optimization problem as a least-squares problem is straightforward; we only need to verify that the objective is a quadratic function (and then test whether the associated quadratic form is positive semidefinite).
目标函数是否为二次方程,同时检测该形式是否为半正定。
其上为最小二乘的形式和解的方法。
非线性优化:已知的目标函数、约束函数为非线性,但未知是否凸。
序列二次规划:
用以解决非线性问题的工具