convex optimization chapter 1

凸优化第一章学习—part one

这一章是基础介绍类别的，其实很多算法都是将自己的模型求解转换为了一个优化问题，下面列举一些自己觉得重要的概念，算法的细节会在后续章节讲解

1. mathematical optimization
   ???? 所有的优化问题都可用这个数学式子描述：
   
   即由目标函数和约束条件组成（其实看到这里就想起了高数里的拉格朗日法求最值，完美的结合目标函数和约束条件）
   ????凸函数的定义（这个高中也学过的哟，这个式子画一画图比较好理解为什么是凸函数）
   

分割线????

2. Least-squares and linear programming（最小二乘法和线性规划）

⚫最小二乘法（这块的代码实现想必都会了hhh）


解析解可以由令一阶导数等于0得到，这样的算法复杂度为

对人工智能来说这确实是一个糟糕的算法了，但该算法在利用稀疏矩阵的时候可以运算的很快。使用最小二乘问题是回归分析、最优控制和许多参数估计和数据拟合方法的基础。这样的变式也很有意思：

⚫线性规划（这个在高中也是学的666，当然啦，那些只是最简单的情况）
看看定义先：

丹齐格的单纯形法和本书后面描述的最近的内点方法复杂度：

看了书才知道不是所有的线性规划都和高中看到的形式一样：

在最小二乘中，我们使用项的平方和作为目标，而在Chebyshev近似中，我们使用绝对值的最大值。另一个重要的区别是，Chebyshev近似问题（1.6)中的目标函数是不可微的；最小二乘问题(1.4）中的目标是二次的，因此是可微的。