漫步最优化一——引言

其实在过去，人们就一直在参与优化过程。最早的优化形式包括不科学的仪式和偏见，例如用动物祭祀神仙，观察星星的位置，鸟的飞行，有些时间段被当成种植作物或开始战争的吉日。

随着时代的进步与理性的流行，不合逻辑的仪式被经验法则所取代，然后随着数学的发展，数学计算开始得到应用。

随着五十年代初数学计算机的出现，优化过程的兴趣度有了巨大的飞跃。近年来，优化技术发展迅速并取得了长足的进步。同时，数字电脑变得更快，更高效。因此，在几年前被认为棘手的一些优化问题现在都可以解决。

如果可以衡量和改变什么是“好”或“坏”，那么优化过程就是获得“最好”的过程。在实践中，人们希望“最高”（例如薪水）或“最低”（例如费用）。因此，根据情况，“最佳”一词被视为“最大”或“最小”。“最佳”是一个术语，意味着这是定量测度，相比日常使用的“最好”程度更强。同样，“优化”这个词意味着达到最佳，是一个比“改进”更强的词。优化理论是数学的分支，包括最优的定量研究以及找到它们的方法。另一方面，优化实践是用于找到最优的技术，方法，过程和算法的集合。

优化问题发生在工程，物理，数学，经济，管理，商业，社会科学甚至政治等大多数学科。电气，机械，民用，化工，建筑工程等各个领域的优化问题比较多。典型的应用领域是设备，电路与系统的建模，表征与设计；工具，仪器和设备的设计；建筑物的设计；过程控制；近似理论，曲线拟合，方程组求解；预测，生产调度，质量控制；维修；库存控制，会计，预算等。最近的一些革新几乎完全依赖优化理论，例如神经网络和自适应系统。

现实生活中的大多数问题通常有几个解决方案，偶尔也可能有无数个解决方案。假设现在的问题允许多个解决方案，我们就可以根据某些性能指标找到问题的最佳解决方案，从而实现优化。如果问题只承认一个解决方案，也就是说，只有一组唯一的参数值是可以接受的，那么就不能应用优化了。

一些常见的优化方法如下：

1. 分析法
2. 作图法
3. 实验法
4. 数值法

分析法是基于经典的微积分方法，性能指标的最大或最小是通过找出参数值x1,x2,…,xn来确定，这些参数值满足函数f(x1,x2,…,xn)对x1,x2,…,xn的倒数等于零。所求的问题在求解前显然得用数学形式来表达，这种方法不需要数字计算机。然而，该方法无法应用到高度非线性的问题或者独立参数个数超过两个或三个的问题。

如果变量的个数不超过二，那么我们可以用作图法，画出函数的图像得到最大或最小值。如果函数只有一个变量x1，那么f(x1)的图像直接就看出函数的最大或最小值。同样的，如果函数只有两个变量x1,x2，那么可以构造一个轮廓的集合，轮廓就事(x1,x2)平面上使得f(x1,x2)为常数的点集，所以一个轮廓图就反映了函数的峰值或谷值，例如图1。不幸的是，图方法作用非常有限，因为大多数应用中优化的函数依赖于几个变量，通常超过四个。

有时候系统的最佳性能可以通过实验得到验证。在该方法中，系统设置后过程变量逐一调整，并在每种情况下测量性能标准。该方法可能导致最佳或接近最佳的操作条件。然而，它可能导致不可靠的结果，这是因为在某些系统中，两个或多个变量彼此间相互作用，且必须同时调整他们来产生最佳性能标准。

最重要的优化方法是基于数值方法。在这种方法中，从解的初始估计开始，通过迭代数值程序为优化问题生成一系列逐步改进的解，当满足一些收敛标准时，该过程终止。例如，独立变量或两次迭代之间的性能标准变化不怎么明显。

数值方法可以解决分析法无法解决的高度复杂优化问题，此外，它们在数字计算机上容易编程实现。因此，它们能够替代大多数其他优化方法。

包含数学优化方法的理论与实践的学科已经被称为数学规划，在过去40年中，数学规划的几个分支发展如下：

1. 线性规划
2. 整数规划
3. 二次规划
4. 非线性规划
5. 动态规划

数学规划中的每个分支都与某个特定类别的优化问题相关。

图1