【Numberical Optimization】5 Conjugate Gradient Methods (zen学习笔记)

5.1  The linear conjugate gradient methods

The conjugate gradient method is an itterative method for solving a linear system of equations:

                                                                                            

which can be stated equivalently as the following minimization problem:

                                                                           

第k步的残差：

5.1.1  Conjugate direction methods

1.阐述了共轭方向算法能在有限步内收敛到最优点（步数主要与特征值分布有关）

The conjugate vectors are given.

•  is said to be conjugate with respect to the symmetric positive definite martix A if 
•  is also linearly independent.
• 有限步内能收敛到最优解，证明及算法如下：

 

Defining  as 

                                                                                      

where S is defined by 

then 

2.最优点在集合中      即可由线性表出

5.1.2  Basic properties of the conjugate gradient method

          A PRACTICAL FORM OF THE CONJUGATE GRADIENT METHOD

前面介绍了共轭梯度算法的一些性质，接下来的算法提出共轭方向的构造

共轭梯度初步算法及共轭梯度算法

改进之处在于：

• ​​​​​​​
• 

5.1.3  RATE OF CONVERGENCE

解释收敛步数与特征值分布的关系、验证 CG算法在某种意义上是最优的