《最优化导论》-11拟牛顿法
1.基本思想
1.1基本缺陷
需要计算黑塞矩阵,需要求矩阵的逆运算
1.2拟牛顿法思想
构造黑塞矩阵的逆的近似:
拟牛顿法中,如果找到合适的近似构造矩阵Hk,在迭代中就不需要任何黑塞矩阵,及线性方程逆运算的计算工作了。
1.3构造黑塞矩阵逆矩阵的近似
其中,在二次型函数中,ak都可以用公式直接求最佳步长。
1)秩1算法
例:
2)秩2算法/DFP算法
3)BFGS算法
1.基本思想
1.1基本缺陷
需要计算黑塞矩阵,需要求矩阵的逆运算
1.2拟牛顿法思想
构造黑塞矩阵的逆的近似:
拟牛顿法中,如果找到合适的近似构造矩阵Hk,在迭代中就不需要任何黑塞矩阵,及线性方程逆运算的计算工作了。
1.3构造黑塞矩阵逆矩阵的近似
其中,在二次型函数中,ak都可以用公式直接求最佳步长。
1)秩1算法
例:
2)秩2算法/DFP算法
3)BFGS算法