Numerical Optimization之信任域方法——Dogleg

上文中提到的近似柯西方向是延梯度方向下降一定步长，但是没有充分利用B矩阵，为此DOgleg 方法，当PB在信赖域中时利用PB，否则的话利用梯度方向下降一定步长，并且下降步长的计算方法也有所不同：
在柯西方法中是$\tau\Delta/||g||$τΔ/∣∣g∣∣，而Dogleg 中下降步长$a=-\frac{g^Tg}{g^TBg}$a=−gTBggTg​

$P_k^B$PkB​是全局最优点，如果其在可行域当中的话，理所当然，我们应将它作为更新步


省支二次项后沿梯度方向下降最快，下降步长为$\Delta$Δ



说明：令$f=xg^T+\frac{1}{2}x^TBx$f=xgT+21​xTBx 记$g=\frac{df}{dx}=g+B^Tx$g=dxdf​=g+BTx,可以计算出$P^U$PU

由引理知，当$P(\tau)$P(τ)与信赖域相交时（），则取得最优的$P(\tau)$P(τ)
因此以下有三种情况：即PU在外部，PB在内部，PB在外部且PU在内部

部分来源于

拓展：二维子空间方法：即在$P^U$PU,$P^B$PB形成的子空间中，寻找最佳的P,
未知量是关于$\beta,\alpha$β,α,代入目标函数中，求出这两个变量便可以求出最佳的P，由于在空间中搜索，待定的P的选择性增多