《强化学习导论》中关于带控制变量的每次决策型方法的理解

《强化学习导论》中关于带控制变量的每次决策型方法的理解
从书中前面的介绍中可以看到,G通过加入一个控制变量,来达到降低方法的效果。虽然后面不知道怎么在推导正式公式的时后没有看到1-ρ的身影。。。(这里如果有知道的小伙伴,请留下您的意见)。
《强化学习导论》中关于带控制变量的每次决策型方法的理解
对于后面的这个公式来说,我的理解是:
第一:Gt+1:h也是个递归,还没展开。
第二:这个最终结果就类似树回溯算法,只不过这里用的是ρ。
《强化学习导论》中关于带控制变量的每次决策型方法的理解
这个地方稍微画以下就可以看出。
不知理解是否到位,还请不吝指教!