强化学习 之 蒙特卡洛价值预测

（1）蒙特卡洛增量更新推导
（2）为什么蒙特卡洛算法只能用于可分片段的马尔可夫决策过程？
“可分片段"的含义是该马尔可夫决策过程长度有限，这样才能计算”总折扣奖励“，在实际操作中，如果遇到非常长的马尔可夫链或者无限马尔可夫链，会考虑”时序差分学习“。

（3）蒙特卡洛特性
蒙特卡洛方法：直接从经验片段进行学习。
蒙特卡洛是模型无关的：未知马尔科夫决策过程的状态转移/奖励。
蒙特卡洛从完整的片段中进行学习：没有使用基于碎片的自举法。
蒙特卡洛策略评估使用经验平均累计奖励而不是期望累计奖励。

（4）蒙特卡洛算法怎么看出估计的是V(s)的值，还是Q(s,a)的值？
Q(s,a)就把更新的式子改为

就可以啦，具体的区分方式：看最后存下来的是对于每个状态有一个V值，还是对于每个状态动作对都有一个Q值就好了

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂经济利益；如果有版权纠纷，请私信留言。其中如果发现文中有不正确的认知或遗漏的地方请评论告知，谢谢！ 还是那句话：不是我喜欢copy，是站在巨人的肩膀上~~