RL强化学习各种算法流程伪代码

policy iteration

value iteration

注：policy iteration使用bellman方程来更新value，最后收敛的value 即 是当前policy下的value值（所以叫做对policy进行评估），目的是为了后面的policy improvement得到新的policy。而value iteration是使用bellman 最优方程来更新value，最后收敛得到的value即就是当前state状态下的最优的value值。因此，只要最后收敛，那么最优的policy也就得到的。因此这个方法是基于更新value的，所以叫value iteration。

TD(0)

SARSA

Q-learning

Double Q-learning

Deep Deterministic policy gradient( actor-citric)