为什么基于策略估计的方法性能优于基于行为值函数估计的方法?例如DPG优于DQN?
原因有两个:
1.如果最终策略是确定性策略,则基于策略估计的方法采用的softmax可以逼近找到最优解,即会出现pi(a|s)=1或0的情况;而基于行为值函数的估计的方法由于需指定ewuxilong-greedy策略中的ewuxilong参数,不能取得确定性策略,因为ewuxilong完全等于0意味着没有探索,其性能不会太好。
2.如果最优策略是随机策略,则基于策略估计的方法采用的softmax可以逼近相应的概率。
如这里的最优的选right的概率是0.59,而基于行为值函数估计的方法却得不到最优选right的概率