强化学习(二) —— DQN深度强化学习网络

DQN,Deep Q Network, 是融合了Q-learning和神经网络的方法

强化学习(二) —— DQN深度强化学习网络

 

 

传统Q-learning的瓶颈

使用Q-table这样一个表格来存储state和action的Q值,在复杂的情境下,状态可以多到比天上的星星还要多,如果全用表格来存储,计算机是存储不下的。并且在如此巨大的表格中搜索对应状态也是一种很耗时的事情

不过神经网络对这类事情很在行,我们将状态和动作当作神经网络的输入值,经过神经网络分析后,得到动作的Q值,这样我们就不需要用表格记录Q值了

我们也可以只输入状态值,输出所有的动作值,然后按照Q-learning的原则,直接选择最大值的动作作为下一个动作

强化学习(二) —— DQN深度强化学习网络

 

那在强化学习中,神经网络是如何被训练的呢

强化学习(二) —— DQN深度强化学习网络

 

 

DQN效果强大的两大因素

①Experience replay

     记忆库

 ②Fixed Q-targets