深度增强学习入门笔记(一)
知乎专栏智能单元的学习笔记,仅为自己学习所用,侵删。
从OpenAI看深度学习研究前沿
OpenAI的三个主要研究方向
1. 深度生成模型 Deep Generative Model
通过学习现有的数据生成新的数据。
相关研究:
1)otoro.net 学习文字自动生成新的文字
2)Deep Dream Neural Art 画风迁移
3)Sequence to Sequence Learning 从序列到序列的学习 输入英文,输出中文;输入文字,输出手写字体等。
4) Deep Generative Adversarial Network s深度生成对抗网络以及衍生而来的 DCGAN 深度卷积生成对抗网络
5)one shot learning 看一眼图像衍生出其变种,快速感知
2 . 神经图灵机 Neural Turing Machine
让计算机能够学习程序,从而具备推理能力。
相关研究:
ICLR 2016 NEURAL PROGRAMMER-INTERPRETERS 通过神经网络解释程序
3 . 深度增强学习 Deep Reinforcement Learning
使用增强学习实现自学习能力。
OpenAI Gym OpenAI的增强学习平台
DQN Deep Q Network
agent 智能体 具备行为能力的物体
state 状态 观察observation的集合
action 动作
reward 反馈值
state->action称为policy 策略
state:s,action:a,policy:π
我们需要找到下列关系(一一对应或者是概率表示):
增强学习的任务是找到一个最优的policy策略使得reward反馈值最多。
大多数人工智能研究,包括增强学习的基础
- 世界的时间是可以被切分的,且有严格的先后顺序。
- 上帝不掷骰子,增强学习的输入确定,输出也确定。
马尔科夫决策过程MDP
MDP基于未来只基于现在的假设,即下一个状态仅取决于当前的状态和当前的动作。
一个状态
增强学习的问题都可以模型化为MDP的问题。
一个基本的MDP可以用(S,A,P)来表示:
S :状态
A:动作
P:状态转移概率,根据当前的状态
回报return
基于MDP,每个状态都可以用一个确定的值来表示,所以就可以判断好坏。状态的好坏等价于对未来回报的期望。
设回报return为某个时间t时的状态所将具备的回报。
R: Reward反馈值
λ:discount factor折扣因子,一般小于1,就是说一般当下的反馈是比较重要的,时间越久,影响越小。
注意这是某一个时刻t的状态所将具备的回报,所以要等整个过程走完,才能算出所有的回报(k是到正无穷的),引出一个概念 价值函数 value function来解决这个问题,价值函数表示一个状态未来的潜在价值,公式:
回到增强学习的目标—-找到一个最优的policy使得reward最多上来,所以有以下三种方法可以找到最优的policy:
1. 直接优化策略
2. 通过估计value function来间接获得优化的策略。
3. 融合上面两种做法,如actor-critic演员评论家算法。
DQN是基于value function的算法。