强化学习基础总结(三)
强化学习基础总结(三)
@(Machine Learning)
覆盖以下几个主题:
- Markov过程
- Markov奖励过程
- Markov决策过程
- MDPs扩展
MDP简介
MDP是用于正式描述强化学习模型中的环境(environment)。
这里的环境是完全可观测的。
几乎所有的RL问题都可以被定义为MDP模型。
马尔可夫性
如前面文章所说,马尔可夫性就是:给定现在,将来与过去无关。
数学语言描述就是:
状态转换矩阵
状态转换矩阵元素是状态转换概率。
此概率的数学表达式是:
其中,
也即从s到s’的概率。
状态转换矩阵的数学表达式就是:
从一个状态转向其他状态的概率之和为1,在矩阵上的体现就是:行和为1.
马尔可夫过程(马尔可夫链,MC)
马尔可夫过程的文字定义就是:无记忆随机过程。
比如一个随机的状态序列,每一个状态都具有马尔可夫性,则这样的序列就可称之为马尔可夫过程。
形式化定义为:
马尔可夫过程,是一个二元组 (S,P)。
其中:
- S是一个有限状态集合
- P是一个状态转换矩阵,且
Pss′=P[St+1=s′|St=s]
马尔可夫奖励过程(MRP)
一个标准的马尔可夫奖励过程就是上面的马尔可夫链+奖励值。
说到奖励值,需要关注到的是奖励是针对转换动作而言的。
形式化定义是:
MRP是一个四元组:
其中:
- S是有限状态集合
- P是状态转换矩阵
- R是奖励函数,且
Rs=E[Rt+1|St=s] -
γ 是折扣值,且γ∈[0,1]
关于奖励函数的定义,可以这样理解:当前为t时刻,那么t时刻做的决策到t+1时刻时的状态,这个转换的价值是
Return
这个不知道翻译。一般用
考虑到问题都建立在马尔可夫性质上,思考问题的时间起点都是当前这个时刻到未来。可能是有限步,也可能是无穷步。
形式化定义是:
思考一个问题:为什么要对总的奖赏打一个折扣呢?
关于这个,个人觉得类比资金的时间价值会很容易理解。
现在的100块钱和一年后的100块钱,在价值上是不一样的。基础的,可以拿钱生出利息,这就是钱的时间价值。
具体到RL问题中来,主要有以下几个优势:
- 数学上,上面的公式方便累加
- 避免在循环Markov过程中的奖励总值无限大
- 未来的不确定性可能并未完全被表示,所以当前的估计要打折扣
- 具体到金融领域的RL问题,考虑资金的时间价值
- 人性中对即时回报的偏爱
- 不排除某些场景下,
γ=1
价值函数(Value Function)
形式化表示如下:
即:从状态s开始往未来看,价值函数是奖赏总值的期望。
也就是说从状态s往未来走,有不同的路径,且不同的路径有不一样的长期价值。
进一步推导可得:
这样,就可以用递推的方法计算状态的价值函数了。
Get 更多机器学习相关,可关注: