马尔科夫模型

一、马尔科夫链

一个系统在t时刻的状态只与在时刻t-1的状态相关,则构成了一个离散的一阶马尔科夫链,可以就通俗的理解成昨天的天气对今天的天气的影响即可。公式为:马尔科夫模型

二、马尔科夫模型

加入只考虑独立于时刻t的随机过程,则满足以下两个公式的随机过程称为马尔科夫模型

马尔科夫模型马尔科夫模型

举个栗子:马尔科夫模型

得出结果:马尔科夫模型