随机过程(2)__马尔可夫链的主要性质__查普曼-科莫高洛夫方程

北美高校就读统计,主要研究数理统计。空闲之时会在博客内会和大家share一些数理统计的基础知识。在这个系列的博客，我将会为大家献上随机过程的主要内容。绝对干货满满。如果有不完善之处，请善意指正，谢谢大家！！！PS：因为本人字巨丑，很多证明又习惯用笔写出来。。。请见谅。。。

非商业用途转载请加上原来博主链接，未经博主同意不允许进行商业用途

1. 知识回顾

首先用一个例子来回顾马尔可夫的基本内容。

有一个两个管状空间体由一个小管状物链接，两个管状空间一共有N个一摸一样的球，随机从N个球中取出（可能在左边取，也有可能在右边取，是随机的），并放到另一个管状空间中，请写出transition matrix。

题解：
首先我们先画出空间大致情况应该是怎么样的。

题解：首先我们要明白这是一个马尔可夫链，理由我也用一个图来解释。
首先我们写出
($X_{n+1}=j$Xn+1​=j|$X_{n}=i_{n}$Xn​=in​, $X_{n-1=i_{n-1}}$Xn−1=in−1​​,…$,X_0=i_0$,X0​=i0​)=($X_{n+1}=j$Xn+1​=j|$X_{n}=i_{n}$Xn​=in​)
这里要明白，左边在N次随机过程以后，第N+1次中左边的管状物中的球的数量只跟第N次中左边的管状物中的球的数量有关，且只有两种情况：

1. ($X_{n+1}=i+1$Xn+1​=i+1|$X_{n}=i_{n}$Xn​=in​)=$\frac{N-i_n}{N}$NN−in​​
2. ($X_{n+1}=i-1$Xn+1​=i−1|$X_{n}=i_{n}$Xn​=in​)=$\frac{i_n}{N}$Nin​​
   从而很容易证明出其为马尔可夫链。则transition matrix也非常容易写，我就不继续详细写了。（有点懒）

2. 现在会会介绍下基本的几个马尔可夫的性质

首先在这里给大家补充一个law of total probability(LTP)

这是conditional probability，如果没有概率论基础的，还是得去补充一些概率论基础。

那么第一个介绍的马尔可夫的重要性质及其证明as follows：

这个性质非常的重要，以后基本每个案例都会用的到。

马尔可夫第二个重要性质及其证明as follows：

而最重要的查普曼-科莫高洛夫方程的证明方法和结论我都在下面的图片中进行了论述。

今天的证明内容非常重要，大家一定要进行认真仔细的学习，下一篇我会介绍如何使用这些性质，和马尔可夫的另外一些重要的性质。