时间序列——第二章2_AR模型

AR模型

1、考虑单摆运动

$\begin{aligned} X_t = a X_{t-1} + \varepsilon_t, \quad t \in \mathbb Z, \quad \{\varepsilon_t\} \sim \text{WN}(0,\sigma^2) \tag{*} \end{aligned}$Xt​=aXt−1​+εt​,t∈Z,{εt​}∼WN(0,σ2)​(*)

从初值$X_0$X0​出发。$a$a越小，初值影响减小越快。 $|a|$∣a∣接近于$1$1时，初值和前面的$\varepsilon_{t-j}$εt−j​影响减小越慢， 序列振荡。

只要$|a|<1$∣a∣<1，序列最终可以稳定下来。称系统(*)是稳定的。

如果$a=\pm 1$a=±1则序列振荡越来越大，呈爆炸型。

$|a|>1$∣a∣>1时序列也不能稳定。 $|a| \geq 1$∣a∣≥1时称(*)是非稳定的

	图源 http://www.math.pku.edu.cn

AR(1)的

$A(z) = 1 - a z$A(z)=1−az是差分方程(*)的特征多项式。 $z_1 = \frac{1}{a}$z1​=a1​是特征根。 稳定的充分必要条件是$|a|<1$∣a∣<1，或$|z_1|>1$∣z1​∣>1， 即特征根都在单位圆外。

当$|a|<1$∣a∣<1时下面的线性序列有定义:
$\begin{aligned} X_t = \sum_{j=0}^\infty a^j \varepsilon_{t-j}, \quad t \in \mathbb Z \tag{**} \end{aligned}$Xt​=j=0∑∞​ajεt−j​,t∈Z​(**)

​ $\begin{aligned} a X_{t-1} + \varepsilon_t =& a \sum_{j=0}^\infty a^j \varepsilon_{t-1-j}\varepsilon_t \\=& \sum_{i=1}^\infty a^i \varepsilon_{t-i} + \varepsilon_t \quad (i = j+1) \\ =& X_t\end{aligned}$aXt−1​+εt​===​aj=0∑∞​ajεt−1−j​εt​i=1∑∞​aiεt−i​+εt​(i=j+1)Xt​​
于是平稳序列$(**)$(∗∗)是非齐次差分方程$(*)$(∗)的解， 称为平稳解。

$(*)$(∗)的通解为

$\begin{aligned} X_t = \sum_{j=0}^\infty a^j \varepsilon_{t-j}+ \xi a^t, \quad t \in \mathbb Z\tag{***}\end{aligned}$Xt​=j=0∑∞​ajεt−j​+ξat,t∈Z​(***)

当$t \to \infty$t→∞时$(*)$(∗)的所有解a.s.收敛到平稳解$(**)$(∗∗)。 收敛速度是负指数速度$|a|^t$∣a∣t。 平稳解可以看成系统$(*)$(∗)处于稳定状态的情况。 特征根$\frac{1}{a}$a1​离单位圆越远，稳定性越好。

2、AR ( p)

如果$\{\varepsilon_t\}${εt​}是白噪声$\text{WN}(0,\sigma^2)$WN(0,σ2), 实数$a_1,a_2,\dots,a_p (a_p\neq 0)$a1​,a2​,…,ap​(ap​​=0)使得多项式$A(z)$A(z)的零点都在单位圆外:
$\begin{aligned} A(z)=1-\sum_{j=1}^p a_j z^j \neq 0, \ |z|\leq 1, \tag{2.2.1} \end{aligned}$A(z)=1−j=1∑p​aj​zj​=0, ∣z∣≤1,​(2.2.1)
则称$p$p阶差分方程
$\begin{aligned} X_t=\sum_{j=1}^p a_j X_{t-j} +\varepsilon_t, \ \ t\in \mathbb Z, \tag{2.2.2} \end{aligned}$Xt​=j=1∑p​aj​Xt−j​+εt​,  t∈Z,​(2.2.2)
是一个$p$p阶自回归模型, 简称为$AR(p)$AR(p)模型.
满足 $AR(p)$AR(p)模型(2.2.2)的平稳时间序列$\{X_t\}${Xt​}称为(2.2.2)的平稳解, 也称作$AR(p)$AR(p)序列.
称$\boldsymbol a = (a_1,a_2,\cdots,a_p)^T$a=(a1​,a2​,⋯,ap​)T是$AR(p)$AR(p)模型的自回归系数. 称条件(2.2.1)是稳定性条件或最小相位条件. $A(z)$A(z)称为模型(2.2.2)的特征多项式。 模型可用推移算子写成
$\begin{aligned} A(\mathscr B) X_t = \varepsilon_t, \quad t \in \mathbb Z \tag{2.2.3} \end{aligned}$A(B)Xt​=εt​,t∈Z​(2.2.3)

3、平稳解与通解

设多项式$A(z)$A(z)的互异根是$z_1,z_2,..,z_k$z1​,z2​,..,zk​. 取$1< \rho < \min\{|z_j|\}. A^{-1}(z)=1/A(z)$1<ρ<min{∣zj​∣}.A−1(z)=1/A(z)是$\{z: |z|\leq \rho \}${z:∣z∣≤ρ}内的解析函数. 从而有Taylor级数
$\begin{aligned} A^{-1}(z) = \sum_{j=0}^\infty \psi_j z^j, \ |z| \leq \rho. \tag{2.2.4} \end{aligned}$A−1(z)=j=0∑∞​ψj​zj, ∣z∣≤ρ.​(2.2.4)
由级数(2.2.4)在$z=\rho$z=ρ 的收敛性得到 $|\psi_j \rho^j|\to 0$∣ψj​ρj∣→0, 当$j\to \infty$j→∞. 于是由
$\begin{aligned} \psi_j= o(\rho^{-j}), { 当} \ j\to \infty \end{aligned}$ψj​=o(ρ−j),当 j→∞​
知道$\{\psi_j\}${ψj​}绝对可和. 而且, $\min\{|z_j|\}$min{∣zj​∣}越大, $\psi_j$ψj​趋于零越快.

令
$\begin{aligned} A^{-1}(\mathscr B)=\sum_{j=0}^\infty \psi_j \mathscr B^j. \end{aligned}$A−1(B)=j=0∑∞​ψj​Bj.​
如果$\{X_t\}${Xt​}是(2.2.3)的平稳解， 则
$\begin{aligned} X_t = A^{-1}(\mathscr B) A(\mathscr B) X_t = A^{-1}(\mathscr B)\varepsilon_t, \ \ t\in \mathbb Z. \end{aligned}$Xt​=A−1(B)A(B)Xt​=A−1(B)εt​,  t∈Z.​
可见平稳解如果存在必然为
$\begin{aligned} X_t=A^{-1}(\mathscr B)\varepsilon_t =\sum_{j=0}^\infty \psi_j \varepsilon_{t-j}, \quad t\in \mathbb Z, \tag{2.2.5} \end{aligned}$Xt​=A−1(B)εt​=j=0∑∞​ψj​εt−j​,t∈Z,​(2.2.5)
$\{\psi_j\}${ψj​}称为平稳序列$\{X_t\}${Xt​}的Wold系数。 显然(2.2.5)是线性平稳列， 将其代入模型(8.6)可以验证其满足模型， 所以$X_t = A^{-1}(\mathscr B) \varepsilon_t$Xt​=A−1(B)εt​是模型(2.2.3)的唯一的平稳解 （唯一是a.s.意义下）。

(1) 由(2.2.5)定义的时间序列$\{X_t\}${Xt​}是AR§模型(2.2.2)的唯一(a.s.意义)平稳解；

(2) AR§的模型的通解有如下形式
$\begin{aligned} Y_t= \sum_{j=0}^\infty \psi_j\varepsilon_{t-j} + \sum_{j=1}^k \sum_{l=0}^{r(j)-1} U_{l,j} t^l z_j^{-t}, \quad t\in \mathbb Z. \end{aligned}$Yt​=j=0∑∞​ψj​εt−j​+j=1∑k​l=0∑r(j)−1​Ul,j​tlzj−t​,t∈Z.​

Wold系数的递推公式

记$a_0=-1$a0​=−1则$A(z)=-\sum_{j=0}^p a_j z^j$A(z)=−∑j=0p​aj​zj，
$\begin{aligned} 1 = A(z) A^{-1}(z) = -\sum_{m=0}^\infty \left(\sum_{j=0}^p a_j \psi_{m-j}\right) z^m \end{aligned}$1=A(z)A−1(z)=−m=0∑∞​(j=0∑p​aj​ψm−j​)zm​
故$\psi_0=1, \sum_{j=0}^p a_j \psi_{m-j} = 0, m>0$ψ0​=1,∑j=0p​aj​ψm−j​=0,m>0。 于是
$\begin{aligned} \begin{cases} \psi_0 = 1, \\ \psi_m = \sum_{j=1}^p a_j \psi_{m-j}, & m=1, 2, \dots \\ \psi_m =0, & m<0 \end{cases} \end{aligned}$⎩⎪⎨⎪⎧​ψ0​=1,ψm​=∑j=1p​aj​ψm−j​,ψm​=0,​m=1,2,…m<0​​

通解与平稳解的关系

AR§的通解$\{Y_t\}${Yt​}与平稳解有如下关系
$\begin{aligned}|Y_t - X_t| = \left| \sum_{j=1}^k \sum_{l=0}^{r(j)-1} U_{l,j} t^l z_j^{-t} \right| = o(\rho^{-t}), \text{a.s.} \ t \to \infty \end{aligned}$∣Yt​−Xt​∣=∣∣∣∣∣∣​j=1∑k​l=0∑r(j)−1​Ul,j​tlzj−t​∣∣∣∣∣∣​=o(ρ−t),a.s. t→∞​
其中$1 < \rho < \min\{|z_j|\}$1<ρ<min{∣zj​∣}。

根离单位园越远，稳定下来的速度越快。 可以用此事实作为模拟产生AR§序列的理论基础。