时间序列分析个人学习笔记2

时间序列分析方法的依据：
时间序列描述：n个随机变量在任意n个时间点t1,t2,…,tn$t_1,t_2,\dots ,t_n$的集合
一个时间序列有联合分布函数，定义如下：
Ft1,t2,⋯，tn（c1，c2,…,cn)=Pr(xt1≤c1,xt2≤c2,…,xtn≤cn)$F_{t_1,t_2,\cdots ，t_n}（c_1，c_2,\dots ,c_n)=P_r(x_{t_1}\le c_1,x_{t_2}\le c_2,\dots ,x_{t_n}\le c_n)$.
但是只有随机变量的联合分布正常，才可以这么写，大多数情况下写不出联合分布函数，联合分布函数用于时间序列分析很不方便：因为n元，所以任何相应的多变量密度函数的绘图实际上都是不可能的。

---

如果我们想测量边际行为呢？
边际分布函数：Ft(x)=P{xt≤x}$F_t(x)=P\{x_t\le x\}$
边际密度函数：ft(x)=∂Ft(x)∂x$f_t(x)=\frac{\mathrm{\partial }{F}_t(x)}{\mathrm{\partial }x}$
除此之外还有mean function

mean fuction：
μxt=E(xt)=∫∞−∞xft(x)dx${\mu }_{xt}=E(x_t)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x{f}_t(x)dx$
不产生误解时，可把μxt${\mu }_{xt}$记作μt${\mu }_t$

---

例13 Mean Function of a Moving Average Series
wt$w_t$是white noise，μwt=E(wt)=0${\mu }_{wt}=E(w_t)=0$,对于所有的t成立，在white noise的图中就可以看到，曲线在0附近变动。
vt$v_t$是Moving Average Series的，μvt=E(vt)=13[E(wt−1)+E(wt)+E(wt+1)]=0${\mu }_{vt}=E(v_t)=\frac{1}{3}[E(w_{t-1})+E(w_t)+E(w_{t+1})]=0$

---

例14 Mean Function of a Random Walk with Drift
我们知道如果xt$x_t$是Random Walk with Drift的，就有：
xt=σt+∑tj=1wj,t=1,2,…$x_t=\sigma t+\sum _{j=1}^t{w}_j,t=1,2,\dots$
μxt=E(xt)=σt+∑tj=1E(wj)=σt${\mu }_{xt}=E(x_t)=\sigma t+\sum _{j=1}^{t}E(w_j)=\sigma t$
画出来是一条斜率为σ$\sigma$的直线。

---

例15 Mean Function of Signal Plus Noise
现实中的许多应用都可以看成是一个信号波加上一个期望为0的噪声。
μxt=E(xt)=E[Acos(wt+ϕ)+wt]=E(Acos(wt+ϕ))+E(wt)${\mu }_{xt}=E(x_t)=E[Acos(wt+\varphi )+w_t]=E(Acos(wt+\varphi ))+E(w_t)$
=Acos(wt+ϕ)$=Acos(wt+\varphi )$

---

假设xt$x_t$是有限的，有如下定义
Autocovariance Function:（用来评价一个序列中两个不同时间点的线性相关性）

γx(s,t)=cov(xs,xt)=E[(xs−μs)(xt−μt)]${\gamma }_x(s,t)=cov(x_s,x_t)=E[(x_s-{\mu }_s)(x_t-{\mu }_t)]$，对于任意的s，t。

注：

• cov是用来评价xt,xs$x_t,x_s$之间的独立性关系的。
• “光滑”的序列，就算t和s相距很远，AF也会很大；
  “曲折”的序列，t，s相距很远的时候，AF几乎为0.
• 统计术语：γx(s,t)=0${\gamma }_x(s,t)=0$, xt,xs$x_t,x_s$不是线性相关，但是他们可能还有其他的关系；如果xt,xs$x_t,x_s$服从二元正态分布，那么他们γx(s,t)=0${\gamma }_x(s,t)=0$就代表相互独立。
  证明：
  
• 如果s=t，那么AF就变成了方差：γx(t,t)=E[(xt−μt)2]=var(xt)${\gamma }_x(t,t)=E[(x_t-{\mu }_t{)}^2]=var(x_t)$

---

例16 Autocovariance of White Noise
γw(s,t)=cov(ws,wt)=${\gamma }_w(s,t)=cov(w_s,w_t)=$

• s=t$s=t$, =σ2w${\sigma }_w^2$
• s≠t$s\ne t$,=0$0$

---

例17 Autocovariance of a Moving Average
γv(s,t)=cov(vs,vt)=cov{13(ws−1+ws+ws+1),13(wt−1+wt+wt+1)}.${\gamma }_v(s,t)=cov(v_s,v_t)=cov\{\frac{1}{3}(w_{s-1}+w_s+w_{s+1}),\frac{1}{3}(w_{t-1}+w_t+w_{t+1})\}.$

• s=t$s=t$,
  γv(t,t)=19cov{ws−1+ws+ws+1,wt−1+wt+wt+1}=13σ2w${\gamma }_v(t,t)=\frac{1}{9}cov\{w_{s-1}+w_s+w_{s+1},w_{t-1}+w_t+w_{t+1}\}=\frac{1}{3}{\sigma }_w^2$

• s=t+1,or s=t−1$s=t+1,ors=t-1$
  γv(s,t)=29σ2w${\gamma }_v(s,t)=\frac{2}{9}{\sigma }_w^2$

• otherwise
  γv(s,t)=0${\gamma }_v(s,t)=0$

他的Autocovariance只跟s和t的距离有关。

---

例18 Autocovariance of a Random Walk
xt=∑tj=1wj$x_t=\sum _{j=1}^t{w}_j$
γ(s,t)=cov(xt,xs)=cov(∑tj=1wj,∑sj=1wj)=min{s,t}σ2$\gamma (s,t)=cov(x_t,x_s)=cov(\sum _{j=1}^t{w}_j,\sum _{j=1}^s{w}_j)=min\{s,t\}{\sigma }^2$

---

Autocorrelation fuction(ACF):
ρ(s,t)=γ(s,t)γ(s,s)γ(t,t)√$\rho (s,t)=\frac{\gamma (s,t)}{\sqrt{\gamma (s,s)\gamma (t,t)}}$
如果xs，xt$x_s，x_t$之间是线性关系，|ρ(s,t)|=1$|\rho (s,t)|=1$

---

考虑两个时间序列yt$y_t$和xs$x_s$:
cross-covariance function:
γxy(s,t)=cov(xs,yt)=E[(xs−μxs)(yt−μyt)]${\gamma }_{xy}(s,t)=cov(x_s,y_t)=E[(x_s-{\mu }_{xs})(y_t-{\mu }_{yt})]$

---

cross-correlation funtion(CCF):(比例显示的cross-covariance function）
ρxy(s,t)=γxy(s,t)γx(s,s)γy(t,t)√${\rho }_{xy}(s,t)=\frac{{\gamma }_{xy}(s,t)}{\sqrt{{\gamma }_x(s,s){\gamma }_y(t,t)}}$

---

大于两个时间序列的cross-covariance function:
多元时间序列（一共有r个）：
xt1,xt2,…,xtr$x_{t1},x_{t2},\dots ,x_{tr}$,
γjk(s,t)=E[(xsj−μsj)(xtk−μtk)]  j,k=1,2,…,r.${\gamma }_{jk}(s,t)=E[(x_{sj}-{\mu }_{sj})(x_{tk}-{\mu }_{tk})]j,k=1,2,\dots ,r.$
当s，t历遍整个序列的时候，上述值在改变。

---

在例17中，可以看到，ACF只跟s和t的距离有关系。只要s和t之间的距离是h，那么s和h的具体位置并不重要。当平均值不变时，这个概念称为弱平稳性（weak stationarity）。

Strictly Stationary Time Series：
一个时间序列中任意可能出现的变量集{xt1,xt2,…,xtk}$\{x_{t_1},x_{t_2},\dots ,x_{t_k}\}$等同于{xt1+h,xt2+h,…,xtk+h}$\{x_{t_1+h},x_{t_2+h},\dots ,x_{t_k+h}\}$,这就意味着：
Pr{xt1≤c1,…,xtk≤ck}=Pr{xt1+h≤c1,…,xtk+h≤ck}$Pr\{x_{t_1}\le c_1,\dots ,x_{t_k}\le c_k\}=Pr\{x_{t_1+h}\le c_1,\dots ,x_{t_k+h}\le c_k\}$
对于任意的k=1,2,…$k=1,2,\dots$，任意的时间点t1,t2,…,tk$t_1,t_2,\dots ,t_k$,任意的数c1,c2,…,ck$c_1,c_2,\dots ,c_k$,以及任意的时间变换h=0,±1,±2,….$h=0,\pm 1,\pm 2,\dots .$

也就是说：变量子集的所有多变量分布函数必须与移位集合（对应于任意移位参数h）的变量的多元分布函数一致。

• 假设k=1$k=1$,Pr(xs≤c)=Pr(xt≤c)$Pr(x_s\le c)=Pr(x_t\le c)$,任意s,t都是成立的。
  简单来说，就是一个时间序列在下午一点和晚上10点的值是一样的。如果mean function存在，假设是μt${\mu }_t$,那就代表μt=μs${\mu }_t={\mu }_s$,对于任意的t，s都是成立的，这就说明这个时间序列的mean function是一个常数。所以， random walk with drift就不是严格稳定的。
• 当k=2的时候，有Pr{xt1≤c1,xt2≤c2}=Pr{xt1+h≤c1,xt2+h≤c2}$Pr\{x_{t_1}\le c_1,x_{t_2}\le c_2\}=Pr\{x_{t_1+h}\le c_1,x_{t_2+h}\le c_2\}$,对于任意的s，t，h。我么可以知道这两个时间序列的AF就是：
  
  γ(s,t)=γ(s+h,t+h)$$\gamma (s,t)=\gamma (s+h,t+h)$$
  
  这就说明他们的AF只跟时间差有关，跟s，t无关。

---

Weakly Stationary:
一个时间序列xt$x_t$,满足：

• mean function μt${\mu }_t$,是常数跟时间t无关；、
• AF，γ(s,t)$\gamma (s,t)$只跟s和t的距离有关。
  （后面用Stationary代表Weakly Stationary）

注：
- 如果一个时间序列是Gaussian（序列里面所有有限的分布都是Gaussian）那么从Stationarity就可以推出Strictly Stationary。
- μt${\mu }_t$固定，记为μ$\mu$
- s=t+h$s=t+h$，γ(t+h,t)=cov(xt+h,xt)=cov(xh,x0)=γ(h,0)$\gamma (t+h,t)=cov(x_{t+h},x_t)=cov(x_h,x_0)=\gamma (h,0)$
改写γ(s,t)$\gamma (s,t)$为γ(h)$\gamma (h)$

---

AF of a stationary time series:
γ(h)=cov(xt+h,xt)=E[(xt+h−μ)(xt−μ)]$\gamma (h)=cov(x_{t+h},x_t)=E[(x_{t+h}-\mu )(x_t-\mu )]$

ACF of a stationary time series:
ρ(h)=γ(t+h,t)γ(t+h,t+h)γ(t,t)√=γ(h)γ(0)$\rho (h)=\frac{\gamma (t+h,t)}{\sqrt{\gamma (t+h,t+h)\gamma (t,t)}}=\frac{\gamma (h)}{\gamma (0)}$

由Cauchy-Schwarz不等式知道：−1≤ρ(h)≤1$-1\le \rho (h)\le 1$，对于任意的h。

---

例19 Stationary of WN

• μwt=0${\mu }_{wt}=0$;

• h=0,γw(h)=cov(wt,wt)=σ2w${\gamma }_w(h)=cov(w_t,w_t)={\sigma }_w^2$
  h≠0,γw(h)=0$h\ne 0,{\gamma }_w(h)=0$

• ρw(0)=1,ρw(h)=0,when h≠0${\rho }_w(0)=1,{\rho }_w(h)=0,whenh\ne 0$

所以WN是stationary，如果WN还是Gaussian分布，那么WN还是Strictly Stationary，还可以知道他们还是相互独立（iid）的.

---

例20 Stationary of Moving Average
由例13和例17知道，Moving Average也是stationary。

• μ=0$\mu =0$
• h=0,γ(h)=39σ2w$h=0,\gamma (h)=\frac{3}{9}{\sigma }_w^2$，ρ(h)=1$\rho (h)=1$;
• |h|=1,γ(h)=29σ2w$|h|=1,\gamma (h)=\frac{2}{9}{\sigma }_w^2$，ρ(h)=23$\rho (h)=\frac{2}{3}$;
• |h|=2,γ(h)=19σ2w$|h|=2,\gamma (h)=\frac{1}{9}{\sigma }_w^2$，ρ(h)=13$\rho (h)=\frac{1}{3}$;
• |h|>2,γ(h)=0$|h|>2,\gamma (h)=0$，ρ(h)=0$\rho (h)=0$.

---

例21 Random Walk is Not Stationary
因为γ(s,t)=min{s,t}σ2w$\gamma (s,t)=min\{s,t\}{\sigma }_w^2$跟时间有关，同时μxt=δt${\mu }_{xt}=\delta t$

---

Trend Stationarity
考虑xt=α+βt+yt$x_t=\alpha +\beta t+y_t$, 其中yt$y_t$是Stationary：

• μx,t=E(xt)=α+βt+μy${\mu }_{x,t}=E(x_t)=\alpha +\beta t+{\mu }_y$,与时间有关。
• γx(h)=cov(xt+h,xt)=E[(xt+h−μx,t+h)(xt−μx,t)]=E[(yt+h−μy)(yt−μy)]=γy(h).${\gamma }_x(h)=cov(x_{t+h},x_t)=E[(x_{t+h}-{\mu }_{x,t+h})(x_t-{\mu }_{x,t})]=E[(y_{t+h}-{\mu }_y)(y_t-{\mu }_y)]={\gamma }_y(h).$

该模型可被视为具有线性趋势的Stationary,被称作trend stationary。

---

AF of a stationary process 有哪些性质呢？

1. γ(h)$\gamma (h)$是非负的，任意的n≥1$n\ge 1$，常数a1,…,an$a_1,\dots ,a_n$,
   

   0≤var(a1x1+⋯+anxn)=∑j=1n∑k=1najakγ(j−k)$$0\le var(a_1{x}_1+\cdots +a_n{x}_n)=\sum _{j=1}^n\sum _{k=1}^n{a}_j{a}_k\gamma (j-k)$$

2. γ(0)=E[(xt−μ)2]$\gamma (0)=E[(x_t-\mu {)}^2]$,由cauchy-schwarz不等式知道：
   

   |γ(h)|≤γ(0)$$|\gamma (h)|\le \gamma (0)$$

3. γ(h)=γ(−h)$\gamma (h)=\gamma (-h)$,理由：
   

   γ((t+h)−t)=cov(xt+h,xt)=cov(xt,xt+h)=γ(t−(t+h))$$\gamma ((t+h)-t)=cov(x_{t+h},x_t)=cov(x_t,x_{t+h})=\gamma (t-(t+h))$$

4. 图像关于0对称
   

---

jointly stationary:
xt,yt$x_t,y_t$都是时间序列，而且都是stationary，他们的cross-covariance有如下性质：

只跟h有关,那他们就是jointly stationary的。

---

cross-correlation function（CCF）：
xt,yt$x_t,y_t$是jointly stationary的，CCF定义如下：

• 这个值被-1和1界定。
• CCF并不关于0对称，因为cov(x2,y1)$cov(x_2,y_1)$和cov(x1,y2)$cov(x_1,y_2)$不一定相等。
• ρxy(h)=ρyx(−h)${\rho }_{xy}(h)={\rho }_{yx}(-h)$

---

例24 Prediction Using Cross-Correlation
考虑确定两个序列之间可能的前导或滞后关系的问题：
yt=Axt−l+wt$y_t=A{x}_{t-l}+w_t$

• l>0$l>0$,xt$x_t$ is leading yt$y_t$

• l<0$l<0$,xt$x_t$ is lagging yt$y_t$

  我们希望知道他们之间是leading还是lagging的，从而就可以从xt$x_t$中预测出yt$y_t$,假设噪音wt$w_t$和xt$x_t$序列之间是不相关的，那么CCF就是：
  

  γyx(h)=cov(yt+h,xt)=cov(Axt+h−l+wt+h,xt)$${\gamma }_{yx}(h)=cov(y_{t+h},x_t)=cov(A{x}_{t+h-l}+w_{t+h},x_t)$$
  
  
  =cov(Axt+h−l,xt)=Aγx(h−l)$$=cov(A{x}_{t+h-l},x_t)=A{\gamma }_x(h-l)$$
  
  由Cauchy-Schwarz公示知道，γx(h−l)${\gamma }_x(h-l)$的最大值是γx(0)${\gamma }_x(0)$,此时h=l$h=l$.
  when l=5:
  

---

Linear Process：
white noise：wt$w_t$；
xt=μ+∑∞j=−∞ψjwt−j,   ∑∞j=−∞|ψj|<∞$x_t=\mu +\sum _{j=-\mathrm{\infty }}^{\mathrm{\infty }}{\psi }_j{w}_{t-j},\sum _{j=-\mathrm{\infty }}^{\mathrm{\infty }}|{\psi }_j|<\mathrm{\infty }$
我们还可以计算出他的AF：

注：

• γx(h)=γx(−h)${\gamma }_x(h)={\gamma }_x(-h)$;
• ∑∞j=−∞ψ2j<∞$\sum _{j=-\mathrm{\infty }}^{\mathrm{\infty }}{\psi }_j^2<\mathrm{\infty }$，就知道xt$x_t$有方差；
• 大多数模型(causal linear process)，都有ψj=0, for j<0${\psi }_j=0,forj<0$.

---

Gaussian process:
一个时间序列{xt}$\{x_t\}$,对于任意的n，任意n个时间点t1,t2,…,tn$t_1,t_2,\dots ,t_n$，x=(xt1,xt2,…,xtn)T$x=(x_{t_1},x_{t_2},\dots ,x_{t_n}{)}^T$都是多元正态分布的。

E(x)=μ=(μt1,…,μtn)T$E(x)=\mu =({\mu }_{t_1},\dots ,{\mu }_{t_n}{)}^T$，n×n$n\times n$的方差矩阵var(x)=Γ={γ(ti,tj);i,j=1,…,n}$var(x)=\mathrm{\Gamma }=\{\gamma (t_i,t_j);i,j=1,\dots ,n\}$，假设都是正的，那么多元正态密度函数就可以写成：

注：

• 如果一个Gaussian时间序列是weakly stationary，那么他的μt${\mu }_t$和γ(ti,tj)$\gamma (t_i,t_j)$都是和时间差有关，而和具体的时间没有关系，由f(x)$f(x)$的表达式可以知道，f(x)$f(x)$也只是和时间差有关和真正的时间无关，所以这个时间序列还是strictly stationary。
• Wold Decomposition：A Stationary non-deterministic time series is a causal linear process.
  Gaussian time series 一定是 causal linear process, wt∼ iid N(0,σ2w)$w_t\sim iidN(0,{\sigma }_w^2)$
• 边缘分布是高斯分布的序列不一定是高斯的，这样的情况很常见,X，Y$X，Y$是正态分布的，但是(X,Y)$(X,Y)$不是二元正态分布的。举例：X，Z是相互独立且成正态分布的，当XZ>0, Y=Z$XZ>0,Y=Z$，当XZ≤0, Y=−Z$XZ\le 0,Y=-Z$.