概率论与数理统计复习笔记(待续)

概率论基础

基础分布

• 指数分布的无记忆性

  • $P(X> s+t \mid X > s)=P(X > T)$P(X>s+t∣X>s)=P(X>T)
  • 举个例子，一个零件用了$s$s小时后，它还能再用$t$t小时的概率与这个零件没用过时能用$t$t小时的概率相同。很显然这个性质是指数函数带来的。

• 泊松定律：

  • 固定$k$k，对于任意正整数$n$n， 令$np_n=\lambda$npn​=λ，则$\lim_{n\rightarrow \infin} C^k_np^k_n(1-p_n)^{n-k}=\frac{\lambda^ke^{-k}}{k!}$limn→∞​Cnk​pnk​(1−pn​)n−k=k!λke−k​
  • 这个式子必须选定$k$k，令$n$n趋于无穷大才成立，对应的$p_n$pn​会趋近于无穷小
  • 泊松定理是二项分布的一种极限情况：试验次数非常大，而每次试验的成功概率$p$p非常小，这也符合生活中的很多例子，例如每天的顾客数量、每天的事故发生数量等等。当然，当$k$k的大小开始接近$n$n的时候，泊松分布就会失效，应该改用二项分布。这个理解也可以在两个分布的期望与方差上得到印证

• 函数的概率分布:

  • 已知$X$X的概率分布函数$f_X$fX​，如果有$Y=g(X)$Y=g(X)，要求$Y$Y的概率分布函数$f_Y$fY​，可以通过边缘分布函数$F_X$FX​求得$F_Y$FY​, 然后对$F_Y$FY​求导得到$F_y$Fy​

88页

样本与抽样分布

• 箱线图，对于一组抽样，分别求出中位数$M$M、第一四分位点$Q_1$Q1​、第三四分位点$Q_3$Q3​，画出下面这张图（图片来源《概率论与数理统计》第四版 133页）。

• 概率分布的分位点：给定$\alpha$α，概率分布函数$f(x)$f(x)，如果$\int^{+\infin}_{\beta}f(x)dx=\alpha$∫β+∞​f(x)dx=α, 则$\beta$β则为该分布的$\alpha$α分位点。

• 样本分布：主要是注意样本方差$S^2 = \frac{1}{n-1}\sum^n_{i=1}(X_i-\overline{X})$S2=n−11​∑i=1n​(Xi​−X)中的系数是$\frac{1}{n-1}$n−11​。实际上如果公式中不用样本均值$\overline{X}$X来近似$\mu$μ而是直接用$\mu$μ的话，系数还是直观的$\frac{1}{n}$n1​。然而可以证明， $E[(\overline{X}-\mu)^2]=\frac{1}{n}\sigma^2$E[(X−μ)2]=n1​σ2，所以系数要予以修正。

• $\chi^2$χ2分布：$\chi^2=X^2_1+X^2_2+\ldots+X^2_n$χ2=X12​+X22​+…+Xn2​，其中$X_i$Xi​为标准正态分布的样本，则$\chi^2 \sim \chi^2(n)$χ2∼χ2(n)，即*度为$n$n的卡方分布

• $\Gamma$Γ函数：$\Gamma(x) = \int^{+\infin}_0 t^{x-1}e^{-t}dt , x>0$Γ(x)=∫0+∞​tx−1e−tdt,x>0，其历史可以参考这里

  • 这个函数是阶乘函数在实数乃至复数域上的扩展，对于正整数$n$n， $\Gamma(n+1) = n!$Γ(n+1)=n!, 如果修改伽马函数让$\Gamma(n) = n!$Γ(n)=n!，只需要将$t^{x-1}$tx−1改为$t^{x}$tx即可；
  • 其满足阶乘的性质： $\Gamma(x+1) = x\Gamma(x)$Γ(x+1)=xΓ(x)(分部积分证明)。

• $t$t 分布：$t=\frac{X}{\sqrt{Y/n}}$t=Y/n​X​，记为$t\sim t(n)$t∼t(n), 其中$X\sim N(0,1), Y\sim\chi^2(n)$X∼N(0,1),Y∼χ2(n), $X,Y$X,Y相互独立；

  • 概率密度函数为$h(t) = \frac{\Gamma[(n+1)/2]}{\sqrt{\pi n}\Gamma[n/2]}(1+\frac{t^2}{n})^{-(n+1)/2}$h(t)=πn​Γ[n/2]Γ[(n+1)/2]​(1+nt2​)−(n+1)/2，其关于$y$y轴对称；
  • $\lim_{n\rightarrow +\infin}h(t)=\frac{1}{\sqrt{2\pi}}e^{\frac{-t^2}{2}}$limn→+∞​h(t)=2π​1​e2−t2​，也就是说，$n$n变大时，$t$t分布将逐渐趋向于标准正态分布，$n>45$n>45时就几乎一样了

• $F$F分布：$F=\frac{U/n_1}{V/n_2}$F=V/n2​U/n1​​，记为$F(n_1, n_2)$F(n1​,n2​),*度为$(n_1, n_2)$(n1​,n2​), 其中$U\sim\chi^2(n_1)，V\sim\chi^2(n_2)$U∼χ2(n1​)，V∼χ2(n2​)， $U，V$U，V相互独立。

  • 概率分布函数只在正半轴非$0$0，太复杂了，好像也没必要记住？

• 正态分布样本的若干性质，假设正态分布$N(\mu,\sigma^2)$N(μ,σ2)有$n$n个采样的均值，样本均值为$\overline{X}$X，样本方差为$S^2$S2:

  • $\overline{X}$X与$S^2$S2相互独立
  • $\overline{X} \sim N(\mu, \sigma^2/n)$X∼N(μ,σ2/n)
  • $\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$σ2(n−1)S2​∼χ2(n−1) , (很有意思，$(n-1)S^2$(n−1)S2其实和卡方分布的定义很像，但是里面用的是样本均值，可能也就是如此使得得到的*度为$n-1$n−1)
  • $\frac{\overline{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$S/n​X−μ​∼t(n−1)，可以由前两条推出
  • 如果有两个正态分布的样本$X, Y$X,Y，则$\frac{S^2_1/S^2_2}{\sigma_1^2/\sigma_2^2}\sim F(n_1-1，n_2-2)$σ12​/σ22​S12​/S22​​∼F(n1​−1，n2​−2)

参数估计

• 点估计分为矩估计和最大似然估计，后者见得很多了，前者是指，如果分布具有$n$n个参数，则分别求出$1$1至$n$n阶矩关于参数的表达式，然后计算样本中$1$1至$n$n阶矩的具体值，最后联立方程得到结果。当参数只有两个时，用的就是均值和方差。在一些简单的分布中，矩估计和最大似然估计的结果似乎是一样的。

假设检验

确定原假设$H_0$H0​和备择假设$H_1$H1​，使用一个检验统计量来表示$H_0$H0​，利用这个统计量的分布和显著性水平来判断假设是否成立。根据检验统计量的不同，可以分为$Z$Z检验(正态分布)，$t$t检验, $\chi^2$χ2检验，$F$F检验。


分布拟合检验、秩和检验：待读

其他

• 切比雪夫不等式： $P(|x-\mu| \geq \epsilon) \leq \frac{\delta^2}{\epsilon^2}$P(∣x−μ∣≥ϵ)≤ϵ2δ2​

  • 证明方法是写出$P(|x-\mu| \geq \epsilon)$P(∣x−μ∣≥ϵ)的定义，然后在定义中用$f(x) \leq \frac{(x-\mu)^2}{\epsilon^2}f(x)$f(x)≤ϵ2(x−μ)2​f(x)进行放缩即可。

• 协方差： $Cov(X, Y) = E[(X-E[X])(Y-E[Y])]$Cov(X,Y)=E[(X−E[X])(Y−E[Y])]

  • 相关系数: $\rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(x)}\sqrt{D(Y)}}$ρXY​=D(x)​D(Y)​Cov(X,Y)​
  • $\rho_{XY}\leq 1$ρXY​≤1
  • $\rho_{XY}= 1$ρXY​=1 当且仅当存在常数$a, b$a,b使得$P(X=a+bY)=1$P(X=a+bY)=1
  • 多维随机变量中，两两的协方差构成协方差矩阵