【读书笔记】概率论与数理统计（下）

作者：LogM

本文原载于 https://segmentfault.com/u/logm/articles，不允许转载~

文章中的数学公式若无法正确显示，请参见：正确显示数学公式的小技巧

本文为概率论与数理统计的笔记。

---

11. 第十一周

• 11.1 总体，样本

• 11.2 常用统计量

  • 样本均值：$\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$
  • 样本方差：$S^2 = \frac{1}{n-1} \sum_{i=1}{n}(X_i - \overline X)^2$
  • 样本 $k$ 阶矩：$A_k = \frac{1}{n} \sum_{i=1}^{n} X_i^k$
  • 样本 $k$ 阶中心矩：$B_k = \frac{1}{n} \sum_{i=1}^{n} (X_i-\overline X)^k$

• 11.3 抽样分布

  • 正态分布

  • $\chi^2$ 分布（卡方分布）

    • 定义：n个服从标准正态分布 $N(0,1)$ 的随机变量相互独立，则称 $\chi^2 = \sum_{i=1}^{n} X_i^2$ 服从自由度为 $n$ 的 $\chi^2$ 分布，记为$\chi^2 \sim \chi^2(n)$
    • 概率密度：$f_n(x) = \left \{\begin{matrix} \frac{2}{2\Gamma(n/2)}(\frac{n}{2})^{\frac{n}{2}-1}e^{-\frac{x}{2}} & ,x>0 \\ 0 & ,x \leq 0 \end {matrix} \right.$，其中 $\Gamma(\alpha) = \int_{0}^{+\infty} x^{\alpha-1}e^{-x}dx$

    • 性质：

      • $E(\chi^2) = n$
      • $D(\chi^2) = 2n$
      • 若 $Y_1 \sim \chi^2(n_1)$，$Y_2 \sim \chi^2(n_2)$，且互相独立，则 $Y_1+Y_2 \sim \chi^2(n_1+n_2)$
    • 上 $\alpha$ 分位数：给定 $\alpha$，$0< \alpha <1$，称满足条件 $P(\chi^2>\chi^2_a(n)) = \alpha$ 的点 $\chi^2_a(n)$ 为 $chi^2(n)$ 分布的上 $\alpha$ 分位数

  • $t$ 分布

    • 定义：$X \sim N(0,1)$，$Y \sim \chi^2(n)$，相互独立，则称 $T = \frac{X}{\sqrt{Y/n}}$ 服从自由度为 $n$ 的 $t$ 分布，记为$T \sim t(n)$
    • 上 $\alpha$ 分位数：$t_{1-\alpha}(n) = -t_{\alpha}(n)$

  • $F$ 分布

    • 定义：$X \sim \chi^2(n_1)$，$Y \sim \chi^2(n_2)$，相互独立，则称 $F = \frac{X/n_1}{Y/n_2}$ 服从自由度为 $(n_1,n_2)$ 的 $F$ 分布，记为$F \sim F(n_1,n_2)$
    • 上 $\alpha$ 分位数：$F_{1-\alpha}(n_1,n_2) = \frac{1}{F_{\alpha}(n_1,n_2)}$

---

12. 第十二周

• 12.1 单个正态总体的抽样分布

  • 设总体 $X \sim N(\mu, \sigma^2)$，$X_1$，$X_2$，$...$，$X_n$ 是样本，样本均值 $\overline X = \frac{1}{n} \sum_{i=1}^{n}X_i$，样本方差 $S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i-\overline X)^2$，则：

    • $\overline X \sim N(\mu, \frac{\sigma^2}{n})$
    • $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$，且 $\overline X$ 与 $S^2$ 相互独立
    • $\frac{\overline X-\mu}{\sigma/\sqrt{n}} \sim N(0,1)$

  • 设总体 $X \sim N(\mu, \sigma^2)$，$X_1$，$X_2$，$...$，$X_n$ 是样本，样本均值 $\overline X = \frac{1}{n} \sum_{i=1}^{n}X_i$，样本方差 $S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i-\overline X)^2$，则：

    • $\frac{\overline X - \mu}{S/\sqrt{n}} \sim t(n-1)$

• 12.2 两个正态总体的抽样分布

  • 设样本 $X_1$，$X_2$，$...$，$X_{n_1}$ 和样本 $Y_1$，$Y_2$，$...$，$Y_{n_2}$ 分别来自于总体 $N(\mu_1,\sigma_1^2)$ 和总体 $N(\mu_2,\sigma_2^2)$，并且他们相互独立，样本均值分别为 $\overline X$，$\overline Y$，样本方差分别为 $S_1^2$，$S_2^2$，则：

    • $F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(n_1-1,n_2-1)$
    • $\frac{(\overline X - \overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1}{n_1}+\frac{\sigma_2}{n_2}}} \sim N(0,1)$
    • $\frac{(\overline X - \overline Y)-(\mu_1-\mu_2)}{S_w \sqrt{\frac{\sigma_1}{n_1}+\frac{\sigma_2}{n_2}}} \sim t(n_1+n_2-2)$，其中 $S_w^2 = \frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$

• 12.3 矩估计

  • 理论依据：大数定律和依概率收敛
  • 做法：用原点矩或中心矩来估计参数，比如用样本的期望和方差估计参数

---

13. 第十三周

• 13.1 极大似然估计

  • 似然函数（离散型）：$L(\theta) = \Pi_{i=1}^{n} p(x_i;\theta)$
  • 似然函数（连续型）：$L(\theta) = \Pi_{i=1}^{n} f(x_i;\theta)$
  • 常取 $ln$，再利用倒数为0求解
  • 性质：若 $\hat{\theta}$ 为 $\theta$ 的极大似然估计，则 $g(\hat{\theta})$ 为 $g(\theta)$ 的极大似然估计

• 13.2 估计量的评价标准

  • 无偏性准则

    • 当估计量的期望 $E(\hat{\theta}) = \theta$，则估计是无偏的，保证估计没有系统偏差

  • 有效性准则

    • 估计的方差越小，越有效

  • 均方误差准则

    • $Mse(\hat{\theta}) = E(\hat{\theta} - \theta)^2$
    • 当无偏估计时，$Mse({\hat{\theta}}) = D(\hat{\theta})$
    • 均方误差越小越优（比无偏性准则更重要）

  • 相合性准则

    • 相合性估计量（一致性估计量）：随着样本n的增加，$\hat{\theta}$ 可以依概率收敛到 $\theta$

---