点估计的概念与无偏性
- 点估计:设$x_1,x_2,x_3...x_n$是来自总体的一个样本,则用于估计未知参数的估计量$\hat \theta=\hat \theta(x_1,x_2...x_n)$称为统计量$\theta$的点估计。
例如,样本平均值是总体均值的点估计,样本方差是总体方差的点估计。
- 无偏性:$$E(\hat\theta)=\theta$$
- 渐近无偏估计:$$\lim_{n\rightarrow\infty}E(\hat \theta)=\theta$$
- 有效性:设$\hat \theta_1,\hat \theta_2$都是$\theta$的无偏估计,若对于任意样本,$$D(\hat \theta_1)\leq D(\hat \theta_2)$$且至少存在一组样本使不等号严格成立,则称$\hat \theta_1$比$\hat \theta_2$有效。
矩估计及相合性
- 矩估计:用样本矩(如均值方差等)估计未知变量的方法。
- 相合性:$\theta$为未知参数,$\hat \theta$是$\theta$的一个估计量,$n$是样本容量,弱对于任意的$\epsilon>0$,有$$\lim_{n\rightarrow\infty} P(|\hat\theta-\theta|\geq\epsilon)=0$$则称$\hat\theta$是$\theta$的一个相合估计。
- 定理:设$\hat\theta$是$\theta$的一个估计量,若$$\lim_{n\rightarrow\infty}E\hat\theta=\theta,\lim_{n\rightarrow\infty}D\hat\theta=0$$则$\hat\theta$是$\theta$的一个相合估计。
- 定理:若$\hat\theta_1,\hat\theta_2,\hat\theta_3...\hat\theta_k$是$\theta_1,\theta_2,\theta_3...\theta_k$的相合估计,$\eta=\eta(\theta_1,\theta_2...\theta_k)$是连续函数,则$\hat\eta=\hat\eta(\hat\theta_1,\hat\theta_2,\hat\theta_3...\hat\theta_k)$是$\eta$的相合估计
相合性被认为是估计量的一个基本要求。
最大似然估计与EM算法
最大似然估计(MLE,maximum likelihood estimation)
- 最大似然估计:设总体的概率密度函数为$f(x;\theta)$,$\theta$为未知参数,样本的联合概率密度函数$$L(\theta)=\prod f(x_i;\theta)$$称为样本的似然函数,对于统计量$\hat\theta$满足$$L(\hat\theta)=max L(\theta)$$称$\hat\theta$是$\theta$的最大似然估计。
最大似然估计基于这样一个想法:在一次抽样中获得该组数据的概率应当是最大的,因此,取使得联合概率最大的$\hat\theta$为$\theta$的估计值。
EM算法(Expectation-maximization algorithm)
- EM算法流程
输入:观察数据 $x=(x_1,x_2,…x_n)$,联合分布$ p(x,z|\theta)$,条件分布 $p(z|x,\theta)$, 极大迭代次数 J。
1) 随机初始化模型参数$\theta$的初值$\theta_0$
2) $for\space j \space in \space range(1,J+1)$:
- a) E步:计算联合分布的条件概率期望:
$$Q_i(z^{(i)}) = P( z^{(i)}|x^{(i)},\theta)$$ - b) M步:极大化 $L(\theta)$,得到 $\theta$:
$$\theta = arg \max \limits_{\theta}\sum\limits_{i=1}^m\sum\limits_{z^{(i)}}Q_i(z^{(i)})log{P(x^{(i)}, z^{(i)}|\theta)}$$
- c) 重复E、M步骤直到$\theta$收敛
输出:模型参数$\theta$
EM算法针对含有隐含分布的数据,可以看作最大似然估计的一种计算方法,详细见其它文章。
最小方差无偏估计
均方误差(MSE,mean square error)
相合性是大样本下评价估计好坏的一个重要标准,小样本下使用均方误差。
$$MSE(\hat \theta)=E(\hat\theta-\theta)^2$$
注意到$$\begin{split}MSE(\hat\theta)&=E(\hat\theta-E\hat\theta+E\hat\theta-\theta)^2\\&=E(\hat\theta-E\hat\theta)^2+(E\hat\theta-\theta)^2+2E(\hat\theta-E\hat\theta)(E\hat\theta-\theta)\\&=D(\hat\theta)+(E\hat\theta-\theta)^2\end{split}$$
因此,MSE由点估计的方差和偏差平方两部分组成。
最小方差无偏估计
对于参数估计问题,设$\hat\theta$是$\theta$的一个无偏估计,对于任意的一个$\theta$的无偏估计$\widetilde{\theta}$,若有$$D(\hat\theta)\leq D(\widetilde{\theta})$$则称$\hat\theta$是$\theta$的一致最小方差无偏估计,记为UMVUE(Uniformly Minimum-Variance Unbiased Estimator)
有限总体的抽样分布
对于无限总体,或有放回的抽样,由中心极限定理可知,当样本容量$n$较大时,有随机变量$X\sim N(\mu,\frac {\sigma^2}{n})$,当总体有限,并且抽样为无放回抽样时,各样本不满足独立同分布的要求,因此,不服从上述分布,均值、方差与上述计算方法不同。
比率p的抽样分布
考虑以下有限总体的场景,总体容量为$N$,其中事件$A$的个体数为$M$,样本容量为$n$,其中事件$A$的个体数为$m$,总体中事件A发生的概率为$p=\frac MN$,样本中,事件$A$的比率为$\widehat p=\frac mn$,则$\widehat p$是$p$的点估计。
有放回抽样
当抽样为有放回抽样时,显然有$$A\sim B(n,p)$$
$$EA=np$$$$DA =np(1-p)$$
证明见https://segmentfault.com/a/11... 常用离散分布
显然有
$$E\widehat p=E(\frac mn)=\frac {Em}n=p$$$$D\widehat p=\frac{Dm}{n^2}=\frac{p(1-p)}{n}$$
无放回抽样
当无放回抽样时,$X$不再服从$n$重伯努利分布,服从超几何分布$$A\sim h(n,N,M)$$$$EA=n\frac MN$$$$DA=\frac{nM(N-M)(N-n)}{N^2(N-1)}$$以上证明见https://segmentfault.com/a/11... 常用离散分布
$$E\widehat p=\frac {Em}n=\frac MN=p$$
$$D\widehat p=\frac {Dm}{n^2}=\frac{M(N-M)(N-n)}{nN^2(N-1)}=\frac {p(1-p)}n\frac{N-n}{N-1}$$
其中,$\sqrt{\frac{N-n}{N-1}}$被称为有限总体修正系数。
均值$\bar x$的抽样分布
考虑如下场景,对于有限总体$X$,其分布为离散型,可描述为以下分布列:
取值 | 概率 | 频数 | |
---|---|---|---|
$x_1$ | $p_1$ | $f_1$ | |
$x_2$ | $p_2$ | $f_2$ | |
$x_3$ | $p_3$ | $f_3$ | |
$x_4$ | $p_4$ | $f_4$ | |
... | ... | ... | |
$x_k$ | $p_k$ | $f_k$ |
同样,总体容量为$N$,样本容量为$n$,总体均值为$\mu$,总体方差为$\sigma^2$。
有放回抽样
显然每个样本$X_i$独立同分布于$X$,当样本数$n$较大时,有$$\bar x \sim N(\mu,\frac {\sigma^2}n)$$
无论样本数大小,都有$$E\bar x =\mu$$$$D\bar x = \frac {\sigma^2}n$$
无放回抽样
$$E\bar x=E\frac {\sum_{i=1}^{n} X_i}{n}=EX_i=\mu$$
$$D\bar x = \frac {N-n}{N-1}\frac {\sigma^2}n$$
区间估计
- 置信区间:设$\theta$是总体的一个参数,对于给定的$\alpha(0<\alpha<1)$,设有两个统计量$\hat\theta_{L}$和$\hat\theta_{U}$,对任意的$\theta$,有$$P(\hat\theta_{L}\leq\theta\leq\hat\theta_{U})\geq1-\alpha$$则称$[\hat\theta_{L},\hat\theta_{U}]$为置信度为$1-\alpha$的置信区间
置信区间的一个解释:在次抽样中,每次抽样所得的$\hat\theta$有$1-\alpha$的概率落在置信区间中。
-
枢轴量法
- 构造样本和待预测变量的函数$G(x_1,x_2,..x_n,\theta)$
- 适当选择两常数,使得$$P(c\geq G \geq d)=1-\alpha$$
- 若$c\geq G \geq d$能变形为$\hat\theta_{L}\leq\theta\leq\hat\theta_{U}$,则置信区间可得。
单正态总体的置信区间
$\sigma$已知时$\mu$的置信区间
由于$$\bar x\sim N(\mu,\frac {\sigma^2}{n})$$
因此,构造枢轴量$$G=\frac{\bar x-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$$
由标准正态分布表查得,置信度为$1-\alpha$的双侧置信区间为$[-z_{1-\frac \alpha 2},z_{1-\frac \alpha 2}]$,则$\mu$的置信区间为$$-z_{1-\frac \alpha 2}\leq\frac{\bar x-\mu}{\sigma/\sqrt{n}}\leq z_{1-\frac \alpha 2}$$
$$\bar x - z_{1-\frac \alpha 2} \frac\sigma{\sqrt{n}}\leq \mu\leq \bar x + z_{1-\frac \alpha 2}\frac\sigma{\sqrt{n}}$$
$\sigma$未知时$\mu$的置信区间
由于$$\frac{\bar x-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$$$$\frac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1)$$
故,构造枢轴量$$t=\frac{\bar x-\mu}{s/\sqrt{n}}\sim t(n-1)$$
则置信区间为$$\bar x - t_{1-\frac \alpha 2}(n-1) \frac s{\sqrt{n}}\leq \mu\leq \bar x + t_{1-\frac \alpha 2}(n-1)\frac s{\sqrt{n}}$$
$\sigma^2$的置信区间
以以下统计量为枢轴量$$\frac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1)$$
由于$\chi^2$是恒为非负的偏态分布,因此,枢轴量区间为$$[\chi^2_{\frac \alpha 2},\chi^2_{1-\frac \alpha 2}]$$
故$\sigma^2$的置信区间为$$[\frac{(n-1)s^2}{\chi^2_{1-\alpha /2}},\frac{(n-1)s^2}{\chi^2_{\alpha /2}}]$$
大样本置信区间
以上是正态分布下的枢轴量法,当分布不是正态分布时,寻找枢轴量及其分布会比较困难,因此,当数据量较大时,可用渐近分布构建近似置信区间。以上述抽样比率$p$为例,$X\sim B(1,p)$,由中心极限定理,有以下近似分布$$\bar x\sim N(p,\frac {p(1-p)}n)$$
构造枢轴量$$G=\frac {\bar x-p}{\sqrt{p(1-p)/n}}\sim N(0,1)$$
令$\lambda = z^2_{1-\frac \alpha 2}$,则
$$(\frac {\bar x-p}{\sqrt{p(1-p)/n}})^2\leq \lambda$$
$$(1-\frac \lambda n)p^2-(2p+\frac \lambda n)p+\bar x^2\leq 0$$
上式两根为$$\frac 1{1+\lambda/n}(\bar x +\frac \lambda{2n}\pm\sqrt{\frac{\bar x(1-\bar x)}{n}\lambda+\frac {\lambda^2}{4n^2}})$$
当n较大时,可得近似区间$$[\bar x-z_{1-\frac \alpha 2}\sqrt{\frac {\bar x(1-\bar x)}{n}},\bar x+z_{1-\frac \alpha 2}\sqrt{\frac {\bar x(1-\bar x)}{n}}]$$
两正态总体下的置信区间
$x_1,x_2,...x_m$是$N(\mu_1,\sigma^2_1)$的样本,$y_1,y_2,...y_n$是$N(\mu_2,\sigma^2_2)$的样本,$s_x$,$s_y$分别是两样本的方差。
$\mu_1-\mu_2$的置信区间
$\sigma_1^2,\sigma^2_1$已知时
此时有$$\bar x-\bar y\sim N(\mu_1-\mu_2,\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n})$$
枢轴量$$G=\frac {\bar x-\bar y-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}}}\sim N(0,1)$$
则$\mu_1-\mu_2$的置信区间为$$\bar x-\bar y\pm z_{1-\frac \alpha 2}\sqrt{\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}}$$
$\sigma_1^2=\sigma^2_2=\sigma^2$未知时
$$\bar x-\bar y\sim N(\mu_1-\mu_2,(\frac1{m}+\frac1{n}){\sigma^2})$$
$$\frac{(m-1)s_x^2+(n-1)s_y^2}{\sigma^2}\sim \chi^2(m+n-2)$$
构造枢轴量$$t=\sqrt{\frac{mn(m+n-2)}{m+n}}\frac{\bar x-\bar y-(\mu_1-\mu_2)}{\sqrt{(m-1)s^2_x+(n-1)s^2_y}}\sim t(m+n-2)$$
令$$s_w^2=\frac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}$$
则置信区间为$$\bar x-\bar y \pm \sqrt{\frac {m+n}{mn}}s_wt_{1-\frac \alpha 2}(m+n-2)$$
$\sigma_2^2=c\sigma^2_1$且c已知时
方法同上,置信区间为$$\bar x-\bar y \pm \sqrt{\frac {cm+n}{mn}}s_wt_{1-\frac \alpha 2}(m+n-2)$$
m,n都很大时的近似置信区间
由中心极限定理,可得以下近似分布$$\frac{\bar x-\bar y-(\mu_1-\mu_2)}{\sqrt{\frac{s_x^2}m+\frac{s_y^2}n}}\sim N(0,1)$$
近似置信区间$$\bar x-\bar y\pm z_{1-\frac \alpha 2}\sqrt{\frac{s_x^2}m+\frac{s_y^2}n}$$
$\sigma_1^2/\sigma_2^2$的置信区间
由$$\frac {(m-1)s_x^2}{\sigma_1^2}\sim\chi^2(m-1)$$$$\frac {(n-1)s_y^2}{\sigma_2^2}\sim\chi^2(n-1)$$
构造枢轴量$$F=\frac{s_x^2/\sigma^2_1}{s_y^2/\sigma^2_2}\sim F(m-1,n-1)$$
$\sigma_1^2/\sigma_2^2$的置信区间为$$[\frac{s_x^2}{s_y^2}\frac1 {F_{1-\frac\alpha2}(m-1,n-1)},\frac{s_x^2}{s_y^2}\frac1 {F_{\frac\alpha2}(m-1,n-1)}]$$
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。