统计科学之加权最小二乘法

今天这篇来讲讲加权最小二乘法(WLS)，加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的，主要是用来解决异方差问题的。

OLS的常规形式如下：

我们在前面讲过OLS有几个基本假定，其中一个就是ui是随机干扰项，即随机波动的，不受其他因素的影响，即在x取不同值时var(ui)都是一个固定的常数。但有的时候ui不是随机干扰项，而是与x的取值有关的，比如在研究年龄和工资收入的之间的关系时，随着年龄越大，ui的波动是会越大的，即var(ui)不是常数了，这就是出现了异方差。此时的数据不满足OLS的基本假定，所以如果直接使用OLS进行估计，会使估计出来的结果是有偏的。

如果我们在估计的时候可以把不同x的对应的ui的大小考虑进去的话，得到的结果应该就是ok的。那我们应该如何考虑进去呢？

假设不同x对应的ui的波动(方差)为σi^2，我们在OLS基本方程左右两边同时除σi，最后得到如下结果：

为了让方程看起来更加熟悉一点，我们再做一个变换：

变换后的方程是不是就和普通的OLS的方程形式是一样的了，此时的方程也满足基本的OLS假定，因为我们把不同x对应的σi给除掉了。就可以利用普通OLS方程的方法进行求解了。我们把这种变换后的方程称为WLS，即加权最小二乘法。

虽然整体思路上没啥问题了，但是这里还有一个关键问题就是σi怎么获取呢？

先用普通最小二乘OLS的方法去估计去进行估计，这样就可以得到每个x对应实际的残差ui，然后将ui作为σi。1/ui作为权重在原方程左右两边相乘，将得到的新的样本值再去用普通最小二乘估计即可。

以上就是关于加权最小二乘的一个简单介绍。