经典线性回归模型OLS估计量在古典假定条件下满足高斯-马尔可夫定理,但在现实经济活动中,这些基本假定并非都能满足该定理。在基础计量经济学中,针对异方差性、自相关性问题我们主要探讨了问题产生的原因、造成的后果以及如何检验与修正的方法。本节内容主要是在此基础上,进一步探讨异方差和自相关的本质,并给出在存在异方差及自相关情况下如何得到估计量的有效性改进。
考虑线性回归模型
其中,
此时称模型的随机扰动项是非球型扰动(可称为广义线性回归模型)。
如果模型存在非球型扰动(其他基本假定仍满足),此时仍然采用OLS估计会有以下特点:
①OLS估计量是无偏且一致的。
②OLS估计量是非有效的。即如果仍然做OLS回归,只能得到线性无偏但非最小方差的估计量。
③传统的OLS估计量的标准差不正确,以这些标准差为依据建立起来的传统的t检验是无效的。
那么, OLS估计量的正确方差(标准差)是什么呢?
事实上,
传统OLS估计量方差公式 σ 2 ( X'X ) -1 只是正确表达式(3.3)的一部分,所以传统的 t 检验统计量是无效的。
为得到正确的方差(标准差),我们先考虑异方差情形,然后再考虑自相关情形及异方差和自相关混合的情形。
当仅出现异方差时,扰动项的方差协方差矩阵是
Var( u ) = = =V
在这种情况下,如果我们仍然使用OLS估计模型,那么有效的统计推断要求正确计算出式(3.3),即 σ 2 Ω = 。由于 σ 2 Ω中有 n 个未知方差,而我们的样本为 n ,因此,如果没有附加假设,要从 n 个样本点估计这些未知参数,显然是不可能的。不过, White认为可以换一个角度看此问题。我们目的是要得到 k 阶方阵 X'σ 2 Ω X 的一个满意的估计,这是一个 k 阶方阵,而 k 是独立于样本容量 n 的常数。
White估计量以 代替未知的 ,其中, e i 是最初OLS估计的残差。White (1980)证明了
是式(3.3)的一个一致估计量。而且,式(3.5)由于不需要对异方差形式做任何假定而显得特别有用。
式(3.5)主对角线元素的平方根就是OLS估计量的“真实”标准差,它通常被称为White异方差一致标准差。此时,通常的t检验和F检验是渐进有效的。而一般的假设检验也可以用相应的统计量来完成。
White关于OLS估计量的方差协方差矩阵的一致估计(也称为White方差协方差稳健估计),是假设被估计的模型的随机扰动项是序列不相关的。而Newey和West(1987)提出了更一般的估计量。在存在未知形式的异方差和自相关时仍然是一致的。估计式为:
其中, q 是模型随机误差项的最大自相关阶数,需要事先给定。 w ( v )是权数, w ( v ) = 。将式(3. 6)带入式(3. 3)得到OLS估计量的Newey-West异方差—自相关一致方差协方差估计
【例 3.1】分析交通与通信支出如何受人均可支配收入的影响。建立交通通信支出的一元线性回归模型,解释变量为人均可支配收入。相关数据如表3.1 所示。
表3.1 30 个地区某时段人均可收入与交通通信支出的截面数据
建立交通通信支出的一元线性回归模型
cum i = α + β in c i + ε i
Stata操作及结果如图 3.1 所示,输出结果如图 3.2 和图 3.3 所示。
图3.1 Stata操作过程
图3.2 式(3.8)输出结果
图3.3 式(3.9)输出结果
将OLS估计结果(见图 3.2)和采用White异方差一致估计的结果(见图3.3)对比
估计结果表明,系数估计值相同,但系数估计量的标准误差不同, t 值也不同。式(3.9)中的标准差 0.012 称为稳健标准差,它是inc系数最小二乘估计量“真实标准差”的White一致估计。值得注意的是, OLS估计结果[式(3.8)]中的t值通常是被夸大的。而White (以及Newey-West)方法正是给出了估计量方差的真实改进。
非球型扰动的处理,除了上述的OLS加White (或Newey-West)稳健方差一致估计方法以外,另一种重要的处理方法是广义最小二乘估计法(GLS)。
在实际经济问题的分析过程中,常常遇到古典假定的不满足,即随机扰动项存在非球型扰动(异方差或自相关)。比如利用截面数据进行分析时,随机因素的方差有时会随着解释变量的增大而增大(即所谓的递增异方差——如在研究消费收入的关系时,随着收入的增加,随机因素的变化会增大)。而利用时间序列数据进行分析时,由于经济变量的惯性作用,随机扰动项之间也会有联系,较为普遍的现象是扰动项的一阶自相关(即 u t = ρu t- 1 + ε t )。
当存在非球型扰动(异方差或自相关)的情况下,传统的OLS不再是有效估计,这时,我们可以采用广义最小二乘法(GLS)来解决这类问题。
具体地,对于线性回归模型 Y = Xβ + u
E ( u | X ) = 0, Euu' = σ 2 Ω
其中Ω= = 时, 存在异方差;
Ω = 时, 存在一阶自相关。
需要说明的是,无论是异方差还是自相关,矩阵Ω是正定矩阵。于是,存在非奇异矩阵P ,使得
Ω = PP'
或 P -1 Ω ( P' ) -1 = I
在模型 Y = Xβ + u 两边同时左乘 P -1 ,得
P -1 Y = P -1 Xβ + P -1 u
令 P -1 Y = Y * , P -1 X = X * , P -1 u = u * 。于是有
此时, Eu * u * '= E [ P -1 uu' ( P' ) -1 ]= P -1 σ 2 Ω ( P' ) -1 = σ 2 I
即 u * 已无异方差和自相关。
那么,对式(3.10)运用OLS可以得到
= ( X * ' X * ) -1 X * ' Y * = ( X ( P -1 ) 'P -1 X ) -1 X' ( P -1 ) 'P -1 Y = ( X' Ω -1 X ) -1 X' Ω -1 Y
这就是未知参数 β 的广义最小二乘估计量GLS。即
广义最小二乘估计量GLS具有良好的统计性质:它是无偏的、一致的、渐近正态[ = β , Var = σ 2 ( X' Ω -1 X ) -1 ]的估计量。换句话说, GLS估计量是广义模型中的最小方差线性无偏估计。这就是所谓的Aitken定理,当Ω = I 时高斯—马尔可夫定理为其特例。
广义最小二乘法是处理非球型扰动问题的一般良好估计方法。而具体到异方差或自相关的单一问题时,广义最小二乘法(GLS)则简化为加权最小二乘法(WLS)或广义差分法。
当Ω已知时,比如异方差时,各个 已知,此时,矩阵P为
这时由式(3.10)估计出来的 β ,其实与加权最小二乘法(WLS)估计的是相同的。换句话说,加权最小二乘法实际上是广义最小二乘法的特例。
再比如,随机扰动项有一阶自相关且 ρ 已知,
此时Ω = ,可以算得
那么式(3.10)中的
= , =
此时估计式(3.10)得出的 ,其实就是广义差分法的估计结果。也就是说广义差分法也是GLS的特例。所以, GLS是一个理论上普遍适用的方法。
但是,上述情形在Ω已知的情况下是可行的。而在现实应用时,Ω往往是未知的。于是我们面临一个问题——Ω如何确定?回答是,对Ω中的未知量预先进行估计(比如一阶自相关中的 ρ ,异方差中的 w i ),再运用广义最小二乘法GLS。这是一种理论上可行的方法,但实际操作可能会遇到许多困难,尤其是在有异方差存在时。为此,我们介绍另一种方法——可行广义最小二乘法(FGLS)。
下面以异方差为例,介绍如何估计Ω中的未知量,进而运用可行广义最小二乘法(FGLS)。
异方差的具体形式是复杂多样的,但总的来说都是与解释变量有关的,随解释变量的变化而变化。以下三种假设情况是文献中经常讨论的情形。
假设 1: σ 2 i = α 0 + α 1 Z i 1 + …+ α p Z ip
假设 2: σ i = α 0 + α 1 Z i 1 + …+ α p Z ip
假设 3:ln σ 2 i = α 0 + α 1 Z i 1 + …+ α p Z ip [或 σ 2 i = exp( α 0 + α 1 Z i 1 + …+ α p Z ip )]
我们称这些方程为扰动项方差的辅助方程。式中的Z是原模型中部分或全部的 X 或 X 的函数(比如 Z 1 = X 1 , Z 2 = , Z 3 = X 1 X 2 ,等等)。可行广义最小二乘法的基本思想就是,先利用辅助函数求得参数估计值 ,然后得出估计值 从而得到 及最终的GLS结果。 FGLS的步骤如下:
第一步, Y对常数项和 X 1 , X 2 ,…, X K 回归,求得 β 的OLS估计值。
第二步,计算残差 e i = 。
第三步,选择上述方程的适当形式。
形式一: e i 2 对常数项及 Z 1 ,…, Z P 回归,求得 α 的估计值。这是针对上述假设 1 方程的情况。式中的Z为原来 X 的平方或交叉乘积。然后把这些 α 的估计值代回假设 1 方程便得到 σ i 2 的估计值 。再使用GLS或WLS得出最终结果。需要指出的是,这种方式并不能保证所有的 都为正,如果其中出现了 0 或负数,那么我们就只能使用原来的 e i 2 代替 了。
形式二:对应于上述假设 2 中的方程,让 e i 对常数项及 Z 1 ,…, Z P 回归,求得 α 的OLS估计值,代入假设 2 方程得到 ,然后使用GLS或WLS(此时选择权数为 ,如 为负,那么权数为 )。
形式三:对应假设 3 方程,让ln e i 2 对常数项及 Z 1 ,…, Z P 回归,求出 α 的OLS估计值,再代回假设 3 方程求得 或 。然后利用GLS或WLS得出结果。这里值得一提的是,此时的 只会产生正值,不存在 0 或负的情况,这也是此种方法有吸引力的地方。
以上便是有异方差时可行广义最小二乘法的常用步骤。由此得到的FGLS估计量是一致估计量。而且它的方差和协方差估计也是一致的。同时渐近地(大样本场合)比OLS估计更有效。
而更一般化的可行广义最小二乘法(FGLS)操作应用还需要具体情况具体分析。一般公式为
其中 是Ω的一致估计。