第5章
多元回归分析：OLS的渐近性

5.1　复习笔记

考点一：一致性　★★★★

1 定理5.1：OLS的一致性

（1）一致性的证明

当假设MLR.1～MLR.4成立时，对所有的j＝0，1，2，…，k，OLS估计量 β ( ∧ ) _j 是β _j 的一致估计。证明过程如下：

将y _i ＝β ₀ ＋β ₁ x _i1 ＋u _i 代入 β ( ∧ ) ₁ 的表达式中，便可以得到：

根据大数定律可知上式等式右边第二项中的分子和分母分别依概率收敛于总体值Cov（x ₁ ，u）和Var（x ₁ ）。假定Var（x ₁ ）≠0，因为Cov（x ₁ ，u）＝0，利用概率极限的性质可得：plim β ( ∧ ) ₁ ＝β ₁ ＋Cov（x ₁ ，u）/Var（x ₁ ）＝β ₁ 。这就说明了OLS估计量 β ( ∧ ) _j 具有一致性。

前面的论证表明，如果假定只有零相关，那么OLS在简单回归情形中就是一致的。在一般情形中也是这样，可以将这一点表述成一个假设。即假设MLR.4′（零均值和零相关）：对所有的j＝1，2，…，k，都有E（u）＝0和Cov（x _j ，u）＝0。

（2）MLR.4′与MLR.4的比较

① MLR.4要求解释变量的任何函数都与u无关，而MLR.4′仅要求每个x _j 与u无关（且u在总体中均值为0）。

② 在假设MLR.4下，有E（y|x ₁ ，x ₂ ，…，x _k ）＝β ₀ ＋β ₁ x ₁ ＋β ₂ x ₂ ＋…＋β _k x _k ，可以得到解释变量对y的平均值或期望值的偏效应；而在假设MLR.4′下，β ₀ ＋β ₁ x ₁ ＋β ₂ x ₂ ＋…＋β _k x _k 不一定能够代表总体回归函数，存在x _j 的某些非线性函数与误差项相关的可能性。

2 推导OLS的不一致性

当误差项和x ₁ ，x ₂ ，…，x _k 中的任何一个相关时，通常会导致所有的OLS估计量都失去一致性，即使样本量增加也不会改善。此时， β ( ∧ ) ₁ 的不一致性为：plim β ( ∧ ) ₁ －β ₁ ＝Cov（x ₁ ，u）/Var（x ₁ ）。因为Var（x ₁ ）＞0，所以，当x ₁ 和u存在正相关关系时， β ( ∧ ) ₁ 的不一致性就为正；而当x ₁ 和u负相关时， β ( ∧ ) ₁ 的不一致性就为负。

考点二：渐近正态和大样本推断　★★★★★

1 定理5.2：OLS的渐近正态性

当高斯-马尔科夫假设MLR.1～MLR.5成立时：

（1）存在：

其中，σ ² /a _j ² ＞0是n ^1/2 （ β ( ∧ ) _j －β _j ）的渐近方差；斜率系数为：

其中 r ( ∧ ) _ij 是x _j 对其余自变量进行回归所得到的残差。此时，称 β ( ∧ ) _j 服从渐近正态分布。

（2） σ ( ∧ ) ² 是σ ² ＝Var（u）的一个一致估计量。

（3）对每个j，都存在：

其中，se（ β ( ∧ ) _j ）是通常的OLS标准误。

利用定理5.2，在进行假设检验时就不再必须满足正态性假定。误差分布的唯一限制是有限方差，且误差项满足零均值和同方差。实际上，随着自由度的变大，t _{n － k － 1} 会趋近于标准正态分布，所以也可以进行t检验。但一般来讲，当样本量很大时，直接用正态分布检验即可。

2 其他大样本检验：拉格朗日乘数统计量

包含k个自变量的多元回归模型的形式为：y＝β ₀ ＋β ₁ x ₁ ＋…＋β _k x _k ＋u。下面利用拉格朗日乘数统计量（简称LM统计量或n-R ² 统计量）检验最后q个变量是否都具有零总体参数。虚拟假设为：H ₀ ：β _{k － q ＋ 1} ＝0，…，β _k ＝0，即对模型施加了q个排除性约束。备择假设为：这些参数中至少有一个不为零。拉格朗日乘数检验步骤为：

（1）将y对施加限制后的自变量集进行回归，并保留残差。即进行以下回归：

（2）将上一步中所得到的残差对所有自变量进行回归，并得到R ² ，记为R _u ² 。

（3）计算LM＝nR _u ² 。

（4）将LM与χ _q ² 分布中适当的临界值c相比较，如果LM＞c，就拒绝虚拟假设。

考点三：OLS的渐近有效性　★★★★

1 简单回归模型

简单回归模型的形式为：y＝β ₀ ＋β ₁ x ₁ ＋u。令g（x）为x的任意一个函数，可知u与g（x）无关。对所有的观测i，令z _i ＝g（x _i ）。假定g（x）和x相关，则β ₁ 的估计量就是β ₁ 的一致估计，表达式为：

证明： 将y _i ＝β ₀ ＋β ₁ x _i ＋u _i 代入 表达式，得到：

根据大数定律，分子和分母分别收敛于Cov（z，u）和Cov（z，x）。因为当假设MLR.4成立时，Cov（z，u）＝0，所以有：

2 含有k个回归元的情形

在k个回归元的情形中，推广OLS的一阶条件，可以得到一类一致估计量：

①

其中，g _j （x _i ）表示第i次观测的所有自变量的任意函数。当g ₀ （x _i ）＝1和g _j （x _i ）＝x _ij ，j＝1，2，…，k时，可以得到OLS估计量。由于使用的是x _ij 的任意函数，所以估计量的种类是无限的。

3 定理5.3：OLS的渐近有效性

在高斯-马尔科夫假设下，令 表示形如方程 ① 的估计量，而 β ( ∧ ) _j 表示OLS估计量。则对于j＝0，1，2，…，k，OLS估计量具有最小的渐近方差，即满足： fBLX6fRb6MBcHSfDccw8yRLo4Gyy/muqkh26OFN/UEbw0EMpXI5ZxFLvSUmH+5As