第二节
经典线性回归模型的参数估计方法

对于多元线性回归模型（2.1）

Y ＝ Xβ ＋ u

为了得到参数的最优估计量，有以下的古典假定：

① E （ u ｜ X ） ＝ 0 （ u _i 的条件均值为零）

② Var（ u ｜ X ） ＝ σ ² I （ u _i 同方差，无自相关，或称球形扰动）

③ E （ X'u ） ＝ 0 （解释变量非随机，或若随机也与 u 不相关，亦称为外生性）

④ Rank（ X'X ） ＝ k （满秩性条件，解释变量无共线性，这里 k ＜ n ）

⑤ u ～ N （0， σ ² I ） （扰动项正态分布）

上述古典假定的意义和作用在于：

第一，零条件均值假定，也称强外生性。它可以保证估计量的无偏性。

第二，球形扰动，是指随机扰动项的方差—协方差矩阵为同方差和无自相关同时成立时的情况。违反此假设条件，被称为非球形扰动，将会影响到参数估计的有效性。

第三，外生性条件，表示随机扰动项中不包含有解释变量的任何信息。外生性条件的违反将影响到参数估计的一致性。

第四，满秩性条件，它是为了保证条件期望的唯一性，参数可求解。

第五，正态性条件，它主要与统计检验和推断有关，但在大样本的条件下，根据中心极限定理这个条件是可以放宽的。

在后面的有关内容中，将逐渐放宽这些假设条件，从而对这些假定进行更深入的理解和认识。

在古典假定的条件下，当我们获取样本容量为n的观测数据后，可由样本的回归方程 Y ＝ X ＋ e ，通过普通最小二乘估计法（OLS），得出未知参数 β 的优质估计量 。

一、最小二乘估计法

最小二乘估计法的基本原理是，寻求使残差（扰动项的估计）平方和 e'e 达到最小的 ，即

min e'e ＝ ＝

于是 ＝ ＝ 0

则有

这就是最小二乘估计法估计的结果。仅估计结果的过程而言，古典假定很多没起作用，只需要 X ' X 满秩。而估计效果好坏的基本要求和准则是“尽可能地接近”原则，即参数估计量的值应尽可能地接近总体参数的真实值。决定参数估计效果的统计性质是无偏性、有效性和一致性等。

正是在满足相应古典假定的条件下， OLS估计量具有优良的统计性质，即 是 β 的最佳线性无偏估计（BLUE）。

（1）线性特征：最小二乘估计法的参数估计量是被解释变量观测值 Y _i 的线性组合。

由式（2.3）可以看出， 等于解释变量构成的矩阵（ X'X ） ^－1 X' 与被解释变量Y的乘积，从而是 Y 的线性函数。或者说 是 Y _i 的线性函数。

（2）无偏性： 是 β 的无偏估计。由于

＝ （ X'X ） ^－1 X'Y ＝ （ X'X ） ^－1 X' （ Xβ ＋ u ）

＝ （ X'X ） ^－1 X'Xβ ＋ （ X'X ） ^－1 X'u

＝ β ＋ （ X'X ） ^－1 X'u

对两边取期望， ＝ β ＋ （ X'X ） ^－1 X' ［ E （ u ｜ X ）］，

由零均值假定 E （ u ｜ X ） ＝ 0，则有 ＝ ＝ β ，即 是 β 的无偏估计。

（3）最小方差特性：在所有的线性无偏估计中， OLS估计具有最小方差。

的方差—协方差矩阵为

＝ '

＝ '

＝ E ［（ X'X ） ^－1 X'uu'X （ X'X ） ^－1 ］

＝ （ X'X ） ^－1 X'E （ uu' ） X （ X'X ） ^－1

＝ （ X'X ） ^－1 X'σ ² IX （ X'X ） ^－1

＝ σ ² （ X'X ） ^－1

可以证明，它在所有的线性无偏估计量的方差中，它是最小的。（过程略）

最后的结论就是：在古典假定下，多元线性回归的OLS估计量是最佳线性无偏估计量（BLUE）。这就是著名的高斯—马尔可夫定理。

同时，还可以得到 。具体可表述为，在古典假定下， 服从正态分布，即 。其中 c _jj 是矩阵（ X'X ）－ ₁ 中第j行第j列位置上的元素。

而随机扰动项的方差（同方差时）也可估计出来。可以证明，残差平方和具有如下性质（过程略）：

＝ E （ ee' ）＝ （ n － k ） σ ²

即 是 σ ² 的最小方差无偏估计。

OLS估计是计量经济分析中最基本、最常用且具有良好统计性质的估计方法。

【例 2.1】研究货币供应量与国内生产总值及通货膨胀等因素的关系：以中国货币供应量（M2）年底余额、国内生产总值（GDP）、居民消费价格指数（CPI，以 1978 年为 100 的定基指数）为变量。从《中国统计年鉴》中取得各变量 2000—2019 年数据作为样本，如表 2.1 所示。

设定模型 M 2 _i ＝ β ₁ ＋ β ₂ GDP _i ＋ β _k CPI _i ＋ u _i

采用OLS估计，运用Stata软件（操作过程如图 2.1 所示）回归输出结果如图 2.2所示。

因此，所估计的样本回归方程为

＝ 76.946 1 ＋ 2.708 9GDP _i － 0.212 8CPI _i

即GDP系数的OLS估计值为 2.708 9，置信水平 95％的区间估计是（2.276 9，3.141 0 ）； CPI系数估计值为－0.212 8，95％的置信区间为（－0.365 8，－0.059 8）。

如果古典假定满足，由此得到的OLS估计量（值）是最佳线性无偏估计。而且扰动项同方差时，可知其方差的无偏估计是 ＝ 258.429 6 ／17＝15.201 7。

以上是普通最小二乘估计法的估计过程及其有限样本性质（小样本性质）。即在古典假定下，多元线性回归的OLS估计是最佳线性无偏估计。但是如果古典假定不满足，这个性质则不成立（下一章将讨论这一问题）。不过，这时也可考察OLS的大样本性质，即当样本容量不断增大（或者趋于无穷大）时OLS的性质。

多元线性回归中OLS估计的大样本性质主要包括估计量的一致性及其渐进分布：如果外生性条件满足，即所有解释变量与扰动项无关 E （ X'u ） ＝ 0 （只需这一条件），在大样本情况下，①OLS估计是一致估计量，即 依概率收敛于 或者 ＝ 0；②OLS估计量服从渐进正态分布，即 依分布收敛于正态分布： 。上述大样本性质理论基础是大数定律和中心极限定理，具体过程在此略去。

二、矩估计

矩估计是另一种重要和常用的方法，其基本原理是利用样本矩的信息来替代总体矩，以此得到一致估计量。矩估计虽然古老但仍在广泛应用。矩估计的基本思想是：在随机抽样中，样本统计量是观察的 n 维随机向量即样本 X ＝ ( X ₁ ， X ₂ ，…， X _n )的一个函数，且要求它不包含任何未知参数。在不知道总体分布的情况下，利用样本矩构造方程（包含总体的未知参数），利用这些方程求得总体的未知参数。

样本矩的基本定义：

①统计量 为样本 ν 阶原点矩；

②统计量 为样本的 ν 阶中心矩。

就经典线性回归模型，从外生性条件（也称为矩条件）出发，

由外生性条件 E ［ X'u ］ ＝ 0

有 E ［ X'u ］ ＝ E ［ X' （ Y － Xβ ）］＝ 0

用样本矩替代总体矩： ＝ 0

由此可得到矩估计量：

它与OLS估计量是一样的。当然它的前提条件是满足外生性的矩条件。我们可以根据矩条件再对最小二乘估计法进行理解，并将矩估计与OLS估计对比进行应用。

关于矩估计的进一步发展——广义矩估计将在后面内容中讲到。同样，点估计的第三种重要方法——极大似然估计将在下一章介绍。 0QVSREOadf6vGXHeF9NqZl1ytV58Kr8nyXMT1mECdMt2yyOfBeiaBpU5ND02FArZ