3.5　参数估计

统计推断是数理统计研究的核心问题，是指根据样本对总体分布或分布的数字特征等做出合理的推断。参数估计又称抽样估计，属于统计推断的范畴，是一种根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。由此可见，此处所指的参数与前文中提到的统计量最为明显的区别在于：统计量针对样本，而参数针对总体，我们计算的是样本的统计量，而估计的是总体的参数。参数估计有两种方法：点估计和区间估计。点估计是用样本指标直接推断总体指标，而不考虑抽样误差；区间估计则是用样本指标和抽样误差推断总体指标的可能范围，它能给出参数估计的准确度和置信度。

3.5.1　点估计

点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。点估计的常用方法有矩估计法、最小二乘估计（Least-Squares Estimation，LSE）和最大似然估计（Maximum Likelihood Estimation，MLE）。

1．矩估计法

由大数定律可知，当样本容量很大时，样本均值以概率1趋于总体均值，因此我们可以用样本的数字特征作为总体的数字特征的估计，这就是矩估计。

2．最小二乘估计

最小二乘估计是高斯（C. F. Gauss）在1975年提出的参数估计法，以残差的平方和最小为估计准则。该方法是参数估计中较成熟的基本方法，并获得了广泛的应用。考虑如下模型（如果读者在现阶段理解起来有难度，可在第10章详细学习）：

其中， y 为因变量（也称被解释变量、被影响变量），各个 x _i 为自变量（也称因子、解释变量、影响变量）， α 为截距项，各个 β _i 为待估计参数， ε 为误差项。例如，在针对一项关于“某地区劳动人口中年龄、学历、受教育程度、工作年限等因素对年收入水平的影响”的研究中， y 为“年收入水平”，各个 x _i 为“年龄、学历、受教育程度、工作年限等”等因素，各个 β _i 的正负号及大小反映了这些因素对年收入水平的影响方向和影响程度。

在模型中，因变量的变化可以用由 组成的线性部分和随机误差项 ε 两部分解释。对于线性模型，一般采用最小二乘估计法估计参数 α 、 β ，其中残差是因变量的实际值 y （样本观测值）与拟合值（通过回归方差 计算得到）之间的差值。最小二乘估计法的基本原理是使残差平方和最小，因此，采用最小二乘估计法来估计参数 α 、 β ，也就是求解以下最优化问题：

3．最大似然估计

最大似然估计也称极大似然估计，于1821年首先由德国数学家高斯提出，但是这个方法通常归功于英国的统计学家罗纳德·费希尔（R. A. Fisher）。

最大似然估计本质上是概率论在统计学的应用。简单来说，最大似然估计的基本思想是，在“已知某个随机样本满足某种概率分布，但具体参数不清楚”或“模型已定，参数未知”的情况下，通过若干次试验，利用已知的样本观测值反推最有可能（即最大概率）导致这些样本观测值出现的模型参数值。或者说，如果通过观察样本观测值的结果就能知道某个参数使该样本出现的概率最大，则无须再考虑其他参数，直接把这个参数作为估计的真实值即可。

最大似然函数估计的一般步骤是：首先写出似然函数；然后对似然函数取对数，得到对数似然函数；接着基于对数似然函数求导；最后求解似然方程。

3.5.2　区间估计

区间估计（Interval Estimation）是从点估计值和抽样标准误差出发，按给定的概率值建立包含待估计参数的区间，从而综合考虑样本指标和抽样误差。其中这个给定的概率值被称为置信度或置信水平（Confidence Level）；建立的包含待估计参数的区间被称为置信区间（Confidence Interval）。

置信水平通常以1- α 来表示， α 又被称为显著性水平。置信水平可以理解成是总体参数落在样本统计值某一区间内的信心或把握，这个信心或把握是以概率形式来表示的。其中常用的置信水平包括90%、95%、99%等，而95%最为常用。当置信水平取值为95%时，表示总体参数落在样本统计值某一区间内的概率是95%，或者说有95%的信心或把握断定总体参数将落在样本统计值某一区间内。

置信区间主要用于假设检验，划定置信区间的两端数值分别称为置信下限（Lower Confidence Limit，LCL）和置信上限（Upper Confidence Limit，UCL）。95%的置信区间示例如图3.4所示。

在图3.4中，样本数据服从标准正态分布，即均值为0，标准差为1，所以统计推断总体均值亦紧紧围绕均值0分布。总体均值有68%（34%×2）的置信水平落入样本均值0左右各1个标准差的区间（即［-1，1］区间）内，总体均值有95%（47.5%×2）的置信水平落入样本均值0左右各1.96个标准差的区间（即［-1.96，1.96］区间）内。

3.5.3　参数估计的无偏性、有效性以及一致性

参数估计的无偏性、有效性以及一致性是用于评价参数估计优良性的准则。

1．参数估计的无偏性

无偏性的实际意义是指没有系统性的偏差。无偏性的数学表达式为：

在基于样本统计量估计总体参数时，期望计算得到的估计参数 的数学期望能够等于总体的真实参数 β ，即 是真实参数 β 的无偏估计。换言之，参数估计具有无偏性时，基于不同样本进行多次重复估计，得到的 的平均值会无限接近于所估计的参数真值 β 。

统计推断的要义在于通过样本推断总体，由于样本不可能完全代表总体，因此在参数估计时，估计参数 和真实参数 β 之间必然会产生误差。这些误差分为系统误差和随机误差两种。无偏估计量的优良性在于它仅包含随机误差而没有系统误差，即基于不同样本进行多次重复估计时，不会产生系统误差，而仅产生随机误差。随机误差会围绕0波动，但整体期望为0。

2．参数估计的有效性

参数估计的有效性是指估计参数 的方差值，方差代表波动，波动越小，估计越有效。

如果 ，则说明 的有效性高于 。

3．参数估计的一致性

参数估计的一致性指的是在大样本条件下，估计值接近真实值。

具体来说，对于∀ε>0，都满足： ed7SASIXKuwW9ZC0QqvRL/drD3YhVEpR44qzQyBax8ViG2ycEuYSWjkfUWquIbQ6