1.8 参数估计

有了观测样本的数字特征及各种统计量的知识准备，我们便可以根据样本数据来选择合适的统计量去推断总体的分布或数字特征，这就构成了统计推断理论。统计推断的主要内容可以分为两大类，参数估计问题和假设检验问题。参数估计是研究如何根据观测资料估算随机变量概率分布中的未知参数的数值以及推算这种估计的误差。这些参数有的是随机变量的数字特征，有的可能是其他参数。

用样本估计总体特征值的方法有两种。一种是寻求总体未知参数的适当估计值，称为参数的点估计；求出估计值的误差是参数估计的另一种方式，称为区间估计。

1.8.1 参数的点估计

点估计 （point estimation）就是对总体的某些数字特征（或其他参数）构造一个统计量作为它的估计量。然后将样本观测值代入到这个估计量的表达式中，算出该数字特征的一个估计值。因此点估计的第一个问题是如何构造估计量。

设 θ 为总体 X 的待估计的参数，通常用由样本 X ₁ , X ₂ ,…, X _n 构成的一个统计量值 来估计 θ ，我们就称 为 θ 的估计量。对于样本的一组观测值 x ₁ , x ₂ ,…, x _n ,估计量的值 ，称为 θ 的估计值。因此，点估计的实质就是，寻求一个作为待估计参数 θ 的估计量 。但对于样本的不同实现（观测值），估计值是不同的。下面介绍两种常用的点估计方法：矩估计法和极大似然法。

1.矩估计法

作为描述随机变量的数字特征，在一定条件下，矩可以完全确定随机变量的分布。分布一旦确定，其中的参数也就确定了。 矩估计法 （method of moment）就是用样本矩作为相应总体矩的一个估计量，它是由英国统计学家卡尔·皮尔逊于1894年提出的。具体做法如下：

设总体 X 中有 k 个未知参数 θ ₁ , θ ₂ ,…， θ _k ,且 X 的 r 阶原点矩 a _r = E （ x _r ）（ r =1,2,…, k ）存在，则有 a _r 是总体参数 θ ₁ , θ ₂ ,…， θ _k 的函数，记为 a _r （ θ ₁ , θ ₂ ,…， θ _k ）。用样本的 r 阶原点矩 A _r 代替总体原点矩 a _r ,有

解此联立方程组，得到

就是参数 θ _i 的矩估计量。

例 1.13 :求任意总体 X 的数学期望 μ 和方差 σ ² 的矩估计。

解 ：

而

求得

可-以看出，不管总体 X 的分布形式如何，样本均值 X 和样本二阶中心矩 S' ₂ 都是总体均值 μ 和方差 σ ² 的矩估计。

例 1.14 : X ~ B （ m , p ）, X ₁ , X ₂ ,…, X _n 为它的样本, x ₁ , x ₂ ,…, x _n 为样本观测值，求 m , p 的矩估计。

解 ：因为

有

可得

矩估计法的优点非常明显，简单易行，使用广泛，且在总体分布未知时也可使用。但是矩估计法也存在不足：（1）矩估计有时会得到不合理的解，用极大似然估计法可以有效解决此类问题；（2）矩估计量可能不唯一，当矩估计不唯一时，所涉及的矩的阶数应尽可能小，从而对总体的要求也尽可能少；（3）矩估计法不一定可行，有些分布的总体矩并不存在，这样矩估计法就失效了。

2.极大似然法

极大似然估计方法 （maximum likelihood estimation）是求点估计的另一种方法，在1821年首先由高斯提出，但是这个方法通常被归功于英国的统计学家罗纳德·费希尔（R.A.Fisher）。使用这个方法的前提是已知总体的分布函数形式，而其中的某些参数未知。下面先叙述它的基本思想。

对于一个总体，其分布密度为 f （ x _i , θ ₁ , θ ₂ ,…， θ _k ），它的一个随机样本为（ X ₁ , X ₂ ,…, X _n ）。按随机样本要满足取样具有独立性、代表性的要求, X ₁ , X ₂ ,…, X _n 实质上是 n 个独立同分布的随机变量，而每个与总体具有相同的分布，即 X _i ~ f （ x _i , θ ₁ , θ ₂ ,…， θ _k ）。定义样本的联合密度为样本的 似然函数 （likelihood function） L （ θ ），即

对于一组确定的观测结果，似然函数是参数 θ 的函数。选择使观测结果具有最大概率（密度）的参数值作为未知参数的估计值是一种选取估计值的办法，这就是极大似然法。

使 L （ θ ）达到最大的参数 称为参数 θ 的极大似然估计。显然， 应当是方程 的解。由于似然函数是多个因子的乘积，为便于求解，引入似然函数的对数ln L （ θ ）。由对数函数的单调性, L （ θ ）和ln L （ θ ）具有相同的极值点。因此，求解似然方程（system of likelihood equations）

可得到参数 θ 的极大似然估计

例 1.15 :已知总体服从分布 f （ X , λ ）=e ^-λ λ ^k / k ！，其中 k 为整数型随机变量, X ₁ , X ₂ ,…, X _n 为一组样本，求参数 λ 的极大似然估计。

解 ：由分布密度函数形式可得似然函数为

由似然方程

得到 λ 的估计量为

例 1.16 :已知总体服从正态分布 N （ μ ， σ ² ），一组样本为 X ₁ , X ₂ ,…, X _n ,求参数 μ ， σ ² 的极大似然估计。

解 ：由正态分布的分布密度

可得似然函数为

而

由

得 μ 和 σ ² 的极大似然估计为

当似然方程组求解很复杂时，也可以通过数值方法求出近似解。

1.8.2 估计量的评价标准

参数的估计量是一个随机变量，不同的方法得到的同一参数的估计量是不同的。即使对同一种方法，用不同的样本得到的估计值也是不同的。显然，用一个好的估计量估计得到的值应更接近真值。但由于待估计参数的真值是未知的，当我们用一个具体样本代入同一待估计参数的各种估计量公式时，所算得的估计值是无法比较的。因此只能一般地讨论评价估计量好坏的标准。由于样本具有随机性，说一个估计量好只是指它具有比较好的统计性质。这样，当我们用这种估计量去作估计时，大多数情况下所得到的结果比用不满足这些性质的估计量得到的结果要好。一个估计量的好坏应从以下三个方面来衡量。

1.无偏性

因为估计量 是一个随机变量，而随机变量的取值分布在其数学期望周围。既然用 来作为 θ 的估计值，自然希望 的数学期望就是 θ 。如果估计量 能满足

则称估计量是一个 无偏估计量 （unbiased estimator）。

从（1.104）和（1.107）式可以看出，样本均值 和样本方差 分别是总体数学期望 μ 和总体方差 σ ² 的无偏估计量。但我们可以证明方差 不是总体方差的无偏估计量。

2.一致性

所谓一致性，就是指随着观测资料的增加，用这种估计量估计的精度也会提高。也就是说，随着样本容量 n 的增大，估计值 的分布更集中于真值附近。用概率统计的语言来说，若估计量 依概率收敛于参数真值 θ ，即对任意的 ε >0,若

则称 为 θ 的 一致估计量 （consistent estimator）。

根据切比雪夫大数定律，我们前面介绍过的各种样本数字特征都是总体数字特征的一致估计量。

3.有效性

一般来说，总体参数可能有不止一个无偏估计量。例如，除样本均值 外， 也是数学期望的无偏估计量。如果 与 是参数 θ 的两个无偏估计量，且 ，则称 比 更 有效 （efficient）。

由于方差刻画了随机变量在其数学期望附近摆动的程度，因此，估计量的有效性是在样本容量 n 相同情况下比较不同估计量的精度。 比 有效表明 的分布比 的分布窄，用它计算得到的估计值更集中在参数的真值周围。如果一个参数存在许多无偏估计量，那么当然希望采用方差最小的估计量，因此在很多参数估计方法中，人们力求能够得到最小方差无偏估计量的方法。

对于一致估计量，在样本容量 n →∞时，也可能存在一个对所有可能的参数值都最有效的估计量 ，则称它为参数 θ 的渐近佳效估计量。

对于上面所讲的三个衡量估计量的标准，用一致性来衡量估计量好坏时，要求样本容量足够大；无偏性在直观上比较合理，但并不是每一个参数都有无偏估计量；有效性无论在理论上或直观上都比较合理，它是用得比较多的一个标准。

1.8.3 区间估计

利用总体参数的点估计法可以得到参数的估计值，但因为估计量是一个随机变量，不同的样本将得到不同的估计值。也就是说，由观测样本值无法确定未知参数的真值，只能得到其近似值。但我们可以对参数真值做出概率意义上的推断，即以区间的形式给出一个范围，这个范围包含所要求的可靠程度的参数真值，这种形式的估计称为 区间估计 （interval estimation）。下面我们先给出区间估计方法中的几个有关概念。

1.置信水平和置信区间

设 θ 是待估计的参数，即总体参数的真值，而 和 是由样本确定的两个统计量，对于给定的 P 或 α （0< α <1），若有

则称区间 为 θ 的100 P %的 置信区间 （confidence interval）， 分别称为 置信下限 （lower confidence limit）和 置信上限 （upper confidence limit），概率 P 称为 置信概率 或 置信 度 、 置信水平 （confidence level）。

（1.127）式的意义是，由每组样本观测值可以确定一个区间（ ，而由另一组容量相同的样本又可确定一个区间 ，由多组样本可以得到多个这样的区间。而每个这样的区间要么包含 θ 的真值要么不包含 θ 的真值。按（1.127），在众多的区间中，包含 θ 真值的约占100 P %。区间估计的任务就是要找出满足条件（1.127）式的置信区间 。

2.区间估计的求法

找寻未知参数 θ 的置信区间的步骤一般如下：

（1）构造一个样本 X ₁ , X ₂ ,…, X _n 和参数 θ 的函数 g （ X ₁ , X ₂ ,…, X _n ; θ ），它的分布不依赖于 θ 和其他未知参数；

（2）对于给定的置信水平1- α ，定出两个常数 a , b ,使得

（3）求解其中的不等式，得到 θ ₁ < θ < θ ₂ 。

（ θ ₁ , θ ₂ ）就是 θ 一个置信水平为 1- α 的置信区间，并称函数 g 为 枢轴量 （pivotal quantity）。

下面介绍几种常见的区间估计。

1）单个总体正态分布期望值的区间估计

由前面的介绍我们知道，对于来自正态总体 N （ μ ， σ ² ）的样本（ X ₁ , X ₂ ,…, X _n ），期望值的估计量为 ，并且 。因为 的分布依赖于被估计的未知参数 μ ，因此不能直接被用来作为求置信区间的统计量。如果方差 σ ² 已知，则统计量

的分布中不含未知参数，故可被用作枢轴量来求置信区间。对于给定的α，有

式中 u _α 为标准正态分布的双侧分位数，可由正态分布双侧分位数表给出。由此可推出参数 μ 的置信水平为1- α 的置信区间

亦可写为

当方差 σ ² 未知时，则选用枢轴量 ，因为

且该统计量中只含未知参数 μ ，利用 t 分布，有

故而得到置信水平为（1- α ）的 μ 的置信区间：

或表示为

式中 t _α 为对给定 α 的双侧分位数，利用 t 分布的对称性 ，有 P （ t > t _α ）= α /2,故利用 t 分布表由给定的 α 可方便地查出 t _α 。

例 1.17 :测量北极星的地平高度的5次记录为32°50'26″.1,32°50'26″.3,32°50'25″.9,32°50'27.″2,32°50'26.″5。试给出该地测得的北极星地平高度的95%置信区间。

解 ：由题意知，自由度 v = n -1=4, α =0.05。由样本观测值算得 =32°50'26″.4, S =0″.5,根据 v =4, α =0.05查 t 分布表得 t _α =2.776。故得北极星地平高度的95%的置信区间为

即

2）单个总体正态分布方差的区间估计

讨论对方差的区间估计在研究测量精度等方面的问题时是非常有用的。例如考虑精度的稳定性时，就需要对方差进行区间估计。

我们已经知道，样本方差 是总体方差的无偏估计。而由定理1.4知 χ ² 量是参数 σ ² 和样本的函数，且服从自由度为 n -1的 χ ² 分布，分布中不含未知参数。因此它可以被用来对正态分布的方差作区间估计。

由于 χ ² 分布的不对称性，对给定的置信度1- α ，通常选取分位点满足

可以得到

将括号内的不等式移项，可得到对于方差 σ ² 的100（1- α ）%的置信区间

或

式中 和 可通过查 χ ² 分布表得到，由给定的 α 和自由度 n ,直接查表即可得 的数值。若我们对例1.17求方差的区间估计，则因为 S ² =0.25, n =4,给定 α =0.05,查 χ ² 分布表得 ，最后得 σ ² 的95%的置信区间为[0.090,2.064]。

3）两个正态总体的情况

在实际工作中，经常会遇到两个正态总体的区间估计问题。例如，利用两种不同的观测仪器或手段对同一批天体进行观测，那么两种不同测量结果的数学期望之差和方差之比就成了评价观测仪器或手段的技术指标。通常两个正态总体的区间估计可以分为下面几种情况。

设 X ₁ , X ₂ ,…, X _n1 和 Y ₁ , Y ₂ ,…, Y _n2 别是正态总体 和 的随机样本，有

（1）当 σ ₁ ² , σ ₂ ² 已知时，求 μ ₁ - μ ₂ 的置信区间

因为 ，且 X 和 Y 相互独立，有

可以得到枢轴量

所以置信水平为（1- α ）的 μ ₁ - μ ₂ 的一个置信区间为

这里 u _α 是标准正态分布表中的双侧分位数。

（2） 当 未知但 时，求 μ ₁ - μ ₂ 的置信区间

虽然（1.131）式依然成立，但其中含有未知参数 σ ² ,不能再选作枢轴量。根据（1.119）式

可以得到置信水平为（1- α ）的 μ ₁ - μ ₂ 的置信区间

这里 t _α 是 t 分布表中的双侧分位数，其自由度为 n ₁ + n ₂ -2。

（3）当 σ ₁ ² , σ ₂ ² 未知但 n ₁ , n ₂ >50时，求 μ ₁ - μ ₂ 的置信区间

由于 n ₁ , n ₂ 充分大，根据大数定理可知， 以概率收敛于 ， 以概率收敛于 ，有

所以 μ ₁ - μ ₂ 的置信水平为（1- α ）的置信区间为

（4）当 未知但 n ₁ = n ₂ 时，求 μ ₁ - μ ₂ 的置信区间

令 Z _i = X _i - Y _i ,则 ，问题变为在单个正态总体方差未知时求数学期望的区间估计。由（1.129）式可知， μ ₁ - μ ₂ 的置信水平为（1- α ）的置信区间为

这里 。

（5） μ ₁ , μ ₂ 未知，求方差比 σ ₁ ² / σ ₂ ² 的置信区间

根据（1.114）式，有

可以得到

由于 F 分布的不对称性，对给定的置信度1- α ，分位点的选取通常满足

因此 的置信区间为

4）非正态总体参数的区间估计

对于非正态总体，由于难以确定它的抽样分布，不便对参数进行区间估计。但在大样本的情况下，可以利用中心极限定理，将问题转化成正态总体的情形，如 。 8wcdVPGTJQ7puq8PncLEaRoliDp05VFplwa2Kg9I2wIUy/BUQke+j9ctVV7ss/Cw