购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.9 假设检验

上一节介绍的参数估计是通过样本观测值寻求总体未知参数的估计值并给出估计值的误差。在实际应用中,还有许多问题要求利用适当的统计量来对总体参数的性质、分布的类型等作出各种分析判断。例如,一架天文仪器经改装后观测精度是否有提高,具有相同性能的两架仪器测量同一天文量有无显著差异,又如我们理论上还不能给出被测随机变量的概率分布的确切形式,或者虽然存在着某个理论分布公式,但不知道它是否适用于具体的观测条件。某些情况下被采用的某个分布形式只是一个假设,它是否合理还需要根据观测到的样本来判断,这就是假设检验所要解决的问题。

由上可知,假设检验包括两类问题。一类是已经知道随机变量分布密度的形式,但其中的参数未知,则检验关于参数值的设定是否和观测样本有显著矛盾,这类问题被称为 参数的 假设检验 (parametric hypothesis test);另一类是随机变量的分布未知,要检验其是否服从某一假设的理论分布,这类问题被称为 分布的假设检验 (distributional test)。由于这类检验方法在推断过程中不涉及总体分布的参数,故而也被称为 非参数检验 (non-parametric hypothesis test)。下面我们首先介绍假设检验的基本原理。

在假设检验理论中,通常把所要检验的假设称为 原假设 (null hypothesis),并用 H 0 表示。例如,在检验在两种条件下某项统计指标 θ 是否相同时,如果被检验的统计指标 θ 是观测量 X 分布中的参数,可在两种条件下分别抽得观测样本,假设相应的分布参数值分别为 θ 1 θ 2 ,则被检验的统计假设是

检验的目的是通过实测资料来判断是接受还是拒绝这个假设。如果检验的结果是否定了原假设,就说假设与实际差异显著;如果检验的结果不能否定原假设,就说假设与实际无显著差异。

在对原假设做出真伪判断时,有可能犯两类错误:(1)当 H 0 为真时,而样本观测值落在拒绝域,从而拒绝 H 0 ,即犯了“弃真”错误(typeⅠerror),其概率记为 α ;(2)当 H 0 为假时,而样本观测值落在了接受域,从而做出接受 H 0 的判断,即犯了“采伪”错误(typeⅡ error),其概率记为 β 。我们当然希望 α β 越小越好,但在不增加样本容量的情况下,只考虑控制犯第一类错误的概率 α 。这一原则下的假设检验被称为 显著性检验 (significance test),概率 α 称为 显著水平 (significance level)。

根据统计检验的思想,在进行检验时,必须用一个统计量 λ 来衡量假设与实际间的差异,而且这个统计量的分布应该是已知的。在具体进行检验时,并不是计算出统计量 λ 超出某规定范围的概率来与显著水平 α 进行比较,而是根据指定的 α ,由 λ 的分布决定 λ 的拒绝域(rejection region)Ω。 λ 落入这个区域的概率

很小。

如果假设 H 0 为真,则 λ 值落入拒绝域Ω内的可能性很小。若由样本观测值所算得的统计量 λ = λ x )落在拒绝域Ω内,则说观测结果与假设 H 0 有显著的矛盾(显著水平 α ),或说在显著水平 α 下拒绝假设 H 0 ;如果计算得到的统计量 λ = λ x )落入拒绝域Ω之外,则称观测结果与假设 H 0 没有显著的矛盾,或说在显著水平 α 下接受原假设。

显著性检验的步骤可归纳为

(1)根据实际情况提出原假设 H 0 ;

(2)选取所用的检验统计量 λ

(3)选定显著水平 α ,决定拒绝域Ω;

(4)由样本观测值计算统计量 λ = λ x ),若 λ x )∈Ω,则在显著水平 α 下拒绝原假设,否则接受原假设。

对于各种不同的问题,存在着各种不同的参数显著性检验法。这些检验法大多以所用的检验统计量命名。

1.9.1 参数的显著性检验

1.总体期望值的检验

1)单总体均值的检验

总体期望的假设检验就是根据观测样本,检验随机变量 X 的期望值(或均值)是否与设定值 μ 有显著差异。因此,这个问题的原假设为

如果 X 的分布方差 σ 2 已知,在假设 H 0 为真时,由中心极限定理可知,无论 X 的分布为何种形式,随着样本容量的增大,都渐近地有

所以对于大样本 n ,可以利用统计量 u 对假设 H 0 : E X )= μ 进行检验。对给定的显著水平 α ,拒绝域为

其中 u α 可由 来确定,它可从正态分布的双侧分位数表中查到。当指定 α 时,查到 u α 值后,将 x -代入(1.134)式中可算得一个 u Oberv ,按推断原理,若 ,则接受原假设;若 α ,则拒绝原假设。此法常称为 u 检验法 Z -test)。

u 检验是检验统计量的极限分布,要求观测样本容量较大。若 X 为正态分布,则 u 确为正态分布,这时大样本条件便不再必要。

u 检验是在正态总体方差已知的情况下采用的。在许多实际问题中,方差往往是未知的,这种情况下就不能应用 u 统计量了。这时可以用样本方差 S 2 代替总体方差 σ 2 ,利用如(1.118)式的 t 统计量

由定理1.5知,在假设

成立时, t ~ t n -1)。故可用 t 分布来检验有关正态总体均值的统计假设。由 t 分布的对称性,其接受或拒绝假设的临界值的确定方法与 u 检验法相同,即由

确定。对给定的显著水平 α ,可查 t 分布表得临界值 t α 。若 α ,则拒绝原假设 H 0 。这种利用 t 统计量来进行检验的方法被称为 t 检验法 t -test)。

2)两总体均值相等的检验

在实际应用中常会碰到两段资料能否合并使用的问题,这就是两个样本是否来自同一总体的假设检验问题。在这里我们还是先讨论两个正态总体的均值的假设检验。

设样本( X 1 , X 2 ,…, X n )和( Y 1 , Y 2 ,…, Y n )分别抽自相互独立的正态总体 ,且 已知,现检验假设

是否成立。

为两个样本的均值,则有

且由样本的独立性,可知

当假设 H 0 : μ 1 = μ 2 成立时,统计量

对给定的显著水平 α ,查正态分布双侧分位数表得 u α ,利用样本观测值算得统计量 u 的值,根据

作出接受或拒绝原假设的判断。

当两总体方差未知时,和单个总体的均值检验一样,不能再利用 u 检验,而采用统计量

其中 是两个独立样本的样本方差。在假设 H 0 : μ 1 = μ 2 成立时, T ~ t n 1 + n 2 -2)。对给定的显著水平 α ,接受或拒绝假设由 α α 决定。这里特别要注意两个总体方差必须相等的条件。

2.总体方差的假设检验

上面我们已经指出,用 u 检验法时,应当已知总体方差;而用 t 检验法检验两总体均值相等的假设时,也假定两总体方差相等。那么怎么知道这些条件是否已被满足呢?下面我们就来介绍有关方差的假设检验。

1)正态总体方差的检验

上一节定理1.4曾指出,若 S 2 是取自正态总体 N μ σ 2 )的样本方差,则统计量 χ 2 =( n -1) S 2 σ 2 为自由度为 n -1的 χ 2 变量。用此统计量可以检验 的假设,这里 σ 0 2 为一设定值,若假设

成立,则

其分布中不含任何未知参数。由 χ 2 分布表和(1.130)式,对给定的显著水平 α ,可给出假设 H 0 的拒绝域

这一检验称为 χ 2 检验 χ 2 test)。 χ 2 检验在天文学中有广泛的应用,譬如仪器质量的稳定性检验及综合星表的精度检验都需用到 χ 2 检验。

2)两正态总体方差相等的检验

设两组样本分别来自正态总体 且相互独立, 分别是两个样本的均值和样本方差。欲检验假设

由(1.132)式,可知

当假设 H 0 成立时, 。按照 F 分布表的编定方式(1.122),对于指定的显著水平 α ,可得假设 H 0 的接受域

和拒绝域

临界值 F α/2 n 1 -1, n 2 -1)可由 F 分布表直接查出,而临界值 F 1- α/2 n 1 -1, n 2 -1)则可利用关系式(1.123)得到。这种利用 F 统计量的检验法称为 F 检验法 F -test)。

1.9.2 拟合检验

前面我们介绍的假设检验,几乎都假定了总体是正态分布的,然后根据样本对其分布参数进行检验。而在许多实际问题中,往往不知道总体的分布形式,这就要求我们根据样本对总体的分布作出种种假设并进行检验。通常的办法是将抽样所得的实测数据进行整理,作出频率直方图,这样就可以大致看出总体分布的形状。但由于抽样的随机性和样本容量的限制,这样作出的频率直方图往往与假定的理论分布有某种偏差。若这种差异不显著,就可认为这种差异是由随机因素引起的;反之,若这种差异显著,就不能再认为该经验分布服从此理论分布。那么该如何来判别这种差异是显著的或是不显著的呢?这就必须用到假设检验方法,即分布函数的假设检验问题,也称为拟合检验或非参数检验。下面介绍几种常用的拟合检验方法。

1.分布的 χ 2 拟合检验

分布的 χ 2 拟合检验 (Chi-Square goodness of fit test)是用来检验总体是否服从某一特定的分布(不限于正态分布)的常用方法。此方法主要是通过检验各组实测频数与理论频数差异的大小来推断检验分布是否符合某个理论分布。 χ 2 拟合检验法的基本原理是基于如下的定理:

定理 1.7 若样本容量 n 充分大,则不论总体属于什么分布,统计量(皮尔逊统计量)

总是近似地服从自由度为( k - r -1)的 χ 2 分布,其中 r 是被估计的参数个数, k 为组数, f i 为观测频数, np i 为理论频数。

若在假设

下,算得 ,则在显著水平 α 下拒绝 H 0 。构造 χ 2 拟合检验的步骤如下:

(1)假设总体的概率密度为 f X , θ ),其中 θ r 个未知参数, X =( x 1 , x 2 ,…, x n )为样本观测值。

(2)把实轴(-∞,∞)分成 k 个互不相交的区间( a i , a i +1 ),且-∞< a 1 < a 2 <…< a i < a i +1 <…< a k +1 <∞,统计样本观测值落在区间( a i , a i +1 ]中的个数 f i i =1,2,…, k )即实际频数。

(3)由样本观测值对 r 个未知参数作极大似然估计 j =1,…, r )。

(4)把 代入假设的理论分布 中,计算观测值落入各区间的概率

对于离散型随机变量,上述概率的计算公式为

然后算出各组的理论频数 np i i =1,…, k )。

(5)按(1.138)式算出皮尔逊量

(6)选取显著水平 α ,由 χ 2 分布表查出 ,作出检验判断。若 ,则在显著水平 α 下拒绝假设 H 0 ;若不等式反号,则接受假设 H 0

χ 2 分布检验法要求样本容量较大,并要求每组的理论频数不小于5。如果 np i <5,则应调整区间的范围,或适当地合并区间。

2.柯尔莫哥洛夫(Колмог'оров)斯米尔诺夫(Смирнов)检验

χ 2 拟合优度检验法是比较小区间上经验分布与理论分布的差异。现在介绍的柯尔莫哥洛夫-斯米尔诺夫检验法比 χ 2 拟合检验更精确,它既可检验经验分布是否服从某种理论分布(称为柯尔莫哥洛夫检验),又可检验两个样本是否来自同一总体(称为斯米尔诺夫检验)。

1)柯尔莫哥洛夫检验

柯尔莫哥洛夫检验不是用区间来考虑经验分布与理论分布的差异,而是逐点考虑它们的偏差,即根据经验分布函数 F n x )和理论分布 F x )算出每一样本点上的偏差,并找出它们中的最大值,即

D n 是一个统计量,当 n →∞时,有

因此可以用来检验关于分布函数的假设

F 0 x )为一假定的已知分布。若 D n 值太大,则表明样本分布 F n x )同假设的分布 F 0 x )有显著差异。因此,检验理论分布为给定的 F 0 x )这一假设的拒绝域为

α 为给定的显著水平,临界值 D n , α P D n > D n , α )= α 确定,它可从“柯尔莫哥洛夫检验的临界值表”中查出。

2)斯米尔诺夫检验法

斯米尔诺夫检验是用来检验两个总体的分布是否相同,这时要检验的假设是

在两个总体中分别取容量为 n 1 n 2 的样本,将其观测值分别按自小到大的顺序排列,算出两个样本的经验分布 以及统计量

如果两个总体的分布是相同的, D n1,n2 应该比较小,故检验两个总体分布相同的假设的拒绝域为

此处 k n 1 , n 2 的最小公倍数,它使 kD n1,n2 只取非负整数, α 为显著水平, m n 1 , n 2 , α )为满足 P kD n1,n2 r )≤ α 的最小整数 r 。这一检验称为斯米尔诺夫检验。其检验的临界值可在 m n 1 , n 2 , α )表(参看《常用数理统计表》中表20)中查到。对于不同的 n 1 , n 2 α =0.10,0.05,0.01,该表分别给出了 m n 1 , n 2 , α )的数值。

柯尔莫哥洛夫- 斯米尔诺夫检验在天文学中有广泛的应用。在类星体的统计研究中,例如在检验类星体CIV吸收线样本在速度空间中的分布是否为均匀分布时,常用柯尔莫哥洛夫-斯米尔诺夫检验法。

3.符号检验法

以上几种检验方法都比较精确,但计算量较大,尤其是斯米尔诺夫检验法。符号检验法是一种简便易行的方法,虽然比较粗略但应用十分方便。

F 1 x ), F 2 x )为两个总体的分布函数,现从两总体中各取容量为 n 的样本,其观测值分别为 x 1 , x 2 ,…, x n y 1 , y 2 ,…, y n 。检验假设 H 0 : F 1 x )= F 2 x )。

在样本观测值中,当 x i > y i 时,记为+号;当 x i < y i 时,记为-号;当 x i = y i 时,记为0,并用 n + n -分别表示+和-的个数。若两个总体同分布, n + n -应该相差不多,仅由于试验误差存在小的差异。 n + n -之差应在什么范围内才算无显著差异呢?这需给出一个界限。记 n = n + + n - ,选取统计量

对于给定的显著水平 α n ,查符号检验表(参见《常见数理统计表》表23)可得相应的临界值 S α 。若 S S α ,则拒绝假设 H 0 , F 1 x )与 F 2 x )有显著差异;若 S > S α ,则接受假设 H 0 ,两种分布无显著差异。 bblJAevs2HZjP6J5yrZV2qoZyNlb8CEefqMk0FQ/Vj4qAiLpQoBZ5DigUW9zkRYm

点击中间区域
呼出菜单
上一章
目录
下一章
×