随机变量的分布函数或概率密度函数不仅反映了随机变量可能取的值,而且描述了随机变量以多大的概率取这些值。因此,它们完全描述了随机变量的概率性质。许多随机变量的分布函数中都含有某些特定参数,一旦这些参数确定之后,分布就确定了。在天文数据处理中,分布的参数常常是需要研究的天文量,并且很多随机变量的分布函数往往是未知的。而在许多实际问题中,又不需要完全了解随机变量的分布规律,只需要了解某些特征数。例如,随机变量的取值是随机的,但它可能取的值的平均数是什么,取值的分散程度如何等等。因此,对各种各样的分布,可以采用一些有共同定义的数量指标用来描述随机变量概率分布的主要特征。而这些数量指标本身或它们的函数就是概率分布中的参数,我们把这些数量指标称为随机变量的数字特征。在实际应用中,数字特征用数理统计方法也比较容易估计。因此,随机变量的数字特征在理论研究和实际应用中都有很重要的意义。
在这一节里,我们将介绍几种经常用到的数字特征:数学期望、方差和协方差。
设离散型随机变量 X 可能取的值为 x 1 , x 2 ,…, x n ,…。取这些值的概率分别为 p 1 , p 2 ,…, p n ,…,若 则称
为随机变量 X 的 数学期望 (expectation)。这里 E 是一个算符。
对于连续型随机变量,可有类似的定义,设 X 是概率密度为 f ( x )的连续型随机变量。若积分 ,则称
为 X 的数学期望。
数学期望是随机变量的固有属性,它是随机变量全部可能值的总平均值,是概率密度曲线中心的位置。随机变量围绕着期望值取值。之后我们还将证明,随机变量的大量试验结果的平均值可作为数学期望的近似值。因此也称数学期望为 均值 (mean)。
关于数学期望的运算,有如下运算法则:
(1) E ( c )= c ,即常数的数学期望就是它本身;
(2)若干个随机变量的线性组合的数学期望等于各随机变量的数学期望的线性组合,即对任意常数 a i ( i =1,2,…, n )有
利用求随机变量函数的概率密度公式(1.29),很容易便能得到计算函数 Y = φ ( X )的数学期望的公式
这个公式的意义在于,在求随机变量的函数的期望时,不必先导出函数的分布,而只需知道 X 的分布就可以了。
对于联合概率密度为 f ( x 1 , x 2 ,…, x n )的 n 维随机变量 X 1 , X 2 ,…, X n ,可以计算其中任意一个随机变量 X i 的期望值
由各分量的数学期望构成的向量
称为 n 维随机变量的数学期望,它是 n 维空间中的一个点,随机变量( X 1 , X 2 ,…, X n )围绕着它分布。
我们曾经讲过,对于多维随机变量,不仅要研究它们的联合分布,还要研究各种条件分布,为了描述条件分布的数字特征,这里引进 条件期望 (conditional expectation)的概念。
条件期望就是条件分布的数学期望。
若 n 维随机变量中 X i 的条件分布密度为 则其条件期望为
当 n =2时,有
图1.6 条件数学期望 m Y ( x )
图1.6为 m Y ( x )的图形,它就是 x 取不同值时 Y 的条件期望的轨迹。 m X ( y )可用类似方法给出。
两个随机变量的独立性也可以用条件期望来表示,将两个随机变量独立时的关系式(1.50)和(1.51)代入(1.66)和(1.67)可得
即当随机变量相互独立时,其条件期望等于无条件期望。
若随机变量 X 对其数学期望偏差平方的数学期望存在,则称它为随机变量的 方差 (variance),记为 D ( X )或var( X ),即
方差刻画了随机变量取值的离散程度。方差愈大,表示随机变量的值在其期望值左右分布得愈宽,愈不集中。
方差的平方根叫做随机变量的 标准差 或 均方误差 (standard deviation),记为 σ ( X ),即
因此,方差通常又写作 σ 2 ( X )。
根据方差的定义,对于离散型随机变量,由(1.59)式有
其中 p i = P ( X = x i )( i =1,2,…)。
对于连续型随机变量,按(1.60)式有
其中 f ( x )是 X 的概率密度函数。
在方差的计算中,常用到方差的如下性质:
(1)常数的方差为0,即 D ( c )=0;
(2)设 X 为随机变量, c 为任意常数,则
(3)若 c i ( i =1,2,…, n )为常数, X i ( i =1,2,…, n )为 n 个随机变量,则
若 X 1 , X 2 ,…, X n 相互独立,则(1.73)式中所有 i ≠ j 的项均为0,于是有
在计算方差时,常用下面的公式
一般地,对任意数学期望为 E ( X )、方差为 D ( X )的随机变量,变换
称为 标准化变换 。 T 称为 标准化随机变量 (standardized random variable),是一无量纲的随机变量,并且它的数学期望等于0,方差等于1。
对于多维随机变量,为了描述条件分布的离散特征,这里引进条件方差。多维随机变量( ξ 1 , ξ 2 ,…, ξ n )中每一分量 ξ i 的条件方差为
式中 m X i ( x 1 , x 2 ,…, x j ,…, x n )是 X 1 , X 2 ,…, X j ,…, X n 这些变量对 X i 取值变化的影响。因此, x i - m X i ( x 1 , x 2 ,…, x j ,…, x n )可看作在 X i 中除去由于上述 n -1个变量的影响而剩余的部分,所以条件方差又被称为剩余方差。
当 n =2时,有
一般情况下,只用期望值和方差并不能确定一个随机变量的分布。但是,确定的期望值和方差可以对随机变量分布的位置和分布的宽度给出一个粗略的描绘。这些数字特征是随机变量的一种简化表示。
对于两个随机变量 X 和 Y ,除了讨论它们的数学期望和方差外,还需讨论描述它们之间相互关系的数字特征。 协方差 (covariance)是衡量两个随机变量间相互关系密切程度的量,它的定义式为
当两个随机变量相互独立时,有cov( X , Y )=0。
利用数学期望的运算法则及协方差的定义,不难证明协方差具有下列性质:
(1)cov( X , Y )=cov( Y , X );
(2)cov( aX , bY )= ab cov( X , Y ), a , b 为常数;
(3)cov( X 1 + X 2 , Y )=cov( X 1 , Y )+cov( X 2 , Y )。
在有的情况下,两个随机变量的相关程度通常用 相关系数 (correlation coefficient)或 标 准协方差 (standard covariance)来表示,它定义为
协方差是一个有量纲的量,而相关系数是一个无量纲的量。当 ρ XY =0时,称 X 和 Y 不相关 (uncorrelated);当 ρ XY >0时,称 X 和 Y 正相关 (positive correlated);当 ρ XY <0时,称 X 和 Y 负相关 (negative correlated)。
相关系数 ρ XY 具有以下性质:
(1) ;
(2)当两随机变量间有线性关系时,有 ;
(3)若随机变量 X 与 Y 相互独立,则相关系数等于0,这是显然的。而其逆并不一定成立,也就是说如果两随机变量的 ρ =0,它们不一定相互独立。
证明 :(1)若随机变量 X 和 Y 的数学期望和方差分别为 E ( X ), E ( Y )和 D ( X ), D ( Y ),则
要使上式成立,必须有
(2)设 Y = aX + b ,而
随机变量的上述几个数字特征可以用一个统一的数字特征—— 矩 (moment)来表示。这里介绍几种常用的矩:原点矩、中心矩和混合矩。设 X 和 Y 是随机变量,若 E ( X k )( k =1,2,…)存在,则称它为 X 的 k 阶 原点矩 (moment of order k about the origin)。当 k =1时,不难看出,它就是 X 的数学期望。
若 E [ X - E ( X )] k ( k =1,2,…)存在,称它为 X 的 k 阶 中心矩 (central moment of order k )。当 k =2时,中心矩即为 X 的方差。
若 E ( X k Y l )( k =1,2,…)存在,称它为 X 和 Y 的 k + l 阶 混合矩 (mixed moment)。
若 E {[ X - E ( X )] k [ Y - E ( Y )] l }存在,称它为 X 和 Y 的 k + l 阶 中心混合矩 (mixed central moment)。显然,协方差即为1+1阶中心混合矩。
n 维随机向量的方差不仅包括每一个分量的方差,还包括任意两个分量的协方差。若记 X i 和 X j 的协方差cov( X i , X j )为 v ij ( i , j =1,2,…, n ),
则称
为随机变量( X 1 , X 2 ,…, X n )的协方差矩阵,其中主对角线上的元素 即为 X i 的方差,其他元素均为协方差,由协方差的性质可知 v ij = v ji ,所以协方差矩阵 V 是对称的。