本节主要介绍特征函数的定义、特征函数的性质、常用概率密度函数的特征函数、特征函数的应用、中心极限定理、利用特征函数求估计量的概率密度函数等。
2.5.1 一维特征函数
1.特征函数的定义
(1)离散随机序列的特征函数的定义:设一维离散随机序列 x ( k )∈ R 1 的离散事件概率为 P { X = x ( k )}= p k ,则该离散随机序列的特征函数为
(2.5.1)
(2)连续随机变量的特征函数的定义:设一维随机变量 x ∈ R 1 的概率密度函数为 f ( x )∈ R 1 ,则该随机变量的特征函数 φ x ( k ) 定义为核函数 e ikx 的期望值。
(2.5.2)
随机变量 x 的特征函数的本质是随机变量 x 的概率密度函数 f ( x ) 的Fourier变换。任何概率密度函数都存在特征函数。
例2.5.1 设随机变量 X 服从退化分布,即
求该随机变量 X 的特征函数。
由离散随机序列的特征函数的定义
有
(2.5.3)
例2.5.2 设随机变量 X 服从参数为 p 的0-1分布(两点分布),求其特征函数。
由
可得
(2.5.4)
例2.5.3 设随机变量 X 服从参数为 n , p 的二项分布,求其特征函数。
由离散随机序列特征函数的定义可得
(2.5.5)
例2.5.4 设随机变量 X 服从参数为 λ 的泊松分布,求其特征函数。
由离散随机序列特征函数的定义可得
(2.5.6)
例2.5.5 设随机变量 X 服从[− a , a ] 均匀分布,求其特征函数。
服从[− a , a ] 均匀分布的随机变量的概率密度函数为
根据连续随机变量特征函数的定义,当 t ≠0 时,有
(2.5.7)
当 t =0 时
例2.5.6 设随机变量 X 服从参数为 λ 的指数分布,求其特征函数。
根据连续随机变量特征函数的定义,有
(2.5.8)
2.特征函数与概率密度函数的关系
已知一维随机变量 x 的概率密度函数 f ( x ),人们往往关心其特征值(如均值、方差)。特征值提供了概率密度函数最重要的信息,但不能确定概率密度函数的所有性质。特征函数与概率密度函数是一一对应的。概率密度函数由特征函数的反Fourier变换唯一确定。
(2.5.9)
也就是说,概率密度函数 f ( x ) 与其特征函数 φ x ( k ) 是等价的。
3.特征函数的性质及证明
1)特征函数的性质
(1) φ x (0)=1
(2)| φ x ( k )|≤1
(3)
(4)若 y = ax + b ,其中 a , b 为常数,则
(5)独立随机变量和的特征函数为各变量特征函数的积,即设 x , y 独立,则
(6)若 E { x l } 存在,则 φ x ( t ) 为 l 次可导,并且对1≤ m ≤ l ,有
2)部分特征函数性质的证明
性质(5): 独立随机变量和的特征函数为各变量特征函数的积,即设 x , y 独立,则
(2.5.10)
证明: 由于 x 与 y 之间是相互独立的,因此, e ikx 与 e iky 之间也是相互独立的,从而有
(2.5.11)
可以推广到 n 个独立随机变量之和 z = x 1 + x 2 +⋯+ x n 的特征函数,即
(2.5.12)
本性质(5)证毕。
利用反Fourier变换可求出随机变量 z 的概率密度函数:
(2.5.13)
性质(6):若 E { x l } 存在,则 φ x ( t ) 为 l 次可导,并且对1≤ m ≤ l ,有
(2.5.14)
证明:因为 E { x l } 存在,所以有 。
于是含参数变量 k 的广义积分
(2.5.15)
可以对 m 求 l 次导数。
所以,对0≤ m ≤ l ,有
(2.5.16)
令 k =0,即可得到
本性质(6)证毕。
4.常用概率密度函数的特征函数(表2.5.1)
表2.5.1 常用概率密度函数的特征函数
5.特征函数的应用
既然概率密度函数与特征函数是一一对应的,为什么还要引入特征函数呢?这是因为很多问题直接用概率密度函数不易处理,而利用特征函数进行处理就非常方便。
1)求均值和方差(以高斯分布为例)
设正态随机变量 x 的特征函数为
(2.5.17)
(1)求取均值。
(2.5.18)
(2)求取方差。
(2.5.19)
类似地,可以很容易求出各阶中心矩。
2)求概率密度函数的极限(以二项分布为例)
特征函数为
(2.5.20)
取极限 p →0和 N → ∞,ν = pN 为常数。
(2.5.21)
即二项分布在实验次数很多且均值保持不变时,趋向于泊松分布。同样可以证明 ν 很大时,泊松分布趋向于高斯分布。
3)求独立随机变量之和的概率密度函数
假设有两个独立的高斯随机变量 x 和 y ,均值为 μ x 和 μ y ,方差为 和 ,则 z = x + y 的特征函数为
(2.5.22)
这正是均值 μ z = μ x + μ y ,方差 的高斯分布的特征函数。
同样可证泊松变量之和仍服从泊松分布。
4)中心极限定理
定理2.5.1: 假设有 n 个独立随机变量 x j ,均值与方差分别为 μ j 和 。在大 n 极限下, 为高斯随机变量,均值和方差分别为 和 。
证明: 定义
则有
将 y j 的特征函数 ϕ j ( k ) 进行泰勒展开:
(2.5.23)
在大 n 极限下,忽略高阶项,可得
(2.5.24)
再定义
则 z ′ 的特征函数为
(2.5.25)
即 z ′ 为均值为0,方差为 σ 2 / n 的高斯分布。变换回 ,则 z 为均值为 ,方差为 σ 2 的高斯分布。
n 有限时,中心极限定理成立的条件是每个 x j 的贡献都很小,即 z 由大量微小贡献组合而成。
例如,很多地方经常用12个(0,1]均匀分布的随机变量之和来近似高斯分布。
(2.5.26)
如果某个或某几个 x i 的贡献非常大,则求和的结果将明显偏离高斯分布。
5)求估计量的概率密度函数
(1)以指数分布
(2.5.27)
为例。其参数 ξ 的最大似然估计量为
其分布可以用特征函数法求得。
由于 ϕ x ( k )=1/(1− ikξ ),所以
(2.5.28)
的特征函数为
通过反Fourier变换可得到 z 的概率密度函数:
(2.5.29)
(2.5.30)
这是伽马分布,在 n 很大时趋向于高斯分布。
(2)要求取寿命 的平均值,可以采用如下方式:
(2.5.31)
也可以利用概率密度函数进行积分来求取:
(2.5.32)
(3)对于 λ =1/ τ 的最大似然估计量 ,求取其期待值:
可以先求 的分布函数:
(2.5.33)
再用该函数求取期待值:
(2.5.34)
可以看出 不是无偏估计量。
(4)求估计量期待值的置信区间。利用特征函数法求出估计量(如 )的概率密度函数。有了估计量的概率密度函数(如 ),很多问题都可以方便地进行处理,如求取置信区间。
对于给定的 α , β 以及观测值 ,通过
(2.5.35)
(2.5.36)
求得置信区间[ a , b ]。
2.5.2 二维随机变量的特征函数
1.定义
连续型:设( X , Y )是一个二维随机变量,其分布函数为 F ( x , y ), x , y ∈ R 1 t 1 , t 2 为任意实数,记
(2.5.37)
称 φ ( t 1 , t 2 ) 为( X , Y )的特征函数。
离散型:
(2.5.38)
其中, P ( r , s )= P { X = r , Y = s }。
设有 n 维随机变量
则称
(2.5.39)
为 n 维随机变量( X 1 , X 2 ,⋯, X n ) 的特征函数。
2.二维随机变量特征函数的性质
性质1: 设随机变量( X , Y ) 的特征函数为 φ ( t 1 , t 2 ),则有
(1) φ (0,0)=1,并且对任意 t 1 , t 2 ∈ R ,有| φ ( t 1 , t 2 )|≤ φ (0,0)=1;
(2) ;
(3) φ ( t 1 , t 2 ) 于实平面上一致连续;
(4) φ ( t 1 ,0)= φ ( t 1 ), φ (0, t 2 )= φ 2 ( t 2 )。其中, φ 1 ( t 1 ), φ 2 ( t 2 ) 分别为 X 和 Y 的特征函数。
性质2: 设 a 1 , a 2 , b 1 , b 2 皆为常数,( X , Y ) 为二维随机变量,则随机变量( a 1 X + b 1 , a 2 Y + b 2 ) 的特征函数为 。
性质3: 两个二元分布函数恒等的充分必要条件是它们的特征函数恒等。
性质4: 设随机变量( X , Y ) 的特征函数为 φ ( t 1 , t 2 ), a 1 , a 2 , b 为任意常数,则 Z = a 1 X + a 2 Y + b 的特征函数为
(2.5.40)
定理2.5.2: 随机变量( X , Y ) 服从二维正态分布的充分必要条件是 X 与 Y 的任一线性组合
aX + bY + c
服从一维正态分布。其中, a , b , c 为任意常数,且 a , b 不全为0。
3.相互独立随机变量的特征函数
定理2.5.3: n 个随机变量相互独立的充分必要条件为( X 1 , X 2 ,⋯, X n ) 的特征函数满足
(2.5.41)
推论2.5.1: 设 X 1 , X 2 ,⋯, X n 为 n 个相互独立的随机变量,令 , ,则 Y 和 Z 的特征函数分别为
(2.5.42)
注:对 x , y ∈ R n ,也有类似描述。