2.5.1 大数定律

人们在长期的生产实践中发现，尽管单次随机试验具有不确定性，但大量的重复试验中，某事件A发生的频率具有稳定性，总是围绕在某个值（即该事件的概率）附近波动，而且试验次数越多，波动幅度越小，也就是越接近其概率值。大数定律就是这种现象的理论根据，反映了大量随机试验中某量的算术平均值将收敛于其统计平均值。

1．切比雪夫不等式

设 是某一概率空间，X=X（ω）是一个非负随机变量，则对于∀ ε> 0，有

称该不等式为切比雪夫不等式。基本的切比雪夫不等式只是针对非负随机变量的，对其稍加修改，即可得到应用更为广泛的切比雪夫不等式的变形。设X是任意的随机变量，则对于∀ε > 0，有

2．伯努利大数定律

设单次伯努利试验中，事件A发生的概率为p，0≤p ^≤ 1，以S _n 表示前n次试验中A发生的次数，则对于∀ ε> 0，有

3．辛钦大数定律

设X ₁ ， X ₂ ， X ₃ ，…， X _n 是独立同分布的随机变量序列，且数学期望E（X _i ）=μ和方差D（X _i ）= σ ² 存在，令 ，则对于∀ ε> 0，有

证明：

所以当n →∞时，有 。

辛钦大数定律的意义是，对于独立同分布的随机变量序列X ₁ ， X ₂ ， X ₃ ，…， X _n ，当n →∞时，它们的算术平均值依概率收敛于它们共同的数学期望E（X _i ）。

4．切比雪夫大数定律

设独立随机变量X ₁ ， X ₂ ， X ₃ ，…， X _n 的数学期望E（X ₁ ）， E（X ₂ ）， E（X ₃ ），…，E（X _n ）和方差D（X ₁ ）， D（X ₂ ）， D（X ₃ ），…，D（X _n ） 都存在，且方差有公共上界K，则对于∀ ε> 0，有

2.5.2 中心极限定理

1．棣莫佛（De Moirve）-拉普拉斯（Laplace）局部极限定理

以X _i 表示伯努利型随机变量，即P（X _i =1）=p，P（X _i =0）=q。以随机变量S _n 表示n个独立的X _i 之和，则S _n 服从二项分布B（n， p），即

当n很大时，用二项分布计算S _n 非常不便，De Moirve和Laplace给出了对S _n 的估计式，即对于很大的n和S _n 位于np附近时，有

即随机变量S _n 在其均值np附近近似服从正态分布N（np， npq），这个结论被称为DeMoirve -Laplace局部极限定理。该定理说明当n充分大时，大量的服从两点分布的随机变量的和S _n 近似服从正态分布N（np， npq），因此我们可以用正态分布来逼近二项分布。以参数p=0.2 为例绘图 2-17 和图 2-18。

2．列维（Levy）中心极限定理

设X ₁ ， X ₂ ， X ₃ ，…，X _n 为独立同分布的随机变量，E （X _i ）= μ，D （X _i ）= σ ² ，则当n →∞时，S _n 近似服从正态分布，即满足

3．林德伯格（Lindeberg）中心极限定理

设独立的随机变量X ₁ ， X ₂ ， X ₃ ，…，X _n ，E （X _i ）= μ _i ，D （X _i ）= σ _i ² ，则

中心极限定理说明如果一个随机变量（或现实量）是大量独立的随机变量之和，其中每个分量对总量只做微小的贡献，则可以认为总量服从正态分布。 bW06cqvyz6t+AKTtkX/OyLFegUm6w8uEGOWWdTq6MdcphbA6A10DJI3GRJYv3WBm