在1.1节中我们讨论了3个经典的统计谬误与应用问题,既有离散类型,又有连续类型。由点及面,本节将进一步讨论统计学的几大应用情景,分别是抽样调查、保险问题、赌博问题和一些现代行业中的应用等。通过本节的学习,读者将了解统计学体现在实际生活中的重要作用。
在波斯公主选驸马的问题中,发现一小部分观察对象就可以反映全部观察对象的情况。
在统计学中,称全部观察对象为总体,抽取的一小部分观察对象为样本,样本的情况即可代表总体,而调查样本进而掌握总体信息的方法就称为抽样调查。
生活中存在许多这样的实例,例如,工厂质检产品、教师抽查背诵、民意测试调查等。以产品质检为例,有些一次性产品无法全部进行质检,也有些产品全部进行质检的费用过高,因此抽样质检是很有必要的。
抽样调查的有效性是毋庸置疑的,但是有一个重要而基本的问题尚未提及,即如何抽样。在波斯公主选驸马的问题中,公主按次序选择了前37个候选人作为样本,这样做的前提是100个候选人的心仪值是随机分布的。如果候选人的心仪值依次递增,那么公主就会选择最后一个人。
样本自总体中随机得到是抽样调查起作用的必要前提条件,如果工厂每次质检都是抽取1~10号产品,那么车间主管就会把较好的产品标成1~10号;如果教师每次都抽查班长背诵课文,那么其他学生的学习态度就会懈怠。此外,即便是完全随机抽样,样本中的信息也一定少于总体中的信息,因此,用样本去估计总体就必然会存在偏差。
不妨以高考试卷的设计为例,从统计学的角度来看,高考试卷的设计过程中涉及了多种抽样方法。
试题知识点的选择利用了分层抽样。高考试卷中各类题型的数目和位置都是有定例的。命题组在开始出卷之前,就已经确定了每道小题的考察范围。
把数学课本看成一个大蛋糕,命题组就是把这块蛋糕分成了好几块,每道题各自占据一块蛋糕。例如,一道考察古典概率的小题会随机考察到这一章中的几个知识点。这样,尽管每道小题考察的知识点是随机的,但它总归属于一个章节,整张试卷也就考察到了课本的全部知识,而不会出现某个章节占比过高的情况。
这种先将整体划分成好几个部分,再在每个部分中进行随机抽样的方法叫作分层抽样。使用分层抽样时应注意在不同部分抽取的样本数应与该部分的总体数目成正比,例如,第3章有10个知识点,第4章有20个知识点,考察第3章的题目就应当是第4章的一半。
确定题目的难易程度则使用了简单随机抽样。一张试卷中总是有的题目简单,有的题目难。具体哪些题目比较简单、哪些题目比较难则受到许多偶然因素的影响。总的来说,这是一个简单随机过程,就像掷骰子一样,由命题老师随机做出决定。
除分层抽样和简单随机抽样外,常见的还有系统抽样和整群抽样等抽样方法。系统抽样的特点是先将样本排好序,再按照相等距离抽取样本,例如,教务处抽查作业时会要求学号尾号为2的学生上交作业,这就是系统抽样。整群抽样则是将样本分成几个部分,并调查某一部分内的全部样本,例如,任课老师总喜欢将全班学生分成几个小组,在不同的时间收取不同小组的作业,这就是整群抽样。
抽样调查是一种最基础的统计理论应用情景,统计学在保险行业、信贷行业的应用要更高深一些,不过,它们都紧密依赖于这样一条结论:当样本足够大时,样本均值将落在总体均值的附近。当样本量趋于无穷时,样本均值与总体均值的差将无限小。
例如,在测量某栋楼的高度时,可以重复测量多次,取多次测量的均值作为该楼的高度,以尽量消除每次测量时的误差,使结果尽可能接近真实值。再如,歌唱比赛中总是将多个评委评分的平均值作为选手的最后分数,也是为了消除评委的个人喜好。
统计学不但精确地推导了这一结论,同时还给出了样本个数和误差之间的关系。如果记 X 为样本均值, E ( X )为总体均值, D ( X )为总体方差, ε 为一个非常小的正数,则有如下不等式成立:
式中, P {| X - E ( X )|< ε }表示事件| X - E ( X )|< ε 的概率。根据该不等式,样本均值与总体均值的误差与总体方差有关,它小于 ε 的概率总是大于等于 。由于方差和 ε 都是正数,因此这个概率就小于1。
我们希望样本均值与总体均值足够接近,即 ε 足够小时,不等式| X - E ( X )|< ε 仍成立。而且这件事发生的概率要尽量大,即尽量保证每次抽取样本时,样本均值都与总体均值足够接近。
当 D ( X )固定时, ε 变小,就会使 变小。因此,这两个要求没办法同时满足,只能尝试寻找一个最佳的 ε ,使样本均值与总体均值的误差不至于太大,且发生概率不至于太小。
这个公式还指出另一个重点结论,即无论总体是什么样的,样本均值都会接近总体均值。例如,对于重点学校来说,学生成绩可能普遍会高于70分;对于普通学校来说,学生成绩可能集中在60~80分。但无论是哪所学校,只要抽取该学校一部分学生的成绩,其均值都可以代表该学校全部学生的成绩均值。
在生活中,这一公式的应用十分广泛,最常见的就是在保险行业中的应用。在现实中,保险公司会根据投保人的年龄、以往病史等信息确定投保人的具体保费,虽然不同投保人的保费不一定一致,但由于投保人很多,全体投保人的赔偿金额就会稳定在某个值附近。只要全体投保人的平均投保金额高于这个值,保险公司就是盈利的。
在信贷行业中也是如此,申请贷款的客户有许多,全体客户的平均偿还金额是稳定的,只要平均偿还金额高于平均贷款额,银行就是盈利的。固然,有些客户会破产,不能偿还贷款。但只要大多数人能够偿还,就能够保证银行盈利。
换句话说,银行并不关心具体是谁会坏账,它关心的是全部客户的均值。只要贷款的人足够多,且贷款金额足够小,大数定理就一定会起作用。因此,银行不用在众多办理小额贷款的人身上花费许多精力去评估他是否会坏账,只需针对办理大额贷款的客户进行严格的评估,这样便可节约成本,并保证盈利。
尽管保险公司从投保人身上攫取了不少利润,但保险总归挽救了许多破产家庭。而另一种同样依靠统计学理论盈利的行业却使人深恶痛绝,这种行业就是赌博。
福利彩票也可看作赌博的另一种形式。在开奖之前,一张彩票是否中奖是未知的,不过,彩票的中奖概率都是公开的。以最流行的福彩6+1为例,特等奖的中奖概率为1/12000000。
如果将购买彩票看作一个随机事件,那么这个随机事件就有两种结果,要么中奖并得到500万元奖金,要么没中奖。表1.5列出了这两种结果及它们对应的概率。根据表1.5,可以计算得到购买彩票的期望就是 ,结果约为0.42。也就是说,购买一注价格为两元的彩票,能够得到的平均回报是0.42元。
表1.5 福彩6+1特等奖中奖概率
由1.2.2小节介绍的公式可知,购买的彩票越多,得到的平均回报就越接近0.42元,也就是说,亏损得越多。
考虑到特等奖的中奖概率过小,因此彩票公司设置了等级不同的一些奖项,奖金小的中奖率稍微高一些,以刺激彩民的购买意愿。
以福彩6+1为例,它一共有6种奖项,奖项等级越低,奖金越少,中奖概率越高。
表1.6所示是这6种奖项的中奖概率及对应的奖金。彩民平均每买20张彩票,就会中一张六等奖,这给人造成一种中奖也很容易的感觉,不过,这是否意味着买彩票是一个合算的买卖呢?
表1.6 福彩6+1中奖概率
不妨计算一下福彩6+1的中奖期望。将每一个奖项的奖金与得奖概率相乘后求和,即可得到其获奖期望: ,计算结果约为1.46元。由此可知,不管中多少注奖金,只要持之以恒地买彩票,最后的结果一定是赔。
已有许多张彩票没中奖,下一张一定会中奖的。这是彩民的另一种常见错觉。实际上,无论之前的中奖结果如何,下一张彩票的中奖概率都是不变的,考虑到彩票发行数量过大,彩民已持有的彩票对其他彩票的影响几乎是微乎其微的。
除彩票外,其他任何赌博项目都符合这些结论,即平均回报一定低于赌金,无论之前失败过多少次,下一次的获奖概率都不会有所改变。而赌博次数越多,真实的平均回报就越接近理论上的平均回报,由此便可明白为何赌场禁止单次赌博金额过高,这并不是在保护你的财产,而是害怕出现小概率事件,赌客赢走巨额奖金。
在现代行业中,统计学有丰富多彩的应用场景,其中比较典型的有互联网行业、制造行业、投资分析行业和咨询行业等。
互联网行业中产生的数据量名列前茅,这些维度丰富、数量庞大的数据,需要掌握统计学技能的数据分析师进行处理。在这个行业中的数据分析又可细分为两类:一类是直接对网站数据进行分析,通常根据网站的访问量、跳出率和转化率等网站建设专业标准来分析网站的优缺点,从而为网站优化提供决策支持;另一类是结合实际业务进行分析,例如,根据社交网站数据分析网站上用户之间的关系,从而制定运营策略;或者根据线上零售商数据分析货物出入库情况、客户购买意愿等。
制造行业也会产生许多数据,以汽车制造为例,制造环节所能涉及的数据:每个工厂每天能生产的各类零件分别有多少,合格率分别有多少,温度、水分、光照如何影响零件的合格率;销售环节涉及的数据:每种零件所需个数、每个城市的库存数等。将统计学方法应用在这些数据上便可提供决策支持。
投行、银行、证券交易所都是投资分析行业的一部分。金融的高级形态是数学公式,西方经济学的大多数理论由数学公式严密推导得出。股票交易与博彩不同,它受到现实世界的影响,反映现实世界的经济状况,数学家与统计学家能根据统计算法预判K线图走向,难以想象投资分析行业失去统计学后会怎样。
与投行不同,咨询行业为其他公司、个人提供咨询服务,在咨询公司看来,现实世界就是一个精致的数学模型,每一个问题都可找到相关的参数,每个参数又可量化为具体值,将原始数据输入模型便可解出终极答案。猎头公司可以算是一种针对个人用户的咨询公司,珍爱网也类似。此外,还有针对特定问题的咨询公司,例如,艾瑞咨询公司,可提供关于某个行业的整体评估。
其他例子还有物流行业和公共事业等。物流行业收集道路拥堵信息,为司机规划最合理的出行路线。公共事业中的应用包括降低犯罪率、规划城市建筑和评估城市表现等情景。