3.4　肥尾分布的主要效应及其与本书的关联

当移到上述黄色区域（经典统计的舒适区）之外时，会出现如下效应：

读者可能无法想象，仅这一条就否定了绝大多数统计估计方法，如图3.8所示。在第八章我们会进一步讨论，区分统计估计不同类型的分布所需的样本量。

这是样本不足问题的另一种体现，没有一个极度厚尾-单尾分布可以用样本均值来估计总体均值，想要直接估计的前提是拥有近乎无限的数据。 比如，一般的幂律分布（符合80/20法则的分布）会有92%的观察值落在真实均值以下。为了让样本均值有意义，我们需要远远超出我们正常所能拥有的数据量（经济学专家从未真正理解这一点，但交易员对此有直观感受）。针对这一问题，我们会在章节3.8继续讨论，并在第十五章“影子均值”中详细论证。此外，在章节3.8中，我们还会进一步介绍隐藏统计量的概念，不仅是均值，用样本来估计总体也会导致方差被低估。

即使分布背后的统计量存在，甚至各阶统计量均存在，它们在样本之外也一定会失效，这一点我们会在第四章展开讨论。很多人喜欢用标准差（经常被误认为是平均偏差）作为衡量离散程度的指标，这属于一种看似科学的谬误，因为只有在最理想的情况下，标准差才能勉强地正确估计离散程度。

这是上一条效应的简单推论。 如果依赖这些统计量，我们要么需要更多的数据，要么需要某种尚未被发现的模型。图3.9展示了夏普比率在样本外的糟糕的预测能力——几乎起到完全相反的效果。然而，很多人还是执迷不悟，沉浸在看似科学的分析数字中。

理论金融学家有时会得出一些极其不严谨的结论，如“哪怕收益是厚尾分布的，只要分布的前两阶矩存在，均值方差投资组合理论就成立”（这实际上是加入了分布椭圆特性的条件，后面会进一步讨论）。实际上，即使存在方差，我们也不知道其精确性如何。一个随机变量二阶矩的尾部会比该变量本身的尾部更厚，所以，统计量服从极其缓慢的大数定律。而且，随机变量的相关性或协方差也会以厚尾的形式存在（失去椭圆特性），从而使统计估计失效。

详情见第四章（单变量分布）和第六章（多变量分布）。

以我个人的经历为例，稳健统计的概念如同一个恶作剧，但是绝大多数专家并未意识到它有多么可笑。

首先，稳健统计寻求一种既不想对统计框架进行大改动，又想要处理尾部事件的方法论。这是一种完全错误的稳健概念：如果统计量不随尾部事件发生大幅变化，可能仅仅因为样本包含的尾部信息不足。而且，这种方法对研究期望收益毫无帮助。其次，稳健统计属于“非参估计”，人们一般认为，不引入参数可以让整个分析变得不太依赖于底层分布，但实际上，这样做只会让事情变得更糟糕。

移除样本极值的缩尾法会扭曲期望值，并让信息减少——不过检查一下异常值也好，看看它到底是真实的异常还是“数据错误”（笔误或计算机故障）造成的伪异常。

所谓非参数的“经验分布”完全没有经验性的借鉴意义（而且会在尾部的期望收益上造成误导），至少在金融和风险管理领域是这样的，第十章会进一步讨论。这里可以简单解释如下：如果没有科学的外推方法，从过去的数据中简单估计未来的极值，偏差会很大。

这就像有人想通过修筑堤坝来防止洪水，简单的“经验”分布会基于历史最高水位，也就是说，更高水位的概率为0。但是反过来想，历史最高水位在成为最高水位之前肯定要超越之前的最高水位，因此，经验分布已经被突破。在厚尾分布下，过去极大值和未来期望极大值的差异会远远大于薄尾分布。

如图3.10所示，最小二乘回归背后的原理是高斯-马尔可夫定理，要求变量满足薄尾分布，这样才能通过所有数据点拟合出唯一的直线。而在肥尾条件下，我们需要远远多于预期的数据来最小化偏差平方和（高斯-马尔可夫定理依然成立，但是现实世界的数据是有限的，而不是无限的，所以其效果近似于不成立），或者因为变量二阶矩不存在，我们可能无法求解。在二阶矩不存在的情况下，如果仅仅最小化平均绝对偏差（MAD），一方面我们会面临数据不足的问题，另一方面我们求得的斜率也可能不唯一。

我们在章节6.7中会进一步讨论，由于厚尾的小样本效应，回归样本内的决定系数（R ² ）远远大于真实值。当随机变量方差无穷大的时候，R ² 应该等于0。但是，因为回归样本量必然有限，R ² 会给出高于0的欺骗性结果。因此，在厚尾条件下，R ² 不仅完全没有意义，还会因为高估时不时产生十足的欺骗作用（就像智商研究一样）。

以幂律分布为例，我们可以估计其分布的形状参数和尾部指数（本书用α表示 ），以帮助我们更好地理解分布，然后从分布反向估计均值，其效果会远好于直接用样本均值估计整体期望。

示例 ：一个简单帕累托分布（最小值L，尾部指数α， 的期望是 （一个和α相关的函数）。因此，我们可以从这两个参数出发（其中一个已知），通过插入式估计量获得均值。我们可以直观估计α（或者采用低方差的极大似然估计，这里α满足倒伽马分布），然后计算得到均值。这样的均值估计比直接求样本均值要准确得多。

让我们再强调一下上述逻辑：

这一方法可以推广到基尼系数和其他的不平均估计量上。

因此，在一些情况下，我们可以针对尾部指数构建函数，从而得到更可靠（或者至少没有那么不可靠）的统计量，当然，仅仅是在一些情况下。

接下来，我们要面临一个现实世界中的问题：如果没有靠谱的统计量怎么办？那最好还是在家里待着，我们不能把自己暴露在脆弱性的风险之下。不过，如果可以锁定最大损失，我们就可以做出承担风险的决策。

作者此前和认知语言学家兼科普作家斯蒂芬·平克有过一次争论：从最近的数据变化中得出结论（或归纳出理论）并不可行，除非满足一定的置信度条件，这就需要在厚尾条件下有更多的数据（和缓慢大数定律的逻辑相同）。因此，根据最近一年或十年非自然死亡人数的下降，得出“暴力致死行为有所下降”这样的结论并不科学。科学论断之所以和奇闻逸事不同，是因为它对样本外发生的事情有预测作用，统计意义显著。

这里我再次强调，统计意义不显著的结论并不算真正的科学。不过，说暴力行为在某次观察中上升则可能是一个严谨的科学论断。在薄尾的情况下解读描述性统计量的做法可能是可以接受的（因为显著结论所需的样本量不大），但在厚尾情况下肯定不行，除非包含尾部信息的超大偏差重复出现在样本集中。

这一点比较专业，通过主成分分析这样的降维方法，样本不足的问题可以转换为大型随机向量。这是大数定律问题的高维表达。图3.26从PCA数据不足的角度很好地表述了魏格纳效应。用专业的语言表述，就是马尔琴科-帕斯图尔分布无法应用于四阶矩不存在的情况（或是尾部指数超过4的情况）。

当年获得诺贝尔奖的广义矩估计法也不成立。里面的细节很多，可以先这么理解：如果高阶矩无限大，通过矩来估计分布就行不通，因为每一组样本都会得出一个不同的矩，正如后面所展示的标准普尔500指数四阶矩。

简单来说，厚尾分布的高阶矩会呈爆炸式上升，尤其是在经济领域。

在考虑出现大偏差的情况下，厚尾变量的条件偏差并不收敛，尤其是在极度厚尾条件下（如幂律尾分布），这一点和我们之前看到的灾难原则类似。在高斯分布中，随机变量变动大于4倍标准差的条件期望约等于4倍标准差。而对幂律分布来说，条件期望会数倍于该值，我们称其为林迪效应，第五章和第十一章会进一步讨论。

衡量基尼系数的方法是样本外推法，因此还是无法摆脱上面的问题，也即样本均值会高估或低估真实均值。这里有一个额外的复杂点，基尼系数在厚尾下具备超可加性。随着样本空间的增大，常规的基尼系数无法有效揭示真实的财富集中度。（换句话说，一个大陆，比如欧洲大陆，其收入的不平等程度可能超过其成员国收入不平等程度的加权值。）

不仅是基尼系数，这一结论同样适用于集中度的其他衡量指标，如前1%的人拥有财富总量的x%等。第十三章和第十四章会有专门论述。

在厚尾条件下，大偏差理论完全失效。 大偏差定律在薄尾条件下非常有用（瓦拉丹 ^[260] ，登博和泽图尼 ^[59] ，等），但是也仅限于此，我们会在附录C和第七章讨论极限理论时再提及。

这一条也比较专业，非金融领域的读者可能不感兴趣。金融领域布莱克-斯科尔斯期权定价模型的对冲基础完全建立在动态对冲的可行性和必要性之上，而在第二十章和第二十一章中我们会证明两者都存在问题。有效的动态对冲要求误差呈指数下降，也即统计分布必须超出亚指数类分布。这里我们讨论的实际上是克拉默条件——最终都可以归结为指数矩问题。

本书的作者是一位期权交易员，而对交易员来说，期权并不是由动态对冲的方式定价的——在整个期权交易的历史上都是如此。

上面两点在下一章会展开讨论：只考虑频率不考虑期望的错误在薄尾条件下不算太严重，但是在厚尾条件下会有巨大影响，其结果见图3.12和图3.13。

相关的讨论比较专业，本章末尾会有解释。

下面我们就一些要点展开讨论。

3.4.1　预测

在《随机漫步的傻瓜》一书中，某人被问，到月底市场更有可能上涨还是下跌？他表示上涨的可能性更大，但后来发现，他在押注市场 下跌 。对不懂概率的人来说，这似乎很矛盾，但是对交易员来说再正常不过了，尤其是在非标准分布的条件下（确实，市场更有可能上涨，但如果下跌会跌得更多）。这个例子表明，人们常常混淆 预测 和风险敞口（预测的结果是二元的，而风险敞口的结果更多元，取决于整个分布的状态）。在这个例子中，一个非常基本的错误是，将 发生概率 理解为单个数字而非分布结果，而在进一步研究之后，我们会发现很多并不明显或不为人知的类似的悖论式问题。简单来说，作者认为，将“概率”作为最终标的，甚至作为决策的“基础”来讨论并不严谨。

在现实世界中，一个人所获得的不是概率，而是直接的财富（或生存权利等）。这时，分布的尾部越肥，就越需要关心收益空间——俗话说得好：“收益远胜于概率。”如果犯错的成本够低，决策者可以经常犯错，只要收益是凸性的（也即当他正确的时候会获得很大的收益）。反过来说，决策者可以在预测的准确率达到99.99%的情况下破产（实际上，破产的可能性说不定更大：在2008—2009年金融危机期间，破产的基金恰恰是那些之前业绩无可挑剔的基金 ）。正如《 动态对冲 》 ^[225] 一书所讨论的那样（对非量化金融领域的读者来说，可能专业性略强），这是相同行权价的香草期权和二元期权之间的区别。违背直觉的是，肥尾效应 降低 了二元期权的价值，同时提高了香草期权的价值。正如作者的格言所说：“我从未见过有钱的预言家。”加肥尾部会导致高于1个标准差的事件的概率下降，但对应的后果会加重（就对矩的贡献而言，比如对平均值或其他指标的影响），我们会在章节4.3.1中具体展开。

图3.12展示了这个问题的严重程度。

我们会在第十一章给出完整的推导和证明。

3.4.2　大数定律

下面我们来讨论大数定律，作为统计学的基础，大数定律告诉我们，当增加观测值时，样本均值会逐渐变得稳定，收敛速率约为 。图3.8显示，在肥尾分布下，均值要趋于稳定需要更多的观察值。

“等价”并不简单。

在统计现象中，最知名的是帕累托分布（即80/20法则），如20%的意大利人拥有80%的土地。表3.1显示，在高斯分布下需要取30个观测值才能使均值达到稳定的区间，而在帕累托分布下需要10 ¹¹ 个观测值才能使误差达到同样的水平（假设均值存在）。

尽管上述计算并不复杂，却很少有人从这个角度去思考。在估计厚尾分布均值的时候，我们并不能表明其稳定性。还有其他的办法可以做到这一点，但肯定不是通过对样本的观察。