下载掌阅APP，畅读海量书库
立即打开
我所描述的人工智能系统在极其庞大的规模上运作。这里举一个例子。
在2015年左右，人工智能之所以能取得显著进步，很大程度上是因为高效的、“有监督”的深度学习。在这种模式下，人工智能模型在经过精心手工标注的数据中学习。通常，人工智能系统的预测准确性高度依赖于训练数据的标注质量。然而，大语言模型革命的关键突破在于，我们首次能够直接在原始、杂乱无章的现实世界数据上训练超大模型，而无须依赖那些经过仔细筛选和人工标注的数据集。
正因如此，现在网络上的几乎所有文本数据都变得有价值了，数据量越大越好。如今的大语言模型是在数以万亿词级别的文本规模上进行训练的。想象一下，如果能全部吸收维基百科的内容，读取优兔上的所有字幕和评论，阅读数百万份法律合同、数亿封电子邮件以及数十万本书，那将是怎样一个模型。这种对海量信息的几乎瞬时的处理能力不仅令人难以置信，而且是前所未见的。
请稍做停顿，思考一下这些模型在训练过程中吸收的文本数量之大。假设一个人平均每分钟能阅读200个单词，那么在80年的寿命中，他大约能阅读80亿个单词——当然，前提是他24小时不间断阅读，其他什么也不做。较为现实的情况是，美国人平均每天花大约15分钟读书，一年下来一个人大约能阅读100万个单词。 16 这与大语言模型在短短一个月的训练中处理的单词数量相比，相差了约6个数量级。
因此，这些新型大语言模型在各类写作任务中表现出色，我们并不感到意外。无论是翻译、精准文本总结，还是为提升语言模型性能而制订计划等复杂的写作任务，这些曾专属于技能精湛的人类专家的领域，如今已被这些模型轻松驾驭。我在谷歌的前同事最近发表的一篇文章显示，他们改进的PaLM系统能在美国医学执照考试试题上取得优异的成绩。预计不久之后，这些系统在这项任务上的得分将超越人类医生，展现出更高的准确性和可靠性。
在大语言模型问世后不久，研究人员便开始处理几年前看起来还令人瞠目结舌的数据和计算规模。一开始是数亿个参数，然后数十亿的参数规模也变得不足为奇。 17 现在人们谈论的是具有数万亿个参数的“大脑规模”的模型。阿里巴巴已开发出一个包含10万亿个参数的模型。 18 在你读到本书时，这些数字肯定已经进一步攀升了。这就是即将到来的技术浪潮的现实。它以空前的速度突飞猛进，甚至让那些持续关注其发展的人都惊叹不已。
在过去10年里，用于训练超大规模模型的计算量呈指数级增长。谷歌的PaLM模型消耗的计算量极其巨大，如果用它训练过程中的每次浮点运算代表一滴水，那么这些水将能填满整个太平洋。 19 我们当前在微软人工智能中最强大的模型所使用的算力，大约是10年前DeepMind在雅达利游戏上创造神奇时刻的DQN游戏系统的50亿倍。这意味着，不到10年的时间，训练最佳人工智能模型的计算量已经跃升了9个数量级——从2 petaFLOP（一个衡量计算机性能的重要单位）飙升至100亿petaFLOP。要理解1 petaFLOP的概念，我们可以试想这样一个场景：有10亿人，每人手持100万个计算器，同时进行复杂乘法运算，并在同一瞬间按下“等于”键。我认为这样的计算量提升是令人惊叹的。不久前，语言模型还在挣扎着努力产出连贯的句子，而如今的发展速度已远超摩尔定律，甚至超出了我所能想象的任何技术的发展轨迹。难怪人工智能的能力在不断突破。
有人认为这种增速难以维持，摩尔定律正逐渐放缓。一根人发的直径约为9万纳米，而1971年的晶体管平均厚度已缩减至1万纳米。如今，尖端的芯片制程已达到了3纳米。晶体管尺寸日益缩小，已逼近物理极限；在这种尺寸上，电子间的相互干扰越发严重，从而影响计算过程的准确性。尽管这是一个现实问题，但它忽略了另一个事实：在人工智能训练中，我们可以通过连接更大规模的芯片阵列，将它们串联成大规模的并行超级计算机。因此，毫无疑问，大型人工智能训练任务的规模将继续呈指数级增长。
与此同时，研究人员不断发现支持“缩放假设”的新证据。这一假设认为，系统性能提升的主要驱动力就是简单地扩大规模。只要持续增加数据、参数和计算量来扩展模型，它们就能不断提升性能，甚至可能达到或超越人类水平的智能。没有人能确定这个假设是否会一直成立，但至少到目前为止，它都是有效的。我认为，在可预见的未来，这一趋势仍将继续。
我们的大脑并不擅长理解指数级增长的真正含义，因此在人工智能这样的领域里，要准确把握正在发生的事情并不容易。在未来几年甚至几十年里，用于训练大规模人工智能模型的计算量将会增加多个数量级。因此，如果缩放假设至少部分正确，那么这一切的发展都将具有其必然性。
人们有时会觉得，人工智能在追求复制人类智慧的过程中，仿佛是在追逐一个不断变化、难以捉摸的目标，这个目标总有一些难以言喻的元素永远无法企及。然而，事实并非如此。据说，人类大脑包含约1 000亿个神经元，这些神经元之间有100万亿个连接，因此人脑常被认为是宇宙中已知的最复杂的物体。确实，从更广泛的视角来看，我们是情感丰富、具有社交属性的复杂生物。但是，人类完成特定任务的能力，即人类智慧本身，实际上是相当固定的，尽管这种能力强大且多面。算力的规模在不断扩展，而我们的大脑并不会逐年发生巨大的变化。随着时间的推移，人工智能与人类大脑复杂程度的差距将逐渐缩小。
在当前计算水平的支持下，人工智能已在诸如语音转写和文本生成等任务上展现了与人类相当的水准。随着计算规模的不断扩展，人工智能极有望在更多任务上达到甚至超越人类水平。它将在各个领域持续取得重大进步，而目前我们还未观察到其可能性的上限。这一简单事实有可能对21世纪乃至整个人类历史产生极其深远的影响。然而，计算规模的提升虽是强大的推动力，却并非人工智能实现指数级改进的唯一途径。