下载掌阅APP，畅读海量书库
立即打开
Continued progress in AI can precipitate a change of cosmic proportions—a runaway process that will likely kill everyone.
人工智能的持续发展会造成宇宙规模的变化，这个失控的过程可能会杀死每一个人。
扬·塔里安
Jaan Tallinn
扬·塔里安是一名计算机程序员、理论物理学家和投资者，与他人合作共同开发了Skype和Kazaa。
扬·塔里安在爱沙尼亚长大，是当时为数不多的电脑游戏开发者之一。在这篇文章中，他在人工智能领域的先驱维纳、艾伦·图灵和I. J.古德（I. J. Good）等人身上找到了当前人工智能异议的根源。
扬·塔里安关注的是事关生死存亡的风险，人工智能是所有风险中最极端的。2012年，他与哲学家休·普莱斯（Huw Price）和皇家天文台台长马丁·里斯共同在剑桥大学创办了生存风险研究中心，这是一个跨学科的研究机构，致力于减轻“与新兴技术和人类活动有关的风险”。
他曾经向我形容自己是“一个坚定的结果主义者”，他把自己的创业财富多数捐赠给未来生命研究所（他是该研究所的联合创始人）、机器智能研究所，以及其他致力于减少风险研究的机构。迈克斯·泰格马克曾写道：“如果你是一个智能的生命形态，在数百万年后的一天正在阅读这篇文章，惊叹于生命为何如此繁盛，那么你的存在可能要归功于扬·塔里安。”
在最近一次对伦敦的访问中，扬·塔里安和我参加了在伦敦市政厅举行的蛇形画廊马拉松的人工智能小组会议，会议由本书的另一位撰稿人汉斯·乌尔里希·奥布里斯特主持。当晚在一所豪宅里举办了一场盛大晚宴，云集了伦敦的杰出人物——艺术家、时装模特、富豪、舞台明星和荧屏明星。他非常自然地与屋子里的人寒暄后——“嗨，我是扬·塔里安，”他突然说，“嘻哈舞的时间到了。”说完就一只手倒撑在地板上，向这些一头雾水的一线明星们展示他惊人的动作。然后，他就与人谈论起舞蹈俱乐部的亚文化来，显然这是他每晚告别的方式。谁知道呢？
2009年3月，在热闹的加利福尼亚高速公路旁的一家连锁餐馆。我要在那里见一个年轻人，我一直在关注他的博客。为了让自己方便被认出来，他戴着一枚纽扣，上面写着：即使你的声音颤抖，也要说出真相。他的名字是埃利泽·尤德考斯基。在接下来的4个小时，我们一直在讨论他为世界传递的信息，这个信息把我带到了那家餐厅，也最终主导了我以后的工作。
我通过尤德考斯基的博客接触到了一个革命性的信息，这个博客迫使我安排了在加利福尼亚的见面。信息是：人工智能的持续发展会造成宇宙规模的变化，这个失控的过程可能会杀死每一个人。要避免这种结果，我们需要投入大量额外的努力。
在与尤德考斯基会面之后，我做的第一件事就是试图使我的Skype同事和密切合作者对他的警告感兴趣。但我失败了，他们并不感兴趣。这个信息太过疯狂，太不入主流。它的时代还没有来到。
后来我才知道尤德考斯基并不是最初的持有这种异议、说出这个特别真相的人。2000年4月，太阳微系统公司的联合创始人、首席科学家比尔·乔伊（Bill Joy）在《连线》（ Wired ）杂志上发表了一篇长篇评论文章，题目是《为什么未来不需要我们》（Why the Future Doesn't Need Us）。他警告说：
我们已经习惯于日常生活中充满了科学突破，但还没有学会接受这样一个事实：21世纪最引人注目的技术，如机器人技术、基因工程和纳米技术等，对人类造成的威胁不同于以前科技所带给人类的。具体地说，机器人、生物工程人和纳米机器人具有共同的危险因素：它们可以自我复制。一个机器人可以变成很多个，然后很快失控。
很显然，乔伊的这番评论引起大家的愤怒，但却没起到什么作用。
然而，更让我吃惊的是，有关人工智能风险的信息几乎与计算机科学领域同时出现。艾伦·图灵在1951年的一次演讲中说：“一旦机器思维的方法开始出现，它很快就会超越我们人类微不足道的能力，这似乎非常可能发生……因此，在某种程度上，我们应该预期机器能够掌握控制权。”
大约10年后，他在布莱切利园的同事I. J.古德写道：“第一台超智能机器是人类最不需要做的一项发明，因为机器要足够温顺，才能够告诉我们如何控制它。”
实际上，在《人有人的用处》一书中，我一共找到6处维纳暗示的“控制问题”（Control Problem）的这个或那个方面。比如：“像神灵这样的可以学习、可以根据其学习做出决定的机器，绝不会被迫做出人类本该做出的决定，也不会被迫做出人类可接受的决定。”显然，那些最初发布人工智能风险信息的唱反调的人就是人工智能先驱自己！
对于为什么控制问题是真实的，而不是科学幻想，存在许多论据，有些挺复杂，有些则不那么复杂。请允许我提供一个例子来说明问题的严重性：
在过去的10万年里，整个世界一直处于人脑管理之中。这里说的“世界”指地球，但是这个论点也可延伸到太阳系，甚至可能延伸到整个宇宙。智人的大脑是最复杂的未来形成机制，有些人甚至称之为宇宙中最复杂的物体。最初，我们没有将它们用于生存和部落政治之外的其他领域，但现在它们的影响力已经超过了自然进化。地球已经从生产森林发展到生产城市。
正如图灵所预言的，一旦我们拥有超人类的人工智能，也就是前文所说的“机器思维的方法”，人类大脑的管理时代就将结束。环顾四周，你见证了千百年来人类大脑管理的最后几十年。这种想法只会让人们停顿一下，然后他们又回到把人工智能当作另一种工具的思路上。一位世界顶级的人工智能研究人员最近向我坦白说，得知我们不可能创造出相当于人类水平的人工智能，他感到非常欣慰。
当然，开发出相当于人类水平的人工智能可能还需要很长时间。但我们有理由怀疑情况并非如此。毕竟，相对而言，进化这种盲目而笨拙的优化过程，只要出现了动物，就没花多长时间便创造出人类水平的智能。或者以多细胞生命为例：对于进化来说，让细胞粘在一起，似乎比从多细胞生物中创造出人类要难得多。更不用说，我们的智力水平会受到诸如产道宽度这样怪诞因素的限制。想象一下，这就相当于，人工智能开发者的研究工作被叫停，只是因为他无法调整电脑上字体的大小！
这里有一个有趣的对称性：在塑造人类时，进化创造出一个系统，这个系统至少在许多重要维度上比进化本身拥有更强大的计划性和优化性。我们是第一个了解到自身是进化产物的物种。此外，我们创造出许多人工制品，如无线电、枪支、宇宙飞船等，这些人工制品是进化不可能创造出来的。因此，我们的未来将取决于自己的决定，而不是取决于生物进化。从这个意义上说，进化已经沦为其自身控制问题的牺牲品。
我们只能希望在这个意义上我们比进化更聪明。当然，我们确实更聪明，但这样就够了吗？我们即将找到答案。
此时此刻，在图灵、维纳和古德最初发出警告半个多世纪之后，在像我这样的人开始关注人工智能风险10年之后，我们开始讨论这个问题。我很高兴看到我们在这个问题上取得了很大进展，但我们肯定还没有完全解决这个问题。虽然人工智能风险不再是一个禁忌话题，但人工智能研究者们还没有充分认识到这个风险的严重性。人工智能有风险还没成为常识。我现在听到了一些谨慎言论，比如“我不关心超级智能人工智能，但在自动化程度提高方面存在一些真正的伦理问题”，或者“有人研究人工智能风险是好事，但这不是眼下我们关心的问题”，甚至还有听起来很合理的言论，“这些虽然都是小概率的情况，但它们非常有可能影响我们，这值得我们关注”。
不过，就消息传播而言，我们正接近临界点。最近，对2015年两次大型国际人工智能会议参会的人工智能研究人员进行调查，结果发现，40%的人认为来自高度发达的人工智能的风险要么是“一个重要问题”，要么是“该领域最重要的问题之一”。
当然，我们可以肯定，有一些人永远不会承认人工智能有潜在的危险。否认人工智能风险的人通常都有经济或其他的务实动机。其中一个主要动机是公司利润。人工智能是有利可图的，即使在没有盈利的情况下，它至少也是一个时髦的、前瞻性的行业，你的公司未来会与之相连。因此，许多否认人工智能风险的观点是公司公关和法律机制的产物。在某种非常真实的意义上，大公司追求自身利益，没有人性，而这些利益可能与任何为他们工作的人的利益不一致。正如维纳在《人有人的用处》一书中所指出的：“当人类这一原子不是以完全负责任的人类，而是作为盖子、杠杆和棍子被编织进一个使用他们的组织时，组织的原料是不是血肉之躯就无关紧要了。”
另一个对人工智能风险视而不见的强烈动机是人类的好奇心。“当看到一些技术上会带来甜头的事情时，人们会想都不想只管去做，只是在技术成功之后才会争论该拿这个技术怎么办。人们就是这样对待原子弹的。”罗伯特·奥本海默（J. Robert Oppenheimer）如是说。杰弗里·欣顿可以说是深度学习的发明者，他最近就人工智能风险回应了奥本海默的这番话：“我可以给你们一般性的论据，但事实是，这个发明的前景太美好了。”
不可否认，现代社会几乎所有那些我们认为理所当然的美好事物之所以能够出现，都要归功于创业精神和科学好奇心。然而，我们需要认识到进步未必一定会带给我们一个美好的未来，这很重要。用维纳的话说就是：“我们可以不把进步当作伦理原则来相信，而只把进步当作事实来相信。”
从根本上说，在所有企业负责人和人工智能研究人员愿意承认人工智能风险之前，我们没有等待的奢侈机会。想象一下，你坐在一架即将起飞的飞机上。突然有消息称，40%的专家相信飞机上有炸弹。此时，飞行跑道已经准备好，我们并不想坐在那里等待其余的60%的专家下结论。
尽管能够做出这种预言令人震惊，但最初宣扬的人工智能风险信息有一个巨大的缺陷，就像当前主导公众话语的版本一样：既大大低估了问题的严重性，也低估了人工智能的潜在优势。换言之，这条信息并不能充分表达游戏的利害关系。
维纳的警告主要指社会风险，也就是由于粗心地将机器生成的决策与管理过程合在一起以及人类滥用这种自动化决策而产生的风险。同样，目前关于人工智能风险的“认真”的争论主要集中在技术性失业或对机器学习的偏见上。虽然这样的讨论可能是有价值的，也能解决迫在眉睫的短期问题，但他们的论点之狭隘令人惊讶。我想起了尤德考斯基在博客上的一句俏皮话：“询问机器超级智能对传统劳动力市场的影响就像询问美中贸易模式将如何受到月球撞击地球的影响。确实会有影响，但你没有抓住要点。”
在我看来，人工智能风险的核心在于超级智能人工智能是一种环境风险。请允许我解释一下。
在他的“感知力水坑寓言”中，道格拉斯·亚当斯（Douglas Adams）描述了一个水坑，这个水坑早晨醒来，发现自己在一个“特别合身”的洞里。根据它的观察，这个水坑认为这一定是为它量身定做的世界。因此，亚当斯写道：“它消失的那一刻让它大吃一惊。”认为人工智能的风险仅限于会带来不利的社会发展，就是犯了类似的错误。严酷的现实是：宇宙不是为我们而生的，相反，我们需要进化以适应非常狭窄的环境参数。例如，我们需要地面上的大气大致保持在室温，维持大约100千帕的压力，并有足够的氧气浓度。这种不稳定的平衡出现任何紊乱，哪怕只是暂时的，我们都会在几分钟内死去。
基于硅的智能并没有这种对环境的担忧。这就是为什么用机器探测仪探索空间要比用“肉罐头”便宜得多。此外，对于超级智能人工智能最关心的高效计算来说，地球目前的环境几乎肯定不是最佳选择。因此，我们可能会发现我们的星球突然从人为的全球变暖转为机械化的全球冷却。人工智能安全研究需要解决的一个重大挑战，是如何使未来的超级智能人工智能——一种比我们人类的碳足迹大得多的人工智能，不要把我们的环境变得不适合生物生存。
有意思的是，鉴于人工智能研究和人工智能风险规避的最强有力的资源都在大公司的保护之下，如果你眯起眼睛看得足够仔细，你会发现“人工智能是环境风险”这一信息看起来像是对公司逃避其环境责任而产生的长期担忧。
相反，对人工智能的社会效应的担忧也使我们忽略了它所带来的大部分益处。与人类的全部潜能相比，这个星球的未来是多么渺小和狭隘，无论怎么强调都不为过。按照天文学的时间尺度，我们的星球很快就会消失（除非我们驯服太阳，很明显这也是有可能的），而维持文明长期运转的几乎所有资源，也就是原子和自由能量，都处于深空之中。
纳米科技的发明者埃里克·德莱克斯勒（Eric Drexler）最近一直在推广“帕累托托邦”（Pareto-topia）的概念：如果做得对，人工智能可以给我们带来这样一个未来——在这里，每个人的生活都得到极大改善，没有人是失败者。这里的一个关键认识是，使人类无法实现其全部潜能的主要阻碍可能是我们本能的感觉，我们本能地感到自己处在一个零和博弈中。在这个博弈中，玩家应该以牺牲他人为代价来维持小胜。这样的本能在一个“游戏”中被严重误导且具有破坏性，在这个游戏里一切都是赌注，而回报简直就是天文数字。我们银河系中的恒星系统比地球上的人口要多得多。
在撰写本文时，我谨慎乐观地认为，人工智能风险信息能够拯救人类免于灭绝。截至2015年，已有40%的人工智能研究人员了解并接受了这一信息。如果现在一项新的调查显示大多数人工智能研究人员认为人工智能安全是一个重要问题，我不会感到惊讶。
我很高兴看到第一批技术性人工智能安全论文出自DeepMind、OpenAI和Google Brain，我也很高兴地看到在这些竞争非常激烈的人工智能安全研究团队之间，协作解决问题的精神正在蓬勃发展。
世界政治和商业精英也正在慢慢觉醒：电气和电子工程师学会（IEEE）、世界经济论坛以及经济合作与发展组织（OECD）的报告中，都涉及人工智能安全。中国于2017年7月发布的《新一代人工智能发展规划》中，也包括了关于“制定促进人工智能发展的法律法规和伦理规范”以及“建立人工智能安全监管和评估体系”的专门章节，以便增强风险意识。我非常希望，世界上新一代的领导人把人工智能控制问题和人工智能理解为终极的环境风险，希望他们能够超越通常的部落思维与零和博弈，引导人类越过这些危险地带，从而打开通往太空的道路。它们已经等待我们几十亿年了。
这就是我们未来的10万年！即使你的声音颤抖，也要毫不犹豫地说出真相。