下载掌阅APP，畅读海量书库
立即打开
We should analyze what could go wrong with AI to ensure that it goes right.
我们应该分析人工智能可能会出什么问题，以确保它能正常运行。
迈克斯·泰格马克
Max Tegmark
迈克斯·泰格马克是麻省理工学院物理学家、人工智能研究者、未来生命研究所所长、基础问题研究所的科学主任。著有《穿越平行宇宙》（ Our Mathematical Universe ）和《生命3.0》（ Life 3.0: Being Human in the Age of Artificial Intelligence ）。
注：迈克斯·泰格马克的著作《生命3.0》中文简体字版已由湛庐文化策划，浙江教育出版社出版。——编者注
几年前，经暴胀宇宙之父阿兰·古斯（Alan Guth）的介绍，我有幸结识了迈克斯·泰格马克。迈克斯·泰格马克与阿兰·古斯是麻省理工学院的同事。迈克斯是一位杰出的理论物理学家和宇宙学家，他现在最关心的问题是创造通用人工智能会给人类带来的生存危机。4年前，迈克斯与扬·塔里安和其他人共同创办了未来生命研究所，该研究所自称是“一个推广组织，致力于确保未来最强大的技术会造福于人类”。在伦敦的一次图书推广活动期间，他正在筹划未来生命研究所。他承认参观完伦敦科学博物馆，看完博物馆里陈列的人类科技成就后，在地铁站流下了眼泪。所有这些令人印象深刻的进步难道都将归于一场空吗？
未来生命研究所的科学顾问委员会包括埃隆·马斯克、弗兰克·维尔切克、乔治·丘奇、斯图尔特·罗素和牛津大学哲学家尼克·波斯特洛姆。尼克曾梦想过一个思想实验，这个实验常常被引用。该实验里有一个明显是善意的通用人工智能，它只是按照命令行事，却把世界变成了一个只有回形针别无他物的地方。该研究所赞助了关于人工智能安全问题的会议（2015年在波多黎各，2017年在阿西洛玛），并在2018年发起一次奖金竞赛，竞赛重点放在能够最大限度地发挥通用人工智能的社会效益的研究上。
虽然有时外行人会认为迈克斯有些危言耸听，但就像弗兰克·维尔切克一样，迈克斯相信，在一个极大受益于通用人工智能的未来世界，如果我们人类做出努力，就可以使得人类物种不被排斥在外。
尽管关于人工智能将如何以及何时对人类产生影响存在很大争议，但从宇宙的角度来看，情况更加清晰：在地球上进化出的不断发展技术的生命正不计后果地快速使自身变得过时。这让我感到尴尬，因为如果我们敢于走上一条更加雄心勃勃的道路，我们就能创造出令人惊叹的机遇，让人类达到前所未有的繁荣。
我们的宇宙诞生138亿年后，开始有了自我意识。在一颗蓝色的小小行星上，我们宇宙中微小的有意识的部分已经发现，他们曾经认为是存在的总和的东西原来只是更为宏伟事物中的一小部分：太阳系位于有1000亿个其他星系的宇宙中的一个星系里，这些星系排列成复杂的星系群、星系团和超星系团。
意识是宇宙的觉醒，它把我们的宇宙从一个没有自我意识的机械的僵尸转变成一个包含自我反省、美丽、希望、意义和目标的有生命的生态系统。如果这种觉醒从未发生过，我们的宇宙将毫无意义，它只是一个巨大的空间浪费。如果因为一些宇宙灾难或自我造成的不幸而使我们的宇宙永久地回到睡眠状态中，它将再次变得毫无意义。
不过，事情也可能会变得更好。我们还不知道人类是否是宇宙中唯一的天文爱好者，甚或是第一个天文爱好者，但我们已经非常了解我们的宇宙，知道它有可能达到比迄今为止表现出来的更高的唤醒程度。像诺伯特·维纳这样的人工智能先驱已经告诉我们，进一步唤醒宇宙处理和体验信息的能力并不需要数以万年计的额外进化，而可能只需要人类科学几十年的创造力。
我们可能就像你今早从睡梦中醒来时所经历的第一丝自我意识，预示着当你睁开眼睛完全醒来时，会有更多的自我意识。也许超级人工智能会使生命遍布整个宇宙，繁衍数十亿或数万亿年——也许这之所以能实现，是因为在这个星球上，在我们的有生之年，我们所做的那些决定。
又或者因为某些我们自己造成的灾难，人类可能很快就会灭绝。这些灾难是由于我们的技术力量增长太快，以至于我们没有足够的智慧去掌控它。
许多思想家把超级智能这个概念贬低为科幻小说，因为他们认为智能是一种神秘的东西，只能存在于生物有机体，尤其是人类中，他们还认为这种智能从根本上限制了今天的人类能做什么。但是，从我作为物理学家的角度来看，智能只是由四处移动的基本粒子所进行的某种信息处理，没有任何物理定律表明人类不能制造出在任何方面都比我们具有更高级智能的机器，这种机器能孕育宇宙生命。这表明，我们仅仅看到了智能的冰山一角，存在这么一种惊人的可能性：也许我们能释放出自然界中所蕴藏的全部智能，利用它来帮助人类繁荣发展，或挣扎求生。
其他人，包括本书中的一些作者，不赞成创造通用人工智能这种至少能够像人类一样完成任何认知任务的实体，不是因为他们认为这在物理学上不可行，而是因为他们认为人类很难在不到一个世纪的时间里完成此举。由于最近的科技突破，在专业的人工智能研究者中，这两种不赞成的观点都只有少数人支持。人们强烈希望在一个世纪内实现通用人工智能，预测中值显示我们只需几十年的时间便可实现。根据最近一项由文森特·米勒（Vincent Müller）和尼克·波斯特洛姆对人工智能研究者所做的调查，结论是：
研究结果揭示了专家们的观点，超过50%的被调查者认为人工智能系统可能在2040—2050年达到总体人类能力，并且有90%的可能性在2075年实现。在达到人类能力之后，它将在2年（10%的被调查者认为）到30年（75%的被调查者认为）之后实现超级智能。
从数十亿年的宇宙角度来看，究竟30年还是300年后实现通用人工智能几乎没什么区别，所以让我们把重点放在含义上，而不是时间上。
一开始，我们人类发现了如何用机器复制一些自然过程，制造出我们自己的热、光和机械马力。渐渐地，我们意识到自己的身体也是机器，神经细胞的发现模糊了身体与心灵之间的界限。最后，我们开始建造机器，它不仅能超越我们的肌肉，还能超越我们的大脑。在许多狭隘的认知任务领域，从记忆、算术到玩游戏，我们人类已经在机器面前黯然失色，而在更多的领域，从开车到投资再到医疗诊断，机器正在超越我们人类。如果人工智能团队成功地实现其创建通用人工智能的初始目标，那么，人类在所有认知任务中将完败于人工智能。
这引出许多显而易见的问题。例如，会有什么人或什么物控制通用人工智能控制地球？我们应该控制超级智能机器吗？如果答案是否定的，我们能确保它们理解、接受并保留人类价值观吗？正如诺伯特·维纳在《人有人的用处》一书中所说的：
如果我们让机器决定我们的行为，除非我们事先审查过它的行为规律，并充分知道它的行为将按照我们可接受的原则进行，否则我们就有祸了！另一方面，可以学习、可以根据其学习做出决定的机器，绝不会被迫做出人类本该做出的决定，也不会被迫做出人类可接受的决定。
谁是“我们”？谁来判定什么是“可接受的决定”？即使未来的力量决定帮助人类生存和繁荣，但如果做什么都不需要我们，那我们如何才能找到生活的意义和目的？
在过去几年，关于人工智能的社会影响的争论有了巨大的变化。2014年，很少有人公开谈论人工智能的风险，即便有，也往往被驳斥为卢德式的杞人忧天，原因在于两个逻辑上不相容的理由：
通用人工智能被过分夸大，至少在下个世纪并不会出现通用人工智能。
通用人工智能可能会出现得更早，但实际上它已被确保是有益的。
今天，关于人工智能的社会影响的讨论无处不在，关于人工智能安全和人工智能伦理的研究工作已经走进公司、大学和学术会议。人工智能安全研究的争议立场不再是提倡它，而是放弃它。2015年波多黎各人工智能会议（主题是帮助主流人工智能保持安全）的公开信只是含糊地谈到保持人工智能有益的重要性，而2017年阿西洛玛人工智能原则会议却具有真正的意义：会议明确地提到了递归式自我改进、超级人工智能和现存的风险。业界领袖和来自世界各地的1000多名人工智能研究人员均在公开信上签署了名字。
尽管如此，大多数讨论还只是限于狭义人工智能的短期影响，更广泛的团体对通用人工智能可能很快给地球上的生命带来的戏剧性变化关注有限。为什么会这样？
第一，原因在于简单的经济学。每当我们想出如何通过制造更好更便宜的机器来使某种类型的人类工作过时，社会的大部分收益都是：那些制造和使用机器的人赚取利润，而消费者得到更便宜的产品。就像纺织机、挖掘机和工业机器人的出现使某种人类工作过时一样，对于未来通用人工智能的投资者和科学家来说，情况也是如此。过去，被机器取代的工人通常会找到新的工作，但即使情况不再如此，这种基本的经济刺激还将保持下去。根据定义，具有竞争力的通用人工智能的存在意味着所有工作都可以由机器完成，成本低廉得多，所以任何宣称“人们总是会找到新的高薪工作”的人，实际上是在宣称人工智能研究人员没有制造好通用人工智能。
第二，智人天生好奇，即使没有经济激励，这种好奇心也会激励人们做出科学探索来理解智能、发展通用人工智能。尽管好奇心是人类最著名的特性之一，但当它培养出我们尚未学会如何明智管理的技术时，便会引发问题。没有利润的刺激，只是纯粹的科学好奇心，使人类发现了核武器，发明了许多灾难性工具，所以古谚“好奇害死猫”也同样适用于人类物种，这并非不可思议。
第三，我们是终有一死的凡人。这就解释了为什么人们几乎一致支持开发新技术来帮助我们活得更长久、更健康，这有力地推动了当前的人工智能研究。很显然，通用人工智能可以更多地帮助医学研究。一些思想家甚至希望通过电子化或上传数据来寻求近乎永生。
因此，我们正在向通用人工智能急剧倾斜，强烈的动机使我们会继续向这个方向前进，即使从定义上来说该结果会导致我们的经济过时。我们将不再需要任何东西，因为所有的工作都可以通过机器更有效地完成。通用人工智能的成功创造将是人类历史上最重大的事件，可为什么很少有人认真讨论它可能会带来什么后果呢？
同样，原因很多。
第一，厄普顿·辛克莱（Upton Sinclair）有句著名的讽刺：“当一个人靠对某事物的无知来赚钱的时候，让他理解这件事是有难度的。”
举例来说，科技公司或大学研究小组的发言人经常声称，他们的研究活动没有风险，即使他们私下里并不这样认为。辛克莱的这番言论不仅解释了人们对于吸烟和气候变化所带来的风险的种种反应，还解释了为什么有些人把技术视为一种新宗教，这种宗教的核心信条是更多的技术总是更好的，而反对者都是毫无头脑的煽动恐慌的卢德教徒。
第二，长期以来，人类总是充满了一厢情愿的想法、错误地从过去推断未来、一再低估新兴技术。达尔文的进化论使我们对具体威胁有强烈恐惧，却并不害怕难以想象的未来技术会带来的抽象威胁。想一想，1930年时，你试图警告人们未来的核军备竞赛会很危险，但那时你无法给他们看一个核爆炸的视频，甚至都没有人知道如何制造这种武器。即使是顶尖科学家也会低估不确定性，使得预测要么过于乐观（那些聚变反应堆和空中飞车在哪里？），要么过于悲观。欧内斯特·卢瑟福可以说是他那个时代最伟大的核物理学家，他曾说过核能是“痴心妄想”，说这番话时就在1933年，就在利奥·西拉特构思核连锁反应之前不到24小时。当时基本上没有人会预见到核军备竞赛的到来。
第三，心理学家发现，当我们认为无论如何我们都无能为力时，我们往往会避免去想令人不安的威胁。然而，在这种情况下，如果我们能开始思考这个问题，就可以做很多建设性的事情。
我提倡做出战略转变，不再是“让我们快快创建一种让自己过时的技术——有什么可能会出错呢？”，而是“让我们设想一个鼓舞人心的未来，并朝着它迈进”。
为了激发前进所需的努力，这一战略开始时要设想一个诱人的目的地。虽然好莱坞的未来往往是反乌托邦式的，但事实是，通用人工智能可以使生活前所未有的繁荣。关于文明，我所热爱的一切都是智能的产物，因此，如果我们能用通用人工智能增强自己的智能，我们就有可能解决今天和明天最棘手的问题，包括疾病、气候变化和贫穷。对未来，我们能够做出的共同积极愿景越详细，就越有动力为实现这些愿景而共同努力。
我们应该做些什么？2017年所采用的23项阿西洛马原则为我们提供了许多指导，包括这些短期目标：
应避免致命自主武器的军备竞赛。
人工智能创造的经济繁荣应广泛共享，以造福全人类。
投资人工智能的同时还应该资助为确保其有益使用而进行的研究。比如，我们如何才能使未来的人工智能系统具有高度的鲁棒性，使它们在不发生故障或被黑客攻击的情况下做我们想让它们做的事情。
前两个目标涉及不陷入次优纳什均衡。失控的致命自主武器军备竞赛一旦开始，将很难停止，它会将自动匿名暗杀的成本推向零。第二个目标需要扭转一些西方国家目前的趋势，在这些国家，从绝对意义上来说，许多人口变得更加贫穷，从而加剧了社会的愤怒、怨恨和两极分化。除非我们能够实现第三个目标，否则我们创造的所有奇妙的人工智能技术都可能会伤害我们，不管是意外的还是故意的。
人工智能安全研究必须在严格的期限内进行：在通用人工智能到来之前，我们需要弄清楚如何让人工智能理解、采纳和保留我们的目标。机器越智能、越强大，使它们的目标与我们的目标一致就越重要。只要我们制造的机器相对愚蠢，那么问题便不是人类的目标是否会占上风，而是在达到我们与机器目标一致之前，机器会造成多少麻烦。然而，如果制造出超级智能，那么情况就会反过来：因为智能就是实现目标的能力，所以超级智能人工智能从定义上来说，比起我们人类实现自己的目标，它更擅长完成它的目标，因此会占上风。
换句话说，通用人工智能的真正风险不是它的恶意，而是它的能力。一个拥有超级智能的通用人工智能将非常擅长完成它的目标，如果这些目标与我们人类的不一致，我们就有麻烦了。为修建水力发电大坝需要淹没蚁丘，对这件事，人类不会反复三思，所以我们不要把人类置于蚂蚁的位置。大多数研究人员认为，如果我们最终创造了超级智能，我们应该确保它是人工智能安全先驱埃利泽·尤德考斯基所称的“友好的人工智能”，其目标在某种深层意义上是有益的。
关于这些目标是什么的道德问题与实现目标一致的技术问题同样紧迫。例如，我们希望创造什么样的社会？即使严格地说我们的存在并不被需要，我们生活的意义和目的在哪里。对于这个问题，我经常会得到以下巧妙的回答：“让我们创造出比我们更聪明的机器，然后让他们找出答案！”这种回答错误地把智力和道德等同起来。智力没有善恶之分，从道德上来讲，智力是中立的。它只是一种完成复杂目标的能力，无论这个目标是好的还是坏的。我们不能断定如果希特勒更聪明的话，情况就会更好一些。事实上，将对道德问题的考虑推迟至创建出与人类目标一致的通用人工智能，这是不负责任的，很有可能也是灾难性的。一个完全顺从的超级智能，它的目标自动与人类所有者的目标一致，这样的超级智能就像纳粹党卫军一级突击队大队长阿道夫·艾希曼（Adolf Eichmann）
一样。如果没有道德的指南或自身的约束，它就会以无情的效率，实现所有者的目标，不管这些目标会是什么。
每当我说需要分析技术风险时，就会有人说我危言耸听。但在我工作的地方，麻省理工学院，我们知道这样的风险分析并不是危言耸听：它是安全工程。在登月任务之前，在把宇航员放在装满高度可燃燃料的110米火箭的顶部，把他们发射到一个没有人能帮助他们的地方之前，美国国家航空航天局会系统地把一切可能出错的事情都考虑全面——很多事情都有可能会出错。这是危言耸听吗？不，这是确保任务成功的安全工程。同样，我们应该分析人工智能可能会出什么问题，以确保它能正常运行。
总之，如果我们的技术超越了我们管理技术的智慧，那么这样的技术可能会导致人类灭绝。据估计，地球上20%至50%的物种灭绝便是源于此，
如果我们人类是下一个因此灭绝的物种，那可是够讽刺的。想想通用人工智能给人类提供的大好机会，这有可能使生命不仅在地球上而且在大部分宇宙繁衍数十亿年，如果人类灭绝的话也将是极其可悲的。
不要因不科学的否认风险和糟糕的计划而白白浪费这个机会，让我们充满雄心壮志吧！智人的内心有着激昂向上的勃勃雄心，正如威廉·欧内斯特·亨利（William Ernest Henley）在《不可征服》（ Invictus ）中的名言：“我是命运的主宰，我是灵魂的统帅。”不要像无舵的船一样漂泊，最终走向被淘汰的命运，我们要挺起胸膛，征服横亘在我们与美好的高科技未来之间的技术和社会挑战。与道德、目标和意义相关的生存挑战又如何？在物理定律中没有设定的意义，所以与其被动地等待宇宙赋予我们以意义，不如承认和庆祝，是我们有意识的存在赋予了我们的宇宙以意义。让我们创造自己的意义，这个意义是比工作更深刻的东西。通用人工智能使我们最终成为自己命运的主人，让我们的命运真正鼓舞人心！