Automated intelligent systems that will make good inferences about what people want must have good generative models for human behavior.

能够对人类需求做出很好推断的自动智能系统，必须具有良好的人类行为生成模型。

汤姆·格里菲思

Tom Griffiths

汤姆·格里菲思是普林斯顿大学信息、技术、意识和文化的亨利·R.卢斯讲席教授。他与布莱恩·克里斯蒂安（Brian Christian）合著了《算法之美》（Algorithms to Live By）一书。

布罗克曼谈汤姆·格里菲思

汤姆·格里菲思对人工智能“价值对齐”问题的研究是以人为中心的，准确地说，“价值对齐”问题是指研究如何让最新的各种人工智能模型不把地球变成回形针；这也是认知科学家所做的研究，而他正是这样的认知科学家。他认为，机器学习的关键，必然是人类的学习，人类的学习是他在普林斯顿大学以数学和计算为工具所做的研究。

汤姆曾经对我说：“人类智力的奥秘之一就是我们能够用这么少的东西去做这么多的事情。”像机器一样，人类使用算法来做决定或解决问题；显著的区别在于，尽管计算资源相对有限，但人类大脑的整体水平不错。

人类算法的功效源于人工智能研究者所说的“有界最优性”。正如心理学家丹尼尔·卡尼曼（Daniel Kahneman）特别指出的那样，人类只有一点理性。如果你是完全理性的，那么还没等你做出诸如雇用谁、娶谁等重要决定，很有可能你就老死了，这取决于可供你从中甄选的数量有多少。

“随着过去几年人工智能的所有成功，在图像和文本方面我们已经有了良好模型，但是我们所缺少的是人类的良好模型。”汤姆说，“人类仍然是我们在制造思考机器时要参考的最好例子。通过识别影响人类认知的预设概念的数量和性质，我们能够为使计算机更接近人类性能奠定基础。”

当你要人们想象一个世界，这个世界成功地把所有人工智能领域的进步都很好地结合起来，可能每个人头脑中的画面都会稍有不同。宇宙飞船、飞车或人形机器人是否存在，将使我们对未来的设想完全不同。但有一点是不变的：那就是人类的存在。这正是诺伯特·维纳所设想的世界，当他写到未来的机器与人类配合，并调解彼此之间的合作、改善人类社会时，他的头脑中正展现这样的画面。要达到这一点不仅仅需要想办法令机器更智能，还需要我们更好地理解人类思维的运作。

在人工智能和机器学习领域的最新进展使我们设计出在玩游戏、图像分类或处理文本方面能够达到甚至超过人类能力的系统。但是，如果你想知道为什么前面的司机并到你的车道，为什么人们不顾自己的利益投反对票，或者你应该给你的伴侣买什么生日礼物，问人比问机器更好。解决这些问题需要建立可以在计算机内实现的人类思维模型——这不仅对于将机器更好地融入人类社会至关重要，而且对于确保人类社会能够继续存在也是非常重要的。

设想你拥有一个自动化的智能助手，它能够承担诸如计划三餐、订购杂货之类的基本任务。为了成功地完成这些任务，它需要能够根据你的行为方式来推断你想要什么。虽然这看似简单，但推论人类偏好却可能是一件棘手的事情。例如，当你的这个助手发现在一顿饭中你最喜欢吃的食物是甜点时，它可能开始为你计划完全都由甜点组成的三餐。或者它可能听你抱怨过没有足够的空闲时间，并观察到照顾狗占用了你相当多的空闲时间。在经历了甜点失败后，它也明白了你更喜欢含有蛋白质的食物，所以它可能开始研究狗肉食谱。从这样的例子到听起来像是关于人类未来的局面（人类是好的蛋白质来源），距离并不遥远。

推断人类想要的东西是解决价值对齐的人工智能问题的先决条件。所谓价值对齐，就是使自动化智能系统的价值与人的价值对齐。如果我们想确保这些自动化的智能系统牢记我们的最大利益，价值对齐至关重要。如果它们不能推断出我们所珍视的东西，它们就没有办法支持那些价值观，而且很可能会以违背那些价值观的方式行事。

在人工智能研究中，价值对齐只是一个小的主题，但对它的研究日渐增加。用于解决这个问题的一个工具就是反向强化学习。强化学习是训练智能机器的一种标准方法。通过将特定的结果和奖励联系起来，可以训练机器学习系统遵循产生特定结果的策略。维纳在20世纪50年代就有了这一想法，经过几十年的发展，它现在成了一门艺术。现代机器学习系统可以通过应用强化学习算法找到非常有效的策略来玩电脑游戏，从简单的街机游戏到复杂的实时策略游戏。反向强化学习扭转了这种途径：通过观察已经学习了有效策略的智能主体的行为，我们可以推断导致这些策略发展的奖励。

反向强化学习最简单的形式，就是人们一直在做的事情。这是很常见的，我们甚至不知不觉就做了。当你看到一个同事去装满薯片和糖果的自动售货机买一包不含盐的坚果时，你会推断你的同事：（1）饿了；（2）更喜欢健康食品。当你看到一个熟人明明看到你，却试图避免和你打招呼，你推断他不想和你说话一定有什么原因。当一个成年人花费大量时间和金钱学习演奏大提琴时，你推断他一定非常喜欢古典音乐，但推断一个十几岁的男孩学习演奏电吉他的动机可能更具挑战性。

反向强化学习是一个统计问题：我们有一些数据，即智能主体的行为，然后我们想要评估关于那些行为背后的奖励的各种假设。当面对这个问题时，统计学家会思考数据背后的生成模型：如果智能主体受到一套特定奖励的激励，我们期望生成什么数据？有了生成模型，统计学家就可以做接下来的工作了：什么奖励可能促使主体以那种特定的方式行事？

如果你试图对激励人类行为的奖励做出推断，那么生成模型实际上是关于人类的行为、关于人类思维如何工作的理论。对他人行为背后隐藏原因进行推断，这种推断反映了一种在每个人脑中一直存在的复杂的人性模型。当模型准确时，我们会做出正确的推断。但如果不准确，我们就会犯错。例如，如果教授没有立即回复学生的电子邮件，这个学生可能便会推断他的教授对他漠不关心，这是因为学生没有意识到教授收到电子邮件的数量太多了。

能够对人类需求做出很好推断的自动智能系统，必须具有良好的人类行为生成模型，也就是说，这种人类认知的良好模型可以用能在计算机上实现的术语表达。从历史上来看，对人类认知计算模型的探索与人工智能本身的历史紧紧地交织在一起。在诺伯特·维纳出版《人有人的用处》之后短短几年，卡内基科技的赫伯特·西蒙和兰德公司的艾伦·纽厄尔（Allen Newell）便开发出来第一个人类认知的计算模型“逻辑理论家”，这也是第一个人工智能系统。逻辑理论家通过模拟人类数学家使用的策略自动生成数学证明。

开发人类认知计算模型的挑战是制作既精确又通用的模型。当然，精确的模型能以最小的误差预测人类行为。而通用模型可以预测各种各样的情况，包括其创建者意想不到的情况，例如，好的地球气候模型应该能够预测全球气温升高带来的后果，即使设计它的科学家没有考虑过这一点。然而，当谈到理解人类思想时，精确性和普遍性这两个目标长期以来一直相互矛盾。

极端的通用性便是理性的认知理论。这些理论将人的行为描述为对特定情况的理性反应。理性的行为者会努力使根据一系列行为所产生的预期报酬最大化。理性行为者理论之所以会被广泛应用于经济学中，正是因为它对人类行为做出普遍性的预测。出于同样的原因，合理性是试图根据人类行为做出推断的反向强化学习模型中的标准假设，不过，还要考虑到人类不是完全理性的，有时会随机选择与他们最佳利益不相符甚至相反的方式行事。

作为人类认知建模的基础，合理性的问题在于它不准确。在决策领域，大量文献记载了大量人们偏离理性模型的方式，这些文献以心理学家丹尼尔·卡尼曼和阿莫斯·特沃斯基（Amos Tversky）的工作为先导。卡尼曼和特沃斯基提出，在很多情况下，人们会遵循简单的启发式方法，这种方法使他们能够以较低的认知成本获得良好的解决方案，但有时这种方法也会导致错误。举一个例子，如果你要求某人估计某一事件发生的概率，他们可能会根据从记忆中提取这样的事情的难易程度来做出判断，为这个事件的发生想出一个因果故事，或者评估一下，看看这个事件与他们预想的有多么相似。每个启发式方法都是一种合理策略，可以避免复杂的概率计算，但也会导致错误。例如，根据从记忆中提取这样的事情的难易程度推测其概率，会导致我们高估极端事件发生的机会——恐怖袭击事件总是让人极其难忘。

启发式方法提供了一个更精确的人类认知模型，但不容易普遍化。我们如何知道在特定的情况下人们会用哪种启发式？还有没有其他的我们尚未发现的启发式方法？想要准确地知道人们在一种新情况下会如何行事，这是一个挑战：在这种情况下他们会根据记忆做出判断，还是想出因果关系，还是依赖相似性？

最终，我们需要的是一种方法，它能描述人类思维的运作原理，具有理性的普遍性和启发式的准确性。实现这一目标的一种方法是从合理性开始，考虑如何让它朝现实的方向发展。把合理性作为描述任何现实世界行为的基础，这就存在一个问题，那就是，在许多情况下，计算合理行为需要主体拥有大量的计算资源。如果你正在做出一个非常重要的决定，并且有很多时间来评估你的选择，那么花费这些资源也许是值得的，但是人类的大多数决定都是快速做出的，而且风险相对较低。无论在什么情况下，只要你做出决定花费的时间成本很昂贵（至少因为你可以把这些时间花在别的事情上），理性的经典概念就不再能很好地描述一个人该如何行事。

为了建立一个更现实的理性行为模型，我们需要考虑计算成本。真正的主体需要根据额外思考对决策结果的影响来调整他们花费在思考上的时间。如果你要选择牙刷，你可能不需要在购买之前在亚马逊网站上把所有4000个手动牙刷清单都看个遍：你会把花在寻找牙刷上的时间用在比较质量的差异上。这种权衡可以形式化，这就是人工智能研究人员称为“有界最优性”的理性行为模型。有界最优主体并不总是关注于选择正确的行动，它们更关注的是找到正确的算法，在犯错误和思考太多之间找到完美的平衡。

有界最优性弥补了合理性与启发式之间的差距。通过将行为看成在有限思考时间下做出的理性选择，有界最优性提供了一个可普遍化的理论，也就是一个可以在新情况下应用的理论。有时，人们所遵循的被看作启发式的简单策略被证明是有界最优解。因此，与其谴责人们使用的启发式方法是非理性的，不如把它们看作对计算约束的理性反应。

发展有界最优性，把它当作人类行为理论，这是眼下我的研究小组和其他人正在积极开展的项目。如果这些努力获得成功，那么这种理论就能为我们提供最重要的要素，使我们通过给人类行为建立生成模型，让人工智能系统解释人类行为时变得更加智能。

当我们开发自动化系统时，把影响人类认知的计算约束考虑进来，使得自动化系统不会受到相同的约束，将会特别重要。假设有一个超级智能人工智能系统想要知道人们在乎什么。举例来说，治疗癌症或证明黎曼假说对于我们人类来说很重要，但对于这样的人工智能来说可能就没那么重要：如果这些解决方案对于超级智能系统来说太过轻而易举，那么它可能会奇怪为什么我们自己还没有找到这些方案，然后它会得出结论，认为那些问题对我们来说并不重要。如果我们在乎，而且问题又如此简单，我们早就解决了。合理的推论就是，我们做科学和数学纯粹是因为我们喜欢做科学和数学，而不是因为我们关心结果。

对于试图理解与自己的计算约束不同的人的行为这样的问题，有小孩子的人都能理解。蹒跚学步的孩子的父母可以花上几个小时试图弄清看似莫名其妙的行为背后的真正动机。作为一名父亲和认知科学家，当我意识到我两岁大的孩子正处在这样一个年龄段，她可以理解不同的人有不同的欲望，但不能理解可能其他人并不知道她自己的欲望是什么时，我发现更容易理解她的突然暴怒了。那么，这就很容易理解为什么当别人不按她的意愿行事时，她会生气。理解幼儿需要建立幼儿心理的认知模型。超级智能人工智能系统在试图理解人类行为时也面临着同样的挑战。

超级智能人工智能或许还有很长的路要走。从短期来看，对任何一家通过分析人类行为来获利的公司来说，设计出更好的人类模型都是非常有价值的。在这一点上，几乎每个在网上做生意的公司都是如此。在过去几年里，对视觉和语言的模型开发已经创造出了用于解释图像和文本的重要的商业新技术。开发良好的人类模型将是下一个研究领域。

当然，理解人类思维的运作原理不仅仅是使计算机更好地与人交互的一种方式。犯错和思考过多正是人类认知的特点，它们之间的权衡也是任何现实世界智能主体都面临的权衡。尽管存在显著的计算约束，人类仍是智能系统中令人惊叹的例子。我们非常擅长制定战略，这使我们无须太辛苦地工作便能够很好地解决问题。理解我们人类如何做到这一点，将使计算机朝着更智能而非更辛苦地工作迈出一步。 s2ZMPz7oYilQg2DDsHV/zlt6Kksb62/C0T1JMOVZaG7i+NNa3le/XwQROKsiwCpR