自动化的极限

今天我想谈的最后一组限制是自动化方面的限制，这些限制在很多方面密切相关。一方面，它们限制了我们通过将任务外包给机器来完成的目标。另一方面，同样的限制也决定了哪些任务依然需要我们去完成。后者很重要，因为我们关注的是盖茨和马斯克所提到的目的问题。我们明天会回到这个话题，但这里我只是想提出来，自动化的限制可以是矛盾的，可以以这两种方式对乌托邦的愿景提出挑战：因为不能将工作负担全部转移给机器，我们不得不继续承受这些负担；或者因为我们将工作负担全部转移给机器，我们变得无用或者失业。

除了这个两难问题，我们可能还会好奇这个问题：如果未来一切顺利，还有哪些工作需要我们亲自去做——凯恩斯关于每周工作15小时的预测是否会实现，或者是否会出现一种更极端的情况，让我们根本不工作。

* * *

我想在这里首先解决一个基本问题，即人们有时低估了完全自动化工作所需的条件。

例如，有些人可能会看着一个DJ（唱片骑士）说：“我们已经有技术可以自动化这份工作了。我们可以编一个播放程序，让唱片在整个晚上自动播放，不需要任何人工干预。”然后，当看到人类DJ实际上仍然在被雇用时，他们可能会得出结论，即使有些工作可以自动化，很多情况下它们仍然会由人类完成。

这是为什么？也许是因为当客户负担得起的时候，他们更喜欢人类的服务。有些人可能会说：“嗯，自动DJ是可以完成这项工作的，但你知道，这根本不是一回事。总会有一些独特的人类触感，是机器永远无法完全复制的。”

我认为，即使这种推理可能接近正确的结论，它得到这个结论的方式也还是太仓促了。如果我们放慢速度，更仔细地观察一下，就可以获得更多深刻的见解，并形成更精准的直觉（这在后面会很有用）。

试想一下，我们今天可以轻松地制造一个自带播放列表的唱片机，然而它真的能够完成DJ的工作吗？显然不是。例如，一个好的俱乐部DJ会利用对某种音乐类型的专业知识来选择合适的曲目，他可以实时选择，观察人群反应并决定何时逐渐增强过渡音乐，何时低缓转场，何时播放一首劲爆的歌曲。他可能在一堆闪烁的设备后面跳来跳去，看起来很忙；他可能会大声喊叫或即兴演讲，会散发出具有传染性的积极能量。他可能会与人群混在一起，参加派对后的聚会。一个知名DJ的出场演出可以向潜在客人发出“这将是一个重要的夜晚”的信号，从而成为所有喜欢这场表演并与志同道合的人一起享受派对的人的灯塔。

鉴于唱片机在所有这些方面的相对缺点，人们对人类DJ的需求仍然存在也就不足为奇了。然而，除非这些缺点在技术成熟时仍然存在，否则这并不能说明人类就业的最终前景。

显然，随着技术的进步，这些缺点将被克服。一个机器人DJ将能够选择合适的播放列表，观察人群并做出适当的反应，也会跳舞并看起来很忙。它还可以参加派对后的聚会，与客人闲聊，甚至会提出或回应浪漫的话题，为什么不呢？原则上，它也可以获得声誉，从而发挥名人DJ的号召力。

我们可以对许多其他职业提出同样的观点。以治疗师的职业为例，当技术成熟时，机器人心理医生将具备超凡的共情能力、心理洞察力和适症治疗的能力，并且能够记住患者说的每一句话。它能从数百万次的先验接触中学到知识，并确定什么有效、什么无效。因此，它将知道如何倾听和回应。它会使用正确的语气、正确的面部表情和正确的肢体语言。如果不完美的地方能改善患者体验，它甚至会表现出恰到好处的不完美，却不会像好莱坞电影中那样过于顺滑或怪异。它将非常擅长扮演治疗师的角色。

我说这些是为了确保：当试图找到自动化的最终限制时，我们就能勾勒出正确的情景，即拥有技术成熟的全部手段，包括造出的机器人同样具备出色的人类从业者所拥有的认知、体能和表达能力。当然，它们的能力远不止这些。

那么让我们思考一下：在技术成熟的情况下，有哪些事情不能由机器更好地完成？

感知和道德承受力

关于治疗师和DJ的例子：假设在这些环境中，我们想要的不仅仅是外部行为（甚至在所有的微妙之处，如我所描述的那样），也包括人类从业者在执行这些任务时的内在体验。客户可能不仅希望自己的治疗师表达同情，还希望治疗师真正感到同情。聚会上的狂欢者可能希望DJ是在真正地享受音乐，而不是表现出很享受的样子。

如你在讲义2中所见，我列出了在技术成熟的情况下，我们可以制造出具有意识体验的机器人和数字心智。这个推论在很大程度上基于以下3点假设：计算主义，人类是有意识的，技术成熟清单上的其他技术是可行的。我在这里就不详细阐述计算主义心智理论的案例了，因为你可以在各种文献中读到此类讨论。事实上，即使弱化计算主义假设的重要性，我们也可以得出结论：构建人工感知心智是可能的。

因此，机器人治疗师或机器人DJ在这一“内在维度”上也可以表现出色。例如，它们能比典型的人类同行更沉浸于当下的现象，而后者的思想可能会偶尔飘到他们回家后需要做什么之类的事情上。

但这里出现了一个术语问题。如果某项工作被外包给了一个有感知的机器人，这就真的意味着实现“自动化”了吗？这难道不是更像另一种情况，即我们养大了一个拥有特殊才能的人，他长大后成为该行业的大师，从而使以前的从业者退休？在这种情况下，说这份工作已经自动化似乎并不恰当。而且，我们很难看出新的工作者是由硅和钢构成，还是由有机化学构成，以及这会产生什么本质上的区别；很难区分它产生于工厂还是卧室；说不清它的童年可能被缩短的事实；也分不清它的特征到底是精心设计的结果，还是偶然和遗传的结果。

如果有感知的机器人被某人当作财产，这可能会使我们更倾向于说“所执行的任务已经实现自动化”。但有争议的是，这就像在说一个奴隶社会已经让奴隶所执行的任务“自动化”。

我认为，基于机器人的具体构造情况，人类奴隶制与人类拥有的用于执行任务的感知机器之间可能存在深刻的伦理差异。这些可能是根本性差异，以至于将这些感知机器称为“奴隶”是不合适的。也许我们需要引入新的术语来表达这些情况：不是自动化，不是奴隶制，而是某种新颖的第三类。

我不想在这里陷入术语问题的泥潭。假设我们接受这样的观点，即有感知的劳动不是“自动化”，那么，我们可以立即识别出有可能限制我们自动化能力的两种形式。

一种是也许对于一些产品或服务，客户更喜欢由有感知的存在体完成，比如上文提到的治疗师和DJ的例子（也许有些人只希望他们所面对的实体在互动时真正体验到意识），那么这些工作就无法完全自动化。

另一种是某些特定的行为表现必定会产生意识体验的副作用。例如，任何能够在非常广泛的情况下，在较长时间内表现得非常像人类的认知系统，可能只能通过执行实时现象体验的计算来做到这一点。我现在先不去评价这种情况是否属实。但如果是这样，这种自动化的限制就是某些复杂行为或互动需求的满足过程必定伴随着感知的生成。因此，如果我们不将感知过程视为自动化，这些工作所要求的表现可能就无法完全自动化。

我在这里对感知的讨论也适用于道德地位。如果感知不是道德地位的必要条件，比如，如果某些非感知的行为体凭借其他能力足以获得道德地位，那么可能有些工作只能由具有道德地位的系统去完成（如需要在复杂环境中灵活追寻目标的行政职位或许多其他角色）。而且，如果将任务委托给具有道德地位的系统去完成并不算作自动化，那么这又是自动化可能性的一个限制。

重要的是，我们要意识到，即使有些任务只能由有感知的劳动者或具有道德地位的劳动者来完成，也不意味着会有工作是专门留给人类去做的。因为这些任务可能由非人类的人工系统来完成，这些系统具有感知力或道德地位。这些“机器”（称它们为机器并没有错，它们将是高科技工程机器人和计算机）在性能或行为规范等外在表现上，以及在主观心理生成、实现广泛的道德地位的基础属性方面，将远比我们高效。

自动化的其他潜在障碍有哪些？

法规

政府可能会禁止在某些行业中使用自动化，或者对其征收重税，以至于即使在技术成熟的情况下，人类劳动也能保持竞争力。当然，当我说“保持竞争力”时，我指的是在现行法规下雇用人类来完成工作是高效的。与更自由放任的制度相比，这些法规本身可能非常低效，它们会减少经济总量。机器的技术优势越大，阻止其使用的成本就越大。

还有一种可能性是，某些工作已经受到了现行法律的保护，因此可以免受自动化的影响。例如，法律可能会规定只有人类，而不是同等资格的智能机器，可以担任立法者、法官、公证人、行政官员、受托人、公司董事会成员、监护人、总统、君主和其他类似的角色。不过，法律是可以改变的。除非保留此类针对人工智能的法律限制有充分的理由，否则上面这些工作一定会受到自动化的影响，可能并不比电话接线员和旅行社的工作强多少。

地位象征

一些重要人物会在自己周围安排仪仗队，其工作就是让人看起来庄重且值得仰慕。同样，高端酒店也可能在主要入口处安排穿制服的人员，以使客人感到自己很重要。这些工作若是给假人，它们就做不好，即使它们打扮得和真人差不多。

实际上，人类行屈膝礼和鞠躬的能力可能是最难自动化的属性之一。尽管假人具备向顾客致意的机动能力，但至少在这种装置不再是新奇事物之后，许多顾客可能更喜欢由人类工作人员提供相应服务。一个可能的原因是，人类服务可能是一种地位象征，而机器人则不是，即使机器人在外观和功能上与人类相似，甚至难以区分。以后，人类身份也可能仅通过专家认证才能确定，但它仍然是决定价值的重要因素，就像大师的原创艺术品比那些以假乱真的复制品更有价值一样，也许是因为拥有原件比拥有复制品更能彰显名望。

由于只有人类可以生产“由人类提供的商品和服务”，在强调地位的经济领域中，人类依然可以保持经济竞争力。

我们之前在讨论增长限制时就提到过地位这个话题。那里的观点是地位的产生是有限的，这里的观点是某些地位的产生需要人类劳动。

未来的地位游戏可能会发生变化，不同的事物可能会成为地位的载体。即使其发生了变化，某些最初因能够赋予地位而被重视的事物可能仍然会因为一种意志的惯性而被重视（我稍后会将其描述为价值的“内在化”过程）。

团结

消费者有时会愿意为某些特定团体生产的商品支付更高的价格，如同胞、本地企业、“公平贸易”生产者、名人、与买家有私人或文化关系的制造商。相反，像“血汗工厂”、工厂化农场和机械化大规模生产等生产过程，有时会降低它们所生产商品的市场价值。

为什么会这样？有时，溢价反映了消费者对产品内在质量的感知差异，这种因素反而会支持自动化，因为与自动化生产相比，人类生产的产品在客观上是不如自动化生产的产品的。另一种可能的原因与之前讨论过的地位动机有关，消费者偏好某些生产者也可能是基于一种团结感。出于推广或帮助某个特定供应商的考虑，你可能经常在经济上或其他方面给予支持。如果至少有一些未来消费者希望人类能继续有工作机会，那么他们可能会为人类生产的商品和服务支付高价，足以使其与机器生产的替代品相比更具竞争力。（我们以后将在“目的的礼物”这一主题下重新讨论这种可能性。）

宗教、习俗、怀旧情感和特殊兴趣

我为这个类别的混杂组成而道歉，但我需要把这些话题放在一起，也许回头我可以更好地组织它们。这些话题的共同点是它们展示了人们可能有一种偏好，即某些任务必须由人类完成，不是因为那样做显得更有地位，也不是因为能获得团结感，而是因为在满足需求的过程中，存在一种更直接的构成关系。

宗教： 一个机器人牧师即使具备与人类相同的言行能力甚至感知能力，也无济于事。

习俗： 人们可能有理由要保留某些仪式或传统，可能需要特定的人类从业者来执行这些仪式。

怀旧情感： 孩子用蜡笔绘制的作品可能对父母来说特别珍贵，正是因为这是他们的孩子创作的。这种劳动可能比神经外科医生或衍生品交易员的工作更难自动化。

特殊兴趣： 以职业运动员为例，人们可能更喜欢看人类（或猎犬和马）比赛，而不愿看机器人比赛，哪怕后者在各方面技能和身体素质上都更优越。

信任和数据

还有一些更实际的潜在人类优势来源，也可能导致对人类劳动力的持续需求。这些优势与认知限制有关，即使在技术成熟期，这些认知限制也可能存在，尽管它们最终可能会随着时间的推移和经验的积累而消失。

其中的一种认知限制是信任。假设一个AI可以完成所有人类能做的事情，并且实际上与人类一样值得信任或更值得信任，但我们可能无法知道这一点。在有些任务中，信任有着至关重要的作用。我们可能更愿意让一个经过考验且值得信赖的人来完成这些任务，或者亲自动手，而不是将其委托给人工系统，因为人工系统对我们来说还是相对陌生的。在高风险决策中，要最大限度地保证安全就不得不接受效率的降低和额外的成本。涉及监督AI的一些工作可能属于这一类别。

原则上，无论机器变得多么高效，这种不信任都可能限制自动化的采用。然而，如果人工系统逐渐积累了与人类决策者相媲美的（或超越人类决策者的）可信记录，或者我们发现了其他能验证人工系统的可靠性与一致性的方法，信任障碍可能就会消失。随着时间的推移，也许机器会比人类更值得信赖。

另一个人类可能具有认知优势的领域是，人类可以作为某些类型的数据的来源。AI将在智力和一般知识方面超越我们，但我们可能仍然有一些东西可以贡献，当涉及关于我们自己的信息，如我们的记忆、偏好、性格和选择等，我们对其中一些信息拥有一种特殊访问权，可以想象，人类可以通过提供口头描述或允许自己作为研究对象来向机器传递这些信息并获得报酬。

同样地，作为人类特征的主要数据来源而谋生的机会也可能只是暂时的。这是因为给定系统的数据通常会呈现递减收益，并且随着越来越多的数据进入公共领域，额外数据流的价值就会降低。最终，超级智能可能会无比精准地构建人类模型，以至于它们几乎不需要额外的数据输入来预测我们的想法和欲望。它们可能不仅比我们更了解我们自己，还可能了解我们到如此透彻的地步，以至于我们告诉它们的任何事情都不会显著增加它们的知识。

我们可能会依赖AI的评估，发现它们做出的即时判断比我们自己做出的更具一致性且预测性更强，尤其是那些涉及我们长期最佳利益的决定（或者那些我们在仔细反思所有相关事实的情况下做出的决定）。

最终，即使是决定我们到底想要什么的责任，也可能会从我们肩上卸下。

然后，我们就这样……（戛然而止。）

马上就到下课时间了吗？

明天见！