下载掌阅APP，畅读海量书库
立即打开
We are in a much more complex situation today than Wiener foresaw, and I am worried that it is much more pernicious than even his worst imagined fears.
我们今天的处境比维纳预想的要复杂得多，我担心这比他预想的最糟糕的情况还要糟糕得多。
罗德尼·布鲁克斯
Rodney Brooks
罗德尼·布鲁克斯是一名计算机科学家，麻省理工学院机器人学荣誉退休教授，麻省理工学院计算机科学实验室前主任，以及Rethink Robotics的创始人、董事长兼首席技术官。著有《肉体与机器》（ Flesh and Machines ）。
在埃罗尔·莫里斯（Errol Morris）1997年的纪录片《快速、廉价、失控》（ Fast, Cheap and Out of Control ）中，机器人专家罗德尼·布鲁克斯与驯狮师、拓扑学家和裸鼹鼠专家一起亮相，一位评论家描述布鲁克斯“眼睛里闪烁着一丝微笑”。但大多数幻想家都是如此。
在他几年后的职业生涯中，作为一名世界一流的机器人学家，布鲁克斯提出“我们把人类过度超人化了，其实人类只是机器”。他接着又描绘了即将到来的人工智能世界，在这个世界里，“我们和机器人的区别将消失”。他还承认他有一种分裂的世界观。“就像信仰宗教的科学家一样，我有两套完全不同的观点，在不同情况下会采取不同的观点。”他写道，“我认为，正是这种在不同信仰体系之间的超越，使人类最终能够接受机器人是有情感的机器，然后开始同情它们，并赋予它们自由意志、尊重并最终赋予它们权利。”
这些观点提出于2002年。在这篇文章中，他的观点虽然狭隘却更偏执。他认为，由于软件工程的快速发展，我们越来越依赖无处不在的那些系统，它们不但具有剥削性，而且还非常容易受到攻击。人类对这些系统如此依赖令他感到震惊。他说软件工程的发展速度已经超过了实施可靠有效的保障措施的速度。
数学家和科学家们常常受限于他们工作中使用的工具和隐喻，无法看清他们特定领域之外的大局。诺伯特·维纳是这样，我想我也是这样。
当维纳写下《人有人的用处》一书时，他正处于将机器和动物简单地理解为物理过程的时代的末尾，以及将机器和动物理解为计算过程的我们当下这一时代的开端。我猜想，未来会有一个时代，在那个时代所用的工具看起来与维纳所处的两个时代所用的工具截然不同，就像那两个时代的工具本身也彼此不同一样。
维纳是早先那个时代的巨人，使用的工具是自牛顿和莱布尼茨时代以来发展起来的，用于描述和分析物理世界中连续过程的工具。1948年，他出版了《控制论》，“控制论”这个词是他杜撰的，借指机器和动物的通信和控制科学。今天，我们将该书中的思想称为控制理论，它是设计和分析实体机器不可或缺的学科，却忽略了维纳关于通信科学的主张。维纳在第二次世界大战期间，对高射炮的瞄准和发射机械的研究工作在很大程度上推动了他的创新。他将数学的严谨性引入到各种技术的设计中，而在以前，从罗马排水系统到瓦特的蒸汽机再到汽车的早期发展，这些技术的设计过程本质上多是启发式的。
我们可以想象，如果当时没有艾伦·图灵和约翰·冯·诺伊曼——他们都为计算基础做出了重大贡献，那么我们的智力和技术史就会出现不同的版本。图灵在他的论文《关于可计算数及其在判定问题中的应用》（On Computable Numbers, with an Application to the Entscheidungsproblem）中设计了基本的计算模型——现在称为图灵机，该论文撰写并修订于1936年，于1937年发表。在这些机器中，使用有限字母表的一条写有符号的纸带对输入的计算问题进行编码，并为计算提供工作空间。每个单独的计算问题需要不同的机器。后来，其他人的工作表明，在一个特定的机器中，也就是通用图灵机中，任意一组计算指令可以在同一纸带上编码。
在20世纪40年代，冯·诺伊曼开发了一种抽象的自复制机器，称为元胞自动机。在冯·诺伊曼的设定中，元胞自动机占据了二维无限正方形阵列的有限子集，每个正方形格子中写有来自29个不同符号组成的有限字母表中的单个符号，而无限阵列的其余部分开始为空白。所有方格中的单个符号步调一致地变化，变化规则都是基于该方格中的当前符号及其相邻符号而制定出来的，虽然复杂但有限。按照冯·诺伊曼提出的复杂规则，大多数方格中的符号保持不变，只有少数几个符号每次发生一些变化。因此，当我们观察非空白方格时，似乎能看到一个恒定结构，里面在发生一些活动。
当冯·诺伊曼的抽象机器复制时，它在平面的另一个区域复制出自己。在“机器”里有一条水平方格线，它用有限字母表的一个子集作为有限线性磁带。正是这些方格中的符号对它们所属的机器进行编码。在机器的复制过程中，“磁带”可以向左或向右移动，它既可以被看成（转录）对在建的新“机器”发出的指令（翻译），又可以被复制，新的“磁带”副本被放在新机器里进行进一步复制。
弗朗西斯·克里克（Francis Crick）和詹姆斯·沃森（James Watson）后来在1953年展示了生物学上一个很长的DNA分子是如何具象化这样的磁带的，该DNA分子具有4个碱基的有限字母：鸟嘌呤、胞嘧啶、腺嘌呤和胸腺嘧啶，分别简写为G、C、A和T。
就像冯·诺伊曼的机器一样，在生物复制中，DNA中的线性符号序列先转录成RNA分子，然后再变成蛋白质、构成新细胞的结构，在这个转录过程中，DNA也在新细胞中得以复制和封存。
另一个基础性工作是冯·诺伊曼在1945年发表的《第一稿》（First Draft）报告，该报告描述了一种数字计算机的设计，其中冯·诺伊曼提出了一种既包含指令又包含数据的存储器。
这种计算机现在被称为冯·诺伊曼架构计算机，与哈佛架构计算机不同的是，哈佛架构计算机有两个独立的存储器，一个用于存储指令，一个用于存储数据。摩尔定律时代制造的绝大多数计算机芯片都基于冯·诺伊曼架构，包括那些驱动我们的数据中心、笔记本电脑和智能手机的芯片。从早期在哈佛大学和布莱切利园用电磁继电器构建的数字计算机到冯·诺伊曼的数字计算机架构的飞越，在概念上与专用图灵机到通用图灵机的扩展是相同的。此外，他的自我复制自动机与图灵机和基于DNA的生物细胞复制的机制在构造上具有根本的相似性。直到今天，关于冯·诺伊曼是否看出图灵机和他创建的两部机器之间存在交叉关系，学术界一直存在争论。图灵和冯·诺伊曼在普林斯顿大学期间，图灵完成了对论文的修改；而且，图灵在拿到博士学位后，几乎一直在继续做冯·诺伊曼的博士后。
如果没有图灵和冯·诺伊曼，维纳的控制论可能不会仅有短短的荣耀时刻，它会更长时间地主导我们的思维方式，驱动技术的发展。在这个想象的历史版本中，我们今天可能生活在一个真正的蒸汽朋克世界，而不仅仅在制造业博览会上看到它神奇的实例！
在我看来，维纳以一种特殊的方式思考世界，包括物理的、生物的和社会的世界。他把世界看成连续的变量，在《人有人的用处》第1章中他这样解释过，并通过吉布斯统计对热力学表示了赞同。他还在物理和生物实体之间加入令人难以置信的信息模型作为它们之间信息传递的工具。在我看来，近70年后的今天，从我们拥有的技术优势来看，他的工具似乎不足以描述构成生物体系的机制，而且他也没有想到类似的机制最终可能会融入技术计算系统中，就像现在一样。今天的主导技术根植于图灵和冯·诺伊曼的世界，而不是维纳的世界。
在第一次工业革命中，人类工人使用来自蒸汽机或水轮的能量取代了他们自己的能量。人类不再是体力劳动的能量来源，而变成调制器，研究如何使用大量能源。但是因为蒸汽机和水轮必须很大才能有效利用资金，而且在18世纪，仅有的用于空间能量分配的技术是机械的，只能在很短的范围内有效，所以许多工人需要挤在能源的周围工作。维纳预测，传输能量并将之转化成电能的技术将开启第二次工业革命。他说对了。现在，使用能量的地方可以远离能量源，从20世纪初开始，随着配电网的建立，制造业变得更加分散。
接下来维纳认为，另一项新技术，即他那个时代刚刚诞生的计算机器，将带来又一次革命。他谈到的这种机器本质上似乎既是模拟的，也是（也许是）数字的。在《人有人的用处》一书中，他指出，由于这些机器能够做出决定，蓝领工人和白领工人可能会沦落为更大机器上的齿轮。他担心，由于机器的这种能力所催生出的组织结构可能会使得人类彼此利用甚至是相互滥用。在过去的60年里，我们确实看到了这一切的发生，而且还远远没有结束。
然而，他基于物理学的计算观使他没有意识到事情会变得多么糟糕。他看到机器的交流能力能为我们提供一种全新的、无人性的指挥和控制方式。但他却没有看到，几十年内计算系统会变得更像生物系统，而且根据他在那本书第10章中对自己在生物学某些方面的建模工作的描述，他似乎低估了和物理学相比生物学的复杂性。我们今天的处境比他预想的要复杂得多，我担心这比他预想的最糟糕的情况还要糟糕得多。
在20世纪60年代，计算是牢固地建立在图灵和冯·诺伊曼奠定的基础上的，它是数字计算，以他们所使用的有限字母表为基础。一个由有限字母表中的字符构成的、任意长度的序列或字符串，可以被编码为唯一的整数。和图灵机一样，计算的形式变成了计算单个整数值输入的整数值函数。
图灵和冯·诺伊曼都逝世于20世纪50年代，当时他们就是这样看待计算的。他们既没有预见到摩尔定律会带来计算能力的指数增长，也没有预见到计算机器会变得如此普及。他们还没有预见到计算模型的两个发展，每一个都对人类社会构成巨大威胁。
第一个发展源于他们所采用的抽象概念。50年来，摩尔定律推动了软件生产大赛，新的软件被不断生产出来以充分利用每两年翻一番的计算机能力，而工程学科的谨慎和检验传统却被搁置一边。软件工程发展速度快，容易发生故障。这种没有正确标准的软件的迅速发展，为利用冯·诺伊曼架构中将数据和指令存储在同一存储器的特征，开辟了许多途径。最常见的一种路径称为“缓冲区溢出”，它将一个大于程序员预期的输入数字或长字符串溢出到存储指令的地方。通过仔细设计一个迄今为止特别大的输入数字，使用软件的人可以用程序员不打算使用的指令感染它，从而改变它的行为。这是创建计算机病毒的基础，之所以命名为“计算机病毒”，是因为它与生物病毒相似。生物病毒将额外的DNA注入细胞，而细胞的转录和翻译机制盲目地解释该额外的DNA，产生可能对宿主细胞有害的蛋白质。而且，细胞的复制机制会让病毒大量增殖。因此，一个小的外来实体可以控制一个更大的实体，并以意想不到的方式改变后者的行为。
这些及其他形式的数字攻击使我们每天的日常生活不再有安全感。现在我们几乎一切都依靠计算机。我们的电力、燃气、道路、汽车、火车和飞机等基础设施依靠计算机，这些都是不堪一击的。我们依靠计算机来管理我们的银行业务、账单、退休账户、抵押贷款、商品购买和服务。同样，这些也是不堪一击的。我们的娱乐活动依靠计算机，我们的商业和个人通信、国内安全、了解到的世界信息，以及投票系统都依靠计算机，所有这些都是脆弱得不堪一击的。这一切不会很快得到解决。与此同时，我们社会的许多方面都可能受到恶性攻击，不管攻击来自职业罪犯还是民族国家的对手。
第二个发展是计算不再是简单的计算功能。相反，程序持续在线，因此它们可以收集一个查询序列的全部数据。按照维纳、图灵、冯·诺伊曼的方案，网络浏览器的通信模式是：
用户：请显示A网页。
浏览器：这就是A网页。
……
用户：请显示B网页。
浏览器：这就是B网页。
而现在的通信模式是这样的：
用户：请显示A网页。
浏览器：这就是A网页。（同时我默默记下你曾要求访问A网页。）
……
用户：请显示B网页。
浏览器：这就是B网页。（同时我注意到它的内容与前面请求的A网页之间的相关性，因此我将更新您，即用户的模型，并将其传输给生产我的公司。
当机器不再简单地计算一个函数，而是保持一种状态时，它就可以开始通过呈现给它的请求序列，对人类进行推断。当不同的程序在不同的请求流之间相互关联，例如，将网页搜索与社交媒体网站相关联，或者与在另一个平台上的支付服务相关联，或者与在特定广告上的停留时间相关联，或者与用户使用带GPS功能的智能手机时所经过的位置相关联。这时，由许多程序构成的总系统，由于程序之间互相沟通，以及它们与数据库的通信，会带来全新的隐私泄漏。许多美国西海岸公司所做出的巨大剥削性飞跃，是在没有得到那些与计算机平台交互的人员知情同意的情况下将这些推断货币化。
维纳、图灵和冯·诺伊曼无法预见这些平台的复杂性，在这些平台上，条款合同中有许多艰涩难懂的法律字眼，人们不清楚这些条款的具体含义就自愿签订，这使得他们放弃了那些在与其他人一对一的交易中绝不会放弃的权利。计算平台已经成为一种屏障，在其背后，一些公司不人道地剥削他人。在某些国家，政府操纵这些平台，其目的不是利润，而是镇压异议。
人类已经陷入困境：我们正被一些公司剥削，这些公司提供了我们渴望的服务，但与此同时我们的生活却依赖于许多软件系统，这些软件系统极易受到攻击。让人类摆脱困境将是一个长期任务。它将涉及工程、立法以及最重要的，道德领导力。道德领导力是最重要的，也是最大的挑战。