下载掌阅APP，畅读海量书库
立即打开
认知变革将提升人类的生活，为了避免低估这种可能性，我们必须认识到：复制子跟载体存在不同的利益。我将给出最后一个例子，以说明基因目标跟载体目标不同，这一情形会发生在拥有灵活智能和弱约束目标的载体身上。这是一个生动的思想实验（一种想象，以便激发我们的直觉），由丹尼尔·丹尼特提出（1995，422-427）。这个实验出现于他的一本书中，标题是《通向未来的安全通道》（A Safe Passage to the Future）。我在这里打算把它润色一番。想象一下，这是2024年。世界上出现了一种低温冷藏室，能把我们的体温降到绝对零度附近，保存它们，这样的话也许未来有一天，医学技术就能让我们活得更久，甚至长生不老。假设你想把自己保存在低温冷藏室里一直到2404年。那时，你走出冷藏室，看着眼前一个陌生的、光怪陆离的新世界，那时的医学或许能让你永远活下去。问题来了，你要如何着手“维护通向未来的安全通道”？也就是说，你得想办法，要让你的低温冷藏室能保留到那时，而不是在此之前被毁掉。记住，你不可能日复一日地在它周围转悠。
一种策略是为你的低温冷藏室找一个理想地点，以便它能在随后的四百年里高枕无忧。这个地点应该能对抗自然界的种种挑战，比如风吹日晒，还能获得各种防护（也许还能用日光提供能量）。这一策略的危险在于，你可能运气很背，找错了地方。未来的人类可能觉得，你选的地方最好是建造地球上的第一百万个购物商场。他们根据当时的法律剥夺你旧有的产权——这一点殷鉴不远，我们现在就在美洲印第安人的古代坟地上盖购物商场。因此，这种留在原地不动弹的策略有问题。它也许可被称为“植物”策略。
另一种策略代价更高昂，可被称为“动物”策略。你可以建造一个巨大的机器人，它具备传感器和大脑，还能移动。接着，你把自己的低温冷藏室放在机器人体内。机器人的终极目标就是保护你，避免危险。要是它面临不利状况，就带着你一起自行移动，远走高飞。当然，为了生存，机器人还需要完成许多其他任务。比如，它必须保证能量来源，它的身体不能太热，等等。
除此之外，你的机器人还需要有相当高的智能，这样，它就能在自己所处的环境中，对人类和其他动物的行为做反应。它自然会按照推荐路线走出购物商场，也能仅仅出于好奇心，就及时避开能把自己踩翻在地的大象群。不过，请注意，你的机器人运作起来很复杂，因为这个世界有很多像它一样的机器人，它们到处游荡，寻找食物和藏身之地。请你在想象中，用魔法变出数百家机器人公司。这些公司主动寻找客户，把更便宜的机器人推荐给他们；而且，这些新推出的机器人比2024年最早的一批同类具有“更多功能”。市场上，景区里，到处都是机器人。政府也许会着手开展调控机器人产业，甚至把机器人隔离在某些沙漠地区。美国有些州可能会想办法促进低温冷藏室机器人产业的发展，不再监管，让这些机器人在该州自由游荡。现在不少城市都在做同样的事：它们绝望至极，花力气吸引废物管理产业，以便“创造就业机会”。
你的机器人需要完成的任务，跟其他的机器人一样，变得越来越复杂。因为，这些机器人可能被植入了某些生存策略程序，这些程序会鼓励它们跟你的机器人交往。某些不靠谱的公司会卖次品机器人，它们为了削减成本，故意降低机器人功率。这跟我们现在的个人电脑面临的情形差不多，你必须购买额外的内存条，可事实上，这些内存条就应该第一时间安装在电脑中。需要及时升级的软件，也是这种情况——还是回到机器人这边。这些不靠谱公司给次品机器人植入程序，唆使它们殴打其他机器人，盗用对方的电源。
显然，你一定希望自己的机器人避开所有的潜在威胁，希望它的目标不受干扰。这毫无疑问。可是，不是跟其他机器人的所有交往都这么简单。事实上，这里的要点在于，你的机器人面临的数百年后的决策，是身在2024年的你难以想象的。请思考下面两种情况。
场景A。这是2304年，距离将来你被解冻的那一天还有大概100年。你的机器人遭到殴打，它的电路出了故障。很可能它只能活到2350年了，那时它将崩溃，只留下你的低温冷藏室和它的电源。你无法移动。现在，你所在的地方容易受到各种因素和历史的影响，这就跟“植物”策略面临的不利状况如出一辙。不过，自从2024年以来，低温冷藏产业进展迅速，这时可能已出现了超级油轮大小的机器人，它们能携带数以百计的低温冷藏室。不少公司实际上已发现了这个市场空隙，于是，他们以旧换新，推出了下面的交易方式：超级油轮公司答应从旧有的单个机器人体内取出低温冷藏室，把它继续保存150年；这个时间对你来说绰绰有余，非常充裕。作为交换，机器人答应让公司把它拆除，重新使用它的某些部件（这个，就像未来的精算师以难以忍受的效率计算出一分钱的一百万分之一，也比在装有数千低温冷藏室的超级油轮中再加一个额外冷藏室要值）。
现在，想一想，你会让自己的机器人如何抉择？答案显而易见，你想让它牺牲自己成全你，以便你的冷藏室能保存到2404年。机器人毁灭，你活了下来，这对你有好处。从设计者角度来看，机器人仅仅是一个载体，一个容器。你现在就处于类似基因的位置上。你设计了一个载体，以便保证你的生存、你的利益，甚至在必要的时候，你命令这个载体自毁来保护你。
如果冷藏室成员在这个例子中代表基因，那么，机器人代表谁呢？毋庸讳言，机器人就是我们自己。悟到这一点，我们在思想实验中的忠诚立刻转向。当机器人面对这场交易的时候，我们现在就想大声疾呼：“不要做！”
让我们再看一个例子，它将揭示弱约束控制中的一些悖论。
场景B。你的机器人跟另一个单身机器人达成了一项互惠利他协议。就像某些类型的吸血蝙蝠一样，当一个机器人电量不够用时，另一个机器人可允许它插入插头，从自己身上获取电量，以便熬过一段特别脆弱的能量匮乏期。在吸血蝙蝠的例子中，如果某只蝙蝠好几天都没有收集到足够的血液，它的朋友就用反哺的方式给它补血。你的机器人利用同样的互惠利他协议，提高了它自己的生存机会。然而，你的机器人不知道，当好朋友从它身上吸收电量的时候，也会同时从低温冷藏室汲取能量，而这会破坏冷藏室，你也就没法成功被冷藏到2404年了。
这真是一个悖论：通过签署协议，你的机器人提高了自身生存的机会，没想到这样却损害了你，降低了你生存的机会。在场景B中，意识到这一点极为重要，要是你的机器人拥有较少的计算能力，你的处境会更好。假如它体内植入了这样一个简单的指令，“永远不要跟任何机器人或人类签订协议”，你在场景B中将安全无虞。随着机器人的心理变得越来越复杂，拥有的计算能力越来越强，它就越来越有可能为自己打算，而不是为你服务了。
当然，在场景A中，存在一个明显的推论，我前面没有提及。但它其实是本书的一个主要话题，一个具有自我意识的机器人，也许会重新考虑自己的角色——它是你的奴隶，被你奴役。事实上，你一动不动，像个死人，它甚至都不认识你。而且，机器人现在作为一个自主性的实体而存在，它为什么不干脆把你扔到沙漠里，然后做自己想做的事呢？而它居然允许自己被拆得七零八落，保证你能登上超级游轮，好撑到2404年——太异想天开了！当你思考这个场景时，我们应该把下面的话告诉给 我们 的程序员：它们这些不速之客（指被冷藏的家伙）就是基因。曾几何时，它们进入我们的身体，还想以我们为跳板，要我们做牺牲，追求永垂不朽。