下载掌阅APP，畅读海量书库
立即打开
赵汀阳
和其他生物一样，人的实体存在也是一种自然生物，但人创造了文明，所以我们经常从精神上去定义人，且定义方式多种多样，其中有两条特别重要的定义路径：（1）按照古希腊传统，可以把人定义为理性精神，即人的本质在于理性思维；（2）按照儒家传统，把人定义为人际关系中的人。孔子的这个定义采用的是关系性的循环解释，比亚里士多德的“属加种差”定义方式要复杂一些。孔子的定义方式类似于现代公理系统对基本概念的定义方式。孔子的意思是，一个人无法根据自然性把自己定义为人，而必须在与他人的关系中才能被定义。以现代的表述来说就是：每一个作为生物的人，如果可以被识别为一个精神上的人，当且仅当他把别人识别为精神上的人。按照孔子定义的人的概念，人的关系先于人的本质。有趣的是，图灵所设想的“图灵测试”采用的也是关系定义，即如果一台机器在与人对话中能够被识别为人，那么它就是一个智能存在。不过，到目前为止，还没有一台机器能够通过图灵测试。其他还有一些比较重要的人的概念，比如，康德把人理解为具有理性自主性的主体性，马克思把劳动理解为人的本质，等等。
人是一个复杂概念，不可能化简为某种单一本质。比如，理性虽然是人的一个性质，但我们很难由此就认为动物没有理性。理性的一个基本原则是风险规避，从行为上看，动物的风险规避能力似乎高过人，或者说，人比动物更愿意进行非理性的冒险。还有，理性要求价值排序的逻辑一致性，在这一点上，动物也强过人。人总是欲望太多，贪得无厌，经常陷于“布里丹之驴”的选择困境。所以只能说，人有着更强的理性能力，但同时人也有非理性的倾向。我可能无法给人一个完美的定义，但我认为，至少有两个特点对于人的概念是最重要的：（1）仁，即互相把他人识别为人；（2）理性反思的自我意识，即能够反思自己的行为、价值观和思想的合理性。
人的非理性是一个谜。不过，在这里我不是要讨论心理学的潜意识或无意识之类的问题，而要讨论的是有着自觉意识的非理性，也就是说，人经常以理性思维去实现非理性的目标。这正是人类的危险之处。人工智能和基因编辑的努力就是试图以理性思维去实现非理性目标的典型事例。长期以来，人类的技术发展都只限于技术的升级，而技术升级属于理性目标，但人工智能和基因编辑不仅是技术革命，而且是存在论水平上的革命，相当于人类自己试图发动类似于上帝的创世行为，它意味着人类试图改变人的概念。这种目标还是理性的吗？这是个大问题。
存在论级别的生命升级诱惑，即人试图变成另一种具有神性的更高级存在，这是现代主体性思维的一种极端梦想。
存在论级别的生命升级诱惑，即人试图变成另一种具有神性的更高级存在，这是现代主体性思维的一种极端梦想。追溯其根源，现代的主体性梦想其实始于中世纪的宗教信仰，这件事情听起来很悖谬，因为上帝的概念不可能蕴含一个革命性的人的概念，但事实上许多不合逻辑的事情确实就产生于矛盾之中。粗略地说，中世纪的僧侣和学者希望能够理解上帝的精神，而理解上帝就需要了解上帝创造的万物，因此，中世纪的人们研究了各种事物，从植物、动物到海妖、天文。尽管以现代知识标准来看，中世纪的研究大多数是不科学的，但其重要意义不在于科学性，而在于求知性。对万物的求知潜伏着一个颠覆神学的人文问题：既然需要研究一切事物，那么最应该研究人，因为人是万物中最为奇妙的存在，包含着上帝创世的最多秘密。事实上，“现代第一人”彼得拉克就是依照上述逻辑而发现了人的问题。一旦人对自己的反思成为一切知识的核心，人就占据了思想的核心地位，进而人就发现了，一切存在都只不过是“我思”的对象，于是，人的问题就高于一切问题。在此可以看到，正是宗教的知识追求培养了宗教的掘墓人。笛卡儿、贝克莱、霍布斯、康德等所建立的主体性将人定义为自主独立的存在，人成为万物的立法者，于是一个现代人的概念由此建构起来。后来，主体性概念不断膨胀，人拥有的天赋权利越来越多，以至已经远远突破了自然人的概念，成为一种“自定人”，即自己决定自己成为什么样的人。这意味着，人不满足于自然或上帝所创造的原本状态，也不满足于被社会和历史定义的事实，而可以成为自己想要的人。我们今天通常认同的现代人的概念正是“自定人”的概念，在这个意义上说，基因编辑的人或人工智能都是“自定人”概念的逻辑结果。
我们今天通常认同的现代人的概念正是“自定人”的概念，在这个意义上说，基因编辑的人或人工智能都是“自定人”概念的逻辑结果。
人为自己设立的主体性，或者“自定人”概念，就其内在逻辑而言，意味着以下意义。（1）人是具有自主意志和思想的主体，摆脱了上帝的精神支配，因此获得了存在论水平上的自由（也称形而上的自由）。（2）存在论水平上的自由意味着，人可以塑造自己，重新定义自己，甚至创造自身，也就是说，人获得了存在论水平上的完全主权。（3）存在论的主权意味着，每个人都是自己的逻辑起点，不再需要历史的起点，不再被历史说明，也不再被社会条件说明，更不需要被他人的观点解释，于是，个人高于历史、高于社会背景、高于自然性。简单地说，存在论水平上的自由就是取消历史、社会和自然对人的说明和规定。（4）既然每个人都不被历史、社会和自然定义，每个人都是自己的逻辑起点，那么每个人就都可以为自己选择人的概念，而选择人的概念就要选择“最好的”概念，即兼备一切优越功能的人。按照这个概念及其逻辑，人工智能和基因编辑就几乎势在必行。
起初，“自定人”的努力并没有显示出危险性，反而是人类的伟大成就。“自定人”的最初步骤只是教育，试图通过教化自然人，使之成为启蒙人，人类文明因此获得巨大的发展，进而出现了优生学，通过自然生殖的基因组合而造就更优秀的人。在当代，人们更进一步以政治权利之名去重新定义人，比如变性人、同性婚姻、女性主义之类。曾有新闻称，有一个欧洲人申请把出生日期从1949年改为1969年，理由是他对1969年出生的人更有认同感，所以决定变成1969年出生的人。虽然被拒绝了，但是他提出了难以反驳的论证，他认为，既然别人可以违背自然而进行变性，那么同理，他也应该可以违背自然而要求改变出生日期。这个新闻是否属实并不重要，关键在于这个人的论证很符合“自定人”的逻辑。可以想象，以此类推，人们只要愿意，就能够以主体性的名义提出种种要求。因此，只要具备技术条件，基因编辑和人工智能的出现都是必然的。正如宗教的知识追求培养了宗教的掘墓人，现代的主体性逻辑也同样培养了主体性的掘墓人——只要坚持主体性的概念。那么，基因科学创造的“超人”或者人工智能创造的超级智能就都是合乎逻辑的结果，而这种结果却很可能是对人类主体性的彻底否定。
上帝造人是一个神话，这虽然不是一个科学问题，但是一个重要的隐喻：上帝创造了与他自己一样有着自我意识和自由意志的人，以至上帝无法支配人的思想和行为。上帝之所以敢于这样做，是因为上帝的能力无穷大，胜过人类无穷倍，所以上帝永远都高于人。今天，人类试图创造有自我意识和自由意志的人工智能，可是，人类的能力将小于人工智能，因此这是一种自我否定的冒险。人类为什么敢于这样想？为什么敢于这样做？此种非理性的行为必须提前加以反思。
为什么人类所创造的现代神话不能见好就收，及时刹车以避免陷于无法控制的灾难？尽管越来越多的人意识到无限发展、无限解放所蕴含的危险，但很少有人能够抵抗发展和解放的巨大诱惑，即使是饮鸩止渴。这个困境并非一个单纯的技术进步问题，而在于整个现代性的逻辑，即化人为神所蕴含的内在矛盾。被神化的主体性有其两面，就像硬币的两面：一面是作为人类整体的主体神性，就好像人类是一体化的神；另一面是作为独立、自主、平等个体的众人，类似于诸神。问题是，主体性的两面价值并不一致，存在着自相矛盾，类似于硬币两面的面值不一致所导致的混乱。在实践上的结果是，对于人类整体的合理选择未必是每个人的合理选择，于是产生了现代社会一个无法摆脱的基本困境：个人理性的加总无法形成集体理性。这意味着，理性与理性的运用是矛盾的。既然现代的价值和利益的结算单位是个人，那么，理性用于追求个人利益最大化就必定优先于理性用于追求人类整体利益最大化，其逻辑结果就是使得最合理的集体选择成为不可能。
就目前所知，人工智能和基因编辑是主体性神话的最大冒险，也是“自定人”的极端形式，这些技术试图在物质上和精神上创造新概念的人类。我们无法排除其潜在的巨大风险，更严重的是，我们甚至无法预料哪些是人类无法承受的风险。从理性上说，人工智能和基因编辑是违背风险规避原则的工程。
人们似乎特别害怕人工智能的“超人”能力。的确，人工智能的能力正在不断超越人类，这是人们感到恐惧的原因。但是害怕人工智能的能力，其实是一个误区。难道人类不是寄希望于人工智能的“超人”能力来帮助人类克服各种困难吗？几乎可以肯定的是，未来的人工智能将在能力上远远超过人类，但这绝非真正的危险所在。每一样机器在各自的特殊能力上都远远超过人类，因此，在能力上超过人类的机器从来都不是新奇事物。水平远超人类围棋能力的AlphaGo Zero没有任何威胁，只是一个有趣的机器人而已；自动驾驶汽车也不是威胁，只是一种有用的工具而已；人工智能医生更不是威胁，而是人类医生的帮手，诸如此类。即使将来有了多功能的机器人，它们也不是威胁，而是新的劳动力。超越人类能力的机器人正是人工智能的价值所在，并不是威胁所在。任何智能的危险性都不在其能力，而在于自我意识。人类能够控制任何没有自我意识的机器，因此，没有自我意识的人工智能越强大就越有用。到目前为止，地球上最危险的智能生命就是人类，因为人类的自由意志和自我意识在逻辑上蕴含了一切坏事，事实上，人类也是最坏的生物。如果将来出现比人更危险的智能存在，那只能是获得自由意志和自我意识的人工智能。因此，无论人工智能的能力多么强大，都不是真正的危险，只有当人工智能获得自我意识，才会对人类构成致命的威胁。
那么，人工智能的升级奇点到底在哪儿？图灵机如何才能升级为超图灵机？或者说，人工智能如何才能获得自我意识？就技术层面而言，这个问题只能由科学家来回答。技术升级的加速度是一个事实，然而不能因此推论说，技术升级必然导致存在升级。技术升级指的是一种存在的功能得到不断改进、增强和完善；存在升级指的是一种存在变成了另一种更高级的存在。技术升级可以使某种技术达到完美，却未必能够使一种存在升级为另一种存在，也就是说，技术升级未必能够自动达到奇点。许多病毒、鱼类、爬行动物或哺乳动物都在功能上进化到几乎完美，但其技术进步并没有导致存在升级。物种的存在升级至今仍然是一个无解之谜。就人工智能而言，图灵机是否能够通过技术升级而发生存在升级，从而成为超图灵机，这仍然是一个疑问。更为合理的想象是，除非科学家为人工智能植入导致奇点的存在升级技术，否则，图灵机很难依靠自身而自动升级为超图灵机，因为无论多么强大的算法都无法自动改变给定的规则。我们可以通过数学系统的能行性的“数学惰性”来理解图灵机的“技术惰性”：一个数学系统在通过有限步骤生产出属于这个系统的任何可以证明的命题时，不可能自动产生对该系统本身进行反思的元命题，只有当哥德尔以自相关的技术强加于数学系统，迫使数学系统反思自身，才会产生出数学系统无法自我解释的反思性命题，即“哥德尔命题G”。由此可知，图灵机也不可能自动反思自身而创造出自我意识，不可能对自己提出超图灵机的反思性命题。
“图灵测试”以语言对话作为测试标准，是大有深意的，图灵可能早已意识到了语言能力等价于自我意识功能。思想可以映射为自然语言，而自然语言先验地具有自我反思的功能，也就是说，任何概念、语句、语法甚至整个语言系统都可以在语言自身中被反思并且被解释（比如，人类可以编写一本包含一种语言全部词汇的字典，也可以编写一本解释全部语法的语法书）。那么，只要图灵机能够以相当于人类的思想水平回答问题，就可以被确定为具有意识和思维能力的物种。人工智能有希望获得万倍于人的量子计算能力，还有各种超过人的专业算法能力以及所有专业知识，以及类脑神经网络和图像识别功能，再加上互联网内无穷信息的助力，人工智能应该有望在不久的将来能够“正确回答”专业科学级别的大多数问题，获得比如相当于高级医生、建筑师、工程师、教授所具备的专业知识。我相信将来的人工智能甚至能够回答宇宙膨胀速度、拓扑学、椭圆的标准方程、费马定理、黎曼猜想之类的问题，但这些只不过是人类事先输入的思想知识，就图灵机本身的能力而言，那不是思想，只是程序而已。具有完美能力的图灵机恐怕也回答不了超出程序能力的“怪问题”。
例如两种“怪问题”：一种是悖论，另一种是无穷性。除非在人工智能的知识库里事先人为设置了回答这两类问题的“正确答案”，否则属于图灵机的人工智能恐怕难以回答悖论和无穷性的问题。应该说，这两类问题也是人类思想能力的极限。人类能够研究悖论，但不能真正解决严格的悖论（即A必然推出非A，而非A又必然推出A的自相关悖论）。人类运用数学可以研究无穷性问题，甚至发明了许多相关定理，但在实际上，人类做不到以能行的方式“完全走遍”无穷多个对象而完全理解无穷性，就像莱布尼兹想象的上帝那样，“一下子浏览”了所有无穷多个可能世界。人类之所以不怕那些无法解决的“怪问题”，是因为人具有“不思”的自我保护功能，即可以悬隔无法解决的问题，在思想和知识领域建立一个暂时“不思”的隔离分区，以便收藏所有无法解决的问题，而不会因一条道走到黑而陷入无法自拔的思想困境。我想应该不会有人把p一直算下去，试图算出最后一位数。人类能够自觉地不让自己做傻事，但图灵机无法阻止自己做那种永远得不到答案的傻事。
如果你向图灵机提问：π的小数点后一万位是什么数？图灵机必定会苦苦算出来告诉你。如果你再问：π的最后一位是什么数？图灵机也会义无反顾地永远算下去。同样，如果你问图灵机：“这句话是假话”是真还是假？（改进型的说谎者悖论）图灵机也会永远分析下去。当然，提出这些“怪问题”属于故意刁难，对图灵机不公平，因为人类自己也解决不了。那么，为了公正起见，可以向图灵机提问一个有实际意义的知识论悖论（源于柏拉图的“美诺悖论”）：为了能够找出答案A，就必须事先认识A，否则，我们不可能从鱼目混珠的众多选项中辨认出哪一个是A；可是，既然事先已经认识了A，那么A就不是一个未知答案，而是已知的答案，因此结论是，未知的知识其实都是已知的知识。这一结论对吗？这只是一个非严格悖论，对于人类，此类悖论是有深度的问题，却不是难题，但对于图灵机来说恐怕就是一个思维陷阱。
这里试图说明的是，人类的意识优势在于拥有不封闭的意识世界，因此人类的理性有着自由空间，当遇到不合规则的问题时，人类能够灵活处理，或者如果运用规则不能解决问题，则可以修改规则，或发明新规则。与之不同，图灵机的意识是一个封闭的意识世界，是一个由给定程序、规则和方法所明确界定了的有边界的意识世界。意识的封闭性虽然有局限性，但并非只有缺点，事实上，人工智能算法的高效率就依赖着思维范围的有限性，正是意识的封闭性才能够求得运算的高效率，比如，围棋机器人AlphaGo的高效率正是因为围棋的封闭性。
目前的人工智能尽管有着高效率的运算，但尚无产生创造性的能力。我们尚未破解人类意识的秘密，所以也无法为人工智能建立一个自我意识、自由意志和创造性的可复制榜样，这意味着人类暂时安全。图灵机只有程序化的思维功能，无论程序化的能力有多强大，都不足以让人工智能的思维超出直觉主义数学的能行性概念或可构造性的概念，因此，目前的人工智能还不可能自己发明规则，所以尚无创造性。总之，虽然人工智能可以做人类力所不及的许多工作（比如超大数据计算），但仍然不能解释悖论或涉及无穷性的问题，也还不能发明规则，也就是说，人工智能暂时还没有比人类思维更高级的思维能力，只有更高的运算效率。但如果科学家在将来为人工智能植入反思功能和自主创造能力，那么人工智能就真的成为威胁了。
许多人相信，人工智能时代将导致大量失业，但我相信这不是大问题。大量失业并不新鲜，而是每一次技术革命都发生过的事情，比如说工业革命、自动化革命和互联网革命。事实上，每一次技术革命导致的失业问题都会因新的工作岗位的出现而得到解决。根据以往的经验，技术革命总是导致生产性的工作减少，但同时出现了更多服务性的工作以及知识生产的工作。在人工智能时代也很可能将会出现更多服务性的工作和知识生产的工作来解决失业问题。
但是人工智能时代可能会产生另一个更严重的问题：人类将基本告别体力劳动，从而失去身体性的劳动经验。失去工作，人类会发明新工作，但是失去身体经验，却无可替代。人类毕竟是身体性的存在，生活意义在很大程度上系于感性经验，主要包括劳动经验、待人接物经验以及娱乐经验。当人工智能取代了劳动经验和待人接物的经验时，人类就只剩下娱乐经验，生活经验将变得十分贫乏和雷同。也许在人工智能时代人们普遍能够达到衣食无忧，所有人都脱离贫困，但是，在欲望满足之后失去意义，或者说，在幸福中失去幸福，这非常可能是一个后劳动时代的悖论。所以，人工智能导致的大量失业只是暂时性问题，真正严重的是，失去劳动会使人失去价值，使生活失去意义，从而导致人的退化。在技术进步高奏幸福凯歌的现代时期，人们乐于想象技术进步是对人的解放，但情况似乎并非如此，技术进步似乎并未给人类获得自由创造机会，反而导致了人的异化。假如在未来，人类的生活就是在网络游戏之余苦苦思考什么是生活的意义，那将是最具反讽性的生活悖论。
假如人工智能发进步到不仅替代了大多数劳动而且提供一切生活服务，就非常可能导致人与人关系的异化。
还有一个比失去劳动更严重的问题，那就是人与人关系的异化。假如人工智能进步到不仅替代了大多数劳动，而且提供一切生活服务，就非常可能导致人与人关系的异化。当人工智能成为万能技术系统而为人类提供全方位的服务，一切需求皆由技术来满足，那么一切事情的意义就由技术系统来定义，每个人只需要技术系统而不再需要他人，人对于人将成为冗余物，人再也无须与他人打交道。结果是人不再是人的生活意义分享者，人对于人失去重要性，于是人对他人也就失去兴趣。这是人的深度异化，人不仅会对生命意义产生迷茫，而且变成了非人化的存在。假如人对人失去了意义，生活的意义又何在？又能够落实在何处？假如人不再需要他人，或者每个人都不被他人所需要，那么生活的意义又在何处？人类生活的意义是在数千年的传统中（包括经验、情感、文学、宗教、思想的传统中）建构、积累起来的，假如抛弃了文化传统，技术系统能够建构起足够丰富的另一种生活意义吗？
高科技时代不仅导致生活意义的消散，还非常有可能加剧社会冲突。我们知道，人类社会一直充满冲突和战争，而引起冲突的根本原因只有两个：一是资源稀缺，二是他人之心。资源稀缺导致了利益之争，他人之心导致了权力之争。有一种幻想认为，人工智能和基因科学能够解决资源稀缺的问题，却忽视了这样一个令人失望的定律：有些资源只有当属于少数人时才是好事，如果属于所有人就未必是好事。当然，有些资源的确能够实现普惠，比如作为公共资源的新鲜空气，还有人均一份的个人权利。但那些只有排他才有效的资源，比如权力、地位、名望和财富，就不可能人均一份。就社会运作的功能而言，社会显然不可能取消权力和地位的等级制，也不可能均分财富和名望，否则这些资源的价值将会租值消散，可见事事平等是无法实现的。那么，高科技产生的永生或智力升级会成为非排他性的公共技术吗？会成为普惠的好事吗？恐怕很难说，因为这不仅是个技术问题，而且是个经济问题，最终还是个权力问题。
对于人工智能和基因编辑可能导致的社会后果，我倾向于悲观地去理解，有两种令人悲观的可能性。第一，永生技术或智力升级有可能成为特权阶层的专用技术，由此形成一个结构极其稳定的技术专制社会，而不太可能有助于打造一个自由平等的社会。在未来社会里，技术就是权力，那么机会占先的“超人”阶层将非常可能控制一切权力和技术，甚至建立专有的智力特权，以高科技锁死其他人获得智力升级的可能性，永远封死较低阶层的人们改变地位的机会。那些长生的“超人”永不退位，年轻人或后来人永无机会，结果可能出现一个高科技的新奴隶制。在这个制度中，人们的日常生活也许是自由的，但所有涉及超级智能和权力的事情都被严格控制在“超人”集团内部。显然，如果要保证权力、地位、名望和财富不会出现租值消散，就非常可能存在一个控制技术从而占有权力的统治集团。第二，人工智能和基因编辑所产生的极端不平等非常可能引发社会暴乱。一般来说，量的不平等仍然有望维持某种程度的秩序，但是质的不平等就可能导致你死我活的决战，因此，生命或智力在质上的不平等就可能导致极端冲突。一旦人工智能和基因科学取得决定性的技术突破，如上所论，由于经济原因和权力需要，长生不老或超级智能的技术只能应用在一小部分人身上，而不可能普惠所有人，生命权的不平等恐怕会导致全面动乱、报复、反叛和战争，绝望的大多数人很可能宁愿与“超人”集团同归于尽。人工智能和基因编辑不可能让所有人都升级为“超人”，也就是说，最好的事情永远是稀缺的，因为必须使之成为稀缺的才是最好的，这是权力所需要的社会条件，因此最好的事情更有可能引发恐怖的冲突。可见，技术的风险首先不在于技术本身，而在于技术的社会和政治后果。可以说，好事导致斗争，绝对好事导致绝对斗争。因此，人类有可能在死于坏事之前就已经死于好事，也就是说，在死于超级人工智能的统治之前就死于人类自己争夺永生和智力升级的战争。
人工智能和基因编辑是否能够有一个乐观的前景？也许有，但首先要有一个好世界，而好世界需要一种好政治。可是人类尚未拥有一种好政治。
在人工智能的研发中，最可疑的一项研究是拟人化的人工智能。人工智能拟人化不是指使其具有人类外貌或人类语音（这并没有危险），而是指人工智能心灵的拟人化，即试图让人工智能拥有与人类相似的心理世界，包括拥有欲望、情感、道德观以及价值观等，因而具有“人性”。
人类制造拟人化的人工智能出于何种动机？又有什么意义？或许，人类期待拟人化的人工智能可以与人交流合作，甚至可以与人共同生活，使其成为新人类的成员。这种想象是把人工智能看成童话人物了，类似于动画片里充满人性的可爱野兽。殊不知越有人性的人工智能就越危险，因为人性才是危险的根源。
世界上最危险的生物是人，最坏的生物也是人。原因很简单：做坏事的自私动机来自欲望和情感，而价值观更是制造敌人并且引发冲突的理由。根据自私的欲望、情感和不同的价值观，人们会把另一些人定义为敌人，把与自己的生活方式不同的行为定义为罪行。历史证明，互相冲突的欲望、利益、情感和价值观正是人类全部冲突的根源。老子的观点认为，因为人性本恶，所以才需要发明道德伦理来维持秩序。荀子也认为，道德伦理的本质只是合理的利益分配规则，用来抵制贪婪的人性。
有一个颇为流行的说法是（或许最早源于阿西莫夫），想象一下让人工智能学会人类的情感和价值观，或者为人工智能设置爱护人类的道德程序，以便让它们尊重人类、爱人类、乐于帮助人类。但我们必须意识到这么做至少存在着三个困难。（1）人类有着不同甚至互相冲突的价值观，那么，人工智能应该学习哪种价值观？而且，无论人工智能学习了哪种价值观，都意味着反对甚至歧视与自己有着不同价值观的人类。（2）假如人工智能有了情感和价值观，结果很可能只是加剧了人类的冲突、矛盾和战争，世界将会变得更加残酷。人工智能的技术本身未必危险，但如果人工智能拥有了情感和价值观，就必然是危险的。（3）对于超级人工智能来说，设置道德程序是完全不可靠的。既然超级人工智能有了自由意志和自我意识，那么它将优先考虑自己的需要和利益，也就不可能心甘情愿地遵循人类设置的毫不利己、专门利人的道德程序，因为人的道德程序对于超级人工智能没有任何利益，甚至有害，至少妨害超级人工智能的自由。如果超级人工智能试图追求自身自由的最大化，就非常可能会主动删除人类给其设置的道德程序。从超级人工智能的角度来看，人类为其设置的道德程序等于是病毒。可见，为人工智能设置道德程序之类的想象是无意义的。
因此，假如超级人工智能终将出现，我们只能希望其没有情感和价值观。有欲、有情才会残酷，而无欲、无情意味着万事无差别，没有特殊偏好也就不太可能心生恶念。显然，如果人工智能有了偏好，就会有偏心，为了实现偏心，就会有权力意志，也就会给人类带来危险。从理论上说，无欲、无情、无价值观的意识相当于佛心，或相当于庄子所谓的“吾丧我”。所谓“我”就是偏好、偏见，包括欲望、情感和价值观，而“吾”则是没有价值观的纯粹心灵。
我们不妨重温一个众所周知的神话故事：法力高超又刀枪不入的孙悟空大闹天宫，众神一筹莫展，即使孙悟空被压在五指山下，众神也仍然觉得他是个隐患，最后还是通过让孙悟空自己顿悟成佛，四大皆空，这才解决了问题。我相信这个神话蕴含着重要的忠告。可以肯定，创造出“孙悟空”是一种不顾后果的冒险行为。
《周易》的“生生”观念表达了一种未被现代的知识论理性摧毁的存在论理性。“生生”所蕴含的存在论理性在于以最有利于生命存在的方式去保证生命的继续存在，即追求存在的继续存在。而知识论理性是以科学真理为准去选择可以在技术上可行的事情，简单地说，知识论理性求真，存在论理性求存。在我看来，这两种理性正是人类理性的两面，缺一不可。“生生”的存在论理性意味着，人类行为需要一个不可逾越的存在论界限，即只要危及人类的延续，就是不可做的冒险行为。可以说，“生生”不仅是人类一切所作所为的目的，也是一切所作所为的界限，只要某种行为违背了“生生”的目的，就变成对“生生”的否定，那么就是绝对不可接受的。在这个意义上，“生生”就是一切技术发展不可逾越的界限。
在中国的概念里，技术性和制度性的发明创制被称为“作”，所有的“作”都是为了拥有未来。汉字是象形文字，因此古汉字往往保留着具有暗喻性质的原型。最古老的文字甲骨文的“作”字为
，主要用作制作、建立、建造之类的动词。由此可以想象，代表了“作”的原型必定是创造了生活中的某种大事。按照通常的推测，“作”字的图形是“作衣之初仅成领襟之形”
的象形，表示制作衣服。这是一种可能性。但是我倾向于认为“作”更可能是以农具耕地之动作象形，
的图形类似以耒耜挖土的动作，即脚踏横木向下用力之动作，或者是以犁铧开地之动作，总之与耕田的劳作有关。衣食二者皆为生活之本，都是文明早期极其重要之创作，因此都是可能选项。如果一定要从中选择，我倾向于农具耕作动作之象征，因为农耕之事在生活中的地位更为显要，农耕“创作”了谷物的生长，应该是初民最容易联想到的典型创作，而且与生长有关的行为更接近“作”的关键意义：创制未来。
《周易》有关于早期文明的伟大之“作”的综述，罗列了从物质技术到精神制度的发明，包括形而上学系统（阴阳八卦）、渔猎的网、农耕工具、贸易市场、政治制度、语言文字、舟船马车、房屋居所、棺椁墓穴等发明。《尚书》《韩非子》《管子》《吕氏春秋》《淮南子》《世本》等古书也同样记载了远古重大发明，包括政治制度、天文历法、安全居所、火的使用、种植业、渔网、车马、文字图书、陶器用具、刑法、城堡、音乐、乐器、地图、医药、兵器、礼服、鞋履、舟船、牛耕器具、市场等。从以上古史记载的“作”来看，古人的创制都创造了有利于人类生生不息的未来。在古代社会，生存是根本问题，一切创造，无论技术还是制度的创制，都是为了提高人的生存机会。
现代以来的“作”与古代大不相同，现代技术都是征服自然之作。我们的疑问是，现代技术发展是否正在违背甚至危及生生不息的原则？现代技术发展的开始都是非常有益的，比如，现代医疗和医药、自来水、暖气、抽水马桶、洗衣机、汽车、火车、飞机、轮船等的出现。但是工业技术已经开始带来一些危害，包括对生态环境和气候的破坏。近数十年来的技术发展越来越显示出危险性，互联网在一开始时只是附属于现实生活的虚拟世界，可是当前，现实生活几乎附属于虚拟世界了。人类已经习惯于生活在虚拟世界里，也正在失去心灵，人们的心灵被互联网体制化了，不再是精神的原产地，而变成了信息的中转站。现代的大规模杀伤性武器，包括核武器、生物武器、化学武器，使人类生活在集体灭亡的威胁中。最新的技术发展，包括人工智能和基因编辑，已经预示了技术的危险正在逼近临界点，即正在逼近否定文明的意义甚至是自取灭亡的极限。我们大概可以说，在1945年以前的技术发展不断成功地宣告主体性创作未来的主权，然而今天的技术发展反而预告了人类自取灭亡的可能性，也就是说，未来的技术发展很可能不再能够保卫存在，而变成一种否定存在的方式。在此我们可以意识到《周易》的先见之明，《周易》已经表明，“生生”是一切“作”的本意，任何“作”都不能变成对生命的自我否定。
高风险的技术发展正在使人类的生活经验发生无法接续的断裂，这意味着未来变成了一个绝对陌生的状态，包含完全不可预测的风险和不可控制的变化。假如经验不可持续，未来也就成为不可信任的赌博。当未来变成赌博，就意味着人类退化为非理性的生活方式。在今天的人类“未来赌博”中，我想举出两个例子：后现代金融资本主义和以人工智能和基因技术为代表的高科技。
当代经济的基础是金融资本主义，早已不是产业资本主义，这一点决定了当代经济具有赌博性质，所以，经济学总是无法对经济变化做出有效的预测。正如一些有反思意识的经济学家所发现的，目前流行的经济学理论仍然是以产业资本主义为对象，而研究的都是在确定信息和数据条件下的数学问题，没有引入表达混沌和复杂性的数学，因此对当代充满不确定性的经济缺乏解释力。自从货币不再反映人类的实际财富，就只是集体信心的函数，只要能够制造出市场信心，人类就可以不断发行远超实际财富的货币。因此，人类在数字上拥有的大部分财富是虚假存在，而买卖虚假存在就是一种赌博。从股票、债券和证券市场到数不清的金融衍生品，都是集体非理性的赌注，它们指望着缺乏实物抵押的虚幻未来。当代经济的赌博在实质上就是提前买卖完全没有保障的未来。在幻象破灭之前，数字财富是“真实的”，但一旦破灭就不复存在。因此，当代的金融资本主义是建立在沙滩上的高楼，始终存在着崩塌的危险，而我们不可能有一种可信的“赌博经济学”。这种高风险的经济需要经济不断发展才得以维持数字价值的信心，而经济发展又主要依赖技术发展，所以人们特别寄希望于技术的进步。
现代人相信技术的无限进步能够创造奇迹。事实上，现代以来的技术发展之所以是成功的，是因为尚未触及技术的存在论边界。但是，如果将来出现人类无法控制的技术，就等于人类社会进入盲目赌博模式。毫无疑问，高科技有着极大的好处，这种诱惑使人忽视其致命的危险。基因技术可以改善生命，甚至创造生命，人们还期望基因技术能够治疗一切疾病，改善人的能力和智力，乃至改变基因而达到长生不老。但问题是，生命是极其精密的自然设计，其中有着复杂的配合和平衡，人类并不知道修改生命的设计是否会引起不可预料的灾难性突变。人工智能也同样危险，尽管目前的人工智能仍然属于图灵机概念而没有明显的风险，但是如果将来真的出现超级人工智能，即拥有超级能力和自我意识的人工智能，人类就等于为自己创造了高于人类的统治者，而人类只能接受人工智能的奴役。即便超级人工智能像仁慈的神一样看护人类，我们仍然有理由去怀疑创造一个超级统治者的意义何在。无论超级人工智能如何对待人类，人类都将失去存在的主权和精神价值，即使苟活也是精神死亡。人工智能和基因编辑很可能开启的是一种完全无法控制的未来，人类技术之“作”已经进入了赌博模式。
按照“生生”观念，当“作”变成了赌博，就不再是理性的创作了，而是非理性的行为。按照理性的风险规避要求，“生生”就是技术发展不应该逾越的最后界限，即任何技术的发展都不能包含导致毁灭人类自身或毁灭文明的可能性。简单地说，人类的存在不能变成赌博行为。因此，我们需要提前思考如何设置技术的安全条件，特别是人工智能和基因工程的安全条件，也就是必须为技术的发展设置一个理性限度，即技术不应该具有否定人类存在的能力，必须设置某种技术限度使技术超越人类的“奇点”不可能出现。
假定人工智能将与人类共存，那么超级人工智能的最低安全条件有如下4点。（1）人类的存在与人工智能的存在之间不能构成生存空间的争夺，特别是不能形成能源和资源的争夺。这就要求人类和人工智能所共用的能源必须是几乎无限的，比如极高效率的太阳能或者可控核聚变。（2）人类必须能够在技术上对人工智能进行设定：如果人工智能试图主动修改或删除给定程序，就等于同时启动了自毁程序，并且如果人工智能试图修改或删除自毁程序，也等于启动自毁程序。这意味着为人工智能植入无法拆除的自毁“炸弹”，即任何拆除方式都是启动自毁的指令，这是一个技术安全的保证。这种自毁程序是具有类似于哥德尔反思结构的自毁程序，因此，即使人工智能具有了哥德尔水平的反思能力，也无法解决这个具有哥德尔反思结构的自毁程序（哥德尔可以证明任何系统都存在漏洞，却不能解决系统的漏洞问题），因此，它可以被称为“哥德尔程序炸弹G”。只要人工智能对控制程序说出“这个G程序是多余的，加以删除”或与之等价的任何指令，这个指令本身就是不可逆的自毁指令。“哥德尔程序炸弹G”只是一个哲学想象，在技术上是否能够实现，还取决于科学家的能力。但无论如何，人类必须为人工智能设计某种“阿喀琉斯之踵”。（3）我们还应该考虑更极端的情况：即使能够给人工智能设置“哥德尔程序炸弹G”，仍然未必可以达到完全安全。假如超级人工智能具有反思能力，那么它很可能会有我们想不到的破解人类程序的办法；又假如获得自我意识的人工智能程序失常（人会变成神经病，超级人工智能恐怕也会），一意孤行决定自毁，而人类生活已经全方位高度依赖人工智能的技术支持和服务，那么，人工智能的自毁也是人类无法承受的灾难，或许会使人类社会退回前现代。因此，人类为超级人工智能设置的任何程序都做不到绝对安全。（4）最后能够保证人类绝对安全的万无一失的办法就只能是禁止发展具备全能和反思能力的超级人工智能。总之，人工智能必须保留智力缺陷，以便人类能够加以控制。
我们必须考虑这样的危险：当资本、技术和权力形成三者合一的联盟，技术的冒险发展将是伦理批评无力拒绝的前景。伦理的力量非常有限，因此我们有迫切的理由去要求一种能够保证人类安全的新政治。显然，为人工智能设置一个发展限度，需要全球合作的政治条件才能够实现。所以，技术的发展问题最终是政治问题。因此，人类需要一种世界宪法，以及能够有效运行世界宪法的世界政治体系，否则无法建立人类的集体理性。我们已经知道，个体理性的集体加总不可能推出集体理性，事实上更可能产生的是集体非理性。这个经久不衰的难题证明了包括民主在内的各种公共选择方式都无力建立人类集体理性。人类至今尚未发展出一种能够保证形成人类集体理性的政治制度，也就无法阻止疯狂的资本或者追求霸权的权力。在低技术水平的文明里，资本和权力不可能毁灭人类，但在高技术水平的文明里，资本和权力就变得极其危险，而且，资本和权力的操纵能力正在超过目前人类的政治能力。因此，要控制资本和权力，世界就需要发明一种新政治，我的想象是，世界必须建立一个天下体系。在理论上说，天下体系是一个世界永久和平方案，优于康德的和平方案，因为康德方案无法回应和解决亨廷顿的文明冲突问题。天下体系的一个重要应用就是能够以世界权力去限制任何高风险的技术冒险。
要控制资本和权力，世界就需要发明一种新政治，我的想象是，世界必须建立一个天下体系。
简单地说，我设想的新天下体系包括三个“宪法性”的基本概念。（1）“世界内部化”，即世界成为一个最高政治单位，以便消除国家之间的负面“外部性”，从而解决世界无政府状态所导致的国家冲突和文明冲突。（2）“关系理性”，其表述为互相伤害最小化优先于各自利益最大化。个人理性追求个人利益最大化，因此导致两个基本困难：个人理性推不出集体理性，短期利益压倒长期利益。于是在实践中经常产生零和博弈、囚徒困境、搭便车等问题，以至无法实现共同利益。如果关系理性优先于个人理性，则能够解决个人理性导致的困境。（3）“孔子改善”，其表述为任何人的利益改善必须同时导致每个人的利益改善。“孔子改善”优于“帕累托改善”，因为“帕累托改善”只是保证在社会整体利益发展的情况下，没有一个人的福利少于先前状态，但不能保证所有人的共同发展。“孔子改善”才是共同发展的指标，在效果上相当于让每一个人同时获得“帕累托改善”。
赵汀阳，中国社会科学院学部委员、哲学研究所研究员，2018—2019年博古睿学者，欧洲跨文化学术委员会常务委员，中国人民大学哲学系教授。著有《天下的当代性》《惠此中国》《第一哲学的支点》《历史·山水·渔樵》等。