第一节
资本逻辑下的信任之殇：“机器末世”已在门口？

据《华尔街日报》 2023年7月14日报道，美国联邦贸易委员会 (Federal Trade Commission, FTC) 正在调查 OpenAI推出的大语言模型 ChatGPT是否因发布虚假信息而对有关人士造成了伤害。 FTC 要求这家人工智能研究公司“详细描述其在多大程度上采取了措施来应对或降低风险，即该公司的产品可能会生成关于真实个人的虚假、误导或诋毁性陈述的风险” 。 FTC主席莉娜·可汗表示，“我们听说过正在出现一些诽谤、诋毁性陈述以及完全不真实的事情，我们担心的就是这种欺诈和欺骗行径” 。对于这项官方调查，OpenAI首席执行官山姆·奥特曼于2023年7月14日在推特发文声称，该公司会配合FTC的工作，但同时强调，“ FTC的问询以泄露信息为开端，无助于建立信任，这令人失望”。

OpenAI于2022年11月30日推出人工智能聊天机器人ChatGPT，可以和人类用户以文字方式聊天互动。除了可以用人类自然对话方式来互动外，ChatGPT还可以完成各种高度复杂的语言任务，如多语种翻译，撰写摘要、邮件，创作诗词、剧本，设计广告文案，甚至能以某知名人物的口吻表述观点或风格来生成文本。故此，ChatGPT被认为已然接近“通用人工智能” 。 2018 年图灵奖得主约书亚·本吉奥在2023年4月5日提出，ChatGPT “目前已经通过图灵测试，故此能够欺骗人类，令其相信正在与同伴而不是一台机器交谈”。 本吉奥进而提出，“为了实现人类规定的目标，它们可能会完成一些子目标，这就可能包括 ‘欺骗’或其他有危害的事情。实际上，已经出现了这样的情况” 。

2022年成为美国国家工程院院士并问鼎世界首富的伊隆·马斯克在第一时间使用 ChatGPT 后认为“我们离危险的强人工智能不远了”。 马斯克口中的“强人工智能”，指具有知觉、自我意识以及推理能力的人工智能，它们可以独立思考问题并制订解决问题的最优方案，乃至拥有价值观和世界观体系、具有生存和安全需求。

尽管其智能表现在马斯克眼里已“好到吓人”, ChatGPT并非不会出错。犯错的原因不难定位到：大语言模型使用海量的书籍和互联网文本作为训练材料，而这些材料会包含各种常见的低级错误 (从事实错误到错别字) 乃至大量出现的复杂错误 (从不恰当的医疗建议到阴谋论），是以模型无可避免会输出各种各样错误言论。 这便使得不少分析家反复提出警告：不能信任大语言模型所“说”的话。 FTC主席可汗甚至表达了“欺诈和欺骗行径”的担心。

在OpenAI于2015年12月成立之时，马斯克是主要发起者，和奥特曼、格雷格·布洛克曼等人一起向这个项目投入超过10亿美元。发起者们将 OpenAI 定位为非营利组织，将人工智能研究目的界定为“促进和发展友好的人工智能，使人类整体受益”。他们宣称将向公众开放其专利和研究，并与其他机构和研究者展开“自由合作”，从而规避由于科技巨头垄断人工智能技术而导致的潜在威胁因素。 OpenAI的目标与使命吸引了很多研究者来到这个公司，根据维基百科“ OpenAI”词条中的引述，一位谷歌员工表示，他愿意离开谷歌去OpenAI, “部分原因是那里有一群非常强大的人，而更大程度上，是因为它的使命”。而发起人之一的布洛克曼则表示，“我能想像到的最好的事情，就是以安全的方式推动人类更接近真正的人工智能” 。

2019年2月17日，马斯克在推特上宣布，由于在发展方向上存在分歧，他决定彻底退出 OpenAI: “我不认同 OpenAI团队想要做的一些事。” 马斯克曾把人工智能称为“人类面对的最大的生存威胁”，并将开发人工智能的努力比作“召唤恶魔”之举。 早在2015年，马斯克就联合理论物理学家史蒂芬·霍金 (于2018年去世) 一起发出公开信，宣称危险的人工智能军备竞赛已经开打。 2017年3月，马斯克宣布投入巨资成立研发脑机接口的公司 Neuralink，他本人给出的说法是：“既然我之前对人工智能的警告收效甚微，那么好的，我们自己来塑造人工智能的发展，让它走向好的一面。” 2017年8月，马斯克带领一百多位人工智能领域专家发出公开信，呼吁限制人工智能的开发。马斯克甚至以耸人听闻的语调在推特上声称：人类的第三次世界大战，将会由人工智能开启。

在OpenAI 推出 ChatGPT 后，马斯克同本吉奥、斯图尔特·拉塞尔、坚恩·托林等一千余位人工智能研究者与业界人士，于2023年3月22日联名签署由理论物理学家麦克斯·泰格马克起草的公开信，呼吁立即暂停训练比 GPT-4更强的人工智能。 领衔签署该公开信的本吉奥特别表示，正是大语言模型所带来的“意想不到的加速”，致使“无法保证在可预见的将来有人不会开发出危险的自主人工智能系统，其行为会偏离人类的目标和价值观”。

另一方面，在马斯克退出OpenAI后，该公司随即于2019年3月1日成立以营利为目的子公司，向其员工分配股权，并对技术进行商业许可。当年7月22日，该公司接受微软投资的10亿美元。 2020年6月11日 OpenAI发布 GPT-3，微软则取得独家授权。 ChatGPT爆火后，OpenAI在2023年1月拿到微软100亿美元投资，4月老虎全球管理、红杉资本等风险投资公司进行新一轮投资，使得其估值超过270亿美元。 对OpenAI的投资，亦使得微软股价大涨，仅仅2023年上半年其股价就飙升了44%。

我们看到，将人工智能推到通用人工智能门口的 OpenAI,已然成为资本市场的宠儿。 ChatGPT爆火之后，各种大语言模型产品纷纷出现，包括谷歌的Bard、 Meta的LLaMA、 Anthrop-ic的Claude、百度的文心一言、科大讯飞的星火……信任危机与资本逻辑，成为牵引人工智能发展未来格局的双重绳索。2023年4月5日本吉奥在其个人网站上写道：

随着ChatGPT的到来，我们见证了企业态度的转变，商业竞争的挑战增加了10倍。他们确实存在着仓促开发这些巨型人工智能系统的风险，而留下了他们在过去10年的人工智能研究中养成的透明和开放科学的良好习惯。

本吉奥并没有夸大其词。 2023年5月，媒体曝光谷歌告知其员工将调整战略，大幅度减少研究成果的公开发表。谷歌每年在人工智能研究领域发表数百篇论文，并坚信这种透明度将激励外部研究人员推进与谷歌核心产品相关的领域，直到它发现其公开发表的研究成果被竞争公司用于推出对其核心业务构成威胁的产品——OpenAI的 GPT系列模型就是建立在谷歌研究人员发明并发表的“转化器” (transformer) 技术之上，而OpenAI主要投资者微软则将 GPT 模型用于升级“必应”搜索引擎上。 晚近 FTC 针对 ChatGPT “欺诈和欺骗行径”的调查，也有必要在资本逻辑的背景下加以解读；而奥特曼“无助于建立信任”的声音，在信任争议与资本逻辑纠缠在一起的当下，亦值得认真对待。

现在，摆在我们面前的 技术政治学 问题是：接近通用人工智能的ChatGPT是否值得信任？在 OpenAI正式发布多模态大语言模型GPT-4不久后，一位斯坦福学者在社交媒体上公布GPT-4的“外逃计划”，并表示GPT-4会引诱人类给予帮助。 人们随即惊呼，人工智能是否已经具有了“意识”，却仍将自身打扮为人类的服务生？我们是否能信任人工智能？在其广被引用的论文《寻求权力的人工智能是否一个生存性风险》中，约瑟夫·卡尔斯密写道：

寻求权力的具体例子 (未意图的情况下），可能包括人工智能系统尝试：突破受限环境；入侵；获取财务资源或额外的计算资源；制作自身的备份副本；获取未经授权的能力、信息来源或影响渠道；在它的目标上误导/欺骗人类；抵制或操纵监控/理解它们行为、重新训练它们或关闭它们的尝试；创建/训练新的人工智能系统；非法与其他人工智能系统协调；冒充人类；致使人类为它们做事；增加人类对它们的依赖；操纵人类的话语和政治；削弱各种人类机构和应对能力；控制诸如工厂或科学实验室等实际基础设施；导致某些类型的技术和基础设施得到开发；或直接对人类造成伤害/压制。

如果上述“尝试”尚是人工智能在“未意图的情况下”寻求权力的做法，那么，一旦人工智能具有了意识呢？自2016年以降“阿尔法狗”接连大败人类围棋世界冠军开始，“机器末世” (Robopocalypse) 便成为主导媒体的一个极具冲击力的命题。 2016—2022年间分4季播出并风靡全球的HBO美剧《西部世界》，把“机器末世”图景生动地推到了人们的眼前： 产生出意识的人工智能服务生拿起武器反抗丧失道德高地与智能优势的人类…… 2023年5月31日《时代》杂志封面，勾勒出了GPT-4发布后的“机器末世”恐慌：一片血红色的背景上，从上到下排列黑色大写的三行字：“ TIME” (“时代” 、到时间了), “ THE END OF HUMANITY” (人类终结), “ HOW REAL IS THE RISK?” (风险有多真实？) 。在这三行黑字中，唯有“ HUMANITY”一词中的“ A”和“ I”两个字母并非黑色，而是亮着霓虹之光。

本吉奥认为，人工智能会对人类造成生存性风险，它们可能会产生出自我持存的目标并因此“试图控制环境、控制人类”。他还表示，“人工智能风险与我的工作有很大关系”。 与本吉奥同为2018年图灵奖得主、被称为“深度学习之父”的杰弗里·辛顿，为了可以不受限制地讨论“人工智能的风险”，于2023年5月辞去他在谷歌担任了十多年的职位。在同《纽约时报》记者的访谈中，辛顿对自己投入毕生心力的研究工作表示后悔，并表示面对这份萦绕心头的后悔，“我用俗常的借口来安慰自己：如果我没有做，别人也会做出来。”

通过放弃高薪的方式让自身脱离资本逻辑约束的辛顿，在2023年6月10日于北京智源大会上所作的题为《通向智能的两条道路》的演讲中，公开表达了他的判断：人工神经网络会比真实的神经网络更智能，“超智人工智能” (super-intelli-gent AI) 很快就会到来。 对于人类的未来，辛顿说道：

现下我很紧张，因为我还想不出当智能差距这样大时，高智能事物被低智能事物所控制的例子，打个比方，假设青蛙创造了人类，那么你认为现在谁会占据主动权，是人，还是青蛙？

辛顿描绘的这幅人与青蛙竞争控制权的图景，结构性地将人与人工智能放置在了二元对立的框架下，并且暗示了 人可以按照对自身的理解来定位“超智人工智能” 。人在其文明史上有意识地对其他物种乃至同类反复做出大量残忍行径——正是人类，20世纪以来不但实施了针对犹太人的“最终方案”（大屠杀），并且导致了“第六次物种大灭绝”。 也正是出于这份自我理解，当人发现自己在面对人工智能已处于“青蛙”位置上时 (尤其是这个境况由“深度学习之父”所宣布），强烈的“末世”恐慌情绪便无可抑制地会迅猛蔓延。辛顿这场讲座幻灯片的最后一页只有两个大字“终结” (THE END ），既标识了演讲的终结，也暗示了人类的终结。

“机器末世”，是否会是资本主义秩序 (以及人类文明）的最终结局？技术加速、信任问题与资本逻辑的当代牵缠，标识出了人类文明一个可能的 奇点 (singularity) 时刻。 yQJRZdWpII2mzR311sKb7VqM1TCsEfbA4ngvNHrq57VIO0oIi4BNMU40PvK5yrDv