塔尔·米姆兰：“人工智能武器化”让世界变得更加分裂

尽管“人工智能武器化”看上去会减少人类在战场上的肉身参与，但更容易引发冲突，导致战争升级。

受访对象|塔尔·米姆兰

塔尔·米姆兰（Tal Mimran）也许是这个世界上最懂得“人工智能如何应用于战争”的学者。作为以色列人，塔尔·米姆兰任职于耶路撒冷希伯来大学。在2021年5月7日“阿克萨清真寺”冲突之后，以色列就开始用人工智能技术选择空袭加沙地带的目标。这个被称为“FireFactory”的攻击性人工智能系统，已经慢慢挣脱以“铁穹”系统为核心的防御体系的束缚，大规模应用于主动袭击。

塔尔·米姆兰的工作内容之一，就是对以色列国防军的“目标定位”从国际法角度进行伦理评估：以色列的人工智能式杀戮的对象，是不是真的恐怖分子？攻击的范围是不是无节制地扩大了？塔尔·米姆兰既赞同以色列军事力量必须通过人工智能来增强自己的防御，也不断提醒“人工智能武器化”所带来可怕后果。他非常忧虑地说：“人工智能系统正在以超越人类认知能力的速度接管传统情报人员所做的工作。过去，20人的情报团队一年内可以确定50到100个攻击目标，现在人工智能目标清除系统‘Habusora’可以在10天到12天内确定200个目标。”这意味着，人工智能杀戮效率正在成百上千倍地提高。

致命性自动武器：“人工智能武器化”的趋势

“人工智能武器化”（Weaponization of Artificial Intelligence）不是广义上的“AI竞争”。广义的AI竞争，既是军事武器装备竞争，也是产业上的竞争。产业上的竞争会“反哺”到“人工智能武器化”——这就是“军事工业综合体”。广义的AI竞争包括军事技术、电商平台、社交平台、搜索平台、智能硬件平台、机器视觉、智能语音、自动驾驶平台、芯片研发制造平台等综合竞争。而“人工智能武器化”主要关注的是对武器的AI改造和威力升级。

比如，以色列与哈马斯冲突中以色列的“铁穹”系统（利用AI和传感器技术实现威胁识别和导弹拦截）就是目前最出名的“AI武器”。用于社交媒体上的战争谣言机器人，也属于“AI武器”。“铁穹”系统属于“枪杆子”，谣言机器人属于“笔杆子”。两个“杆子”都是战争武器。谣言机器人虽然属于“信息战武器”，但其“武器”级别可能与黑客网络攻击相似。是否可以直接产生致命的效果？是否直接能煽动群众暴力、制造社会动荡？目前并不确定，所以它是“非致命性武器”，因此，它往往被单独讨论。

“人工智能武器化”的发展，主要有以下形态：AI所驱动的无人机战斗集群；以AI整合各种信息的自动防御系统（例如“铁穹”系统）；以无人驾驶技术驱动的后勤补给运输系统；以AI驱动的无人舰艇；以AI优化的军事信息决策辅助系统；以AI识别异常模式加强网络安全的网络防御系统……尤其值得注意的是，人工智能“赋能”了传统武器之后，很多传统武器就“演变”为致命性自动武器（Lethal Autonomous Weapon）。

致命性自动武器，在人工智能“赋能”之前，就是“地雷”。现在的地雷其实也可以用人工智能来控制，变成一种移动地雷。再比如“机枪”这一传统的武器，韩国三星集团下属的国防子公司三星Techwin生产的三星SGR-A1，就是人工智能哨兵枪，沿着朝韩边境三八线已经大量部署；以色列在加沙边境也部署了人工智能哨兵枪技术系统（Roah-Yora）：是由勃朗宁机关枪、摄像机、远程光电传感器、地面传感器、高空无人机以及雷达等构成。一旦敌人靠近，“授权杀人”程序将在2分钟内启动，一旦获批，立即精准射击。

引发最大争议的，是所谓“战斗机器人”。战斗机器人并不仅仅是一个人形机器人，它目前主要的形态是“攻击性无人机”和无人驾驶舰艇。著名人工智能教授Stuart Russell制作了一部纪录片《Slaughterbots》，描述了战斗机器人杀戮的可怖情景：成群低成本微型无人机，在人工智能的驱动下，利用人脸识别，来暗杀政治对手。这个过程没有任何怜悯，充满着效率至上。

无论超级大国还是新兴的军事强国，都暗自鼓励“战斗机器人”技术的发展。在2019年3月29日，联合国专门讨论了关于致命性自动武器的议题，大多数政府都同意通过相关的禁止法律，但美国、英国、澳大利亚和以色列等少数国家，反对这项提议。

美国认为，“致命性自动武器”可以保护平民，对付恐怖分子。它认为，人们之所以反对是因为有无辜的平民“在场”，导致攻击会殃及池鱼。如果在公海或者深海这些普通平民罕至的地方，就不存在战斗人员和平民都“在场”的环境，使用“致命性自动武器”就毫无道德压力。

与塔尔·米姆兰对话

《北大金融评论》： 您如何看待人工智能和武器——例如致命性自主武器（LAW）——结合后造成的恐怖情形？这些武器在激活后无须进一步人工干预，就能选择和攻击目标。我们已经在俄乌冲突中见过这样的武器，它们以无人机、无人坦克、无人驾驶船舶的形式存在。令人担忧的是，针对这些人工智能武器没有全球监管标准，尤其是世界人工智能主要强国之间没有对话机制。作为一位反对人工智能军备竞赛的知名专家，您觉得应如何缓解当前的情况？

塔尔·米姆兰： 新技术极大地影响了军事行动的实施方式。自主武器系统、网络空间军事化都取得了长足的进步。人工智能在军事应用方面也取得了重大突破，就像你说的致命性自主武器领域。

近年来，这一趋势似乎愈演愈烈，例如俄乌冲突中使用的人工智能武器。人工智能武器涵盖多个领域：攻击目标选择、情报分析、主动预测、警报威胁、简化指挥等。例如，以色列国防军部署的“Fire Factory”系统，它是人工智能驱动的系统，在识别潜在空中攻击目标（军事目标）方面发挥关键作用，并与其他工具（如Gospel系统）一起协作，从而改进以色列的情报系统，以及更精准识别关键军事目标。

在缓解措施方面，核心方法是围绕决策过程中人类的参与度。我认为，考虑将人工智能用于进攻和防御时，必须确保在每次人工智能武器操作中，人的存在是“全程性”的，而且是不可分割的——人类始终控制决策过程。

原因有三。第一，人类参与可以提高决策的精确性和质量，这是防止或减少错误的重要保障。第二，将人类纳入决策过程可以增强决策的合法性，提高公众的信任程度。第三，当人工智能武器系统做出违反国际法的错误决定后，系统中存在人类因素，是未来问责的关键所在。

不过，使用人工智能武器时，人类监督还不足以完全化解风险。人工智能系统主要问题之一是，系统解释决策过程的能力具有“内在的挑战性”。这种现象通常被称为“黑匣子”效应。（注释：人类很难清晰理解决策的全过程逻辑，其原因在于，人工智能系统的神经网络，内部运行逻辑比较复杂，没办法简单地跟踪它们是如何一步步推导出结论的。系统会连续运行数十亿次计算，对人脑来说无法跟进）它排除了任何监督或辩解的可能。此外，虽然人工智能允许军事系统快速处理大量数据、分析复杂场景，并几乎即时执行，但这种加速决策能力也引发了伦理和操作方面的担忧：它需要在自动决策和人类监督之间保持微妙的平衡，确保在战争中做出符合责任和合乎道德的决策。

技术和操作之外，我认为其他的挑战更为艰巨，尤其是让人类世界在理想和价值观方面变得更加分裂，难以推动国际社会对人工智能武器化的共识。美国和俄罗斯等国无法就敌对网络行动采取措施达成共识，那么他们如何愿意采取实际的措施呢？现在，在人工智能的监管方面，我们有中国的国家驱动模式、欧洲的权利驱动模式和美国的市场驱动模式，我们还需要一段时间来观察这三种模式中哪一种有更大的影响力，并真正影响我们的发展方向。

我认为，所有国家都需要根据1977年日内瓦公约第一附加议定书（API）第36条的要求——各国需要采取评估新技术在研究、开发、获取或采用新武器合法性的措施，来做出一些重要的行动。换句话说，各国有义务采取评估措施，对人工智能的武器以及战争手段与方法进行合法性审查。

当然，并非所有国家都是API成员，但我认为，他们也应当遵守第36条，以保护生命权的方式，采取预防性评估，对新武器进行合法性审查（美国就是这样一个突出的例子）。如果新技术对平民的影响是不明确的，那么进行适当的法律审查自然是应当的。人工智能毫无疑问是属于这种情况。

《北大金融评论》： 随着大量人工智能武器进入战场，其伦理后果是，减少了对士兵进行大规模军事训练的需要，降低了人类军事人员直接面临的风险。例如，失去一架由人工智能控制的飞机并不意味着会失去人类飞行员的生命，这使得战争朝着强国对弱国进行“电子游戏式”打击的方向发展。那么，这会影响国际战争规则吗？

塔尔·米姆兰： 毫无疑问，在战场上展示人工智能优势在军事威慑方面具有巨大作用。显然，利用人工智能提升现有军事能力也是非常具有优势的。道德和法律在这个趋势中扮演什么角色？特别是，目前是否存在法律限制将这些新工具引入实践并实际使用？此外，各国应该如何看待将人工智能部署到战争中呢？

近年来，我们看到越来越多的国家以单方面方式在GGE（注释：GGE是政府专家组“Group of Governmental Experts”的缩写，是由各国政府任命的专家组成的小组，这些小组定期就信息安全和其他与国际法相关的问题进行讨论）或开放式工作组论坛上，阐明了关于国际法如何适用于网络空间的法律立场。但分歧根深蒂固，它源于各国不同的视角和价值观。以色列就认为自己是技术生产和监管的领导者，对现状感到满意。像伊朗这样的国家则寻求在包容性和平等性方面重新分配“数字蛋糕”，伊朗认为西方对互联网具有强大的技术垄断能力。这种分歧也体现在具体的法律问题上，例如“网络空间不干涉原则”或“网络武装攻击”等术语在不同场景需要进行不同的阐释。

如果这种观念上的差距正在缩小，那么国际性的监管制度应该是约束性的还是软性的？但我认为，制度的导向必须是明确的。与欧盟关于两用技术的观点一致，应该以人权视角为导向，而不是以安全视角或经济视角为导向。

另一个问题是非国家行动者的作用。我认为，非国家行动者——例如各国间的国际组织和私营市场主体，必须参与规范的制定。国际组织应该成为技术合作、技术协商和技术援助的平台，而私营市场主体应该提供实际的应用情况，从他们的角度告知其面临的挑战。在当今，如果不考虑这些市场主体（技术公司），就无法监管。俄乌冲突突显了私营部门如何成为中心，例如在社交网络监管方面（注释：俄乌冲突，X/Twitter是网络舆论战的核心，大量谣言机器人在上面制造假消息，并且马斯克的星链公司帮助乌克兰人进行网络通信）。然而，我们应避免过度私有化，以及权力与责任的分离。

上述所有因素将如何改变国际法？（不过，鉴于在如此两极分化的现实中推动新规则的难度，我怀疑近期内会发生变化——除非发生戏剧性事件，例如由人工智能引发灾难。）

首先，我们需要考虑是否应该完全禁止启用人工智能用于军事的能力。这个门槛相当高，只有少数武器被完全禁止——最著名的是生物武器、化学武器和核武器，这些武器被禁止是因为它们的影响太严重、残酷、非人道，重要的是，它们无法区分作战人员和平民。虽然人工智能武器确实无法区分（作战人员和平民），但它们的影响——与被禁止的武器相较而言不严重。

其次，在设计方面也可以采取一些措施。可以采取一些机制，如“隐私设计”的概念。另一个重要机制是日内瓦公约第一附加议定书（API）第36条规定的机制。在这方面，还有一个非常合理的选择，即贸易限制（注释：即各国控制人工智能武器产品和技术的流通）。我觉得也存在一些其他的问题。首先是监管机构的公正性，国家有时是客户，有时是监管者。其次，瓦森纳协定不是一项有约束力的条约，它允许充分考虑各自的国内利益[注释：瓦森纳协定（Wassenaar Arrangement）是一项有关常规武器和两用物品与技术出口控制的多边出口管制制度。它不是一个法律条约，它不要求签署国在国内法律上实施其管控规定]。再次，在限制人工智能武器方面，定义和范围的确定是一个问题。定义太广泛会不必要地限制私营市场；而定义太窄无法充分规制。国际法追求与实际情况的接近，这可以从“从行为中产生法律”这一原则看出。但是，在人工智能快速发展的背景下，接近技术发展的现实并根据行为制定法律，将面临特别大的挑战。

我们不一定需要制定新的规范来限制军事化人工智能。相反，我们可以关注和利用现有的相关国际法规范，比如国际人权法、国际人道主义法、国际刑法，以及国际法的基本原则如主权原则和不干涉原则。这些现有法律规范是充足的，但是在管辖权和执行机制上有限。因此，我们需要在人工智能武器的不同阶段，即计划、设计、部署和事后审查阶段，采取各种手段与现有规范相结合。各国国内法制和国际法体系也应该加强协调和互补，共同应对军事化人工智能带来的风险。

《北大金融评论》： 许多人可能会想象这样的情景：未来人类儿童最好的“玩伴”是类似ChatGPT的儿童机器人。未来士兵最好的伙伴是陆地军事机器人、空中或者海上军事机器人。士兵与战争机器人之间的互动水平决定了他们在战场上的能力。那么，这是否会影响未来的战争规则？例如，如果人类士兵选择不消灭敌人，显示仁慈，那么军事机器人会有完全不同的行动吗？

塔尔·米姆兰： 我完全同意，我认为不仅士兵将与机器人并肩作战，而且我们将看到人与机器之间的联系不断加深。这一技术趋势将“最大化”人类士兵的潜力，通过找到可能的方式来增强他们的能力，同时降低人类的一些不太理想的特征（饥饿、恐惧、疲劳等）。

人类增强一直是流行文化描绘的灵感来源，但它也是当代科学研究的主题，旨在恢复病人或残疾人的全部功能，或赋予“增强的人”拥有超人的能力。在军事目的下，增强型战斗人员可以通过佩戴，有时甚至嵌入体内的人工智能设备来提高他们的肌体和自然功能（例如额外力量、减少睡眠需求、改善视力、更好的决策能力等），从而获得更高的能力。可以说，“人类增强”计划不一定违反国际人道主义法，它可以减少敌对行动期间的操作失误，从而减少对平民和民用设施的伤害。

我通常将人类增强分为三个主要类别：生化增强、机械增强和假体增强。生化增强涉及使用药物来增强身体和心智功能。机械增强，或脑机接口，涉及旨在将人类大脑产生的电信号直接连接到机器的技术，无须手动输入。例如，美国的“阿凡达”项目开发了此类的界面和算法，让士兵与半自主的两足机器合作，以及N3计划，旨在将神经接口的适用范围扩大到战士。假体增强涉及为人类提供身体改进，包括能够提供感觉反馈和用思维控制运动的假体。视觉假体可以增强或恢复视力，听觉增强。

美国国防部高级研究计划局（DARPA）是人类增强项目的主要推动者，旨在提高士兵的能力，并投入了大量资源来促进相关研究项目。

这一趋势可能在人权方面，特别是隐私方面，带来严峻的挑战。在人体中嵌入数字技术设备可能会对私人领域造成严重侵犯（即使得到了有关士兵的同意），改变个人身份，并对个人自主权构成严重威胁，因为人工智能可能会操控身体功能，包括脑活动。

总的来说，人与机器之间的互联和依赖于机器这种“伙伴”可能会对平民造成毁灭性影响。技术一直是战争的一部分，从石器时代的棒棍和石头（也可以被视为当时的技术工具）开始，这一趋势也有一些积极方面：技术增加了火力，加快了敌对行动的节奏和规模，旨在让士兵远离战场。这一趋势即将在数字时代达到高潮，这对士兵和指挥官来说可能是令人兴奋的消息，但对不涉入战斗的平民来说则不是。学术界和公民社会有责任维护道德指南，关注国家在战场上的行为方式，并引导国家投资更多的人工智能以改善人类和社会的福祉（而不是用于军事目的）。我不是一个天真的人，但我试图对我们未来生活的改善保持乐观态度。

（采写：费戈）
（责任编辑：都闻心） qRgjaoCQeouWPB+jW5l6Q7TOBpn/4Uf20vfudJmhk2KaVjG8tW4m6j+b7iTfGgco