深度合成的外生性风险及平台治理原则
Exogenous Risks and Platform Governance Principles in Deep Synthesis

◎张超 陈莎
Zhang Chao Chen Sha

摘要： 深度合成技术是一把双刃剑。作为一种中立的技术形态，深度合成向左是“深度伪造”，向右是“深度创造”，现有研究多关注深度伪造负面影响，忽视了内涵和外延比深度伪造更广的深度合成所带来的外生性风险，包括数字人格权侵犯风险、数字版权侵犯风险、“超真实”混淆认知风险。平台可从合成内容传播流程入手，以强化主动标识、建立风险评级机制、嵌入敏捷治理设计为治理原则，以此有效规避深度合成的外生性风险。

关键词： 深度合成；深度造假；风险评级；敏捷治理

Abstract： Deep synthesis technology is a double-edged sword.As a neutral technical form，on the left of deep synthesis is“deepfake”and on the right is“deep creation”.Previous researches pay more attention to the negative effects of deepfake，but ignore the exogenous risks brought by the deep synthesis with broader connotation and extension，including the risk of digital personality，digital copyright and hyperreality confusion cognitive.Based on the communication process of synthetic content，the platform can strengthen the positive tagging，establish the risk rating mechanism，and embed the design of agile governance as the governance principles，so as to effectively avoid the exogenous risks of deep synthesis.

Keywords： deep synthesis，deepfake，risk rating，agile governance

深度合成（Deep Synthesis）是基于深度学习等智能化方法创建或合成视听觉内容（如图像、音视频、文本等）的技术， 多被用来合成让人无法辨别真假的视听内容。深度合成将自动化内容生产由单一的文字文本拓展到多模态的视听文本，语音合成、换脸合成、三维重建合成以及各类组合合成是典型的深度合成形式。

相较人工内容生产，利用深度合成技术生成的视听内容，不仅创新了节目形态，还起到了提高制播效率与智能化水平的多重作用，被主流媒体、企业和各类用户用于内容生产中（见表1）。例如，人民日报新媒体联合“天天P图”推出了换脸互动H5；搜狗联合新华社开发了全球首个AI主播；央广推出云听AI智能广播；北京广播电视台推出首个智能交互真人AI主播；社交平台上的娱乐类深度合成视频等。

深度合成自2017年进入公众视野以来，合成视频数量在各大社交平台呈指数增长。《深度合成十大趋势报告（2022）》显示，2021年新发布的深度合成视频的数量较2017年增长10倍以上，深度合成视频的“点赞/喜欢”数量从249.74万次跃至3.16亿次。 在打造新型主流媒体的过程中，深度合成技术受到国家广电总局重视，《广播电视和网络视听“十四五”科技发展规划》提出，推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产。截至2021年年底，新华社AI合成主播在新华社客户端上共生产了两万条新闻报道，时长46，037分钟，总浏览量超过70亿次。

然而，深度合成技术是一把双刃剑。作为一种中立的技术形态，深度合成向左是“深度伪造”，向右是“深度创造”，既可以欺骗人，也可以服务人。当前，对深度合成的关注多聚焦于可误导、操纵的涉政类深度伪造，忽视了内涵和外延比深度伪造更广的深度合成所带来的各种问题，揭示这些被遮蔽的风险，探讨从平台层面治理风险的原则是本文研究的核心问题。

一、深度合成的外生性风险

技术风险按生成方式可以分为内生性风险和外生性风险。内生性风险是与技术设计本身直接相关的各类因素引发的风险。外生性风险是由技术之外的因素引发的风险，如技术的误用、滥用等。 对深度合成而言，风险主要来自外部的应用层面。

（一）数字人格权侵犯风险

深度合成对数字人格权侵犯主要表现在，在未经许可的情况下，具有指向身份信息的图像被随意用来制作人脸替换、人脸合成、人脸再现等，在公开传播的情况下，使个人数字肖像权、名誉权等人格权遭到侵犯。

数字人格权侵犯多发生在影视、娱乐内容的换脸合成中。例如，以人脸替换的形式将目标人物的脸缝合到原人物脸部图像上；以人脸再现的形式操纵目标对象的脸部表情，让其说从未说过的话。尽管这类合成内容多用于娱乐恶搞，不具有直接欺骗目的，但并非所有人都愿意将个人形象滥用，况且这类合成通常还会带来个人名誉的侵害。以B站的AI换脸合成内容为例，当某名人被人用合成技术拼贴、戏仿恶搞后，会引发涟漪效应形成模仿迷因（meme）。合成恶搞内容中不切实际的描述会引发观看者的心理联想效应，给被合成者带来诸如丑化刻板印象等负面影响。 在一定程度上既侵犯了换脸者的肖像权，也冒犯了被换脸者的作品创作。

深度合成技术靠深度学习辨别脸部声音信息，能实时对这类信息进行学习，动态放大。之前“换脸”应用需大量输入原始数据才能生成合成内容。当增量学习、迁移学习被用在深度合成后，降低了对数据源样本量和质量的要求，为低分辨率图像和语音做超分、图像修复、模态变换提供了可能，类似的应用程序只需要一张照片就可以顺利完成一次合成。这意味着侵犯他人数字人格的技术成本更低，侵权主体将扩大至更为广泛的普通人群。在抖音、快手等短视频平台上，一些直播主播利用平台智能合成技术变装名人、明星完成了直播带货、转手倒卖或者骗取钱财，不仅侵犯他人的肖像权，还属于盗用他人数字身份形象的“人格剽窃”（personal plagiarism） 。

（二）数字版权侵犯风险

深度合成是以数据作为基础要素，在依赖源数据“投喂”的同时，又生成新的数据，不同数据的交叉和重组，不可避免带来数据使用权与数据归属权纠纷。由于合成数据多涉及身份识别，合成内容的版权侵犯面临《著作权法》尚未规定的情形。

在合成过程中，使用受著作权保护但未授权的源数据是深度合成版权侵权的主要表现。合成者将待合成的图像植入受著作权保护的影视文本中，不注明原始数据来源，不做AI合成告知，属于“文本盗猎”。如此便与源数据主体发生署名权、保护原作品完整性、原作品改编权、原作品中个体表演权冲突。在改编类合成中，不做AI合成告知意味着合成内容在生产过程有人类智力投入，有原创性版权归属认定， 版权为合成者所有，无意之中将合成内容可版权化，超出了合理使用范围。社交媒体上的换脸、语音内容多涉及这类风险。

此外，《著作权法》尚未对具有身份识别的数据（如声音、身体）是否受版权保护做出界定，加之这类数据有超时空使用的永生性，使用情境、使用时限是否应加以限定未有规定，这都挑战了既有版权规则。

以视听合成为例，深度合成技术可以通过对原数据主体声音、视觉形象进行学习，复刻生成自动化主体，让其说从未说过的话。不同于复制、模仿，复刻后的自动化主体与原主体始终无法割裂，是原数据“再生”的结果，故合成后的自动化主体及其劳动成果版权归属就存在争议。在计算科学学者Neil Gong看来，由于训练一个机器学习模型需要大量的数据和计算资源，训练数据和模型都可能代表模型提供者和数据所有者的知识产权。 在实践中，版权归属有以具体的协议约定为依据的案例。齐鲁晚报·齐鲁壹点的虚拟主播于芊文是基于女主播本人的真人形象、声音等采集而成的。在开发之前，所在媒体与主播本人进行了约定，授权齐鲁壹点在3年时限内享有该虚拟形象的使用权，包括发表权、修改权、传播权等，在授权期限内均由齐鲁壹点享有。

除了协议约定，权利主体也会借助技术保护自己的相关数据。非同质化代币（Non-Fungible Tokens，NFT）技术的兴起是对这类数字化资产的确权保护。NFT指用于对数字资产进行唯一加密的货币令牌，具有唯一性并且不能互换。当一个作品成为NFT产品，该作品便被赋予了一个无法篡改的独特编码；无论作品被复制、传播了多少次，原作者始终是作品的唯一所有者。 波兰著名女歌手Doda将自己全身做3D扫描，形成数字影像，以NFT的形式对其做版权交易。然而，NFT技术尚未成熟，作品的不可篡改保障性差， 加之图像、声音具有相似的可能性，个体遭遇这类权益侵犯后，依然面临发现难和举证难的境地。

（三）“超真实”混淆认知风险

深度合成集“深度”与“合成”为一体，图像在完整性、协调性方面，比早期PS技术靠文本光线、口型、语速等匹配度生成的作品要高，也更加逼真，甚而生成比实际还真实的超真实图像。在不做合成声明的情况下，公众将难以察觉图像合成与否。当这类图像混杂在数字视听世界时，在一定程度上会造成混乱的认知。

超真实并不意味着不真实，而是多维真实的呈现。深度合成建构三类真实：虚假真实、仿真真实、拟真真实。虚假真实是对现实事实的破坏，如换脸后的视频；仿真真实是对既有事实的镜像再现，如AI主播播报的新闻视频；拟真真实是无基础事实的全新创建，如数字人偶像。三类真实混淆了真假，改变了既有真实判断中真与假的二元对立，对视听内容的真实认知不再完全依赖于事实本身，而是取决于人在多大程度上承认智能机器内容生产的真实。 从用户的角度来看，他们对当前的算法新闻、人工智能主播的信任还处于不确定的状态。 这种基于主观判断建立的认知，往往带来认知不确定。

长此以往，认知缺乏可靠的参考依据会引发社会信任坍塌。当公众与真假不确定的信息持续接触后，信任被侵蚀时，人们更容易对特定事件产生怀疑，无法或不愿费力区分真假，导致一种被称为“信息启示录”（information apocalypse）或“现实冷漠”（reality apathy）的现象。 这对正在引入深度合成的传媒业来说，可能会面临更大的信任挑战。

二、深度合成的平台治理原则

随着信息传播的平台化和平台内容的媒体化发展，将社交平台作为信息生态失范的主要责任对象业已在内容生态治理方面达成共识。针对深度合成的外生性风险，以美国为代表的西方国家强调从源头治理，要求制作者对深度伪造的内容进行标注，否则可能承担民事责任，严重时还将承担刑事责任。与此同时，也强调平台媒体应针对造成特定伤害（如影响政治、国家安全、公共安全等）的深度合成内容进行标记和分类，承担内容的审核和辟谣责任。

中国则是源头和下游共同参与规制的“综合治理”取向。根据《网络音视频信息服务管理规定》《互联网深度合成管理规定（征求意见稿）》，深度合成服务者需要承担相关责任，不得用深度合成制作、发布、传播虚假新闻信息，而且“网络音视频信息服务提供者应当建立健全辟谣机制，并将相关信息报网信、文化和旅游、广播电视等部门备案”。因此，对中国平台媒体而言，在满足用户对深度合成内容需求的同时，需在日常内容审核中对深度合成内容严格把关，应以平台内容审核流程为治理对象，强化主动标识、建立风险评级机制、嵌入敏捷治理设计，以规避外生性风险。

（一）强化主动标识

《互联网深度合成管理规定（征求意见稿）》要求深度合成服务者应当对所有深度合成内容做合成标识。视频类合成可通过嵌入AI合成水印与合成标题告知并用的形式加以标识；语音类合成可通过声音署名的方式进行告知。如新华社新媒体出品的AI合成视频新闻，不仅在视频网页标题中用AI合成主播加以凸显，还在视频左上角保留AI水印标志，符合新闻透明性伦理规范。

在社交平台上，用户独立制作上传的深度合成内容是否做合成标识很大程度上依赖用户的自主性。平台可从建立标识规范入手，强化用户主动标识。

首先，规约用户主动做合成告知。（1）建立“标注”规则。平台可通过用户协议或专区板块将合成内容传播规范告知用户，并给出具体的标注细则。（2）披露核查。平台要借助音视频合成检测技术，进行合成披露核实、检查。披露核查一方面旨在不误导人，传达非独创性声明信息，去可版权性；另一方面，对未标注者，进行合成标注反馈、沟通。（3）做好合成内容再传播的告知。当用户对合成内容转发或下载时，平台要告知标注跟随注意事项。

其次，建立标注声誉惩罚规则。一般普通用户的合成内容多在平台自带的合成功能上生成，合成标注自动产生，“去标注”的可能性低。相反，不主动做合成告知内容，多是用户独立制作上传，或标注意识淡薄，或带有欺骗目的。当平台监测到或发现这类未标注的合成内容时，一方面要及时反馈给创作者，令其完善标注；另一方面，要做好创作者的个人信用评估，建立“失信”数字台账记录。

（二）建立风险评级机制

如前文风险分析所述，深度合成的外生性风险具有种类多、受害主体多元、风险危害程度大小不一等特征，建立风险评级机制是治理这类新型技术风险的必要手段。风险评估是衡量风险后果的有效工具，以“程度性”评估划分风险等级，在实践中已发展成标准化操作流程。 不同国家、不同管理主体对同一技术风险评估等级的划分有不同的标准，最为常见的标准是通过技术使用、技术衍生产品生产环节产生的潜在“实质性影响（substantially affects）”来定。

欧盟人工智能风险等级框架划定主要以危害严重性来分类，将危害人们安全或基本权利的人工智能系统归类为高风险。与此同时，德国数据伦理委员会考虑了危害发生的可能性和危害的严重性双重因素，提出了算法五级风险评级。技术风险等级评估给平台治理深度合成外生性风险提供了借鉴，但等级认定的解释具有模糊性，如德国数据伦理委员会对算法第四等级风险的界定，仅使用了“具有严重潜在危害的应用”的简短描述。鉴于此，治理主体还需对不同风险等级做操作化考量。

对深度合成内容风险评级的认定，平台可从合成内容来源、创作主体、内容性质等因素综合考虑。在合成内容来源评价方面，平台可对利用本平台合成功能制作的深度合成内容评价为低风险内容，但得有前提。

首先，平台通过出资购买或战略合作等形式获取权利人授权，主动提供授权合成内容素材。在一定程度上保证一般合成内容的目标素材由平台定义。如换脸合成应用Impressions，平台方为用户提供了各类授权的名人素材。

其次，通过技术实现合成告知及其合成水印的跨平台传播，做到对发送者追踪溯源。

最后，建立用户隐私信息/敏感保护机制。平台应做好个人数据安全隐私/敏感信息保护，既恪守隐私伦理规范，又充分保障用户数据的完全注销权、删除权、数字遗忘权和数字财产权。

对来自非平台创作的深度合成内容，因来源多样，可通过创作主体信用评分和内容性质来加以评定。就创作主体来看，可通过数字身份核实和开展信任评估来考虑风险。

数字身份核实是指对深度合成上传者身份信息与合成内容中所涉数字身份的匹配核实。上传者的身份认证可通过社交平台身份信息认证和生物特征认证系统实现。对个体认证用户可限定用户只能在使用时拍摄视频，只能换自己的脸；每次使用该功能时，都需要进行真实身份验证。当然，也可以与机构（组织）用户一样，通过提交的证明材料加以核实。

平台对不同主体的日常数据开展信源评估，应以内容曝光率、历史违规记录为依据，将个人用户细分为强信任的头部用户、一般信任的普通用户和信任度低的劣迹痕迹用户，分别对应优质信任、良好信任和不信任。

就合成内容性质来看，风险评估的判定要素一方面取决于受到法律保护的权益的重要性，另一方面借鉴社会相当性理论 ，将社会发展中的现实和社会观念引入风险评估判断中。具体划分为：不会给社会和他人带来伤害的深度合成内容为低风险，如主流媒体做了合成告知的AI主播新闻；可能会给他人带来潜在伤害的深度合成内容为中风险，如娱乐类换脸合成中涉及版权侵犯的视频；恶意侵犯他人人格、损害社会公共利益、触及法律红线的内容为高风险。

依据风险信号要素标签，将内容触碰法律法规底线的恶意侵害内容、有劣迹痕迹用户标签的合成内容划定为高风险等级；将来自非平台内容生产且在内容性质上存在一定利益侵害的内容标签划定为中风险等级；其余标签及其组合均为低风险等级（见表2）。对不同级别的风险采取差别化的监管。在此基础上，结合内容风控管理经验，尤其重视高曝光内容、高曝光主体、有历史违规行为的劣迹用户的内容。

（三）嵌入敏捷治理设计

新型技术风险具有不确定性、动态随机性，与之相适应的“敏捷治理”（Agile Governance）理念也逐渐被重视。敏捷治理是一套具有柔韧性、流动性、灵活性或适应性的行动或方法， 在具体操作中强调治理节奏上的快速回应和尽早介入，治理规则上推进弹性原则与具体类型化规则有效结合，治理关系上的互动合作以及治理方式上的过程快、力度轻的引导性治理。

深度合成外生性风险在平台前端的传播并不是静态不变的，存在风险动态演变的可能。一方面，由于合成生产主体信用等级、利益侵害类型判定的非完全确定性，预判为低风险的内容有升级到中高风险的可能。如娱乐换脸类深度合成风险预判多为中低风险。当明星换脸素人，合成内容传播可能是低风险，但将主体调换，明星因形象“受损”为由发起权益保护，风险会升级为高风险。另一方面，深度合成在二次传播中还会面临“去标注”的可能，可见深度合成风险等级受具体情境影响。

因此，在敏捷治理设计中可从传播分发节点上的“有限可见”与“风险动态追踪”两方面入手，减少平台前端的中高风险合成内容（见图1）。

“有限可见”指借助平台人工审核与算法分发协作，以风险评级为参考依据，通过限制信息流的方式控制信息曝光的分发规则。具体操作为：对触碰法律底线、权益侵犯高风险的合成内容“不见”（删除）；对评价为中风险层级的合成内容“降权”；对低风险层级、且合成主体信源等级高的合成内容“增权”。《互联网信息服务算法推荐管理规定》也鼓励平台利用算法做信息优化推荐，第12条明确指出“鼓励算法推荐服务提供者综合运用内容去重、打散干预等策略，并优化检索、排序、选择、推送、展示等规则的透明度和可解释性，避免对用户产生不良影响，预防和减少争议纠纷”。但要注意的是，平台方需要将分类分级、有限可见的规则向社会公示，并重视用户意见反馈，完善算法系统，减少误判。

“风险动态追踪”强调平台应尽可能跟踪深度合成内容风险等级动态变化，灵敏应对风险预警，及时处理突发性风险，利用时间差优势降低风险危害程度。因此，平台要重视中低级风险合成内容异常浏览阅读量跟踪监测，降低发生高风险的意外，重视“违规”合成内容的投诉、反馈，及时处理给他人带来伤害、负面影响的内容。

此外，建议平台采用轻推（nudges）的干预功能，这会提醒用户在转发可能被操纵的内容之前重新考虑是否转发。 近年来，这一成本低、效率高的功能减少了网络有害行为的发生。例如，在治理论坛上的谩骂时，在线机器人可以要求用户重新考虑帖子中令人不快的部分，提出更多可接受的修订版本，或者在发布帖子前稍微延迟一下时间，让用户冷静下来， 以此改变用户的发送行为。平台可通过“轻推”功能提醒用户转发深度合成内容时要注意潜在的风险，注意审慎对待里面的内容，提高用户对深度合成内容的敏感度。

三、结语

当“合成”遇上“深度”，视听内容二次“创作”所引发的探讨变得愈加复杂。智能化的合成，在提升了合成图像逼真性的同时，也挑战了既有内容生态管理规范。当深度合成内容成为网络信息内容生态治理的一部分时，我们不应只关注“深度伪造”，而忽视更大范围的深度合成外生性风险问题。合成者、传播者都应意识到深度合成技术在“图像转向”时代给社会带来的深刻影响。在移动化、社交化信息消费的大趋势下，各平台媒体应当主动参与到深度合成内容的治理之中，成为规制深度合成技术滥用、阻断深度伪造传播的有效力量。

〔张超，山东大学文化传播学院副院长、教授、博士生导师；陈莎，山东大学文化传播学院新闻传播学博士研究生〕

〔特约编辑：顾洁〕 zUJlqaam8GgZAUd/IYUc1nPXV+3KjleUU/URNFajIlHl5b73tZKETXvDpr8M8hYO