随着云计算、大数据、物联网、人工智能和区块链等技术的出现,在新的科技革命和产业变革中,数据经济蓬勃发展,催生了新产品形态和业务模式。数据经济的核心是数据,算法出现以后,数据被抓取、处理、提炼才产生基于数据价值的数据经济。
正如莱辛格教授所言“代码即法律”,算法是这数字信息世界的法律。算法在大数据蓬勃发展的今天,从实验室走向应用,以前所未有的速度、深度和广度重构着我们的生产和生活。
算法融入了经济社会的各个方面,带动了经济增长、推动了经济发展,使得个体的生活更加丰富、更加便利,成为企业取得竞争优势的重要因素和政府治理社会的便利手段。算法的应用范围广阔,展示形态多样,例如,搜索引擎通过排序算法对用户搜索的内容进行展示;商业银行通过对于贷款申请者的还款风险评估算法测算贷款申请者的还款能力进而决定是否放出贷款;机场车站对于大规模人群的特征识别算法;用于维护公共安全,大数据征信可以对征信对象进行信用评分。作为个体,我们的衣物选择、新闻获取、股票等商业交易中充斥着信息平台的个性化推荐,通过算法大幅度提高决策效率,提升消费体验。企业通过算法处理大数据,通过追踪、监测市场信息来调整价格信息。政府通过算法进行犯罪风险预防、辅助量刑和智能社会治理等公共管理,在社会福利事业、刑事司法、医疗系统的完善和国家安全等方面,算法发挥着举足轻重的作用。我们生活在“算法社会”中,算法在不同场景下管理、分类乃至约束着社会的运行。
在信息化、网络化和智能化飞速发展的当下,算法极大地促进了经济的发展和政府管理,但同时也在多个方面带来了风险,如市场竞争、信息传播、个人隐私和弱势群体的利益等方面。算法在生产生活中发挥着不可替代的重要作用,但其又存在风险和隐患,因此算法成为信息时代最重要、最核心、最关键的议题,受到越来越多的关注和更大范围的讨论。
技术一般被认为是价值中立的,然而企业开发设计算法目的是服务其经济目标,即使企业在开发算法时没有违反法律法规,但将利益最大化作为算法要实现的最终目标,可能使得算法在自我学习迭代中造成可能违反法律法规、公序良俗和社会伦理道德的结果。随着算法越来越广泛地应用,风险和问题逐渐显现。算法的应用影响正常的传播秩序、市场秩序和社会秩序,也给社会公平公正和消费者合法权益的保护带来严峻挑战。
在政府管理方面,算法被越来越多地应用于治理社会,如交通执法、犯罪预测等领域,但算法黑箱始终挑战着人类享有的决策知情权。当算法在政府管理和社会治理方面发挥越来越大的作用,人类的自主性亦面临着更严峻的挑战。在面对“电车难题”中算法如何作出决策无法知晓,算法自动作出判断并实施行动可能构成对道德伦理的挑战。
在经济发展方面,随着平台企业涌现,由平台连接着用户和供应商,提供双方交易中介服务以及实现交易所需要的数字化工具、数字基础设施和交易规则。然而个别超大型平台利用市场优势地位和对数据的掌控对供应商和最终用户定价,利用算法向供应商和消费者收取高价,限制市场竞争,对消费者权益带来严重威胁。
在社会安全方面,AI换脸等算法的发展使得算法犯罪成为社会信息安全重要隐患。绝大多数用户对于平台或产品收集面部识别特征等生物识别信息缺乏警惕,其面部特征信息可能被算法技术窃取应用于诈骗、色情、虚假新闻等,不仅严重损害公民个人财产和身心健康,还严重影响了社会秩序。
在个人权益方面,算法可能威胁个人隐私,侵害弱势群体的利益。算法建立在数据的收集基础之上,但算法设计开发者为追逐利益可能并非全部基于合法途径获取用户的数据。自2019年1月中央网信办、工业和信息化部、公安部和市场监督管理总局四部委联合发布《关于开展App违法违规收集使用个人信息专项治理的公告》开始我国(移动互联网应用程序)App违法违规侵害用户权益专项整治活动,
仅在2021年因违法处理个人信息通报违规1549款、下架514款App。
因个人信息泄露发生的司法案例近年来也快速增长。另外,算法的应用可能也在一定程度上损害了弱势群体的利益。例如,有些外卖平台的骑手在算法的调度安排下为了准时完成订单避免罚款,被迫增加劳动强度,甚至采取超速、闯红灯和逆行等高风险行为,增加事故发生概率。
(1)算法规范及特征
目前对于算法的监管主要是散见于各个法律、部门规章、规范性文件、地方规章和技术标准中,整理如下表:
续表
续表
续表
续表
续表
在国家层面,《关于规范金融机构资产管理业务的指导意见》第23条规定了算法报备。为规范在线旅游市场秩序,文化和旅游部制定了《在线旅游经营服务管理暂行规定》。
《电子商务法》首次在法律层面涉及算法相关的规范,《个人信息保护法》对于算法的规定主要是集中在自动化决策方面,第24条规定包括算法黑箱问题、反对算法歧视条款和设置算法自动化决策规则三个方面。
目前,《App违法违规收集使用个人信息行为认定方法》作为中央网信办、工业和信息化部等执法部门通报App违法违规收集使用个人信息的重要依据,在实践中对于企业有着重要的参考价值。《信息安全技术 个人信息安全规范》的具体内容亦可作为企业实践中参考的规范。
对算法进行专门规定的法律文件是《关于加强互联网信息服务算法综合治理的指导意见》和《互联网信息服务算法推荐管理规定》。《关于加强互联网信息服务算法综合治理的指导意见》主要提供了指导思想、基本原则、主要目标,强调健全算法安全治理机制,构建算法安全监管体系和促进算法生态规范发展。《互联网信息服务算法推荐管理规定》的规范集中在互联网信息服务算法推荐活动,在信息服务规范、用户权益保护、监督管理、法律责任等方面都作出了明确规定。对于算法的其他应用,有待进一步规范。
地方层面对于算法的监管也有不少探索。《深圳经济特区数据条例》中对于算法的监管进行了原则性的规定,而《上海市数据条例》虽仅提及要保护算法的知识产权,但在具体的试行规定中,如《上海市网络交易平台网络营销活动算法应用指引(试行)》对于算法治理问题进行了大胆尝试和探索,对目前算法存在的主要问题进行了回应,包括消费者画像、差别待遇、信息推送或商业营销以及商品或者服务的搜索结果展示,还有要求公平参与市场竞争和保护弱势群体,对企业提出了合规管理建议,如建立合规管理体系、将算法公开透明、建立投诉处理机制和消费者赔偿机制。
由于算法共谋与反垄断相关联,《国务院反垄断委员会关于平台经济领域的反垄断指南》将平台经济领域特有的竞争行为纳入反垄断监管之下,明确“通过数据、算法、平台规则或者其他方式实质上存在协调一致的行为”为垄断协议的形式,同时规定“利用数据、算法、平台规则等实现协调一致行为”为横向垄断协议,“利用数据和算法对价格进行直接或者间接限定”为纵向垄断协议。《反垄断法》从法律层面约束经营者滥用数据、算法、技术及资本优势、平台规则等排除、限制竞争的不当行为,主体并不仅限于平台经济和互联网方面的实体。
(2)算法治理的现状
算法由人类开发设计,其从诞生之日起不可避免地带有人类主观认知的缺陷,这一局限性极有可能会随着数据的积累和算法的迭代被放大。算法的自我生产能力带来了规则的复杂性,以及算法开发设计者与受算法支配者之间的信任危机。有学者指出治理算法的核心要素是:解决算法的可靠性、透明性、可解释性和可问责性。
目前的法规主要从要求算法公开透明和赋予个人对数据的权利两条路径进行算法治理,然而两条路径均存在各自的难题。
①算法公开透明
算法的不透明性使其成为技术黑箱,海量的数据和算法的专业化增加了监督难度。在缺少监督的情形下,企业经营者极有可能利用算法追逐经济利益违背法规、道德和公共利益。故不少观点认为破解算法黑箱的核心在于让算法公开透明。但使算法公开透明可能会带来一些问题。
算法可能包含商业秘密,出于对商业秘密的保护,算法不可能完全公示。算法公开存在可行性的难题,同时与知识产权保护相悖。如部分电商平台将其算法作为商业秘密严格保护,算法作为企业的重要竞争力,一旦被公之于众会使得企业自身优势荡然无存。而且即使公开算法也收效甚微,一来是算法本身无比冗长和繁杂,公开算法源代码并不能提供对算法的有效说明,阅读代码和算法设计是高度专业化的技能,技术壁垒阻碍着不具有专业知识的公众对公开的算法进行监督;二来是算法内部逻辑会随着对训练数据的学习不断改变,这一学习能力一定程度上使得算法可以自己调整修改决策规则,算法具有自主性可能会造成算法执行任务后果难以预测。
以通过算法实现垄断为例,信息交换过程无须媒介,经营者之间的意思联络缺乏书面证据,合谋的意图更加隐蔽。除了更方便地结成垄断协议之外,算法还能监督协议的执行和防止参与者作弊。例如:网约车商业模式中,有的平台将基础费率、供求影响因素嵌入算法运行,决定司机和乘客双方的交易价格,司机之间无法通过竞价争取乘客,平台可以对外统一的定价赚取垄断利润。
算法黑箱的决策可能并非经营者的本意,例如,一鞋类除臭剂制造商的创始人,发现某市场的媒体在新闻报道中提及他们的除臭剂,该产品的零售价格就会上涨。而这临时涨价反而会降低商品的销售量,与经营者自身意图相悖。目前对于垄断的规制无法破解算法黑箱,更难以查明对于价格合谋的结果,经营者是否知情,同时算法的自主学习能力也为经营者逃避责任提供借口。
②赋予个人对数据的权利
个人数据赋权的法律法规更多的是依靠个人作为数据权利主体对于数据的控制,从算法所依赖的对象“数据”的角度切入,对算法进行规制,实践中,不论是欧盟的《通用数据保护条例》( the General Data Protection Regulation ,GDPR)规定的用户享有知情选择权、被遗忘权、请求删除权和反对自动化处理权等,还是我国《个人信息保护法》规定的查询更正权、删除权、撤回同意权和拒绝自动化决策权,在“知情—同意”的制度框架下,面对企业展示的复杂冗长的隐私政策,用户常常难以理解并无法仔细阅读,并且用户若拒绝同意隐私政策会无法正常使用软件,使得个体权利在实践中难以得到有效保障。
由于算法的专业性和复杂性,如何提高算法透明度和可解释性,建立第三方监督评估机制,引入第三方服务机构或专家委员会对企业算法合规性进行审查是否可行,完善算法治理规则,制定合理开发利用算法的规范,对于算法开发者和使用者提出兼顾道德伦理和社会公共利益的要求,设置合理的审查、风险评估和算法解释等义务,本报告将参考美国、欧盟等域外经验,结合中国当前实践,寻求算法应用与监管之间的平衡。