目前,各家机构对于联邦学习概念的内涵、外延、具体应用的技术方案各有见解,并没有形成统一的规范与标准。不过,多家机构都在积极参与和引导联邦学习相关国内外标准的制定。
2018年12月,IEEE标准协会批准了由微众银行发起的关于联邦学习架构和应用规范的标准P3652.1(Guide for Architectural Framework and Application of Federated Machine Learning)立项。2019年6月,中国人工智能开源软件发展联盟(AIOSS)发布了由微众银行牵头制定的《信息技术服务联邦学习参考架构》团体标准。2020年3月,蚂蚁集团牵头制定了《共享学习系统技术要求》联盟标准,并且该标准由中国人工智能产业发展联盟(AIIA)批准通过。2020年6月,3GPP SA2第139次电子会议通过了中国移动提出的“多NWDAF
实例之间联邦学习”标准提案,3GPP标准引入联邦学习智能架构和流程。2020年7月,由中国信通院、百度等单位共同参与拟定的《基于联邦学习的数据流通产品技术要求与测试方法》首次发布,这是又一项关于联邦学习的团体标准。
另外,各家企业与机构针对联邦学习的理论原理和可用场景纷纷发布了相关白皮书。微众银行联合中国银联、平安科技、鹏城实验室、腾讯研究院、中国信通院、招商金融科技等多家企业和机构发布《联邦学习白皮书2.0》,同盾科技人工智能研究院发布《知识联邦白皮书》,腾讯安全发布《腾讯安全联邦学习应用服务白皮书》,IBM发布《IBM Federated Learning:An Enterprise Framework White Paper V0.1》。
像对待其他IT技术一样,各相关企业和机构也在针对联邦学习技术打造技术社区与开源生态,将联邦学习行业内的技术人员聚集在一起学习和交流,了解行业的最新进展,分享与探讨前沿技术。
自概念提出以来,联邦学习就一直以开源的形态展现。Google将其工作进展与思路分享在Google AI Blog中,虽然博文通常以非正式或对话的方式进行更新,但是这的确是机器学习相关研究准确可靠的信息来源。Google AI Blog有专门用于介绍机器学习、联邦学习研究的部分,为联邦学习的发展提供了许多新思路。Facebook Blog、NVIDIA Blog上也有分享联邦学习技术的文章。
在国内,已有超百家企业和高校参与微众银行联邦学习FATE开源社区。开发者参与社区、使用开源技术是与社区建设互惠互利的,他们在摄取价值的同时也通过自身的经验帮助项目和技术成长。另外,由微众银行同多家国内外AI公司及研究机构发起、筹备的联邦学习国际标准(IEEE P3652.1)已由IEEE标准委员会(SASB)一致投票通过,这将推动联邦学习相关生态的进一步繁荣。
类似于Google AI Blog,腾讯的腾讯云社区中也有关于大数据、人工智能的专栏,分享过关于腾讯联邦学习平台Angel PowerFL的思路与想法。该平台充分考虑易用性、高效性与可扩展性:在每个参与方内部使用Apache Spark作为计算引擎,可以更方便地与其他任务流进行对接;使用Apache Pulsar作为跨公网传输的消息队列,可以支撑大量的网络传输,可扩展性好;使用C实现了一个高效的Paillier密文运算库,进行性能上的改进与优化。
不少联邦学习平台与项目在开源技术交流平台GitHub上开源。字节跳动相关团队2020年年初在GitHub上开源了联邦学习平台Fedlearner,其模型训练以神经网络模型训练、树模型训练为主。对于神经网络模型训练,只需在原始TensorFlow模型代码里加入发送算子和接收算子,就可以将其改为支持联邦训练的模型。
其他机构的技术社区则不只是针对联邦学习。例如,蚂蚁集团的技术社区针对整个金融科技领域分享领域相关新闻、前沿技术,还举办技术相关的线上直播、线下分享等多种形式的活动。百度的AI开发者社区也类似,划分多个板块,涉及多领域、多技术门类,例如图像识别、知识图谱、增强现实等。其中,百度开源框架PaddlePaddle涉及了支持联邦学习范式的模块。