近年来,随着信息技术的快速发展,智能手机、可穿戴设备、无人平台等终端设备广泛普及,已成为人们接入信息世界的主要入口节点。与之相随,海量原始数据正由终端设备不断产生,如何高效处理这些原始数据,挖掘其中的信息价值,服务人们的生产生活已成为当下重要的现实课题。而人工智能理论与方法的跨越式发展和进步,特别是以深度神经网络为代表的先进智能模型,给高效处理、运用上述终端数据带来了新的契机,将人工智能技术与终端信息处理相结合,实现终端数据的智能化处理已是产业界、学术界尤为关注的新热点。
受限于终端设备有限的算力与续航力,仅依靠终端设备本身,往往难以完成复杂的终端智能信息处理任务。针对该挑战,在传统的云计算模式下,终端设备通常将原始数据悉数传输至云中心,依托云中心的大规模算力处理海量原始数据。然而,这不可避免地带来了沉重的数据传输负担与数据隐私安全隐患。人们对响应延迟、数据安全等信息服务要求的不断提升,以及边缘计算等新技术的崛起,智能信息处理服务在需求与技术的双重驱动下,不断向边缘侧乃至终端侧下沉。有机整合云中心、边缘设备与终端设备,在云边端融合计算模式下对终端数据进行智能处理,已成为当前终端智能服务发展的新趋势。
本书聚焦云边端融合计算模式下的终端智能信息处理技术,从数据传输和智能计算两个方面开展研究。首先,在数据传输方面,本书关注如何实现终端设备与边缘设备、云中心之间的高效数据传输,解决大量终端设备带来的链路拥塞、数据冗余等问题,优化云边端三层之间的数据传输效用。接着,本书围绕智能模型的学习训练与部署运行这两个智能计算的主要过程,针对终端设备算力、续航力受限这一现实挑战,研究云边端融合计算模式下的智能模型部署运行和学习训练方法,实现终端智能模型的高效推理与持续演进。
具体而言,本书第1章介绍了终端智能信息处理、云边端融合计算模式,指出了云边端融合信息处理面临的挑战,以及本书关注的问题。第2章围绕大量终端设备如何自主选择通信链路与后端进行数据传输的问题,研究了终端设备数据传输链路自主协同选择方法,优化云边端数据传输链路利用效率。第3章针对各终端设备中存在冗余数据的情况,研究了多终端设备协同数据传输方法,通过优化各终端设备的数据块传输决策,提高数据传输效用。第4章考虑了终端设备与后端云中心之间传输链路通畅情况下的智能模型分层部署方法,实现云端协同智能推理,降低终端智能信息处理开销。针对终端设备与后端不可达的情况,第5章提出了智能计算模型压缩方法,大幅度降低终端智能计算模型的算力要求,实现终端侧自主智能推理。与之相应,第6、7两章研究了在终端设备与后端可达或不可达情况下的终端智能模型学习训练问题,分别提出云边端分层联邦学习方法和端到端完全分布式学习方法,实现云边端融合的终端智能模型持续学习训练。
本书撰写分工为:王吉负责全书章节主笔撰写;张雄涛负责协助撰写第6、7章内容;包卫东负责修改完善第1章内容,并指导梳理全书逻辑框架;朱晓敏负责修改完善第2、3章内容。
本书是对作者近5年来研究成果的总结,工作的完成离不开团队的支持,在此特别感谢伊利诺伊大学Philip S. Yu教授、佐治亚理工学院Ling Liu教授的指导。不同于大部分边缘智能方面的书籍以概念介绍、工程应用为主,本书以基础理论、前沿方法为主,侧重关键技术论述,在终端智能信息服务这一问题上提出刍荛之见,以期为后续研究与实践应用开拓思路。
本书关注的问题是一个正在快速发展的新兴领域,由于作者水平有限、编著时间仓促,本书错误或不足之处在所难免,恳请读者朋友批评指正、交流碰撞,有关问题或建议欢迎致信wangji@nudt.edu.cn。
王 吉
2024年1月
在移动通信、大数据、人工智能等新理论新方法的驱动下,信息处理技术快速发展,呈现诸多新特征。一方面,随着物联网与5G时代的到来,智能手机、可穿戴设备、无人平台等终端设备正产生海量数据与处理需求,信息处理正逐步从云计算中心向终端设备迁移。另一方面,以深度学习为代表的先进人工智能方法快速发展,应用领域不断扩展,人工智能正在对经济发展、社会进步、国防建设等方面产生重大而深远的影响 [1] 。在多重因素的共同作用下,终端智能信息处理模式应运而生。本章将从终端智能信息处理的概念内涵出发,提出云边端融合的终端智能信息处理框架,分析该框架下终端智能信息处理所涉及的瓶颈问题,论述本书研究内容的重要意义。
终端设备通常是指位于网络末端的设备节点 [2] ,承担着连接物理世界与信息世界的重要作用,物理世界中的信息由终端设备采集和处理进入信息世界。近年来,随着电子技术与通信技术的迅猛发展,以智能手机、无人平台、物联网设备为典型代表的终端设备得到广泛部署应用。根据爱立信公司预测,到2027年,终端设备所产生的网络数据将占全球网络数据总和的51% [3] ,智能手机、物联网设备等终端设备将成为信息世界的主要入口节点,海量原始数据正由终端设备不断产生,处理这些原始数据的需求也在同时快速增长。
同时,随着人工智能理论与方法的跨越式发展和进步,先进智能模型与算法突破了传统机器学习方法的众多性能极限。为提高终端信息处理的质量,采用深度学习等先进的模型与算法进行终端智能信息处理,已成为终端设备信息处理的重要需求之一 [4] 。面向终端智能信息处理的新需求,本书将围绕智能计算的两个主要过程,即智能模型的学习训练与部署运行 [5] ,开展研究和论述。在学习训练阶段,终端智能信息处理的主要任务是使用终端设备产生的大量训练数据,通过一定的训练算法对深度神经网络等智能模型的结构、参数等进行学习训练;在部署运行阶段,终端智能信息处理的主要任务是将训练后的智能模型部署于平台上,将终端设备产生的数据输入模型,通过计算、运行该模型来向用户反馈结果。
在现有的计算模式下,信息处理任务通常由云计算中心等大规模计算平台完成,以提高信息处理的质量。伴随技术的成熟与发展,智能化终端设备正加速渗透人们工作生活的方方面面。国务院发布的《新一代人工智能发展规划》明确指出,要加快发展智能终端核心技术,统筹建立终端与云端协同的人工智能云服务平台 [6] 。向终端设备提供智能服务,在最靠近应用场景与用户的地方进行智能信息处理的需求正不断凸显。
(1)智能化处理需求。随着终端设备应用场景与模式的不断扩展,智能交通、智能家居乃至智能作战已逐步成为现实,人们对终端设备的需求已不再停留于简单的信息采集与存储,诸如智能手机、智能家电、无人平台等新产品的出现,要求终端设备在采集、存储数据的同时,自身具备智能信息处理、向用户提供智能服务的能力。
(2)快速实时性需求。以智能交通为例,日益增多的汽车厂商在使用人工智能实现无人驾驶或辅助安全驾驶。如果将实时采集的数据发送到云端进行信息处理,所产生的延迟会使车载控制系统无法及时对突发事件做出反应,造成事故。为增加智能服务的实时性,必须在车载端进行智能信息处理,提高智能交通系统的安全性。
(3)稳定可靠性需求。以智能作战为例,分队/单兵信息终端、无人作战平台等武器装备系统正广泛采用人工智能提高战斗力水平。然而,战场复杂电磁环境使武器装备系统的通信条件极其恶劣,会频繁面临断网失联等情况,依托云端提供信息处理服务无法保证其可靠性,必须在武器装备系统本地进行信息处理,以保证作战过程中信息服务稳定可靠。
(4)隐私安全性需求。以智能家居为例,家用电器、家居用品正逐步采用智能化理念,通过采集分析用户生活习惯和居家环境等数据,来增强家用品的服务体验,使家居生活更舒适、便捷。然而,生活习惯和居家环境包含高度私密的个人信息,若上传云端处理,可能导致个人隐私泄露,甚至为不法分子所利用。因此,需要在家庭本地对数据进行处理,以满足用户隐私安全性需求。
区别于云计算中心等传统的、大规模的信息处理平台,终端设备具有鲜明的自身特点。首先,从设备性能来看,终端设备受尺寸、重量、价格等因素影响,无法配载高性能计算设备、通信设备和大容量储能设备,难以支持高算力、高能耗要求的信息处理任务。其次,从使用环境来看,终端设备通常需要在开放环境下广泛部署,依赖无线网络进行通信,信道状态不稳定且任何人都可能接触到终端设备或介入设备通信中。最后,从应用场景来看,终端设备性能高度异构,且由于广泛部署,因此信息处理需求的差异也较大。虽然将智能信息处理任务从云计算中心推向终端设备有着紧迫的现实需求,但是终端设备的上述特点给终端智能信息处理带来了极大的挑战。
(1)通信条件复杂恶劣。终端设备所处的无线网络环境可能出现通信延迟和带宽受限等问题,导致某些情况下终端设备之间、终端设备与远端中心之间通信困难。特别是在战场或灾害环境下,通信设施缺失,终端设备面临的通信条件更为复杂恶劣。
(2)计算性能要求过高。随着对智能信息处理要求的不断提高,所采用的信息智能处理算法日趋复杂,以深度神经网络模型为代表的先进模型通常极其复杂庞大,包含上百万个甚至上千万个参数,学习训练和部署运行模型都需要大量运算,对计算性能要求过高,远超终端设备的算力与能耗限制,会造成难以接受的处理延时与计算能耗。
(3)终端设备规模庞大。在物联网、无人集群等应用场景下,终端设备规模庞大,且往往是集中部署。一方面,庞大的设备规模增加了终端信息处理时个体之间协同的难度,对协同方法的设计提出了严峻的挑战;另一方面,大量终端设备集中部署可能同时产生同类资源需求,大大增加了资源调配的压力,如大量终端设备同时向后方中心回传数据,导致数据传输出现拥塞。
(4)信息处理需求多样。由于终端设备的性能高度异构,所面对的应用场景复杂多样,导致各类终端设备的信息处理能力和所需完成的信息处理任务存在差异。这一方面使得多终端协同信息处理的难度增加;另一方面考虑现阶段智能处理算法远未达到通用智能的程度,使针对具体业务场景提供差异化、个性化的信息服务更具挑战。
(5)隐私安全存在隐患。由于终端设备在开放环境下广泛部署的特点,必须将数据的安全隐私性纳入考虑。在信息处理及智能模型训练过程中,所涉及的数据可能高度敏感或法律禁止公开,传统的信息处理和模型训练方法会导致数据直接暴露或极易被恶意用户获取,危害数据隐私安全。
上述5个方面的挑战加剧了终端智能信息处理的难度。相对广泛运用于云计算中心的传统信息处理方法,终端信息处理所面临的情况更为复杂,对信息处理的安全与效率的要求更为苛刻,传统的信息处理技术无法很好地解决上述挑战。因此,迫切需要开展适用于终端设备的智能信息处理技术研究,以提升终端侧信息处理的质量与效益,实现对终端设备的AI赋能。