物联网的核心是物与物以及人与物之间的信息交互。传统物联网是实现终端数据收集到云端数据处理的过程。海量的传感器和设备收集来自环境的数据,将它们传输到云中心,并通过互联网接收反馈,实现连接和感知。传统的物联网体系架构分为3层:
感知层 如同人的各种感觉器官,由各种各样的传感器设备组成,用来感知外界环境的温度、湿度、压强、光照、气压、受力情况等信息。
网络层 相当于人的神经系统,由各种异构网络组成,将来自感知层的各类信息通过网络传输到应用层。
应用层 是用户和物联网间的桥梁,通过云计算、大数据、中间件等技术,为不同行业提供应用方案。
智能物联网以数据处理为中心,面临新的机遇与挑战,将形成新的体系架构与系统软件平台,下面分别进行阐述。
智能物联网以智能信息的高效、实时处理为中心,随着边缘计算和边缘智能的引入,将形成云边端协同的AIoT体系架构。如图1-1所示,系统分为三层,包括智能终端层、边缘智能层、云计算层。
图1-1 云边端协同的AIoT体系架构
智能终端层 由各种物联网终端(如机器人、无人机、智能车、移动/可穿戴设备等)组成,是AIoT的感知和执行单元。可以完成音频、视频、位置、压力、温湿度等多模态感知数据采集,并执行运动、抓取、跟踪等行为。与传统物联网感知层不同,智能终端层将完成部分的数据处理任务,在终端部署传统机器学习或深度学习模型。由于终端资源受限,一般采用轻量级的模型设计方法,包括网络剪枝/压缩/量化等技术。
边缘智能层 是指将计算和智能处理能力部署在靠近终端的边缘设备上,通过边端协同增强计算能力,可以减少计算延迟,支持实时服务。从计算层面来讲,可以将终端计算任务部分卸载到边缘计算节点上;而从智能处理层面来讲,由于终端资源和数据受限,通过边缘群智能体协同可以更好地执行模型训练和推理任务,边端协同深度模型分割、移动边缘联邦学习等成为近年来研究热点。
云计算层 支持丰富的物联网应用服务,它使AIoT应用能够通过互联网虚拟地使用计算资源,具有灵活性、可伸缩、可靠性等特征。通常,来自大规模分布式物联网终端和边缘设备的实时数据流通过网络传输到远程云中心,在那里它们被进一步集成、处理和存储。基于海量物联网数据和丰富的计算资源,在云上训练和部署具有较好泛化能力的机器学习模型成为可能。
在云边端协同的AIoT架构中,三者动态分配计算量,有效缓解了云计算平台的数据处理负担,提高了数据处理效率。当实时响应和低时延是关键因素时,主要依靠更靠近用户的边缘计算架构;当计算决策的精确性是关键因素时,主要依靠云服务器。
智能物联网是“软硬协同”的智能系统,在云边端协同的智能物联网体系架构之上,软件平台也是智能物联网的核心组成要素。软件平台在设备和应用之间提供互操作能力,能够集成异构的计算和通信设备,简化应用的开发,并为运行在异构设备上的多种应用和服务之间提供互操作能力。一般来说,体现为中间件形式。传统物联网主要为云计算提供海量数据来源,产生了基于云计算的物联网中间件平台,如亚马逊AWS IoT、微软Azure IoT等。AIoT物联网中间件基于云边端协同的新型体系架构,且以数据和智能算法为中心要素,图1-2给出一个参考的AIoT系统软件平台架构。
图1-2 AIoT系统软件平台
物联网操作系统: 为适应物联网中异构硬件设备及操作系统的差异性,软件平台应充分考虑多样化的硬件需求,通过合理的架构设计,使软件平台本身具备充分的可伸缩性,能够便捷地应用于不同硬件设备上。
AIoT分布式通信协议: 在智能物联网软件平台中,存在感知、预测、决策和执行等多种模块,需要实时、频繁地交换数据,因此平台应具备灵活可靠的通信架构,以提供更好的互操作性,保障数据进行实时、高效、灵活地分发,可采用发布/订阅体系架构,以满足分布式通信需求。
资源描述与数据管理: 物联网软件平台连接规模化异构物联设备,获取海量多模态感知数据,因此应具有设备资源描述与数据管理功能,包括资源注册与访问、资源抽象描述、资源优化调度、数据存储访问等模块。其中资源注册与访问面向动态连接拓扑环境,生成资源抽象描述,在此基础上提供资源优化调度服务。
AIoT API库: 为提供异构设备和多种应用间的互操作能力,软件平台以数据和智能算法为中心,如泛在智能感知、群智感知计算、智能物联网通信、终端适配深度计算、物联网分布式学习、云边端协同计算以及安全与隐私保护等模块。因此需要良好的接口设计以合理划分软件系统职责,降低各部分间的相互依赖,提高组成单元内聚性,以助力开发人员的高效开发。
● 泛在智能感知: 基于泛在的物联网终端设备及其所具有的多模态感知能力,实现对用户及环境情境的及时、准确感知,包括感知信号处理、智能无线感知、多模态融合感知等技术。
● 群智感知计算: 以大量普通用户及其携带的智能设备作为感知源,利用大众的广泛分布性、灵活移动性和机会连接性进行大规模感知,包括群智感知任务分配、数据优选汇聚、激励和隐私保护机制等技术。
● 智能物联网通信: 基于海量通信数据分析和挖掘,进行智能化的资源调度和通信优化,以最大化数据传输与通信效率。
● 终端适配深度计算: 根据物联网终端资源约束,自适应地利用轻量化结构设计、深度学习模型压缩、量化等关键技术,调整模型结构与运算方式,提供适配的深度计算范式与模型结构,增强设备智能计算能力。
● 物联网分布式学习: 利用分布式训练、联邦学习等关键技术建立边端协同的分布式学习机制,加速复杂任务的学习与推理。
● 云边端协同计算: 利用边缘卸载、模型分割、计算资源优化调度、云边端协同优化等关键技术,建立基于云边端异构设备协同的计算范式和边端协同深度学习方法,完成复杂的计算与学习任务。
● 安全与隐私保护: 为软件平台模块间传输的数据与参与计算的用户提供安全与隐私保护功能,采用如差分隐私等保护方法,确保隐私敏感设备的数据和通信安全。
应用编程接口: 软件平台通过抽象和建模,对不同的底层硬件和功能部件进行抽象,为上层提供统一的应用编程接口。同时,编程接口为开发者屏蔽物联设备的硬件配置及资源状态,使得面向不同场景开发的智能应用可以运行在多种异构的硬件平台上,而只需硬件设备安装运行系统软件平台即可。