下载掌阅APP，畅读海量书库
立即打开
智能物联网的人机物融合、泛在计算、分布式智能、云边端协同等新特质，以及区别于传统物联网的体系及软件结构带来了很多新的挑战问题，下面将简要阐述所面临的挑战及相关技术。
“泛在智能感知”是普适计算、移动计算、物联网和人工智能等多个领域交叉的一个新兴研究方向。泛在智能感知主要通过内嵌在智能手机、手表、可穿戴设备、汽车、家电中的摄像头、加速度传感器、陀螺仪、Wi-Fi、LTE、毫米波雷达、声波收发模块等对人和环境进行多模态感知，并利用人工智能的算法、模型和技术对感知信息进行分析得到关于人和环境的情境状态；进而为人在合适的时间、地点提供智能的服务。泛在智能感知在智慧终端、智慧家居、智慧健康医疗、新型人机交互和自动驾驶等领域有着广泛的应用，是智能物联网的重要组成部分。
智能视觉感知： 视觉是人类从外界获得信息的主要途径，通过机器、计算机以及人工智能方法来模拟人类的视觉功能是人们多年的追求。较之于传统视觉技术，智能视觉感知采用机器学习与深度学习技术，具备更快更强的感知与运算能力，一方面提升了边缘检测、语义分割、图像滤波等基础视觉处理能力，并在移动目标检测、移动地图构建、视频流目标跟踪、视频动作识别等关键视觉感知技术上得到广泛应用，强化视觉感知能力的同时也拓宽了视觉感知的应用范畴。
智能听觉感知： 听觉感知是感知主体检测、分析、识别和理解语音信号信息的过程，它允许我们与现实环境正确地互动，流畅地沟通。传统听觉感知在梅尔倒频谱系数等基础特征之上，通过混合高斯-隐马尔可夫等模型进行语音和语调的识别，而智能听觉通过深度神经网络增强语音模型的特征能力、感知精度和识别鲁棒性，并在更为广义的层面，通过人机交互方式，利用语言理解、对话跟踪、语言生成等关键技术完成真实场景中的人机物互通。
智能无线感知： 智能无线感知 [14-15] 是近年来新兴起的一个前沿研究热点，主要通过普适的无线信号（如Wi-Fi、RFID、毫米波雷达、声波等）对人和环境进行非接触式或与设备无关的（Device-Free）感知，从而为人类与物理设备、场景环境的融合奠定基础。智能无线感知通过三角度量、计算机指纹库、深度神经网络等智能计算方法对无线感知信号、无线感知数据、无线感知模式进行识别和处理，并通过室内定位、目标跟踪、行为识别等关键技术，在健康监护、新型人机交互、行为识别等领域得到了大量应用，因而受到学术界和产业界的广泛关注与重视。
群智感知由众包、参与感知等相关概念发展而来 [16-17] 。2012年，清华大学刘云浩教授首次提出“群智感知计算”概念，它利用大量普通用户使用的移动设备作为基本感知单元，通过物联网/移动互联网进行协作，实现感知任务分发与感知数据收集利用，最终完成大规模、复杂的城市与社会感知任务。群智感知计算利用群体智慧和泛在移动/可穿戴终端构建大规模移动感知网络，是一种新型智能感知模式，对传统静态传感网络互为补充。
复杂任务高效分发： 群智感知依赖参与用户的移动终端所具备的各种传感和计算能力等来进行感知。与传统感知网络相比，参与式感知节点具有规模大、分布广、能力互补等特点，而任务则具有需求多样、多点并发、动态变化等特征。需研究针对不同感知任务需求的参与者优选方法，根据任务的时空特征、技能需求及用户个人偏好、移动轨迹、移动距离、激励成本等设定优化目标和约束，设计任务分配模型，一般通过最优化理论（动态规划、博弈论、多目标优化等）和群智能优化算法（如遗传算法、粒子群算法、蚁群算法）等进行求解。
群体参与激励机制： 群智感知需要雇佣大量的参与者采集数据，很多任务还需要参与者前往特定的地点并有较高的数据传输和处理成本；此外，群体参与还存在数据质量难以保证的问题。针对以上问题，群智感知系统通过采用适当的激励方式（如报酬支付激励、虚拟积分激励、游戏娱乐激励、社会交互激励等），鼓励和刺激参与者参与到感知任务中，并提供优质可信的感知数据。不同的激励方式在不同的场景下，对不同的参与者具有不同的激励效用，因此如何选择和设计合适的激励机制是群智感知计算的主要研究内容之一。
群体感知数据优选： 群智数据的质量直接影响数据分析的结果，进而影响群智服务的性能。由于不同用户在活动范围上有一定重叠，群智感知所采集到的数据中可能存在大量冗余。而大量未经训练的用户作为基本感知单元会带来感知数据多模态、不准确、不一致等质量问题。挑战在于如何实现优质数据选择和收集。在智能物联网中，一方面可以在终端进行数据预处理，剔除低质量数据；另一方面可以在边缘设备进行数据局部汇聚，及时发现来自不同终端的冗余数据。从而在减少数据传输成本的同时为云数据挖掘与模型训练提供优质数据。
虽然完整物联网通信体系已经建立，但学术界和工业界近年来不断思考如何将AI融入物联网通信系统中，实现物联网通信效能的大幅提升。已有研究集中于网络、资源管理和安全，主要思想是将机器学习、AI的思想引入相应算法和协议设计过程，实现通信与AI的结合。目前各项研究尚处于初步探索阶段，智能物联网通信的发展还需要一个长期的过程，机遇与挑战共存。
端到端网络优化： 在MAC协议中，机器学习为优化IoT网络的性能提供很好的解决方案。可以把物联网设备想象成一个能够借助机器学习访问信道资源的智能设备，通过机器学习，物联网设备能够观察和学习不同性能指标对网络性能的影响，然后利用这些学习到的经验来可靠地提升网络性能，同时生成后续的执行动作。强化学习、神经网络等AI方法的引入在物联网应用复杂多变的环境中提供了路由的自适应能力，在通信故障、拓扑变化和节点移动性等情况下提供了较好的性能。基于机器学习的拥塞控制方法可以更准确地估计网络流量，从而找到最佳路径，最小化节点与基站之间的端到端时延，并可根据网络的动态变化调整传输范围，更加灵活地控制传输层发生的拥塞，提高传输效率。
无线资源优化： 无线通信是IoT主要的通信方式，无线资源管理通过有限物理通信资源的合理利用，以满足各种IoT应用需求。现有无线资源管理方法通常是为静态网络设计，高度依赖于公式化的数学问题。而IoT网络的动态性，导致高复杂性的算法频繁执行，带来了性能损失。因此，可将AI引入无线资源管理，如强化学习可以仅基于环境反馈的回报/成本学习好的资源管理策略，可对动态网络做出快速决策；深度学习模型优越的逼近能力，可以实现一些高复杂度的资源管理算法；多智能体强化学习可赋予每个节点自主决定资源分配的能力。因此，机器学习在功率控制、频谱管理、波束形成设计等方面具有较好的应用前景。
通信安全机制： 借助深度学习，通过对数据进行深入地归纳、分析，从而获取新的、规律性的信息和知识，并利用这些知识建立用于支持决策的模型，进行网络风险分析或预测。如使用机器学习技术处理和分析收集的数据，可以更好地防范入侵检测，或利用人工智能对物联网系统中的恶意软件进行检测。未来的挑战在于设计适合物联网设备的轻量级智能通信安全机制。
在智能物联网时代，在物联网终端执行深度计算实现智能推断逐渐成为一种趋势，其具有高可靠性、保护数据隐私的优势。然而，针对智能物联网终端平台资源受限、应用情境复杂多变，以及硬件优化能力不同等问题，急需下列终端适配的深度计算方法 [18] 。
资源适配深度计算： 物联网终端平台通常体积较小，由电池供电，因此资源（计算、存储和电量）是受限的，难以直接运行复杂的深度计算模型。因此，需基于深度计算模型的冗余性机理，探索不同深度模型压缩技术（如权重剪枝、卷积分解、轻量化层结构替换，量化等）和超参数对不同深度模型精度、存储量、计算量、时延和能耗的影响，从而按需选择合适的压缩算法及超参数组合，以较少的精度损失，实现最低的终端资源消耗。
情境自适应深度计算： 除了上述物联网平台资源约束以外，物联网终端运行深度模型还受综合情境因素影响，例如计算资源的动态性、输入数据的异质性以及应用性能需求的差异性。因此，需探索情境自适应的深度计算模型生成方法。近几年有一些相关研究进展，如自动化深度模型架构搜索（Neural Architecture Search, NAS） [19] ，它采用合理的搜索空间、搜索策略和评价预估方法，可在不同情境需求下众多超参数和网络结构参数产生的爆炸性组合中完成自动搜索。
软硬协同深度计算： 与深度模型算法层面的优化相结合，硬件优化通过合理地利用不同设备的硬件性能和架构，可进一步实现深度模型加速。由于芯片内存带宽是十分受限的资源，因此将处理器性能与芯片内外存流量联系起来的模型可以指导软硬协同优化。例如，Roofline模型 [20] 就是一个易于理解、可视化的性能模型。在资源极度受限的终端平台（如微控制器）上，软硬协同深度计算优化尤为重要。例如，Lin等人 [21] 提出的面向微控制器的深度计算框架MCUNet，通过联合设计一个高效神经网络架构和轻量级推理引擎，在微控制器上实现深度计算推理。
在智能物联网时代，将会存在大量具有感知和计算能力的智能体，虽然单智能体数据和经验有限，但通过群体分布式协作可实现超越个体行为的集体智慧，构建具有自组织、自学习、自适应等能力的智能感知计算空间 [22] 。
群体分布式学习模型： 需基于生物群体交互式学习机理，探索融合协作、博弈、竞争、对抗等特征的群智能体分布式学习模型。此外，还要探索在单智能体数据有限且隐私要求高的情况下的可信群智学习方法。针对智能物联网分布式学习问题，近期有一些相关的研究进展，如联邦学习、多智能体深度强化学习等。联邦学习的思想由谷歌最先提出，它基于分布在多个设备上的数据集构建机器学习模型，在保障数据交换隐私安全的前提下，通过多设备协作开展高效率学习实现群体增强。
群智能体分布式决策： 多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning）利用智能体间的协作和博弈激发新的智能，产生智能行为决策，是机器学习领域的一个新兴的研究热点，并广泛应用于自动驾驶、路径规划、任务分配、集群编队、博弈对抗等现实领域，具有极高的研究价值和意义。例如谷歌DeepMind在《科学》杂志上最新发表的论文 [22] 中通过让智能体在多玩家电子游戏中掌握策略、理解战术以及进行团队协作，展示了智能体在强化学习领域的最新进展。
群智能体知识迁移： 由于云中心统一训练的模型与多样化边端部署环境之间的数据分布差异问题，所以会导致AI算法在实际部署中性能下降。域自适应（Domain Adaptation）方法 [23] 把分布不同的源域和目标域的数据，映射到一个特征空间中，使其在该空间中的距离尽可能近，可解决训练样本和测试样本概率分布不一致的学习问题。此外，元学习（Meta Learning） [24] 通过融合多个富经验智能体的训练模型来指导新的或缺少知识的智能体快速学习和成长，实现群智能体间的知识迁移和共享。
云边端协同是智能物联网体系架构的重要特征。随着万物互联时代的到来，海量数据和计算需求呈爆炸式增长，边缘设备大量部署，终端处理能力增强，因此将部分计算从云端下沉到边缘和终端可有效缓解云计算负载，产生更快的服务响应。
云边协同计算： 云边协同计算模式将大规模数据和复杂运算在云端集中处理，将小规模实时计算在边缘侧就近处理，从而提升数据传输性能，减少处理时延，保护数据隐私。云边协同的深度计算模式在视频实时处理、目标检测与追踪等复杂推理任务中应用较多，分为边缘特征提取和云端深度识别两阶段。此外，教师-学生模型的知识蒸馏 [25] 、深度计算模型的在线重训练 [26] 等人工智能学习任务的部署也多采用云边协同计算模式。
边端协同计算： 终端智能计算是智能物联网发展的一个重要趋势。针对单个智能终端计算资源不足的问题，可尝试由周边共存的多个移动、可穿戴或边缘设备等组成动态协作群。研究群智能体自组织协作高效计算模式，能根据性能需求（如时延、精度）和运行环境（如网络传输、能耗情况等），将原始任务进行自动“切分”并优选和调度合适的智能体协同完成感知计算任务。包括基于不同深度模型分割策略的串行、并行和混合协同计算模式。此外，基于物联网中的分布式感知数据特点、边端通信及边缘服务器负载约束等实际因素，需进一步研究综合性能更优的边端协调计算方法。
云边端协同性能优化： 在此基础上，需进一步结合任务需求、部署环境和实时情境，探索云边端协同的高效计算任务分配、资源调度和负载平衡等方法，进一步提升和优化智能物联网系统云边端协同计算的整体效能。此外，日益庞大而丰富的人工智能算法模型如何在智能物联网的云、边、端环境中进行有效部署和及时执行，且能够适应边端环境的复杂性、多样性和动态性也是一个关键的科学挑战问题。
智能物联网时代安全与隐私保护问题体现在多个方面。由于智能物联网终端在智能家庭、医院和城市中无处不在，在数据汇聚和处理过程中可收集大量的AIoT用户敏感数据（如面部图像、声音、动作、脉搏、图像数据等），存在数据窃取、误用和滥用的风险。此外，在硬件层面，随着物联网的普及，少量未经严格认证、存在安全隐患的设备加入网络，也会威胁到其他联网设备的安全；其高度分散、随机加入退出的特性和分布式环境很难实施传统集中式信任认证。最后，人工智能的应用使得在数据处理和算法训练/执行过程中也可能被攻击而泄露隐私或产生错误结果。
数据安全保护立法： 针对物联网数据安全问题，立法是一个重要途径，欧盟2018年起实施《通用数据保护条例》，该条例赋予个人对其个人数据的控制权。个人数据的控制器和处理器必须采取适当的措施来保护数据安全和隐私。我国2021年出台了《中华人民共和国数据安全法》，建立数据分类分级保护制度，禁止窃取或者以其他非法方式获取数据。
AIoT安全保护策略： 在技术层面，AIoT的底层架构在泛在感知的物联网环境下，需研究分布式信任管理以提升AIoT交互的可靠性。第一，与区块链技术结合来构建去中心信任管理是一个重要途径，通过数据和行为溯源，确保数据一致性和可靠性，保护数据隐私。第二，由于涉及云-边-端分层体系架构，需探索如何进行跨域和跨组织认证以提高云-边和多边协同的安全性。第三，由于不同用户或数据对安全和隐私保护需求的强度不同，可探索分级多粒度隐私保护策略。
AI算法应用安全： 随着AI算法在智能物联网系统中的大量应用，也带来了新的安全性威胁问题。在数据收集、模型训练、模型测试以及系统部署等AI应用生命周期的不同阶段都可能引发安全与隐私泄露威胁，如对抗攻击、数据投毒攻击和模型窃取攻击等。一方面应探索综合防御技术来应对实际应用场景中复杂的威胁，另一方面应从人工智能模型的可解释性等理论角度出发，增强模型的泛化能力和鲁棒性，从根本上解决人工智能模型所面临的安全问题。