下载掌阅APP，畅读海量书库
立即打开
在可见的未来，人工智能技术将内生于未来移动通信系统并通过无线架构、无线数据、无线算法和无线应用等呈现出新的智能网络技术体系。AI技术在6G网络中是原生的，从6G网络设计之初就考虑对AI技术的支持，而不只是将AI作为优化工具。总体上，可以从两个不同角度来看待无线AI在6G时代的发展方向，即内生智能的新型空口和内生智能的新型网络架构。
第一，内生智能的新型空口，即深度融合人工智能、机器学习技术，将打破现有无线空口模块化的设计框架，实现无线环境、资源、干扰、业务和用户等多维特性的深度挖掘和利用，显著提升无线网络的高效性、可靠性、实时性和安全性，并实现网络的自主运行和自我演进。
内生智能的新型空口技术可以通过端到端的学习来增强数据平面和控制信令的连通性、效率和可靠性，允许针对特定场景在深度感知和预测的基础上进行定制，且空口技术的组成模块可以灵活地进行拼接，以满足各种应用场景的不同要求。AI技术的学习、预测和决策能力使通信系统能够根据流量和用户行为主动调整无线传输格式和通信动作，可以优化并降低通信收发两端的功耗。借助多智能体等AI方法，可以使通信参与者之间高效协同，最大化比特传输的能效。
利用数据和深度神经网络的黑盒建模能力可以从无线数据中挖掘并重构未知的物理信道，从而设计最优的传输方式。在多用户系统中，通过强化学习，基站与用户可自动根据所接收到的信号协调信道接入、资源调度等。每个节点可计算每次传输的反馈，以调整其发射功率、波束方向等信号方案，从而达到协同消除干扰、最大化系统容量的目的。
此外，随着机器学习以及信息论的交叉融合和进一步发展，语义通信也将成为内生智能的新型空口技术的终极目标之一。通信系统不再只关注比特数据的传输，更重要的是，信息可以根据其含义进行交换，而同一信息的含义对于不同的用户、应用和场景可能有所不同。无线数据的高效感知获取、数据私密性的保证是人工智能赋能空口设计的关键难点。
第二，内生智能的新型网络架构，即充分利用网络节点的通信、计算和感知能力，通过分布式学习、群智式协同，以及云端一体化算法部署，使得6G网络原生支持各类AI应用，构建新的生态和以用户为中心的业务体验。
借助内生智能，6G网络可以更好地支持无处不在的具有感知、通信和计算能力的基站和终端，实现大规模智能分布式协同服务，同时最大化网络中通信与算力的效用，适配数据的分布性并保护数据的隐私性。这带来三个趋势的转变：智能从应用和云端走向网络，即从传统的Cloud AI向Network AI转变，实现网络的自运维、自检测和自修复；智能在云-边-端-网间协同实现包括频谱、计算、存储等多维资源的智能适配，提升网络总体效能；智能在网络中对外提供服务，深入融合行业智慧，创造新的市场价值。当前，网络内生智能在物联网、移动边缘计算、分布式计算、分布式控制等领域具有明确需求并成为研究热点。
网络内生智能的实现需要体积更小、算力更强的芯片，如纳米光子芯片等技术的发展；需要更适用于网络协同场景下的联邦学习等算法；需要网络和终端设备提供新的接口实现各层智能的产生和交换。
在数字时代的未来网络世界，全方位的智能设备正在涌现，以强大性能提升传输速率，以智慧算法重构管理模式，以全域创新激活底层价值。随着数据孤岛的打破，网络的“管道”价值正在实现持续的升级。唯有性能更强大的网络设备，才能灵活自如地应对前所未有的数据洪流。
面对交互式无线虚拟/增强现实、人机协同作业全景高清视频直播等新型应用以及沙漠、海洋等多样场景下的通信需求，第六代（The Sixth Generation，6G）移动通信将呈现“空天地海”融合通信、全频谱接入、异构超密集组网、云边协同等特征，但也将导致网络优化和管理难度急剧增大。此外，为了便于移动通信专网与生产制造、交通运输、能源电力等垂直行业深度融合，网络配置和运维方式急需简化，引入人工智能（Artificial Intelligence, AI），利用其强大的预测、决策能力构建智能内生的6G网络是大势所趋。
（1）第三代合作伙伴计划（3GPP）
为提升5G网络的数据收集和分析能力，3GPP在核心网引入了网络数据分析功能（Network Data Analytics Function, NWDAF）。在5G的第一版标准R15中，3GPP考虑把NWDAF作为网络切片选择功能，以及策略控制功能的基础。此外在TR23791中，3GPP提出NWDAF能够支持各种预测任务，包括网络功能的负载预测、网络业务负载预测和用户移动性信息预测等。2020年6月3GPP通过“Study on Further Enhancement for Data Collection”立项进一步将AI功能扩展到无线接入网（Radio Access Network,RAN）以提升网络能效负载均衡和覆盖范围。
（2）欧洲电信标准化协会（ETSI）
2017年，ETSI成立了业界首个网络智能化标准组——体验式网络智能（ENI）。致力于构建基于数据驱动决策和闭环控制的人工智能网络体系架构。通过自动收集状态数据和进行指标对比可发现网络故障/性能瓶颈，实现高效自优化。2018年，ETSI提出了智能定义网络的概念。针对RAN域引入移动智能网络决策实体。每个实体具有收集数据分析、数据建模决策制定和决策验证功能。实体的部署可采用分层架构，其中上层部署一个中心实体，下层部署多个分布式实体。分布式实体位于gNB中央实体，负责实体间的协调。
（3）国际电信联盟-电信标准化部门（ITU-T）
2017年，ITU-T成立了未来网络机器学习焦点小组，致力于机器学习在5G及未来网络中的应用。该小组于2019年提出了在5G及未来网络中实施机器学习的统一架构。其中完整的网络分析功能由一组机器学习管道节点构成，包括数据源、数据采集器、数据预处理器、AI模型输出分配器和接收器等。这些节点可视为逻辑实体，具体部署位置由功能编排器进行管理。此外其还负责根据模型性能进行AI模型的选择和复选。为减少由于模型训练导致的潜在网络中断，前述架构还提出了沙盒域的概念作为独立环境，专门用于AI模型的训练、测试和评估。在3GPPRAN定义的5G架构下，一些管道节点可被合并部署在分布式单元（Distributed Unit, DU）和中心单元（Central Unit, CU）中，进而形成分布式单元数据分析（Distributed Unit Data Analytics, DUDA）功能和中心单元数据分析（Central Unit Data Analytics, CUDA）功能。
（1）开放式智能无线网络架构
在智能和开放原则下，由多家运营商参与的O-RAN联盟提出了开放式智能无线网络参考体系架构。该架构引入了AI使能的软件定义的RAN智能控制器（RAN Intelligent Controller, RIC），包括非实时RIC和部署在CU的近实时RIC。通过AI接口，非实时RIC负责在CU和DU中进行数据采集并将训练生成的AI模型分发给近实时RIC。近实时RIC负责基于AI模型进行负载均衡无线资源块管理。此外，通过开放的E2接口近实时RIC不仅可以从DU处获取近实时的网络状态，还可以向CU协议栈下发配置命令（例如切换操作等）。
（2）自动驾驶网络架构
2020年5月，华为公司发布了分层自动驾驶网络（Autonomous Driving Network, ADN）解决方案。ADN主要包括简化的网络管理和控制单元智能运维平台和网络AI单元。网络边缘通过引入大量的实时传感组件和AI推理单元，在数据源处实现较强的智能功能，如感测数据分析和决策执行。集成了网络管理器、控制器和分析器等模块的ADN网络管理和控制单元，通过构建本地知识库和AI推理架构，自动将上层服务和应用意图转换成网络操作，进而实现单域自治和闭环管理。此外，网络管理和控制单元与云端的数据交互可以持续增强本地AI模型库和知识库。以不断优化和提升本地智能感知决策能力。面向灵活的服务编排，智能运维平台可助力运营商根据网络特性快速迭代开发新的业务模型运维流程和应用服务。网络AI单元为电信网络提供AI平台和云服务，持续训练AI模型和提取汇聚到云端的网络数据，通过统一管理实现AI模型和知识库的完全共享、复用，减少重复训练。
（3）使能RAN侧无线大数据的架构
为克服3GPP在核心网中引入的NWDAF无法支撑RAN侧近实时的基于AI的网络优化与控制的问题，同时减小采集数据的回传开销，WirelessWorld Research Forum（WWRF）提出了一种在RAN侧使能无线大数据的架构。
在该架构中，CUDA、DUDA和NWDAF一起形成了分层的、分布式的智能网络架构。其中CUDA主要负责基于无线大数据进行RRC、PDCP等协议层的优化，涉及多连接、干扰管理、移动性管理等，而从更抽象的功能来看，其包括数据分析、AI模型训练在线模型预测、基于预测结果的策略生成和配置。部署于DU中的DUDA主要负责针对PHY/MAC/RLC层进行实时RAN数据采集、预处理参数优化和低复杂的模型训练。此外DUDA可将预处理后的数据特征发送至CUDA，用于模型训练，而CUDA可将训练好的模型发送给DUDA进行部署，CUDA也可以处于主-从模式，主CUDA可帮助从CUDA进行模型训练，并可实现网络层面的协同优化。除了CUDA和DUDA通信所需的F1-D接口外，架构的主要接口还有N接口，用于CUDA和NWDAF间的数据集及数据分析结果的订阅、分发。
（1）意图驱动的RAN架构
意图驱动的无线接入网络（Intent-Driven Radio Access Network, ID-RAN）中的意图主要包括组网意图、业务意图和用户需求的性能意图3种类型，分别涉及运营商的运维管理、服务提供方的业务交付和用户个性化的性能需求。
ID-RAN将接收到的无线意图依次通过意图转译、冲突解决、网络编排、配置激活和策略优化5个功能模块进行处理。ID-RAN中意图驱动的无线网络控制器可分布式部署在集中云、基站控制器或宏基站，实现对无线意图的全流程处理，同时作为数据汇聚点接收接入网中的运维数据、无线传输数据和终端测量报告等，并根据网络编排方案下发网络配置指令和组网优化指令。ID-RAN既可通过大数据挖掘方法完成各类意图的智能探测，也支持使用自然语言直接下发无线意图，基于自然语言处理技术实现无线意图智能转译。此外ID-RAN使用深度强化学习方法，根据网络环境多维数据和优化目标，制定匹配意图需求的网络配置方案，并支持基于AI的无线接入网络自配置、自优化和自治愈。
（2）使能终端直通的智能无线网络架构
预计未来用户终端将向个人工作站演进，具有强大的计算和存储能力以及充足的电池容量，从而可在用户终端处进行AI模型训练，学习局部信道特征、业务特征和移动轨迹等，并和部署于核心网的集中式AI以及部署于移动边缘计算服务器的本地AI互相协作，实现网络的智能管理和优化。此外，文献中还指出了AI和终端直通结合的应用场景。例如在智能网络切片场景中，AI可用于发现和管理大量的直通终端，实现实时、动态的网络切片。在基于非正交多址的终端直通认知组网场景中，AI可用于无线认知智能用户配对、信道估计和超高精度定位。
（1）新增网元实体
由于现有移动通信网络架构中的网元主要用于实现通信协议栈的相关功能，因此需要增加新的网元实体，用于提供网内AI能力，本文将该类网元称为AI单元。按照功能类型划分，基本的AI单元可具象为数据采集单元、数据存储单元、数据处理单元、数据分发单元、模型训练单元、模型选择单元、模型执行单元、结果下发单元、性能监测单元，以及管理编排单元，这些基础单元可根据底层基础设施算力，以及时延、网络带宽等限制进行合并设计，进而形成功能更综合的AI单元。其中流程管理编排单元用于对其他AI单元进行管理，包括生命周期管理单元、处理能力的扩容缩容单元、部署位置优化，以及单元间信息流动路径配置等。
（2）网元接口设计
相关接口具体可分为两类：一类为AI单元间的交互接口，另一类为AI单元与网络中其他非AI单元的网元间的交互接口。对于第一类接口，由于仅涉及AI单元内部交互，因此对原有移动通信网络架构设计影响较小；而第二类接口的引入则较为复杂，具体而言：①需定义AI数据采集单元与用户终端、接入网侧DUCU，以及射频单元间的数据接口，用于收集用户终端能力信息、空口资源使用率、小区负载等数据；②需定义模型执行单元与前述实体的数据接口，方便前述实体对AI能力的按需调用；③需定义结果下发单元与前述实体的数据接口，用于反馈AI预测/决策结果；④需定义性能监测单元与前述实体的数据接口，用于实时监测模型效果在模型性能下降时，触发模型切换策略。
（3）训练和推理架构
在模型训练架构方面，对于规模庞大的AI模型可采用基于单个模型训练单元的集中式架构，而当考虑到数据隐私性问题时，部署在多个节点（例如手机终端）的模型训练单元还可采用基于联邦学习的分布式架构。同时该种方式还可有效避免集中式架构带来的训练数据采集开销。在模型执行架构方面，既可以基于单个模型执行单元进行集中式推理，同时也可采用基于多单元协作的架构。例如分布在不同位置的模型执行单元。首先根据局部信息利用AI模型输出预测信息，最后由一个模型执行单元将各单元信息作为模型输入得到最终预测结果。
（4）AI对现有协议流程的影响
与接口设计部分类似，智能内生网络的协议流程可分为AI单元间的交互流程（该类流程可进行独立设计）以及AI单元与现有网元间的交互流程。对于后者，引入AI后的主要变化在于需增加现有网元对AI能力调用。
智能内生6G网络可极大地简化行业用户自有专网的配置和管理难度，具体表现如下：
第一：利用基于AI的自然语言处理技术。智能内生6G网络将支持行业用户进行涉及本行业特定术语的语义化的网络配置和运维操作，自动将用户意图转换为网络设备可识别的配置指令。
第二：基于AI提供的智能决策能力，智能内生6G网络可根据意图转译得到的性能需求，结合网络多维信息（底层基础设施计算处理能力、无线带宽链路时延等）自动输出切片编排方案，可充分满足行业用户的定制化要求。
“空天地海”一体化网络综合利用地面通信和卫星通信融合后形成的多种通信链路进行信息传输。为实现高效通信，网络软定义控制器可以利用AI模型进行通信对象的环境感知、自然地理环境移动测量等。同时还可进行网络链路状态预测，涉及时延丢包率信噪比等性能指标。基于前述信息并结合业务的个性化通信性能需求，网络软定义控制器可进一步基于AI决策实现终端接入模式智能选择、数据转发路径规划和频谱资源动态管控等。
（1）拟真的AI训练环境构建
无线网络中应用的AI模型主要分为仅使用标签数据进行监督训练的模型，以及需要通过和外部环境不断交互进行决策知识学习的强化学习模型。为了避免后者训练初期的动作探索对网络正常运行状态的影响，需要创建专门的模型训练环境，该环境与真实网络环境的差异程度直接影响模型的实际效果。因此如何构建一个尽量拟真的学习环境，是需要解决的一大问题。
（2）高动态时变环境下的AI应用
移动通信网络具有显著的高动态时变特征，例如用户业务本身随机到达同一区域的终端数量变化和信道在高移动性下的便捷，而在6G时代还可能出现空中基站的使用，导致网络服务范围和服务区域动态变化集中式和分布式组网自适应切换等。网络高动态时变将带来两大问题：一是由于网络环境的变化。例如用户数量变化、网络拓扑重构、用户业务请求分布变化。先前训练的AI模型存在不再适用的可能；二是对于要求极低决策时延的情形复杂的AI模型，难以跟上环境的快速变化，而简单的AI模型又难以保证足够的精度，如何实现决策时延和性能间的平衡是一大挑战。
6G要成为最高效的AI平台，这对如何降低通信与计算成本提出了新挑战，而两项成本都是未来要研究的关键指标。为了尽可能降低通信成本，6G系统设计需要使用最少的资源来传输AI训练所需的海量数据，而要降低计算成本，必须实现计算资源在网络中的最优分布，以充分利用移动边缘的计算能力。
为了支持深度AI学习，6G需要从物理世界采集海量数据（规模是目前数据的数百万倍），才能构建一个数字世界。如何运用信息和学习理论有效压缩训练数据，对6G来说是另一项重大挑战。
高效的分布式协同学习架构有助于降低大规模AI训练带来的计算负荷，可将AI数据和模型拆分并纳入6G网络架构。此外，分布式联邦学习也有助于优化计算资源、本地学习和全局学习，并有助于满足新的数据本地治理要求。从这个意义上讲，6G核心网络功能将向深度边缘网络推进，而云端软件运营将向大规模深度学习转变。由于深度边缘（设备）频繁向网络传输海量的数据和模型，6G无线接入网（RAN）也将从“以下行为中心”向“以上行为中心转变”。
当前无线网络智能化主要考虑的是对包括5G在内的现存网络的智能化，滞后于对应无线移动系统的标准化阶段，所以主要采用的是扩展其对外的数据接口，以便被机器学习所使用的方式。这种方式由于其可扩展的数据接口有限、数据传输时延大，限制了机器学习的应用场景，同时还可能引发数据安全问题。因此，在面向6G的无线移动通信网络研究的初期，将机器学习技术与未来6G网络深度融合，形成内生智能的新一代移动通信系统的期望很高。
在无线移动通信技术发展的历史中，为了解决其所面临的问题和挑战，已经积累了大量经典的模型和解决方法，这些经典的模型的构成是清晰可见、可解释的。这种解决问题的方法被称为模型驱动。随着无线移动通信系统的发展，其网络变得越来越复杂，比如存在3G、4G、5G等多网共存的情况，存在eMBB、URLLC、eMTC等多种差异性业务共存的情况，存在基站-终端、基站-中继-终端、终端-终端等多种无线连接共存的情况，这导致无论在业务层面、无线资源管理层面，还是信号处理层面，都面临着越来越大的挑战。引入机器学习的初衷，就是借鉴深度学习可以解决大型、复杂的非线性系统问题的能力，来应对未来这些挑战。
简单地说，机器学习主要用来解决模型驱动的方法中模型无法获得或者不精确的问题。与模型驱动的方法相对应，应用机器学习来解决问题的方法，通常称为数据驱动的方法。
在传统的模型驱动方法中，模型的建立主要经历了三个阶段：理论推导、仿真验证，以及实际应用。采用数据驱动的方法时，模型的建立也经历了类似的三个阶段：模型训练、仿真验证，以及实际应用。可以看出两种方法的主要差别在于第一个阶段。假设为了解决同一个问题，其所采用的仿真验证方法及其假设都是一致的，如果数据驱动方法所获得的效果与模型驱动方法所获得的效果相当或更好，那么应该可以说明数据驱动方法所获得的模型及其对应的方法是有效的。即使通过仿真数据来进行DNN模型的训练，其在实际应用时所获得的信号检测性能下降都不明显。而数据驱动方法所获得的模型，受益于深度神经网络所包含的海量参数，相对于人工理论推导所获得的模型，有更为精确的可能，从而最终提高其效果，这也是引入机器学习的必要性之一。
机器学习模型的训练包括离线训练和在线训练。离线训练阶段的数据可以通过实际系统采集获得，也可以通过仿真建模获得。而对于待研究的新系统（比如6G）来说，因无实际可提供数据采集的新系统，利用仿真平台提供的数据进行训练更为可行。
在线训练包括两种情况：直接利用系统实时获得的数据进行训练；或者在离线训练所获得的模型基础上，利用系统运行中所获得的新数据对模型的参数进行调整。在线训练会额外增加系统的计算复杂度，但可以通过控制其训练周期来平衡性能与复杂度之间的关系。基于导频设计的无线通信系统天然具备可以应用强化学习的基础，其在发射端、接收端已知的导频信号，可以看作系统实时提供的训练数据，可以用于对现有机器学习模型进行在线训练。
在应用阶段，由于深度学习可以采用通用的深度神经网络，在其具体应用时，可以获得较低的计算复杂度，这是因为通用的神经网络仅仅涉及一些简单的矩阵乘法操作。进一步，借助GPU或更专业的机器学习芯片可以获得更高的效率或更低的成本。
因此，从可行性角度来看，引入机器学习在其工作原理上、训练数据可获得上，以及计算复杂度上均具有可行性。从必要性来看，其可以解决复杂问题、提高性能和降低成本。
当前，将机器学习应用到无线移动通信网络中主要采用：固化推演方式和系统外推演方式。固化推演方式即通过离线训练获得推演阶段所使用的机器学习模型后，将其固化到系统中，系统在运行时，应用固化在系统中的机器学习模型进行推演，获得相应的功能。系统外推演方式即机器学习的训练和推演均在无线移动通信系统之外进行，机器学习推演机构利用系统提供的数据进行推演，并将推演的结果应用到目标系统之中。目前在业务层面、网络与平台管理、无线资源管理等层面的机器学习研究主要考虑的是这种方式，其对当前标准架构影响较小，仅涉及测量、统计量层面的丰富化。
采用系统外推演的方式，需要无线移动通信系统向机器学习训练机构提供大量用于训练和推演的数据，随着所需要解决的问题复杂化，特别是将机器学习用于无线信号处理时，大量的训练和推演数据向系统外提供将成为一种负担。同时，系统内外的数据交互会增加处理问题的时延，限制了机器学习技术的应用场景。将无线移动通信系统内部的数据提供给系统外的机器学习机构使用，还可能引发数据安全的问题。因此，有必要将机器学习的训练和推演引入无线网络内部，构造具备内生智能的新一代无线移动通信系统。
离线训练以及所需数据量较少的在线训练和推演在系统外进行，所需要的数据量较大的在线训练和推演在系统内进行。系统内的机器学习推演模型可以由系统外的机器学习训练机构提供，也可以由系统内的机器学习在线训练机构提供。
这种网络内生智能推演的方式，更有利于采用机器学习技术解决无线移动通信系统自身的问题，比如应用深度神经网络模型提升信道估计和信号检测的性能、应用深度强化学习提升链路自适应的准确性等。目前，正处于6G无线移动网络研究的起始阶段，也正是研究网络内生智能的关键阶段，因此有必要对网络内生智能所引发的相关问题进行讨论，并作为无线网络智能化进程中的关键问题持续展开研究。
（1）机器学习模型建模问题
机器学习的发展主要体现在语音识别、图像识别等领域，在其中沉淀了大量经典的模型与算法。将机器学习引入无线移动通信系统中，用来解决无线移动通信系统的问题，在最近几年才凸显出来。这其中包括两类机器学习模型建模方法：黑盒方法和展开方法。黑盒方法可以理解为将现存的、其他非通信领域使用的经典机器学习模型直接应用到无线移动通信系统的方法，由于机器学习模型中参数众多、具体物理意义不清晰，故称为黑盒方法。展开方法则是依据对无线移动通信系统的理解，针对现存的无线移动通信系统经典模型进行展开，重新构建出机器学习模型的方法。
下面以经典的ZF和MMSE检测方法为例，对展开方法进行简单的说明。ZF和MMSE其检测矩阵分别表述为：
从经典的模型驱动方法的角度来看，β是噪声方差与信号方差的比值，在应用时需要分别估计噪声方差和信号方差，或者等效为信噪比估计。而从基于模型展开的数据驱动方法的角度来看，β是一个将ZF和MMSE方法综合到一起的参数。ZF和MMSE检测方法在不同信道环境，以及信噪比情况下，其性能表现也不尽相同，通过实际系统所提供的数据训练生成该系数β，可以使得检测方法更好地匹配无线信道环境。可以给出一种采用展开方法、构建基于深度神经网络的MIMO检测器的方法，其将经典的迭代检测方法，通过深度神经网络进行展开，其中每一次迭代对应神经网络中的一层，由于在每一层中引入了待训练的参数，其获得的模型更精确。
通过展开的方法，获得新的机器学习模型是目前学术界进行研究的趋势之一，但需要注意的是，这种展开的方法导致机器学习模型的结构会千变万化，而且依旧存在大量的矩阵求逆的操作，虽然性能获得了提升，但相对于通用的神经网络模型，其较高的实现复杂度将限制其应用场景。
（2）机器学习模型部署/更新问题
当机器学习推演机构在无线移动通信系统内部时，如何进行机器学习模型的部署/更新是一个待研究的问题。
依托深度神经网络的广泛应用，其发展出了多种经典的神经网络模型，比如DNN、RNN、CNN等。神经网络主要由神经元以及描述神经元之间的关系的参数构成，这为采用参数传递的方式进行机器学习模型部署/更新提供了可能。以DNN为例，描述其模型的主要参数包括：层数、每层（包括隐藏层）的神经元个数，以及每一个神经元的权重、偏差、激活函数。
另外一种部署/更新机器学习模型的方法是采用内生业务部署的方式。简单地说，可以把机器学习推演模型看作一种应用（App），其模型的部署/更新即App的下载、安装过程。相对于前述参数传递方式，采用系统内生业务的方式可以部署/更新更复杂的模型，并且也有利于模型本身的内部结构的保护。
（3）如何应用强化学习
强化学习是利用与环境的交互提升决策准确度的方法。在无线移动通信系统中，不同网元（基站、终端等）因其所处的位置不同，从而导致其所面对的环境千差万别，并且其所处的环境也会因为信道的变化、用户的移动等因素而实时变化。因此，有必要将强化学习引入无线移动通信系统中，使其更智能、更精确地匹配环境的变化。
当所要决策的问题是系统中某一局部的问题时，可以直接将强化学习构建在其内部的解决方案中，但是当所要决策的问题是系统性的问题时，需要系统中的不同网元提供有关环境状态、回报的信息。针对某一个系统性的问题，在应用强化学习时，至少需要考虑下述相关内容：
·代理：即决策的主体，它可能位于系统环境中某一网元。
·状态：系统环境中所有相关网元需要向代理提供的用于计算环境状态的信息集合。
·回报：系统环境中所有相关网元需要向代理提供的用于计算回报的信息集合。
·行动：针对系统环境中的目标网元或其某个具体功能单元，代理可能做出的行动集合。
借助强化学习的决策机制可以对离线训练获得的模型进行在线训练的控制和更新。
（4）网络内生智能相关的标准化问题
在采用系统外推演方式时，仅仅要求无线移动通信系统提供可以被机器学习相关机构调用的接口。而采用系统内推演时，结合前述问题的探讨，需要考虑系统内不同网元、层之间的标准化问题。比如，当机器学习在线训练机构部署在基站侧，机器学习模型推演单元部署在终端侧时，经过空口至少需要传输如下信息：
·机器学习模型描述信息：可以采用参数传递或内生业务的方式进行传输。
·强化学习相关的状态、回报、行动信息：可以依托现有标准化接口所能提供的信息，但必要时需要进行增加或优化。
·训练/推演数据：应尽量使用目前空口所能提供的数据进行训练/推演，但必要时需要进行增加或优化。
从可行性角度来看，引入机器学习在其工作原理上、训练数据可获得上，以及计算复杂度方面均具有可行性。从必要性来看，其可以解决复杂问题、提高性能和降低成本。由于采用系统内推演的方式，可以降低系统内外传递的数据需求，以及处理时延，从而更有利于采用机器学习技术解决无线移动通信系统内部的问题，因此建议在未来的6G网络中构建内生智能。
通过对应用场景的理解和分析，6G网络性能指标的定位包括几个方面：第一，6G网络的峰值速率应该达到太比特每秒水平（TBPS）；第二，用户体验率达到千兆比特每秒水平（Gbit/s）；第三，用户的时延接近海量数据的实时处理；第四，无线网络的可靠性接近有线传输；第五，6G的流量密度和连接密度至少比5G高10倍；第六，支持移动高速通信，速度超过1000km/h，不仅支持高速铁路通信覆盖，还支持飞机覆盖；第七，频谱效率可以提高两到三倍。
6G网络能带来一些新的能力，如亚米级甚至厘米级的定位精度，超低的时延抖动，超高的安全性和全新的网络智能水平。为了满足这些指标，6G需要在频谱使用范围、使用效率、网络架构、功能、安全性和人工智能等方面做出新的改变，以满足6G的业务和应用需求。
随着移动通信技术的发展，网络架构也在不断变化，3G采用三层架构，4G采用全IP架构，5G引入信息技术和大数据技术来实现小型企业架构、控制平面和用户平面分离、网络切片技术等。在5G核心网络中，无线网络的城域网引入了CU-DU分离架构，带来了灵活的部署结构。
6G网络的结构从整个网络的演进和转型角度来看，设计6G网络应该考虑三个方向的驱动力：
第一，新服务、新应用和新场景带来了什么样的需求。
第二，解决现有网络存在的问题和挑战。去年，5G NSA的建设带来了高能耗、高成本、低运行维护效率等挑战。在未来的网络设计中，应该考虑如何改变这些现状。
第三，随着云计算、大数据和人工智能技术的发展，新技术的发展带来了驱动力。
在解决现存的网络问题和挑战时，有4个突出的问题。
第一，我们应该进一步解决时延问题。对于5G无线网络，协议结构是分层的，所有的业务都需要逐层处理，每一层都有时延，这构成了时延业务传输的瓶颈。为了进一步缩短时延，有必要打破这种结构。
第二，需要进一步发展网络切片的支持技术。5G支持端到端切片。然而，在标准设计之初，无线网络和核心网络分别考虑切片的设计和优化。这两者能否很好地连接起来需要由NSA进行商业验证，这需要在6G网络设计中加以考虑。
第三，解决单一网络结构带来的高成本、高功耗问题。目前5G网络的部署是基于基站的，功能齐全，这将导致整个建设的高成本和高功耗。为了从根本上解决这两个问题，6G网络必须进行变革。
第四，大型基站部署成本高，运行维护难度加大。有必要考虑利用人工智能和大数据实现网络运维的智能化。然而，在5G网络设计之初，由于没有充分考虑对这些功能的支持，目前智能运维的突破使得整个网络的运维支持逐渐得以实现。相信在6G时代，网络运维自动化将是一个新的发展方向。
在新服务、新应用和新场景的驱动下，6G网络需要具有更高的可靠性、更低的用户平面和控制平面时延，以及更高的流量密度和设备密度。云计算、大数据和人工智能将在6G网络中深度集成，使网络更加高效和智能化。
6G网络的第一个特征是按需服务。6G将会有更多的新服务和新场景，用户将会多样化和个性化。网络应进一步增强感知能力，包括对行为、业务和意图的感知，并根据用户的业务需求分配网络资源，提供体验保障。
第二个特征是简单网络，其中多种接入技术接入核心网络，接入网络实现即插即用。通过简化架构、功能和协议，网络可以提供准确的服务，同时节省成本和能耗。实现轻量级无线网络。未来的接入网分为两层，一层是信令接入层，另一层是数据接入层。通过单独部署，可以节省部署基站的数量，并且可以根据需要分阶段加载基站的功能，而不是全功能基站。
第三个特征是灵活的网络，以用户为中心，按需生成，网络随人移动。网络功能的分散管理支持独立网元和业务的扩展、演进和灵活部署，实现端到端的微服务网络。
第四个特征是内生智能。人工智能技术已经取得了很大的进步，5G已经考虑使用人工智能。然而，5G人工智能是一个插件或移植应用程序，很难实现像人类神经网络那样的内部功能。人工智能有望在6G网络中成为神经系统。为了满足内生智能，有必要在6G网络中引入数据采集面和智能面，通过数据采集面采集6G网络的全局数据；智能表面根据需要调用这些数据，并根据不同的人工智能场景提供不同的人工智能支持。
第五个特征是数字结对。未来的网络是一个数字双网，它可以实时监控虚拟空间中每个网元、每个基站和每个用户服务的在线状态，提前预测运行轨迹，提前介入可能的服务掉线，避免网络事故。新功能也可以预先验证，实现网络自进化。
第六个特征是安全性内生。6G网络的安全性尤为重要。据预测，未来的战争可能不会攻击物质世界，而是孪生世界。
结合DICT的发展趋势，我们在5G网络发展中看到的经验教训预计6G将向以下5个方向转变：一是引入数字双胞胎；二是实现多方数据和资源的协同管理；三是实现端到端的微服务设计；第四是简化基站；第五是数据和信令的分离，提高了整个网络的部署效率和成本。在此基础上，未来网络逻辑架构的建议是“三层四面”。这三层包括：资源层、功能层和服务层。资源层在底层提供无线、计算和存储等基本资源，为功能层的功能生成提供支持和服务，而功能层在服务层为服务和应用提供支持。功能层引入了数据采集、智能、共享与合作、安全等功能，实现了安全性和智能性。
基于6G愿景、需求、应用场景及性能，预计6G网络将在全球范围内实现社会无缝的无线连接，融合通信、计算、导航、感测，并具有智能自主运营维护的空天地海一体化3D及AI网络，可提供超高容量、近乎即时、可靠且无限的智能超连通性。
（1）空天地海一体化网络
当前地面网络无法扩大通信范围的广度和深度，同时在全球范围内提供连接的成本非常高昂，为了支持系统全覆盖和用户高速移动，6G将优化空天地海网络基础设施，集成地面和非地面网络，以提供完整的无限覆盖范围的空天地海一体化网络。
基于卫星通信的空间网络通过密集部署轨道卫星为无服务和未被地面网络覆盖的地区提供无线覆盖。空中网络低空平台可以更快地部署，更灵活地重新配置并在短距离通信中表现出更好的性能。空中网络高空平台可以作为长距离通信中的中继节点，以促进地面和非地面网络的融合。地面网络将支持太赫兹频段，其极小网络覆盖范围将达到系统容量提高的极限，“去蜂窝”和以用户为中心的超密集网络的架构将应运而生。水下网络将为军事或商业应用的广海和深海活动提供互联网服务，但关于水下网络是否能够成为未来6G网络的一部分，存在争议。
（2）趋向智能化网络
为了实现6G智慧内生网络的愿景，6G架构的设计应全面考虑人工智能（AI）在网络中的可能性，使其成为6G的内在特征。近年来，AI及机器学习（ML）受到了业界广泛关注，初始智能已应用于5G蜂窝网络的许多方面，包括物理层应用（如信道编码和估计）、MAC层应用（如多路接入）、网络层应用（如资源分配和纠错）。但是，AI在5G网络中的应用仅限于传统网络架构的优化，并且由于5G网络在架构设计之初未曾考虑AI，因此很难完全实现5G时代AI的潜力。
最初的智能是感知性AI的一种实现，无法响应意外情况。随着服务需求的多样化和连接设备数量的爆炸性增长，网络发展成为一个极其复杂的异构系统，因此迫切需要一种具有自我感知、自我适应、自我推理的新型AI网络。它不仅需要在整个网络中嵌入智能，还需要将AI的逻辑嵌入网络结构中，这样感知和推理以系统的方式进行交互，最终使所有网络组件能够自主连接和控制，并能够识别、适应意外情况。智能网络的最终期望是网络的自主发展。集中式AI、分布式AI、边缘AI、智能无线电（Intelligent Radio, IR）的联合部署，以及智能无线传感、通信、计算、缓存和控制的融合，为6G的智能网络提供有力保障。
（3）6G潜在关键技术
通过对来自中兴通信、中国移动、中国电科、中国信息通信研究院、东南大学、上海交大、成都电子科技大学、北京邮电大学、赛迪智库无线电所、芬兰奥卢大学、贝尔实验室、美国麻省理工学院及纽约大学等国内外机构的28篇重点文章所涉及的潜在关键技术进行调查、统计、筛选和总结，得出关注度最高、词频最多的12个潜在关键技术，同时对各关键技术相应的关键优点和挑战进行分析、凝练和总结，详情见表2-1。
表2-1 潜在关键技术调查
（续）
[*]：指的是传统物理层技术增强，包括超高速新型的信道编码调制技术、基于AI的编码调制技术、超大规模多天线技术、大规模智能反射表面、增强的双工技术、全息波束赋形等。
从表2-1中第二列相应技术对应的文章数量可以看出，空天地海一体化、人工智能和太赫兹通信三大技术将会大概率作为6G关键技术。在28篇调研文章中，涉及这三大技术的文章分别有27篇、26篇和26篇，推断这三大技术将主要推动6G发展方向。而可见光通信、动态智能频谱共享技术、传统物理层技术增强、区块链和能源管理技术的关注度也很高，在6G中将起到非常关键的中间力量的作用。轨道角动量、新型化材料、量子通信和计算、分子通信关注度相对稍低，但在后期技术挑战突破和更大需求出现后，潜力巨大。
基于上述潜在关键技术，6G网络能力将得到极大的提升，从而为用户提供更加丰富的应用和业务。通过对未来的应用场景、网络性能指标和潜在关键技术之间的关联关系进行分析和总结，可以得到相互之间的映射关系。可见，为了达到太比特级的峰值速率需求，需要有太赫兹通信、可见光通信、动态智能频谱共享技术、超大规模天线等关键技术的支持等。而太赫兹通信、超大规模天线、量子通信与计算、人工智能支撑着超低的时延需求等。