下载掌阅APP，畅读海量书库
立即打开
在过去的几年里，由于从嵌入式系统到自主性、控制、安全和通信等各个领域的重大技术进步，无人机领域发生了重大的变革 [1] 。小型无人机单元（DSC）是配备有通信装置的空中设备，作为移动基站（BS）为无线网络提供支持 [2] 。尽管最近取得了许多进展，相互独立的无人机之间的三维布局仍然是基于无人机无线通信系统中的一个主要设计挑战 [1] 。一般来说，优化无人机部署是有挑战性的，因为优化函数要考虑到许多参数，如无人机信道增益、无人机之间的干扰、部署环境和用户移动性 [1] 。
尽管无人机在蜂窝网络中的集成有了大规模的增长，但大多数文献仍在研究移动网络中无人机定位分析与解决方案。尽管这些解决方案有其优点，但它们往往需要不切实际的假设，如了解网络中的用户数量、用户位置，或用户保持静止。这些假设是大胆的，或者过于具体 [3] ，在大多数情况下可能是不真实的，这使得提出的解决方案在实际情况下不能有效应用。
与解析性解决方案相比，一些研究人员应用人工智能算法来解决无人机的相关问题。在无人机的通信领域，一个特殊的算法获得了较高关注，那就是强化学习（RL）算法 [4] 。当环境是动态的，要找到一个固定的或静态的解决方案是很困难的，强化学习是一个很好的选择，因为它的算法能够从经验中在线学习并找到最佳解决方案 [5] 。
当传统地面通信设施因大规模自然灾害而无法运行或访问的情况下，参考文献[4]提出了一种Q-learning方法来寻找小型无人机群（无人机用于恢复通讯）的最佳三维位置。该方法的目标是高效地建设一个覆盖率高、鲁棒性强（针对网络的动态性、用户的可移动性、干扰多）的应急通信网。Ghanavi等人 [6] 提出了基于Q-learning算法的单一空中基站的最佳部署方案。De Paula Parisotto等人 [7] 扩展了参考文献[4]的解决方案，并提出了一种基于强化学习的智能方法，以确定紧急场景下多个小型无人机单元的最佳功率分配方案和空间部署方案。该算法的主要目标是：在考虑用户移动性和无线网络接入（RAN）受限的情况下，最大化无人机网络覆盖的用户数量。
Abeywickrama等人 [8] 提出了基于强化学习和深度强化学习（DRL）的方法，该方法可以为考虑能源受限情况下的无人机基站提供部署方案。该部署方为地面用户提供高效、合理的网络覆盖，且碰撞（无人机间）与干扰（对地面用户）较少。在大多数情况下，深度强化学习的进展主要集中在单个智能体解决单一静态任务 [9] 。多智能体强化学习（MARL）的最大挑战之一是信用分配问题：由于所有的智能体都在同时进行探索和学习，任何一个智能体都很难估计他们的行动对整体回报的影响 [9] 。关于无人机通信问题，参考文献[10]中的作者开发了一个多智能体强化学习框架，其中每个智能体根据自己的观察结果寻找最佳策略。Cui等人 [10] 提出了一种智能体独立决策但共享网络结构的算法，该网络结构基Q-learning算法。Huang等人 [11] 精心设计了一个深度Q网络（DQN），通过选择最优策略来优化无人机导航。DQN经过训练，使智能体能够根据收到的信号强度做出决策，并为无人机导航。参考文献[12]的作者提出了一个分散的基于深度强化学习的框架，实现分布式控制每架无人机，其中一组无人机被分配到目标区域周围飞行，以便为地面移动用户提供长期通信覆盖。表3.1显示了在无人机通信中使用的强化学习算法。
表3.1 在无人机通信中使用的强化学习算法
本章主要的研究内容包括：
（1）在建立一个空中蜂窝网络时，我们研究了如何通过强化学习算法优化无人机的部署。
（2）我们通过多智能体强化学习方案使用Q-learning算法。该算法自主解决了多架无人机的最优部署、频率分配问题。该方案的目标是将网络中的离线用户数量降到最低。