XR技术架构由终端、网络、平台和应用4部分组成(如图2-1所示)。其中,终端侧主要通过内置各种传感器、摄像头、显示屏等元器件,实现XR本地化的高清显示、定位与追踪、拟人式操控以及本地化运行的逻辑运算和图形渲染等;网络侧为平台和终端构建低时延、大通道的传输,主要实现XR的超低时延交互、全景视频等应用内容的大带宽下发等;平台侧,以是否实现XR应用上云作为依据,分为通用功能和云化功能两类;应用侧,采用XR应用开发框架,并结合通用的图形开发引擎,完成XR应用的研发 [7] 。
图2-1 XR技术架构
(1)终端侧:作为XR服务的用户端设备入口,主要实现XR服务的高清显示、定位与追踪、拟人式操控等功能以及本地化的逻辑运算、图形渲染等功能。
●高清显示:采用全景拼接/FOV(Field of View,视场角)裁剪等画面显示技术,双目渲染/注视点渲染/增强渲染等图形渲染及光场显示等技术,实现高清显示功能。
●定位与追踪:主要通过内置终端的磁力仪、加速度计、陀螺仪、深度摄像头等,实现针对当前位置和周边环境或虚拟空间物体之间相对关系的确定。技术实现方式包括激光定位、红外光学和可见光定位等。
●拟人式操控:包括键盘鼠标(简称“键鼠”)操控、遥控器操控、语音操控、手势操控和脑波操控等多种操控技术。
●本地运行相关功能:在XR服务本地化运行模式下,需要在终端实现XR应用导入、逻辑运算和图形渲染输出等功能。
(2)网络侧:为了满足XR超低时延交互,需要提供低时延的传输保障;为了满足XR全景画面等传输需求,需要提供大通道的网络传输机制;为了实现精致的XR内容和降低网络传输压力,采用创新的边缘计算部署等。
(3)平台侧:从服务角度,提供XR的用户管理、应用管理、终端管理、运维管理等运营服务,应用部署、渠道分发等营销服务,以及支付计费、内容接入、终端适配等能力服务。XR云化模式还需提供云化移植、云端运行、图形渲染等云化功能。
(4)应用侧:主要指各种XR应用的内容研发,包括XR专属的应用开发框架及通用图形开发引擎等,通过两者的结合,实现各种XR应用的逻辑运算、图形渲染和定位操控等开发工作。
本章在随后的部分,将逐步分析XR技术的分支——VR、AR和MR,后续章节将分别聚焦XR与5G融合的平台技术、网络技术、终端技术和应用开发等方面的内容,分别进行相应的关键技术分析和技术细节研究。