下载掌阅APP，畅读海量书库
立即打开
基于深度图像的绘制（depth-image-based rendering，DIBR）技术是指将参考视点的深度图像（颜色图与对应视点的深度信息），通过三维图像变换（3D image warping）合成虚拟视点的图像。DIBR技术只利用少量参考视点深度图像便可合成任意虚拟视点，极大地提升了用户在客户端的交互自由度，因此被广泛应用在3DTV [1] 、立体视频 [2] 、自由视点视频（free-viewpoint video，FVV） [3] 以及三维场景远程绘制 [4] 等图像系统中。DIBR系统大幅增强了用户体验（quality of experience，QoE），虚拟视点图像则直接影响着用户的视觉感受。在此背景下，有关虚拟视点图像的分析与研究工作已经成为近年来图像处理领域的热点之一。与虚拟视点图像紧密相关的研究工作可大致分为以下几个环节。
（1）获取
该环节的主要目的是获取参考视点的深度图像，主要任务有参考视点预测 [5-6] 、最优视点选择 [7] 等。
（2）编码与传输
该环节的主要目的是将参考视点的深度图像编码后传输给客户端，主要任务有深度图像压缩 [8-9] 、深度图像传输 [10-11] 等。
（3）合成
该环节的主要目的是在客户端上根据用户的交互信息，实时地生成任意虚拟视点的图像，主要任务有虚拟视点合成 [12-13] 、虚拟视点图像增强 [14-15] 等。
（4）度量
该环节的主要目的是实时地评估客户端的用户视觉感知质量，并将度量结果反馈给服务器端，以此来动态控制参考视点预测策略、深度图像压缩参数等，确保用户体验。该环节的主要任务有虚拟视点图像质量度量 [16-17] 、虚拟视点视频质量度量 [18] 等。
上述环节中，直接与虚拟视点图像相关的环节是合成与度量。其中，虚拟视点图像质量度量又是整个DIBR系统服务质量的根本，直接影响用户体验；此外，虚拟视点图像质量度量又可反馈给DIBR系统的其他环节，如编码与传输、合成等。因此，本书以虚拟视点图像的质量度量为切入点，重点介绍作者及所在团队在虚拟视点图像质量度量方向的研究进展；以此为基础，介绍虚拟视点图像质量度量在DIBR系统其他环节的应用。
本书所指的虚拟视点图像特指由DIBR技术得到的虚拟视点的图像。类似地，将DIBR技术得到的虚拟视点的视频称为虚拟视点视频（DIBR synthesized video）。
DIBR技术的核心算法是McMillian于1997提出的三维图像变换 [19] ，其原理如图1-1所示。
图1-1 DIBR技术核心算法的原理
如图1-1所示，已知参考视点
v
ref
的参考视点图像
和三维场景中物体到参考视点像平面的深度，通过三维图像变换，可以将参考视点图像中的像素依照深度变换到虚拟视点
v
vir
下，最终得到虚拟视点图像
。整个计算过程实际上遵循了多视点几何重建原理，可大致分为以下两步：首先，根据参考视点的相机参数与参考视点深度，将参考视点图像中的像素反投影（back projection）到三维空间世界坐标系中；然后，根据虚拟视点的相机参数，将反投影到三维空间中的像素重投影（reprojection）到虚拟视点像平面上，最终得到虚拟视点图像。图1-1中的
Oxyz
即三维空间世界坐标系；
O
1
x
1
y
1
与
O
2
x
2
y
2
则分别表示参考视点图像与虚拟视点图像的像平面。
设参考视点与虚拟视点的相机均为针孔相机，则上述两个步骤可以形式化描述为
（1-1）
（1-2）
式中，
Z
1
与
Z
2
分别表示三维场景中物体到参考视点相机与虚拟视点相机的深度，
与
分别是三维空间中任意一点
投影到参考视点像平面的像素
与虚拟视点像平面的像素
的图像坐标，
与
分别表示参考视点相机的内参数矩阵与外参数矩阵，
与
表示虚拟视点相机的内参数矩阵与外参数矩阵。关于相机参数矩阵的详细描述可参见文献[20]。
表示
在三维空间世界坐标系中的坐标。通过联立式（1-1）和式（1-2），便可得到三维图像变换方程（将参考视点图像中的像素变换到虚拟视点图像中）：
（1-3）
参考视点图像与通过DIBR技术合成的虚拟视点图像如图1-2所示。其中，参考视点图像来源于微软三维视频（3D video）序列库 [21] 。可以看到，虚拟视点图像存在明显的不同于传统自然图像由量化编码引起的新的失真类型。以图1-2（b）所示为例，人物的边缘附近出现了大片空洞，严重影响视觉体验。因此，建立主客观一致的质量度量方法来恰当地表征虚拟视点图像中的失真对用户视觉感知的影响，并将虚拟视点图像质量度量方法应用于以DIBR为核心技术的交互式图像系统中，以提升用户体验和系统服务质量，成为学术界与工业界目前的研究热点。
图1-2 参考视点图像与通过DIBR技术合成的虚拟视点图像
虚拟视点图像作为一类新型视觉信号，随着DIBR的交互式图像系统的发展，越来越受到学术界和工业界的关注。与自然图像相比，虚拟视点图像不需要复杂的光学仪器及成像过程；与已有的图像合成技术，如插值（interpolation）、图像变形（image morphing），基于图像的绘制（image-based rendering，IBR）等相比，DIBR技术仅需要少量参考视点下的彩色图（color image）和深度图（depth map），便可以合成任意虚拟视点下的图像，而不需要显式的几何信息，所生成的虚拟视点图像能够保证与参考视点的几何一致性，确保用户在视点变换时的临场感。此外，将DIBR技术应用于三维场景远程绘制系统中，可以极大地减轻客户端的图像绘制与存储开销。更重要是，DIBR技术支持用户与场景的三维交互，只要计算出用户交互对应的从参考视点到虚拟视点的相机变换参数矩阵，便可以实时高效地绘制出用户想要观看的图像，交互的自由度高于传统图像合成方法。此外，与传统的流媒体传输方法或者远程绘制方法相比，交互延迟大大降低。因此，DIBR技术被广泛用于立体视频、自由视点视频、三维场景远程绘制系统中。一个典型的DIBR系统的工作流程如图1-3所示。
图1-3 典型的DIBR系统的工作流程
如图1-3所示，DIBR系统主要包括参考视点深度图像获取、深度图像编码、深度图像传输、虚拟视点合成和虚拟视点图像显示5个环节。
其中，参考视点深度图像获取是指通过主动采集，或由计算机绘制得到的参考视点的深度图像。在一些文献中，深度图像与深度图是同一概念。为避免歧义，本书后面中提到的深度图像特指彩色图和对应视点的深度图这一图像对（image pair）。深度图像编码与深度图像传输主要是指对参考视点深度图像压缩（即同时考虑彩色图和深度图的压缩，下同），然后通过网络传输到客户端，再进行图像重建的过程。编码环节侧重于减少冗余编码信息，传输环节则主要考虑错误隐藏等问题。不同的应用场景下，编码传输的数据格式可能有较大的差异。例如，自由视点视频将参考视点深度图像组织为深度视频，以流的方式进行编码传输；三维场景远程绘制系统则倾向于传输单帧深度图像，以保证客户端较低的交互延迟。虚拟视点合成主要基于前述三维图像变换算法。由于三维图像变换本身是对参考视点像素的一种变换，并不能推断出参考视点图像中被遮挡的像素，因此虚拟视点图像中往往存在明显的失真。常见的虚拟视点合成中往往会附加一个后处理，例如使用纹理合成（texture synthesis) [22] 、图像修复（image inpainting) [23] 等方法以减少虚拟视点图像中的失真。虚拟视点图像显示环节则是指将虚拟视点图像显示到观察设备，供用户观看。根据显示设备的不同，还有可能对虚拟视点图像进行分辨率适应 [24] 、重定位（re-targeting） [25] 或是立体显示 [26] 等操作。
下面举例介绍一些目前学术界与工业界具有影响力的DIBR系统。
（1）立体视频系统
2009年，三维电影《阿凡达》以出色的视觉效果将立体视频带入普罗大众的视野。此后，日本的松下、富士，韩国的LG等公司纷纷推出三维相机，丰富了立体图像/视频的采集途径。目前，三维相机价格相对昂贵，制约了立体视频数据的采集，而对单视点视频进行深度估计，再使用DIBR技术生成左右视点的视频，成为目前的研究热点。其中，清华大学戴琼海团队对立体视频生成技术和装置开展了长期研究，并研制出具有自主知识产权的立体视频重建装置，可以实时地实现普通二维视频的立体显示 [27-29] 。
（2）自由视点视频系统
立体视频虽然能够给用户以立体感，提升用户观看时的沉浸感，然而其提供的视场较小，且不具有交互性。国际标准化组织动态图像专家组自2003年起组织研究新一代视频系统方案，提议将自由视点视频系统作为下一代沉浸式视频系统的主要方案。2004年，日本三菱电子研究实验室率先设计了自由视点视频系统，支持用户自由切换观察视点，从任意角度观看视频。此后，日本名古屋大学、美国斯坦福大学等又利用光场构建了具有更大视场的显示系统，用户不需要佩戴辅助设备便可切换任意视点。此外，德国弗劳恩霍夫通信技术研究所（Heinrich-Hertz Institute，HHI），以及美国微软研究院针对自由视点视频编码，以及虚拟视点合成等环节开展了研究。国内学术界，如上海大学的张兆扬团队、西安电子科技大学的石光明团队等关于自由视点视频系统的研究已经取得了一些成果。
（3）三维场景远程绘制系统
三维图像变换算法最初便是为三维场景远程绘制设计的，因而适用于远程绘制系统。Mark [19] 在他的博士论文中详细阐述了DIBR技术的三维场景远程绘制系统的实现细节。此后，Bao等 [30-31] 、Shi等 [32] 分别针对DIBR技术的三维场景远程绘制系统中存在的虚拟视点图像失真、交互延迟等问题提出相应的改进策略，提升了DIBR技术的三维场景远程绘制系统的服务质量。