下载掌阅APP，畅读海量书库
立即打开
本书主要内容是在国家自然科学基金（No.61877002）、北京市自然科学基金-丰台轨道交通前沿研究联合基金（No.L191009）的资助下完成的。项目的研究目标是针对移动终端资源有限的特点，设计能支持多终端、高交互性与低交互延迟的三维场景远程绘制引擎，在确保用户交互延迟与绘制帧率的前提下，尽可能地减少移动终端的资源消耗以及网络传输开销。
考虑要在有限资源的移动终端上实现真实感的绘制，并支持用户灵活的交互方式，本书选用DIBR技术作为设计三维场景远程绘制引擎的关键技术。在设计的引擎中，服务器端从复杂的三维场景中绘制得到参考视点深度图像，根据用户交互动态地向客户端传输深度图像。客户端根据接收到的深度图像合成虚拟视点图像。DIBR技术只需少量参考视点深度图像便可合成任意虚拟视点，计算耗时较短，传输开销较低，因而支持在中低端移动设备上的复杂三维场景交互式应用。然而，虚拟视点图像存在的几何失真等会影响用户的视觉感知。因此，建立主客观一致的虚拟视点图像质量度量模型，并将其用于参考视点深度图像传输以及虚拟视点合成等环节的控制与优化，对提升DIBR系统的用户体验与系统服务质量有重要作用。
近年来，作者及所在的团队围绕资助项目开展虚拟视点质量度量方面的研究，下面主要介绍相关工作进展。
（1）虚拟视点图像质量度量
虚拟视点图像中存在的几何失真，如空洞、裂缝、鬼影、拉伸等，主要分布在物体边缘以及图像的边界，具有非一致性、局部性等特点。传统图像质量度量方法很难准确反映几何失真对图像质量的影响。现有虚拟视点图像质量度量方法虽然取得了较好的预测性能，但是依赖手工设计的特征，计算复杂度较高。
围绕虚拟视点图像失真的特点，本书介绍3种不同的虚拟视点图像质量度量方法。根据视觉敏感度机制，提出一种基于视觉权重图的无参考图像质量度量方法，该方法主要为局部失真而设计；通过观察视觉局部显著度现象，提出了一种基于局部显著度的无参考虚拟视点图像质量度量方法，该方法主要为几何失真而设计；通过分析虚拟视点视频特征表示方式，提出一种基于多模态特征聚合的无参考虚拟视点视频质量度量方法，该方法主要为时空域复合失真而设计。
（2）虚拟视点图像质量度量的应用
现有虚拟视点图像质量度量的应用仍遵循技术主导的设计理念，关注深度图像传输开销与虚拟视点绘制开销，对最终呈现给用户的虚拟视点图像的质量考虑不足。本书将虚拟视点图像无参考质量度量应用于DIBR系统的不同环节，试图在保证用户视觉感知质量的前提下尽可能地提升用户体验与系统服务质量。
本书共5章，除本章作为全书的概述之外，第2～4章分别论述了虚拟视点图像质量度量的理论研究现状、无参考虚拟视点图像/视频质量度量方法的研究进展，以及虚拟视点图像质量度量应用的研究成果。第5章总结了目前取得的研究成果，并给出了目前研究存在的问题和未来研究的方向。