第一节
虚拟现实、增强现实、混合现实

简单来说，虚拟现实就是利用数字虚拟技术为人们提供接近、等同或超越现实的“真实感”体验，利用这一技术，人们可以在一定程度上突破现实时间、空间以及其他客观条件的限制，来丰富感知或改变世界。

一、虚拟现实

虚拟现实的英文原文为Virtual Reality，简称VR。虚拟现实技术是一种模拟人类视觉、听觉、力觉、触觉等感知行为的高度逼真的人机交互技术，涉及数字图像处理、计算机图形技术、多媒体技术、人机接口技术、计算机仿真技术、传感器技术及网络并行处理技术等多项技术。VR可以通过显示设备向用户呈现一个特定的虚拟场景，利用动作捕捉、运动模拟、位置空间追踪、传感器等设备，用户可以与该场景互动，产生身临其境的体验感，达到一种虚拟的“真实在场”状态。场景可以是“虚拟”的，但感觉却必须是“真实”的。

人们对客观世界的感知主要通过自己的感觉器官，视觉、听觉、触觉、嗅觉、味觉在人类感知世界的过程中发挥重要作用，通俗来说，虚拟现实技术就是试图通过一些技术设备（如头显、互动设备等），来控制和影响人类的各种感觉器官，当人们感知世界的通道被控制，人们对世界的认知也就被控制了，尽管VR营造的世界都是虚拟的，却能给人带来真实的体验。

人们需要借助一些技术设备来使用或体验虚拟现实技术，其中，最主要的是头显设备和互动设备（互动手柄、互动手环、可穿戴互动设备、动作捕捉仪、全向跑步机等）。Oculus Rift、HTC Vive、Sony PS、Samsung Gear VR等是境外比较知名的VR品牌，3Glasses、暴风科技、大朋、小米等多家境内公司都生产VR设备，但是，以移动级VR眼镜和互动设备为主。虚拟现实技术通过头显设备将VR使用者和现实世界分开，使其各种感官知觉彻底进入虚拟现实世界，沉浸其中，在虚拟现实中体验到非常真实的感觉。

HTC Vive是一款在中国市场占有率比较高的VR设备，它主要由头显（眼镜）、主机、互动手柄、动作定位器几部分组成（如图1-1-1所示），不仅能提供VR游戏体验，还可以与诸多VR应用（如房地产设计、安全生产教育、军事训练、汽车驾驶等）相结合，其头显显示分辨率达到2K，基本可以满足用户正常的视觉质量需求。

HTC Vive头显通常需要与高速运转的主机、动作跟踪器、互动手柄配合使用，这款头显能够给观众提供2K清晰度的全景影像，也能通过互动手柄和某些VR游戏、VR作品进行互动。这款头显用户体验较好，但是价格较高，更适合公司和单位购买使用。HTC公司已经开发出Cosmos、Pro Eye、Pro、Vive、Focus等系列头显及互动设备，可以满足不同用户的需求。

近两年，HTC Vive着力开发应用软件，以更好和硬件开发相配合。已经推出Vive XR Suite软件包，主要为远程教育、远程办公、远程社交、远程娱乐、远程会议等场景提供虚拟现实服务。

Sony PlayStation是另外一款市场占有率较高的VR设备，它包括主机、头显、互动手柄、游戏手柄等组成部分，其市场销售价格大约为HTC Vive、Oculus Rift全套设备的1/4左右，其主要内容是VR游戏，可以为用户带来比较好的沉浸感和体验感（如图1-1-2所示）。

三星Gear VR是针对普通用户推出的虚拟现实消费级产品，它的主体是一个便携的头戴式眼镜，需要插入一部三星手机作为VR视频、VR游戏的播放源，将360度全景影像资源下载到手机中，使用VR播放器进行播放，由于目前市场上绝大多数手机的屏幕分辨率最高为1920×1080，所以，其影像清晰度相对较差，能够给观众带来的沉浸感、体验感也不佳。这种头显价格比较便宜，属于消费级头显，这款产品的优势是价格相对较低，可以满足普通消费者的VR尝鲜体验。只有普通消费者能够接受VR，VR才有真正的未来，三星Gear VR就是秉承这样的理念推进VR的发展，但是，要想真正让观众满意并接受，还需要整个产业链条的技术不断进步（如图1-1-3所示）。

国内有多家公司借鉴三星Gear VR的理念研发自主品牌的VR头显设备，如暴风魔镜、小米VR等，其核心显示设备都是不同品牌和型号的手机，受到手机显示屏幕技术的限制，其体验感往往与用户预期之间存在较大差距。2018年以来，需要插入手机的头显设备受到市场冷落，逐步被无线一体头显设备所取代。

除上述这些代表性VR设备外，还有不少厂家生产便携头戴式无线VR头显设备，这些头显设备外观和三星Gear VR之类的头显看上去比较相似，但内在有本质不同，其本身具有一定的存储功能，可以事先将一些VR视频、VR游戏等资源下载存储其中，利用自身的播放器播放、应用程序驱动为用户提供体验服务。这些头显设备还可以通过无线网络信号和互联网相联，通过网络支持，为用户提供更多的VR资源体验。但是，由于VR内容资源往往数据量较大，受到无线网络数据传输速度的限制，VR内容资源影像要么不够流畅，要么不够清晰，其体验感也常常难以令消费者非常满意。

各家虚拟现实设备提供商还努力打造与自己品牌设备适配的内容平台，或者与一些内容平台合作（如表1-1-1所示），通过内容平台，虚拟现实设备商可以更好地为用户提供服务，持续保持对用户的吸引力，同时，内容产品的开发和销售也可以为厂商带来持续、丰厚的经济回报。硬件设备销售只是市场竞争的第一步，真正决定虚拟现实厂商未来的是其后期服务和内容提供。

总体来说，VR头显设备、互动设备会向着网络化、高性能、便携化方向发展，依靠高速无线网络将云端资源给用户提供体验。头显设备、互动设备要具备快速、精准反应能力，视、听等各种感官效果更加真实，佩戴使用更加轻便、舒适，才能满足用户的需求。

对于虚拟现实概念的理解，可以分为广义和狭义两种。广义上来讲，360度全景视频和数字生成的全视域互动影像都属于虚拟现实。狭义上来讲，只有能够进行“互动”的全视域数字生成空间影像才是虚拟现实作品，360度全景视频因为不能为用户提供充分互动的可能，所以不属于虚拟现实作品。

在现阶段，人们通常使用广义虚拟现实概念，认为360度全景视频和数字生成全视域互动影像都属于虚拟现实作品。360度全景视频尽管不能让用户进入所拍摄的场景自由活动并充分互动，但是，其与传统影视影像相比有本质不同，用户可以“沉浸”于事件场景之中，可以自由选择观看的方向、观看的对象，还可以通过互动工具，选择、点击画面中的互动图标，使360度全景视频作品呈现出不同的情节发展走向，其“互动”虽不全面彻底，但也并非完全没有。为了比较全面地反映视听媒体虚拟现实作品的创作情况，本书以广义虚拟现实概念为基础进行后续的研究和探讨。

二、增强现实

增强现实的英文原文为Augmented Reality，简称AR。增强现实也被称为扩增现实（中国台湾等地）。增强现实是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种高科技手段，将生成的文字、图像、三维模型、音乐音响、视频等虚拟信息应用到真实世界的不同场景中，真实的环境和虚拟的物体实时地叠加到同一个画面或空间。通俗来说，增强现实就是把虚拟世界信息叠加在现实世界信息上。

与虚拟现实技术不同的是，增强现实不需要将人们与现实世界“隔离”，而是在现实世界信息基础上实时叠加相应的虚拟信息，使两者合二为一，有机结合在一起，给人们带来真实的感觉和体验。增强现实技术不会改变人们对现实世界的基本认知，而是在其基础上增加一些信息，对其进行补充、完善、强化，这些虚拟信息只是作为辅助信息存在，不会成为主体信息。

在增强现实的各种关键技术中，显示技术尤为重要，因为它决定了用户使用AR应用时的沉浸感、体验感，直接影响其互动效果。目前，增强现实显示设备主要分为三种：头戴显示设备、手持显示设备和投影显示设备。

2012年，谷歌公司推出的谷歌眼镜（Google Project Glass），就是一种增强现实产品，它集相机、全球定位系统、网络搜索等功能于一体，在用户看到的现实世界景象中增加相应的图文、视频、声音等信息，引起人们极大的关注。谷歌眼镜具有和智能手机一样的功能，可以通过声音控制拍照、视频通话和辨明方向，还可以上网冲浪、处理文字信息和电子邮件等。同时，谷歌眼镜非常轻便，便于佩戴和使用。尽管谷歌眼镜拥有众多令人心动的优点，但是，成本过高、缺少应用、分散注意、侵犯隐私、产业链不完善等问题，都为其发展造成了严重阻碍。2015年谷歌公司宣布停止接收谷歌眼镜个人订单，但不会彻底放弃谷歌眼镜（如图1-1-4所示）。

2015年，微软公司推出HoloLens增强现实眼镜（HoloLens官网称其为MR产品），如图1-1-5所示。该设备具有全息影像、立体声、智能互动等功能，成为头戴式增强现实显示设备的代表。使用HoloLens可以在看到现实世界场景的同时，在用户眼前叠加各种虚拟信息，用户可以通过自己的手指与虚拟影像进行互动，如将其拉近或推远、放大或缩小、移动位置，以及与其中的事物进行交互。这些虚拟影像大多是事先制作好的应用或游戏，在和现实世界影像实时叠加方面，HoloLens还不能充分满足用户的需求。现阶段，HoloLens价格比较昂贵，普通用户很难接受，其购买者多为专业机构或研发单位。

2016年，任天堂公司推出手机游戏Pokemon Go，把数字虚拟的精灵和真实世界场景叠加在一起，让很多玩家玩得不亦乐乎。

2017年12月，Magic Leap公司发布了自己的第一款增强现实AR眼镜产品Magic Leap One（如图1-1-6所示），官方称之为“Creator Edition版本”。这家公司在多轮融资过程中非常成功，但是，其实体产品的推出频率、进程低于公众预期，到2020年年底，Magic Leap都没有再发布新的增强现实产品。目前已经发布的实体产品虽然属于世界一流的AR头显设备，但与HoloLens也没有本质上的差别。

现阶段，增强现实在技术实现难度上比虚拟现实更高，但是，其体验感也更好。更为重要的是，在增强现实体验中，人们是能够感受到周边真实世界的，能够与周围真实环境物体、增强虚拟影像及各种数据信息进行互动，而不像VR体验那样，人们必须与周围的环境完全脱离，会对周围真实世界无所感知，或者出现感知上的误差。所以，很多人认为AR应该是虚拟现实未来发展的主流方向。

三、混合现实

混合现实的英文原文为Mixed Reality，简称MR。混合现实技术是在VR和AR基础上的新发展，这种技术需要把现实世界的场景、活动和虚拟世界信息混合起来，并使二者产生相应的互动。简单来说，混合现实就是将真实环境和虚拟环境相融合，将实景和虚景相结合，给使用者带来高临场感的多维场景体验。

有人认为，MR与AR的区别在于，前者是在虚拟世界中加进现实的事物信息，后者是在现实世界中加进虚拟的事物，前者需要先将现实世界的事物通过影像采集技术虚拟化，才能和虚拟世界的影像相融相加，产生新的可视化环境，而且要求现实和虚拟信息的结合必须是实时的，其难度要高于增强现实。有人认为，区别MR和AR主要看两个标准，一是看虚拟物体的相对位置是否会随设备的移动而移动，如果答案为是，则属于AR，如果答案为否，则属于MR；二是看虚拟物体与真实物体是否能够被区分，如果能够被明显区分，则属于AR，如果虚拟物体和真实物体真假难辨，则属于MR。还有人干脆认为，MR本身就涵盖了AR。

由于目前还缺乏足够多能让大家公认的混合现实（MR）典型成功案例，因此，混合现实（MR）主要还停留在概念和开发实验阶段。人们对于混合现实（MR）的理解也有诸多不同，甚至很多人将增强现实（AR）和混合现实（MR）混为一谈。只有技术进一步升级，更多具有本体特征的混合现实（MR）应用和作品出现，才能帮助人们更好地体验和理解混合现实（MR）的准确含义。

在VR、AR、MR之外，还有一个概念是XR，即Extended Reality，中文译为“扩展现实”。扩展现实技术是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合的、可人机交互的环境。扩展现实（XR）包括虚拟现实（VR）、增强现实（AR）、混合现实（MR）等多种形式，XR其实是一个总称。XR分为多个层次，从通过有限传感器输入的虚拟世界到完全沉浸式的虚拟世界。XR目前还是人们对虚拟现实技术下一步发展的美好设想，其对设备性能要求更高，需要更低的功耗、更小的尺寸、更强的扩展性，未来所能适用的领域也应该更广。 2r5amVqvOw+vsV8u05PIm+w9kJ9KXoJ5gDuWuCaBpRgeNq5hD85+CkfOjcPTpjt/