第6章
完全沉浸式显示装置

虚拟现实就在我们身边，它已经不再只是大学或政府实验里的专享之物。因为几项核心产品实现技术的重大进步，一般消费者目前可以在市场上买到第一代高质量可批量生产的头戴式显示装置。本章我们将详细了解市场上几种最新的沉浸式头戴式显示装置，比如个人电脑和控制台驱动的显示装置和基于现代智能手机的低端系统。

6.1　个人电脑-控制台驱动的显示装置

我们生活在历史上一个非凡的年代。自从发明基本台式电脑的鼠标以来，在普通个人与电脑和其他复杂信息系统互动的方式来看，还几乎没有真正范式层面的改变。虽然可以进入电脑生成的高保真度世界这个概念曾鼓噪一时，但只有在那些财力雄厚而且有具体任务需要完成的设施和组织才能体验到这个概念。但现在时代不同了。本节我们将探讨一般消费品市场几款主流的、大众主要关注的个人电脑和控制台驱动的头戴式显示装置。对每一款产品我们都会进行概要性的介绍，然后重点介绍其特性和特点，并提供详细的规格表。

6.1.1　Oculus Rift CV1

2012年有一家叫Oculus的公司就其产品进行了众筹活动，因其开发的沉浸式虚拟现实系统再次备受关注，甚至可以说鼓噪一时。这期间Oculus发布了两个版本的开发模型（DK1和DK2），这家新公司被社交媒体巨头Facebook公司收购。这款显示装置的第一个面向一般消费者的版本已经完成了无疑能令人耳目一新的工程设计，并开始交货。

如图6-1所示，Oculus公司的Rift CV1（一般消费者版本第1版）是一款轻型、立体视觉、宽视野、头戴式的显示装置，采用的是两个低潜伏时间AMOLED平板显示屏，单眼分辨率为1080×1200。需要特别注意的是，这款显示装置采用的是非常专业的自由混合Fresnel透镜，图6-2是其侧视图。另外，Fresnel透镜属不规则表面，其衍射图案非常紧密。因为透镜的表面是非旋转对称的而且Fresnel是菲涅尔式设计，因此制造难度非常大，但是这个代价却换来了非常高的反射率、水平方向110°的沉浸式视野、失真非常小或几乎没有人造痕迹的出现。

图片来源：eVRydayVR在Wikimedia的照片

图片来源：iFixit

这款显示装置采用的非对称光学结构可以实现双眼视野部分重叠，这样水平方向的视野显得更宽，不过其代价是双眼视觉会有冲突。

通过内置的IMU（加速计、陀螺仪和磁强计）与显示装置外壳内的红外LED群组和支撑带（即使使用者处于偏离感应器的位置，也可以通过一只单独的红外摄像头看到）协同作用可跟踪该产品的位置和方向。该系统既适用于站姿，也适用于坐姿，其有效工作范围是5×11英尺。

Oculus的Rift CV1款显示装置的硬件的详细规格见表6-1。

6.1.2　HTC Vive

大概在Oculus开发Rift的早期，Valve公司（华盛顿州贝尔维尤的娱乐软件开发商）和跨国企业HTC（中国台湾的智能手机和平板电脑制造商）开始联手开发他们自己的高端、个人电脑驱动的虚拟现实显示装置。这款产品于2015年年初第一次在大众媒体上除去面纱，正式的名字是HTC Vive。这是一款别具一格的显示装置，目前已开始向客户交货。

如图6-3所示，HTC Vive是一款轻型、立体视觉、宽视野、头戴式显示装置，采用的是两个低潜伏时间AMOLED平板显示屏，单眼分辨率为1080×1200。Vive采用的专有光学组件是表面浮雕式菲涅尔衍射设计，水平视野是实打实的110°，失真非常小或几乎没有人造痕迹。

图片来源：HTC

就目前而言，Vive和Oculus在很多方面是各行其道，因为主要的系统功能都是采用不同的处理方法。在设计的最初阶段，HTC Vive采用的是“房间范围”的跟踪技术，其目的是能够让使用者以随意起动的自然方式体验虚拟现实，并可以使用具有运动跟踪功能的手持控制器以下意识的方式操控物体、与模拟环境互动。

Vive系统则采用完全相反的方法，是通过摄像头跟踪安装在显示装置上的红外LED群组。首先，安装在房间两端的两个红外激光基站以精确的时间间隔发射红外脉冲和X/Y轴红外激光扫描信号。安装在显示装置外壳上的红外感应器阵列探测这些红外脉冲和激光扫描信号以及各种组合。系统根据这些信息可以计算显示装置的位置和方向，而且速度相当快、准确度相当高。我们在第11章会详细介绍这个系统。

Vive系统另外还有一项吸引眼球的“Chaperone”（玩伴）功能。这是基于安全方面的考虑，通过安装在头戴式显示装置内的前视摄像头捕捉并显示使用者所在的物理环境，以免太靠近墙壁和障碍物等。

Vive显示装置的详细硬件规格见表6-2。

6.1.3　Sony PlayStation VR

经过多年的研发，Sony Computer Enter-tainment公司终于推出了用于单机游戏的Play-Station ^® VR（PS VR）。该虚拟现实系统采用PlayStation ^® 4（PS4）游戏控制台，可实现非常令人信服的沉浸式虚拟体验。这款产品在2014年进行先期测试时被称为Morpheus项目。这款高性能的新产品轰动一时，因为其操作不像上述HTC Vive和Oculus Rift CV1等系统那样需要高端的游戏个人电脑配置。

PS VR套装由两个主要部分组成：一个头盔风格的、立体视觉、宽视野、头戴式显示装置和一个被称为扩充盒的装置。显示装置（见图6-4）采用的是一个分辨率为1920×1080的单一共享显示平板AMOLED（单眼分辨率为960×1080）和专属的光学器件（可实现大约100°的视野）。该系统通过内置惯性感应器和PlayStation的摄像头精确跟踪显示装置（即使用者的头部）的位置和方向，并通过PlayStation Move（PS Move）的运动控制器跟踪在三维空间内的位置和方向。

图片来源：Dronepicr在Wikimedia的照片，获CC 2.0许可

扩充盒是显示装置与PS4控制台之间的交互界面。控制台自身可轻松地处理图形生成任务，扩充盒的任务是基于目标的三维音频处理，对来自单眼的图像进行反转，并通过HDMI将其输出到电视（索尼称为社交屏幕），这样游戏的旁观者可获得相同的游戏体验。

PS VR系统还可实现所谓的影院模式。在这个模式下，使用者戴上头戴式显示装置便可通过虚拟的大屏幕享受大量的非立体视觉内容。可通过这种模式播放的内容包括标准的PS4游戏、360°照片、以全向照相机通过PS4媒体播放器捕捉的视频（Stein，2016；Crossley，2016）。PS VR显示装置的详细硬件规格见表6-3。

6.1.4　开放源码虚拟现实开发工具包

虚拟现实和增强现实是一个新兴行业，如果限制不同的应用软件和周边设备之间的互操作性则一定会减慢这个行业的发展速度。如果游戏或专业应用软件或周边设备被限制在某一个平台或系统，则对于最终用户来说事情会变得非常麻烦、非常不方便，从而采用新产品的速度会变慢。

如果鼓励产品开发商在早期就采用相同的基本标准，或实现更大程度的互操作性，则可以提高行业的发展速度。正是因为这个方面的策略性考虑才有了开放源码虚拟现实（OSVR），即一个用于虚拟现实开发的开放源码的硬件和软件生态系统。

其硬件系统，称为Hacker开发工具包（见图6-5），由一个高质量的立体视觉、宽视野、头戴式显示设备和相关的布线系统组成。显示装置的核心是分辨率为1080p、低持续性的单一AMOLED显示平板（分割成左、右眼视觉两部分）和简洁、定制设计的双元件、非球面光学结构（透镜的表面形状不是球体或圆柱体的一部分）。这款显示装置有一个突出的强大功能，即屈光度（焦距）调节，本章介绍的头戴式显示装置大多数都没有这项功能。跟踪显示装置的位置和方向的实现方式如下：通过内置有9个自由度的IMU和一只摄像头跟踪安装有红外LED的面板。

图片来源：Maurizio Pesce的Flickr相册，获CC 2.0许可

这款显示装置还有以下几个创新性的功能：可将常规的台式电脑的视频转换成并列模式，也就是通过这款产品可以观看的模式，另外这款产品还同时与1080×1920和1920×1080的视频信号兼容。这样你就可以通过无线视频连接使用这款产品。

发行这款显示装置背后的意图是为产品开发商们提供一个非常开放的、非专属的平台，以帮助他们开发和测试他们自己的系统。该显示装置的所有方面都可破解，包括设计本身也可破解，而且可免费下载。其硬件及各组成部分的详细规格见表6-4。

OSVR也是一个软件框架。OSVR的应用编程接口（API）是一个用于虚拟现实显示装置和外围设备的平台中立、标准化的接口，是为服务中间件设计的。OSVR的应用编程接口是一套可实现虚拟现实和增强现实的高性能渲染及设备参数提取服务，可在头戴式显示装置和周边设备（输入装置、跟踪装置等）与操作系统间提供几乎无所不包的支持。

6.2　基于智能手机的显示装置

毫无疑问，移动电话是实现虚拟现实复杂的关键领域之一。随着移动处理器的性能不断提高、显示装置的制造商们在相同的屏幕尺寸不断增加像素，以及全系列的新感应器件的出现，困扰这个行业的一些久攻不下的发展障碍终于取得了突破性的进展。在这个过程中各种技术创新喷涌而出。其中影响最大的一项进展是通过开发简单的工具就可以实现将智能手机本身作为驱动沉浸式虚拟体验的平台。

本节我们将探讨几个基于智能手机的显示系统。虽然这类设备的制造商有几十家，产品在总体设计、光学结构、材料、附加功能等方面各不相同，但其中的大多数都是在本节所介绍的产品取得巨大成功后才推出。

6.2.1　Google Cardboard

颠覆性创新（disruptive innovation）是由哈佛大学的教授Clayton Christensen原创的一个术语。这个术语用于描述这样一个过程：一个产品或服务一开始是作为简单的应用在市场的底端面扎根，然后持续地往市场的上端面移动，最终取代老牌的竞争对手。

Google于2014年推出的一款用硬纸板制造的头戴式虚拟现实装置就是这样一个例子。这款基于智能手机的产品所用的材料不过是廉价的塑料双凸透镜、一块磁铁、一个垫圈和几块Velcro硬纸板（见图6-6），而其所引起的震荡通过各高科技中心——特别是通过那些正在讨论如何让消费者为高端个人电脑驱动的虚拟现实显示装置买单的公司会议室——传播到全世界。现在任何人只要有15美金和一台智能手机就可以体验虚拟现实（虽然是以相对比较粗糙的形式），甚至可以通过同时发行的基本软件开发包（SDK）着手开发自己的应用程序。

图片来源：othree的Flickr相册，获CC 2.0许可

最初的震荡过后，行业里的大多数参与者认识到，Google此举虽然可能对Facebook花20亿美金买下Oculus公司有点嘲弄的意味，但却可能是这个行业历史上最有智慧、影响最深远的事件。突然之间普通消费者也有一种方式可以体验市场上的高性能沉浸式虚拟现实系统的功能，哪怕只是那么一点点。这款产品的实际效应是大众的意识和热情巨幅提升，单不用说有几十家新成立的新公司在这个行业的不同层面寻找机会，有的是在对外壳的耐久性能改善后生产和销售自己的成品显示装置，有的是内容和应用软件提供商。Google自己推出了一个称为“Google Expeditions”的项目，目前高中、初中和小学老师通过这个项目使用这款硬纸板的显示装置在关于虚拟领域的课堂上与学生互动。第18章中还会介绍这个项目。截至2015年11月，全世界有超过10万学生在学校课堂上通过Expedition项目体验了这款硬纸板显示装置。

6.2.2　三星GearVR

Google Cardboard及其类似装置代表的是基于智能手机的显示装置的低端市场，而三星的GearVR则明显是按高端市场定位。这款头戴式设备是与Oculus VR联手开发的，于2014年年底第一次公开，2015年上市销售。

如图6-7所示，GearVR是一款头戴式视觉装置和控制器，可以稳稳地安装在三星的任何主打型号的智能手机上。该系统的光学结构将显示装置的水平视野扩展到96°，而且焦距可调节。使用者头部的三个轴向动作（前后摆动、左右摇头和左右摆动）通过内置IMU跟踪（其精确度比移动装置内置的IMU要高）。这个感应器及安装在侧面的控制器（包括触摸屏和退回按钮）由移动装置供电（通过微型USB端口连接）。

图片来源：S.Aukstakalnis

三星GearVR头戴式设备的详细规格见表6-5。

6.3　计算机辅助虚拟环境和墙壁式虚拟环境

在科研和专业领域有各种大型的、位置固定的沉浸式显示装置。这些系统的几何形状和尺寸各不相同，有的是多面（或多壁）、背面投影或基于平板显示的显示装置，有的是单投影机或多投影机的半球形表面，等等，但基本上都是显示场序型立体图像，而且分辨高。大多数设计可以供多个使用者同时使用，每个使用者都要穿戴LCD快门眼镜。快门眼镜由时间信号控制，按显示装置更新速率交替阻挡左、右眼睛的视觉。大多数系统都内置有跟踪主使用者头部位置和方向的机制，并根据移动相应地调节视点。在这种多使用者的应用场景中，所有其他的参与者都可体验三维空间的虚拟现实，不过是以被动的方式。图6-8所示的是这种显示装置的其中一款。

位于爱达荷州爱达荷瀑布市的先进能源研究中心（Center for Advanced Energy Studies）有一套称为FLEX CAVE（计算机辅助虚拟环境）的显示系统。这是一套有四壁、可重新配置、投影仪驱动的三维显示系统。科研人员可以“步入”（基本是字面意思）这套系统并查看他们的图形数据。仅需几分钟这个系统就可以转换成一个平板式的单壁显示装置，或者是供团队协作的倾斜式影院，或者是一部分为沉浸式三维显示装置、一部分展示二维数据的L形，或者是供探索空间结构和培训用途的封闭式房间。

图片来源：爱达荷国家实验室

图6-9和图6-10是这套功能强大的可重新配置的房间大小的主题显示系统的一种配置状态。这套显示系统称为EmergiFLEX，由爱荷华州马歇尔敦市的Mechdyne公司生产。组成这个系统的大幕墙清晰度很高，由24块高清平板拼成。这些高清平板可以移动，组合成各种显示形状，比如一道转角，其中一面幕墙延伸出去，或者是开放型的房间式显示空间，其投影仪装在头顶位置，向下投影。

图片来源：Mechdyne公司和UALR

如图6-10所示，三面垂直幕墙都由8块Barco LED数字投影式（DLP）投影立方体组成。每个立方体的分辨率为1920×1080。如果把24块立方体组成一面幕墙，则这面幕墙的尺寸约为10英尺高、34英尺宽。两台高分辨率的投影仪安装在头顶位置，在地板上生成混合颜色的图像。地板本身用可洗涤的刚性材料制成。这种材料已经过优化处理，以适合正面投影（在图6-10所示配置中，准确地说是俯视投影）并与侧边幕墙的颜色相匹配。

图片来源：Mechdyne公司和UALR

这套系统集成了24只摄像头，6个自由度的光学运动跟踪系统（见第11章），在系统的任何配置状态都可跟踪头和手。同样，使用者戴上偏光眼镜就可以看见呈现在屏幕上的三维图形。

这套显示系统最初由伊利诺伊大学芝加哥分校的研究人员在20世纪90年代初开发完成，当时称为“Cave Automatic Virtual Environment”（穴式自动虚拟环境）。到目前为止，已有十来家公司安装了这套总体尺寸为房间大小的沉浸式显示模型的各种版本。这套系统的实际安装版本有很多，名称和缩写的名称也很多，比如“computer-assisted virtual environment”（图6-10所示）“computer-aided virtual environment”“COVE”和“iCube”等。

我们在本书后续的有关应用案例研究中会详细介绍这套显示模型的几个版本。我们将介绍的应用案例包括建筑设计的步入式模型、工程设计评估，以及其他对科研数据集进行可视化的应用。这套系统的供应商名单见附录B。

6.4　半球形和球形

大尺寸的显示装置绝不仅是直线条的。在很多行业，半球形和球形的显示装置很常见，特别是对视觉呈现的精度要求比较高的环境，可供多人使用的房间式环境，以及需要无障碍设计的环境。图6-11所示的就是这样一套显示系统。这是美国军队使用的先进联合终端攻击控制人员培训系统（AJTS），用于联合终端攻击控制人员（JTAC）的技能发展和培训。这套系统模拟了JTAC所用的所有环境及大多数飞机和武器系统。

图片来源：美国国防部

这套系统由弗吉尼亚州赫恩登的QuantaDyn公司为美国军队开发，其核心配置包括一个配置高分辨率投影仪的球形视觉显示系统和强大、直观的电脑生成兵力（GGF）/半自动兵力（SAF）应用。一个高保真的图像生成装置能在多个光谱对场景进行渲染。一个动态听觉信息系统能生成非常真实的音频，与视觉显示系统相映生辉。这套模拟装置还能与其他远程模拟装置联网，通过JTAC与处于远程的真实飞行员通信，这样后者就可以通过自身的模拟装置实施培训。

有必要指出的是，对于这样的大尺寸显示装置，采用立体视觉的图像有时并不必要，或并不好。如图6-11所示，在很多模拟场景中，往往缺乏更高质量的三维视觉所需的近视野图像。即使没有近视野的图像，这种显示装置因视野宽，仍然可以为使用者提供非常逼真的身在模拟场景内的视觉体验。

6.5　结论

本章我们介绍了很多沉浸式的显示装置，有手持式和头戴式的立体视觉显示装置，也有大尺寸、固定安装的、可供多人同时使用的系统。不论是哪一种，呈现在使用者视野中的主要是电脑生成的图像，或视频图像。虽然大多数头戴式装置都能提供360°的视觉体验，而且不影响所显示的场景，但本章介绍的大尺寸显示系统大多数没有这种功能，因为计算机辅助虚拟环境（CAVE）和球形的显示装置有步入口，或者因为系统所设计的具体应用并不需要这项功能。

这种显示装置目前在娱乐、工程、科研和培训等领域得到了广泛应用，效果非常好。在本书后续有关应用案例研究的部分我们会看到这一点。

很可能过不了几年，市场上的头戴式平板显示装置大多数都会被贴上“旧科技”的标签。这些装置所用的显示装置原本是为其他用途而开发的。正因为这一点，需要相关的电子器件大而重的光学器件和尺寸过大的外壳才能实现系统的功能。虽然工程学上的进步令人瞩目，对这个快速发展行业的当前阶段来说也是足够的，但这一类显示装置很快就会被专门为这种应用从零开始设计的新系统替代。我们将在第23章详细讨论这些趋势。 csZT67MofxALhM6r2xU9pOeqKr57HUeaIUb9lEqWPSK1pMhmKmB9JfwLeBPjnQUd