购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.1 虚拟现实技术

虚拟现实(Virtual Reality,VR)是一种以计算机技术为核心的前沿高新科技,可以生成逼真的视觉、听觉、嗅觉以及触觉等虚拟三维立体环境,用户可借助必要的虚拟现实硬件设备以自然的方式与虚拟环境中的对象进行交流、互动,从而产生身临其境的真实感受和体验。虚拟现实技术是利用计算机模拟产生一个三维空间的虚拟世界,并通过多种虚拟现实交互设备使参与者沉浸于虚拟现实环境中。在该环境中直接与虚拟现实场景中的事物交互,浏览者在虚拟三维立体空间根据需要“自主浏览”三维立体空间的事物,从而产生身临其境的感受,使人在虚拟空间中得到与自然世界的同样感受,在虚拟现实环境中,真实感是视觉、听觉、味觉、触觉以及智能感知所带来的直观且自然的效果。

虚拟现实(VR)是一项综合集成技术,涉及计算机图形学、人机交互技术、传感技术、人工智能等多个领域,它用计算机生成逼真的三维视觉、听觉、味觉、触觉等感觉,使人作为参与者通过适当虚拟现实装置对虚拟三维世界进行体验和交互。使用者在虚拟三维立体空间中进行位置移动时,计算机可以立即进行复杂的运算,将精确的3D世界影像传回产生临场感。该技术集成了计算机图形(CG)技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果,是一种由计算机技术辅助生成的高技术模拟系统。

虚拟现实技术是以计算机技术为平台,利用虚拟现实硬件、软件资源实现的一种极其复杂的人与计算机之间的交互和沟通过程。利用虚拟现实技术为人类创建一个虚拟空间,并向参与者提供视觉、听觉、触觉、嗅觉、导航漫游等身临其境的感受,与虚拟现实环境中的三维造型和场景进行交互和感知,亲身体验在虚拟现实世界遨游的神秘、畅想、浩瀚感受。虚拟现实技术是通过计算机对复杂数据进行可视化操作与交互的一种全新方式,与传统的人机界面以及流行的视窗操作相比,虚拟现实在思想、技术上有了质的飞跃。虚拟现实技术的出现大有一统网络三维立体设计的趋势,具有划时代的意义。

计算机将人类社会带入崭新的信息时代,尤其是计算机网络的飞速发展,使地球变成了一个地球村。早期的网络系统主要传送文字、数字等信息,随着多媒体技术在网络上的应用,使目前计算机网络无法承受如此巨大的信息量,为此人们开发出信息高速公路,即宽带网络系统,而在信息高速公路上驰骋的高速跑车就是X3D虚拟/增强现实技术,即第二代三维立体网络程序设计。使用计算机前沿科技虚拟/增强现实技术开发设计生动、鲜活的三维立体软件项目,使读者能够真正体会到软件开发的实际意义和真实效果,从中获得无穷乐趣。

1.1.1 虚拟现实技术及基本特性

虚拟现实技术是指利用计算机系统、多种虚拟现实专用设备和软件构造一种虚拟环境,实现用户与虚拟环境直接进行自然交互和沟通的技术。人类是世界的主宰,人通过虚拟现实硬件设备(如三维头盔显示器、数据手套、三维语音识别系统等)与虚拟现实计算机系统进行交流和沟通,使人亲身感受到虚拟现实空间真实的身临其境的快感。

虚拟现实系统与其他计算机系统最本质的区别是“模拟真实的环境”。虚拟现实系统模拟的是“真实环境、场景和造型”,把“虚拟空间”和“现实空间”有机地结合形成一个虚拟的时空隧道,即虚拟现实系统。

虚拟现实技术的特点主要体现在虚拟现实技术多感知性、沉浸感、交互性、想象力以及强大的网络功能、多媒体技术、人工智能、计算机图形学、动态交互智能感知和程序驱动三维立体造型与场景等基本特征上。

(1)多感知性:指除了一般计算机技术所具有的视觉感知以外,还有听觉感知、力觉感知、触觉感知、运动感知,甚至包括味觉感知、嗅觉感知等一切人类所具有的感知功能。

(2)沉浸感:又称临场感,指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假,使用户全身心地投入到计算机创建的三维虚拟环境中,该环境中的一切看上去是真实的,听上去是真实的,动起来是真实的,甚至闻起来、尝起来也是真实的,如同在现实世界中的感觉一样。

(3)交互性:指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。用户可以用手直接抓取模拟环境中虚拟的物体,这时手有握着东西的感觉,并可以感觉物体的重量,视野中被抓的物体也能立刻随着手的移动而移动。

(4)自主性:在虚拟环境中浏览者根据自己的主观意愿在虚拟场景中进行浏览。虚拟物体依据现实世界中的物理运动规律运作,满足各种运动定律。浏览者在虚拟空间中与虚拟物体自主地进行交互和运动。

(5)想象力:强调虚拟现实技术应具有广阔的可想象力和创造力,充分发挥人们的想象空间,拓宽人类未知领域的潜能,使之发挥到极致。在虚拟空间中不仅可再现真实存在的环境,也可以随意构想客观不存在的甚至是不可能发生的环境。充分发挥人类的想象力和创造力,在虚拟多维信息空间中依靠人类的认识和感知能力获取知识,发挥主观能动性,去拓宽知识领域,开发新的产品,把“虚拟”和“现实”有机地结合起来,使人类的生活更加富足、美满和幸福。

(6)具有强大的网络功能:可以通过运行X3D程序直接接入Internet上网,可以创建三维立体网页与网站。

(7)具有多媒体功能:能够实现多媒体制作,将文字、语音、图像、影片等融入三维立体场景,并合成立体声音、图像以及影片达到舞台影视效果。

(8)具有人工智能:主要体现在X3D具有感知功能上,利用智能感知传感器节点来感受用户以及造型之间的动态交互感觉。

(9)具有游戏娱乐功能:可以应用于各种类型的交互游戏的开发与设计中,例如VR头盔/虚拟魔镜3D游戏、VR虚拟全景3D游戏、VR头盔/虚拟魔镜3D影院等交互开发设计。

(10)配备虚拟现实硬件设备和程序驱动技术。

一个完整的虚拟现实系统由以高性能计算机为核心的虚拟环境处理器,以头盔显示器为核心的视觉系统,以语音识别、声音合成与声音定位为核心的听觉系统,以立体鼠标、跟踪器、数据手套和数据衣为主体的身体方位姿态跟踪设备,以及味觉、嗅觉、触觉和力觉反馈系统等增强现实功能单元构成。

1.1.2 虚拟现实技术的分类

虚拟现实技术主要包括沉浸式虚拟现实技术、分布式虚拟现实技术、桌面式虚拟现实技术、纯软件虚拟现实技术、增强虚拟现实技术以及虚拟可穿戴技术等,以计算机硬件系统、操作系统以及互联网+系统为平台,以Unix、Windows、Linux、Max OSX以及Android等操作系统为开发平台,开发虚拟/增强现实产品和可穿戴虚拟现实产品。虚拟现实技术的分类如图1-1所示。

图1-1 虚拟现实技术的分类

图1-2 沉浸式虚拟现实系统

沉浸式虚拟现实技术也称最佳虚拟现实技术模式,选用了完备先进的虚拟现实硬件设备和虚拟现实的软件技术支持。沉浸式虚拟现实系统提供完全沉浸和身临其境的体验,使用户有一种置身于虚拟世界之中的感受。它利用头盔式显示器、跟踪定位器、数据手套以及其他交互输入设备等调动参与者的视觉、听觉、嗅觉、触觉等器官,使参与者产生一种身临其境和全新沉浸的感觉。虚拟现实技术在虚拟现实硬件和软件投资方面规模比较大,效果自然较好,适合于大中型企业使用。高级虚拟现实系统提供完全沉浸的体验,使用户有一种置身于虚拟世界之中的感觉。它利用头盔式显示器或其他设备把参与者的视觉、听觉和其他感觉封闭起来,并提供一个全新的、虚拟的交互空间,利用位置跟踪器、数据手套、其他手控输入设备、声音等,使参与者产生一种身临其境、全心投入和沉浸其中的感觉。常见的沉浸式系统有基于头盔式显示器的系统、投影式虚拟现实系统、远程存在系统等,如图1-2所示。

桌面式虚拟现实技术也称基本虚拟现实技术模式,它使用最基本的虚拟现实硬件和软件设备和技术,以达到虚拟现实技术的最基本的配置,特点是投资较少、效果较好。它属于经济型投资范围,适合于中小企业投资使用。桌面虚拟现实利用计算机、立体眼镜以及三维跟踪球等构建一个桌面虚拟现实系统,通过各种输入设备实现与虚拟现实世界的充分交互,这些外部设备包括鼠标、三维跟踪球、力矩球等。它要求参与者使用输入设备,通过立体眼镜观察360°范围内的虚拟世界,并操纵虚拟空间的物体,产生身临其境的沉浸感受。桌面虚拟现实系统利用个人计算机和低配置工作站进行仿真,将计算机的屏幕作为用户观察虚拟世界的一个窗口,通过各种输入设备实现与虚拟现实世界的充分交互,这些外部设备包括鼠标、跟踪球、力矩球等。它要求参与者使用输入设备,通过计算机屏幕观察360°范围内的虚拟世界,并操纵其中的物体,但这时参与者缺少完全的沉浸,因为它仍然会受到周围现实环境的干扰。桌面虚拟现实最大的特点是缺乏真实的现实体验,但是成本相对较低,因此应用比较广泛。常见的桌面虚拟现实技术有基于静态图像的虚拟现实QuickTime VR、虚拟现实造型语言VRML/X3D、桌面三维虚拟现实、MUD等,如图1-3所示。

分布式虚拟现实技术是指基于网络虚拟环境将位于不同物理位置的多个用户或多个虚拟现实环境通过网络连接,并共享信息资源,使用户在虚拟现实的网络空间更好地协调工作。这些人既可以在同一个地方工作,也可以在世界上各个不同的地方工作,彼此之间可以通过分布式虚拟网络系统联系在一起,共享计算机资源。分布式虚拟现实环境可以利用分布式计算机系统提供强大的计算能力,又可以利用分布式本身的特性再加上虚拟现实技术使人们真正感受虚拟现实网络所带来的巨大潜力。

如果把多个用户通过计算机网络连接在一起,同时参加一个虚拟空间,共同体验虚拟经历,那么虚拟现实则提升到了一个更高的境界,这就是分布式虚拟现实系统。在分布式虚拟现实系统中,多个用户可通过网络对同一虚拟世界进行观察和操作,以达到协同工作的目的。目前最典型的分布式虚拟现实系统是SIMNET,SIMNET由坦克仿真器通过网络连接而成,用于部队的联合训练。通过SIMNET,位于德国的仿真器可以和位于美国的仿真器一样运行在同一个虚拟世界,参与同一场作战演习,如图1-4所示。

图1-3 桌面式虚拟现实系统

图1-4 分布式虚拟现实系统

增强式(Augmented Reality,AR)虚拟现实技术也被称为混合现实,它通过计算机技术将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。在视觉化的增强现实中,用户利用头盔显示器把真实世界与计算机图形多重合成在一起,便可以看到真实的世界围绕着它。增强式虚拟现实系统如图1-5所示。

纯软件虚拟现实技术也称大众化模式,是在无虚拟现实硬件设备和接口的前提下利用传统的计算机、网络和虚拟现实软件环境实现的虚拟现实技术。其特点是投资最少,效果显著,属于民用范围。它适合于个人、小集体开发使用,是一种既经济又实惠的虚拟现实的开发模式,如图1-6所示。

图1-5 增强式虚拟现实系统

图1-6 纯软件虚拟现实系统

图1-7 可穿戴智能交互设备

可穿戴虚拟现实系统即可穿戴式交互设备。虚拟现实重新定义可穿戴设备打造可穿戴式交互设备。我们这个世界正在进入科幻时代,从前只能在科幻片里才能看到的东西正在一件一件出现在现实生活中,“未来科技”虚拟现实技术正在向我们走来。可穿戴式智能设备是应用可穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,例如眼镜、手套、手表、服饰及鞋等。可穿戴式智能设备包括功能齐全、尺寸大小适中,可不依赖智能手机实现完整或者部分的功能,例如智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其他设备(如智能手机)配合使用,例如各类进行体征监测的智能手环、智能首饰等。随着技术的进步以及用户需求的变迁,可穿戴式智能设备的形态与应用热点也在不断地变化。可穿戴智能交互设备如图1-7所示。

1.1.3 虚拟/增强现实和可穿戴智能设备

一个典型的虚拟/增强现实和可穿戴智能设备系统由虚拟环境、以高性能计算机为核心的虚拟环境处理器、以头盔显示器为核心的视觉系统、摄像头、虚实定位系统、以语音识别和声音合成与声音定位为核心的听觉系统、立体鼠标、跟踪器、以数据手套和数据衣为主体的身体方位姿态跟踪设备,以及味觉、嗅觉、触觉和力觉反馈系统等功能单元构成。

在虚拟/增强现实和可穿戴智能设备中,三维动态交互感知设备主要用于将各种控制信息传输到计算机,虚拟/增强现实计算机系统再把处理后的信息反馈给参与者,实现“人”与“虚拟现实计算机系统”的真实动态交互和感知效果。虚拟现实硬件设备可以实现虚拟现实场景中“人”与“机”的动态交互感觉,充分体验虚拟现实中的沉浸感、交互性、想象力。

人类的感知系统有60%以上的信息通过视觉获得,约20%通过听觉获得,还有20%通过触觉、嗅觉、味觉、手势和面部表情等获得。虚拟现实硬件系统设备要实现和满足人们的需求,实现“人”与“机”的信息传递和数据转换,将虚拟环境中的三维物体造型、动作、声音转换成人类能够识别的信息,再将人类的主观愿望通过虚拟现实设备传递给虚拟现实系统。例如,转动、走动、手势等人的动作变成作用信息,再通过反馈使人获得视觉、听觉、触觉的感受。另外,还可以使用摄像机、压力传感器、视觉跟踪器、惯性仪、语音识别系统。

虚拟/增强现实和可穿戴智能动态交互感知设备主要包括三维立体眼镜、3D功能的头盔显示器(HMD)、数据手套(Data Glove)、数据衣(Data Suit)、跟踪设备(Tracking Equipment)、控制球(Sphere Controller)、三维立体声耳机(Three Dimensional Earphone)、三维立体扫描仪、全景摄像机以及9D虚拟现实体验馆等。虚拟/增强现实和可穿戴智能硬件系统集成高性能的计算机软/硬件、跟踪器以及先进的传感器和捕捉器等设备,因此虚拟/增强现实和可穿戴智能硬件系统设备复杂而且昂贵。

1.三维立体眼镜

三维立体眼镜是用于3D模拟场景VR效果的观察装置,它利用液晶光阀高速切换左右眼图像原理,分为有线和无线两类,可以增加沉浸感,支持逐行和隔行立体显示观察,是目前最为流行和经济适用的VR观察设备。

在有线立体眼镜的镜框上装有电池及用液晶调制器控制的镜片,立体监视器装有红外线发射器,根据监视器显示的左右眼视图的频率发射红外控制信号,有线立体眼镜的液晶调制器接收到红外控制信号后调制左右镜片上的液晶的光阀的通断状态,即控制左右镜片的透明和不透明状态,轮流高速切换镜片的通断,使左右眼睛分别只能看到监视器上显示的左右图像。有线立体眼镜的图像质量好、价格高,但活动范围有限。

无线立体眼镜是在立体眼镜的左右镜片上利用两片正交的偏振滤光片分别只容许一个方向的偏振光通过。在监视器的显示器前还安装有一块与显示屏同样尺寸的液晶立体调制器,监视器显示的左右眼图像经液晶立体调制后形成左偏振光和右偏振光,然后分别透过无线立体眼镜的左右镜片实现左右眼分别只能看到监视器上显示的左右图像的目的。无线立体眼镜价格低廉,适合于大众消费。虚拟/增强现实和可穿戴智能三维立体眼镜如图1-8所示。

微软公司正式发布了一款全新的增强现实眼镜HoloLens以及Windows Holographic全息技术,微软公司研发的全息影像眼镜HoloLens设备将伴随Windows 10推出。作为融合了CPU、GPU和全息处理器的特殊眼镜,HoloLens通过图片影像和声音让用户在家中就能进入全息世界,以周边环境为载体进行全息体验,让用户的眼前出现悬浮界面,以实际环境作为载体,实时处理、获取虚拟信息。例如在墙上查看消息、查找联系人,在地上玩游戏、在客厅墙上直接进行Skype视频通话、观看球赛等。

头戴式显示器HoloLens看起来像一副眼镜。Holograms全息眼镜内置了CPU、GPU、空间立体声技术以及全息处理单元,基本上能达到一台个人计算机的配置。基于这些传感器,它能将数字内容投射成全息图像,而且可以和现实世界互动,用户可以通过眼镜直接观察到需要观察的全息投影信息。微软公司的一款全新增强现实眼镜——HoloLens可穿戴智能三维立体眼镜如图1-9所示。

图1-8 虚拟/增强现实和可穿戴智能三维立体眼镜

图1-9 微软公司的全息影像眼镜HoloLens

对于微软公司的全息影像眼镜HoloLens,当人们戴上它之后,就会自然而然地进入到一个虚拟和现实相结合的世界里。这是一款能够独立运行的设备,并是一款通用型产品。这也是一个最新的计算机平台,开发者可以在上面开发自己的应用。

全息显示技术是一种考虑了人眼对物体深度感知在生理上的心理暗示因素,在立体三维图像上无限接近于物体自身的显示技术。全息显示的基本原理是利用光波干涉法同时记录物光波的振幅和相位。我们观看全息影像会得到与观看原物时完全相同的视觉效果,甚至各种位置、时差完全一样。全息显示成像的几种方式包括透射式、反射式、像面式、彩虹式、合成式、模压式等。

微软公司的Windows 10系统是全球第一个可支持全息影像运算的平台,且提供了可于独立设备上理解环境与手势的各种API,所有Windows 10上的程序皆可以全息影像的形式运行,这将使Windows 10带来各种创新、探索和新的科技革命。

全像影像能够储存立体的影像,同时记录光波的振幅与相位,加以重建后将能展现与原物一样的立体影像,以2D或3D的形式呈现。因此,一个全像影像很像是实体世界中的一个物体,最大的不同在于后者是由实体材质构成,而全像影像则是由光组成,不会有实质的触感。微软公司的全息影像眼镜HoloLens是第一个基于Windows 10的全息影像运算设备,它能够独立运行,不需要线缆,也不用连接手机或计算机,可在实体环境中展示全像影像,建立看待世界的全新方式。它配备了高分辨率、可透视镜片,并有立体音效,能够看见和听见用户周边的全像影像,它还有各种传感器与全息影像处理器(Holographic Processing Unit,HPU),可实时处理大量数据以使用户了解周边世界。

当使用全息影像时,用户只要选择来自程序、信息或视频的数字内容就能与这些数字内容互动,就像是与实体物件互动一样。全像影像技术是增强现实的一种体现,将现实世界与虚拟世界进行融合,让用户在享受数字生活的同时能够与现实世界保持连接。

2.数据手套

数据手套是虚拟/增强现实和可穿戴智能交互设备,它作为一只虚拟的手或控件用于三维虚拟现实场景的模拟交互,可进行物体抓取、移动、装配、操纵、控制。数据手套具有有线和无线、左手和右手之分,可用于WTK、Vega等3D VR或视景仿真软件环境中。在数据手套上有一个附加在手背上的传感器,以及附加在拇指和其他手指上的弯曲的柔件传感器,各个柔件传感器可用于测定拇指及其他手指的关节角。该系统向手套控制器询问它的当前数据,可以使系统在任何时刻计算出手的位置和方向。几种常用的数据手套如图1-10所示。

图1-10 几种常用的数据手套

3.头盔显示器

头盔显示器(Head Mounted Display,HMD)是沉浸式虚拟现实系统中最主要的硬件设备,用于观测和显示虚拟现实系统三维立体场景和造型。HMD是将小型显示器的影像通过自由曲面棱镜变成具有身临其境的三维立体的视觉效果,HMD具有头戴式显示器功能,使用方便、快捷,可以直接与计算机相连。在HMD上辅以空间跟踪定位器可以对沉浸式虚拟现实系统的三维立体输出效果进行观察和自由移动。沉浸式头盔显示器优于桌面式立体眼镜显示效果。

头盔显示器通常固定于用户的头部,用几种OLED、LED或LCD显示,分别向左右眼显示由虚拟现实场景中生成的图像,左、右两个显示屏中的图像是由计算机图形控制部分分别驱动的,屏幕上的两幅图像存在着视差,类似于人类的双眼视差,大脑最终将融合这两幅图像获得三维立体效果。在头盔显示器上装有头部位置跟踪设备,虚拟现实用户头部的动作和视觉能够得到实时跟踪,计算机随时可以知道用户头部的位置及运动方向。计算机可以随着用户头部的运动相应地改变呈现在用户视野中的图像,提高了用户的临场沉浸感,能够获得更好的三维立体视觉效果。几种常见的头盔显示器如图1-11所示。

图1-11 几种常见的头盔显示器

基于计算机平台的虚拟/增强现实和可穿戴智能交互头戴显示器拥有最广泛的用户群体,基于计算机平台的虚拟现实设备不仅可以用于游戏和娱乐,还可以用于软件、影视以及交互等各种领域。首款虚拟/增强现实和可穿戴智能交互头戴显示器Oculus Rift已经确定于2016年春天上市,它基于计算机平台,用户需要一台至少配备英特尔酷睿i5处理器、8GBRAM及主流显卡的计算机,如图1-12所示。

目前,虚拟/增强现实和可穿戴智能交互头戴显示器Oculus Rift已经吸引了较多的游戏、应用开发商为其开发应用资源。另外,针对虚拟现实头戴显示器Oculus已经建立了影视资源工作室,预计将推出一系列虚拟现实电影。从硬件来看,虚拟现实头戴显示器Oculus Rift目前已经能够提供非常逼真的显示效果,并发布了新款控制器,预计可以带来不错的游戏效果。至于价格,虽然并未确定,但媒体广泛猜测将在350美元(约合人民币2240元)左右。

HTC Vive同样是一款基于计算机平台的虚拟/增强现实和可穿戴智能交互头戴显示器,其背后则为游戏巨头Valve,在游戏资源方面似乎更具实力。预计虚拟现实头戴显示器HTC Vive将支持Valve的Steam平台,同时HTC表示还将吸引HBO等影视资源商,带来更广泛的娱乐内容。虚拟/增强现实和可穿戴智能交互头戴显示器HTC Vive如图1-13所示。

图1-12 虚拟/增强现实和可穿戴智能交

图1-13 虚拟/增强现实和可穿戴智能交

在技术方面,虚拟/增强现实和可穿戴智能交互头戴显示器HTC Vive突出更逼真的临场感,机身上集成大量的传感器,同时还具有安装在房屋墙壁上的追踪映射装置,至少需要5m 2 的空间,所以对于使用环境具有一定的要求。

基于游戏机平台,如果用户是一个游戏爱好者,喜欢即插即用的游戏形式,那么可以尝试基于游戏机平台的虚拟/增强现实和可穿戴智能交互体验。虚拟/增强现实和可穿戴智能交互头戴显示器Project Morpheus通过在眼睛前近距离放置两块显示屏让用户体会到750in超大荧幕的震撼效果。Project Morpheus虚拟头戴式显示器的Project Morpheus配备了一块分辨率为1920×1080的全高清OLED屏幕,刷新率可达120Hz,如图1-14所示。

索尼虚拟现实头戴显示器Project Morpheus是目前唯一支持游戏主机平台的虚拟现实设备,支持PS4。显然,索尼公司希望将其打造为PS4的独家卖点,在2015年E3游戏大展上已经有大量基于该平台的游戏内容,整体表现是非常吸引人的。同时,索尼旗下还拥有电影公司,预计后续会推出各种虚拟现实影视资源。

在硬件方面,索尼虚拟现实头戴显示器Project Morpheus的OLED屏幕、基于PS Eye摄像头的动作捕捉系统表现出色,可实现较高帧速率的游戏效果。另外,由于游戏机产品本身并不十分昂贵,虚拟现实头戴显示器Project Morpheus作为一款配件理应不会超出主机本身的价格。

预算型虚拟现实设备采用手机作为显示屏,所以成本相对低廉。如果用户想花费较少的预算体验虚拟现实,预算型虚拟现实设备则是不错的选择。另外,这些机型目前已经上市,用户可以轻松购买到。

三星Gear VR是一款拥有精致设计的机型,但仅支持三星智能手机,具有一定的限制性。不过,三星公司也推出了一系列虚拟现实资源,例如游戏、应用、影视内容等,是目前较为完善的手机虚拟现实平台之一。其参考价格约1470元,如图1-15所示。

图1-14 虚拟现实头戴显示器Project Morpheus

图1-15 三星Gear VR手机版虚拟现实头

图1-16 暴风3D魔镜手机版虚拟现

2016年是虚拟现实元年,大量设备将上市,国内外虚拟/增强现实产品如雨后春笋般不断涌现。虚拟/增强现实技术使全球视觉处于变革的新时代。国产预算型虚拟/增强现实设备采用手机作为头戴式显示屏,以低成本、方便、快捷等优势迅速占领市场。如果用户想花费较少的预算体验虚拟/增强现实,它是最好的选择。国产手机版虚拟头戴显示器品牌众多,这里只列举知名品牌,如暴风3D魔镜。暴风魔镜是暴风影音正式发布的一款虚拟/增强现实硬件产品,是一款虚拟现实头盔显示器,在使用时需要配合暴风影音开发的专属魔镜,在手机上实现IMAX(巨幕电影)和3D影院效果,对于普通的电影可实现在影院观看的效果。其如图1-16所示,参考价格为199元。

4.跟踪设备

虚拟/增强现实三维空间跟踪球是虚拟/增强现实系统中另一种基本的交互设备,该设备用于6个自由度虚拟现实场景的模拟交互,可从不同的角度和方位对虚拟空间中的三维物体进行观察、浏览、操纵。作为三维空间跟踪定位器,它既可作为3D鼠标使用,也可以与数据手套以及立体眼镜联合使用。

在三维空间中有6个自由度,3个平移运动方向,即物体沿着X轴、Y轴、Z轴3个自由度运动;围绕3个旋转轴运动,即物体围绕X轴、Y轴、Z轴旋转形成6个自由度在三维立体空间任意驰骋。空间跟踪球利用6个自由度进行操作,空间跟踪球装在一个凹形支架上可以扭转、挤压、按下、拉出和摇晃等。其中,变形测定器可以测量用户施加在该球上的力度,该装置还配有传感器测量物体的6个自由度的操作情况,实现完善的三维交互过程。三维空间跟踪球和三维鼠标如图1-17所示。

图1-17 三维空间跟踪球和三维鼠标

虚拟/增强现实三维空间跟踪定位器是虚拟现实系统中用于空间跟踪定位的装置,一般与其他虚拟现实设备结合使用,例如数据头盔、立体眼镜、数据手套等,使参与者在空间上能够自由移动、旋转,不局限于固定的空间位置,操作更加灵活、自如、随意。三维空间跟踪定位器有6个自由度和3个自由度之分,用户可根据使用情况选择相应产品,如图1-18所示。

图1-18 三维空间跟踪定位器

5.力反馈器

虚拟/增强现实力反馈器是虚拟现实研究中的一种重要的设备,该设备能使参与者实现虚拟环境中除视觉、听觉之外的第三感觉——触觉和力反馈感,进一步增强虚拟环境的交互性,从而真正体会到虚拟世界中的交互真实感,该设备广泛应用于虚拟医疗、虚拟装配等诸多领域。

(1)触觉反馈装置:视觉的触觉反馈、电刺激式和神经肌肉刺激式触觉反馈、充气式触觉反馈、振动式触觉反馈。

(2)力反馈装置:机械臂式、操纵杆式,如图1-19所示。

图1-19 力反馈装置

力反馈方向盘手感一流、操控自如,使用户免受长时间游戏带来的疲劳之苦。USB接口真正实现了即插即用功能。人体工学设计踏板独特、稳固,可精准、流畅地控制油门和刹车。力反馈仿真方向盘基于新一代“触觉式”反馈力技术规范(TouchSensor)精心打造,采用最新的光控采样技术,大大提升了虚拟仿真时的真实度和精确度,完美重现了纵横驰骋时的力量与速度真实的震撼,如图1-20所示。

通过力反馈操纵杆能够亲身体验虚拟飞行和驾驶的感觉,使用户完全置身于一个真实的机舱内,由于配备了新型的A/C电源供应设备和最优化的力反馈系统,可以通过一个实心摇摆底座来体验到每一个微妙的力反应。SideWinder Force Feedback 2给需要最佳感觉的用户提供了无限的虚拟现实交互体验,如图1-21所示。

图1-20 力反馈方向盘

图1-21 力反馈操纵杆

6.三维扫描仪

虚拟现实三维模型数字化仪(三维扫描仪)是一种先进的三维建模设备,该设备与计算机系统相连。三维模型数字化仪利用CCD成像、激光扫描等技术实现三维模型的采样,利用配套的矢量化软件对三维模型数据进行数字化。该设备特别适用于建立一些不规则的三维物体造型,例如人体器官、骨骼、雕像的三维建模等。

VR/AR三维扫描仪采用光栅扫描以非接触三维扫描方式工作,全自动拼接具有高效率、高精度、高寿命、高解析度等优点,特别适用于复杂自由曲面逆向建模,主要应用于产品研发设计,例如快速成型、三维数字化、三维设计、三维立体扫描等,以及逆向工程,例如逆向扫描、逆向设计及三维检测(CAV)。其适用领域为大型汽车零部件,大型模具、铸件,整车,飞机部件、内饰,大型文物、雕塑等(可配合三维摄影测量系统使用)中小型模具、零件,塑料制品,家电外形,鞋楦鞋底模具,中小型雕塑、文物等珠宝设计,精细工件,公仔,小型零件,3C产品,电子接插件等。VR/AR三维扫描仪如图1-22所示。

图1-22 VR/AR三维扫描仪

7.立体显示器

图1-23 虚拟/增强现实立体显示器

虚拟/增强现实立体显示器是目前刚刚问世的一项新的高技术产品,过去的立体显示和立体观察都是在LCD或LED监视器上戴上液晶光阀的立体眼镜进行观看,并且需要通过高技术编程开发才能实现立体现实和立体观察。而立体显示器摆脱以往的该项技术需求,不需要任何编程开发就可以实现三维模型的立体显示,只要用肉眼即可观察到突出的立体显示效果,不需要带任何立体眼镜设备;同时,它也可以实现视频图像(如立体电影)的立体显示和立体观察,同样也无须戴任何立体眼镜。虚拟/增强现实立体显示器如图1-23所示。

8.VR/AR全景摄像机

VR/AR全景摄像机可以独立实现大范围无死角360°摄像,360°全景摄像机可无盲点拍摄整个场景,它设有一个鱼眼镜头或一个反射镜面,如抛物线、双曲线镜面等,或者由多个朝不同方向的普通镜头拼接而成,拥有360°全景视场(FieldofView,FOV)。一台全景摄像机可以取代多台普通的摄像机,做到了无缝拼接,实现视频全景录制,主要应用于虚拟现实和增强领域,也可以应用于其他领域,如视频监控、交通安全、银行、社会安全、公共场所、文化娱乐场所等。

全景多相机视觉系统(Omnidirectional Multi-camera System,OMS)是全景摄像机的一种,其内部封装了多个不同朝向的传感器,通过对分画面进行图像拼接操作得到全景效果。其主流产品的结构是把若干两百万图像的传感器以及视场角独立短焦镜头封装在统一的外壳中。其中数字处理与压缩等核心技术被集成在前端固件上,将若干单独的画面按用户需求集成为180°或者360°的高清全景画面,再由网络或高速总线传输到后端管理平台。

虚拟现实摄像机GOPRO是开始出售内建16个摄像头的虚拟现实摄像机,这款产品之前已经在谷歌I/O大会上宣布,正式名称是“奥德赛”。GOPRO开始出售内建16个摄像头的虚拟现实摄像机,但并非任何人都有资格购买这款产品,它的售价高达1万5千美元,只有专业的内容创作者和制作人在提出申请之后才会被允许直接购买这款产品。

购买GOPRO意味着客户将得到16部GOPRO顶级Hero 4相机、一个麦克风以及所有必需的电缆和数据线、一个手提箱以及保修和支持。对于那些寻找到进入虚拟现实游戏的开发商来说,他们不一定要走DIY路线,GOPRO可能是最好的选择。虚拟现实摄像机GOPRO的摄像头如图1-24所示。

GOPRO专门针对谷歌的Jump平台优化。谷歌在2015年的I/O大会上发布了Jump平台,建立了第一个完整的虚拟现实生态系统,在理论上,将可以更容易地创建和观看VR内容。借助Jump平台,谷歌创建了开放性计划,让厂商可以打造它们自己的16摄像头产品以及组装软件,可以以更高的画质重建现场。最后,谷歌旗下的Youtube也开放了虚拟现实视频上传和播放服务,是它在2015年早期360°视频的延续。

三星发布360°3D全景虚拟现实相机Project Beyond,三星电子发布了一款新的相机产品,该相机所搭载的360°摄像头能够捕获3D图像,并能够将图像整合成视频流传送至三星最新的虚拟眼罩产品Gear VR上。这一被称为“Project Beyond(超越计划)”的数码相机产品通过在球形设备边缘分布安装的16个高清摄像头能够拍摄全景3D照片,并能够将捕获的图片拼接到一起,提供实时的现场直播视频,通过三星最新推出的虚拟现实眼罩Gear VR可以观看到连续画面。三星旗舰智能平板手机Galaxy Note 4将为虚拟现实眼罩Gear VR提供支持。他们正在与Facebook旗下的虚拟现实设备厂商OculusVR展开合作,推出自己的虚拟现实产品,以展示并强调公司的创新。三星目前尚未透露这一全景3D虚拟现实相机的具体上市时间。三星360°3D全景虚拟现实相机Project Beyond如图1-25所示。

图1-24 虚拟现实摄像机GOPRO的摄像头

图1-25 三星360°3D全景虚拟现实相

诺基亚推出360°全景相机OZO强势进入虚拟现实领域。诺基亚推出了一款虚拟现实球形(360°)摄影相机,产品名称OZO由NokiaTechnologies高新技术部门为专业内容创造者设计,将会在芬兰投入生产。这款虚拟现实照相机定义了一个捕获和播放虚拟现实的全新概念和解决方案。虚拟现实球形(360°)摄影相机OZO的亮相及其迷人的外观预示着虚拟现实的美好未来,似乎每一个的大科技公司都想在虚拟现实领域占一席之地。

诺基亚公司将会在芬兰西南部的湖港城市的坦佩雷工厂生产OZO。从外观来看,它区别于市面上许多扁平的虚拟现实摄影产品,该设备的重量大约6磅(约2.72kg),搭载了8枚光学传感器,分布在球形机身的四周。同时,OZO还配备了8颗嵌入式麦克风,隐藏在每枚镜头附近,通过这种方式该设备可以记录全息影音。用诺基亚OZO录制的视频可以通过VR硬件(如头戴式屏幕)来呈现,也能通过第三方专业的数字内容工作流来简化内容发布。诺基亚推出的360°全景相机OZO如图1-26所示。

影片编辑再现可能比较麻烦、费时,但是使用者可以直接通过OculucRift之类的VR头盔进行观看。诺基亚的目标是让OZO形成自己的系统,进而影响整个电影行业。知名虚拟现实工作组Jaunt VR与诺基亚达成合约,将成为OZO的第一批消费者。OZO目前已经进入初期制造阶段,公司希望它成为好莱坞、媒体和广告业虚拟现实视频拍摄专用设备,诺基亚目前已经公开了OZO的几段演示视频,视频显示它使用了一种全新的声学技术,可以模拟从不同角度发出的声音,这也许就是电影行业的未来所在。

9.9D虚拟/增强现实体验馆

9D虚拟/增强现实体验馆由一个360°全景头盔、一个动感特效互动仓、周边硬件设备、内容平台无缝结合构成。360°全景头盔带来沉浸式游戏娱乐体验,轻轻转动头部则前后左右的美景一览无余。多声道音频区音频系统分割为纵向和横向分区,运用离散扬声器将音乐和声效传到影片所创建的空间,将“环绕立体声”提升到一个全新的高度。动感特效互动仓控制细腻、精准,游戏里的每一次俯冲、跳跃、旋转、爬升都仿佛身临其境。智能操作手柄可以轻松完成人机交互,如遇敌作战、行走等,还可以轻松实现任意旋转。360°旋转平台的运动速度从10~160mm/s根据影片场景自动调节,360°旋转带来身临其境的沉浸感受。头部体感瞄准只需轻轻转动头部即可精确瞄准,配合手柄一键击杀。9D虚拟/增强现实体验馆如图1-27所示。

图1-26 诺基亚推出的

图1-27 9D虚拟/增强

1.1.4 虚拟现实常用的几种交互方式

在世界范围内虚拟现实早就进入了传统行业。2016年CES提供的数据显示,相比2014年,2015年的游戏和虚拟现实展区总面积扩大了77%。虚拟现实被很多业内人士认为是下一个时代的交互方式。目前,VR交互仍在探索和研究中,与各种高科技的结合将会使VR交互产生无限可能。VR不会存在一种通用的交互手段,它的交互要比平面图形交互拥有更加丰富的形式。上方网记者总结了虚拟现实的9种交互方式以及它们的发展现状。

1.“眼球追踪”实现交互

眼球追踪技术被大部分VR虚拟现实将成为解决虚拟现实头盔眩晕病问题的一个重要的技术突破。Oculus的创始人帕尔默•费里曼•拉奇(英语:Palmer Freeman Luckey,1992年9月19日)曾称眼球追踪技术为“VR的心脏”,因为它对于人眼位置的检测能够为当前所处视角提供最佳的3D效果,使VR头盔显示器呈现出的图像更自然,延迟更小,这能大大增加可玩性。同时,由于眼球追踪技术可以获知人眼的真实注视点,从而得到虚拟物体上视点位置的景深。眼球追踪技术是虚拟现实的关键技术。眼球追踪技术虽然在VR虚拟现实上有一些限制,但可行性还是比较高的,例如外接电源、将VR虚拟头盔的结构设计做得更大等。但更大的挑战在于通过调整图像来适应眼球的移动,这些图像调整的算法在目前来说都是空白的。

2.“动作捕捉”实现交互

动作捕捉系统能让用户获得完全的沉浸感,真正“进入”虚拟世界。专门针对VR虚拟现实的动作捕捉系统市面上不多,目前动作捕捉设备只会在特定的场景中使用,因为其有固有的易用性门槛,需要用户花费比较长的时间穿戴和校准才能够使用。相比之下,Kinect这样的光学设备在某些对于精度要求不高的场景可能会被应用。全身动作捕捉在很多场合并不是必需的,它交互设计的一大缺点是没有反馈,用户很难感觉自己的操作是有效的。

3.“肌电模拟”实现交互

利用肌肉电刺激来模拟真实感觉需要克服的问题有很多,因为神经通道是一个精巧而复杂的结构,从外部皮肤刺激是不太可能的。目前的生物技术水平无法利用肌肉电刺激来高度模拟实际感觉。即使采用这种方式,能实现的也是比较粗糙的感觉,这种感觉对于追求沉浸感的VR虚拟现实也没有太多用处。

有一种VR虚拟现实拳击设备Impacto用肌电模拟实现交互。具体来说,Impacto设备一部分是震动马达,能产生震动感,这个在游戏手柄中可以体验到;另外一部分是肌肉电刺激系统,通过电流刺激肌肉收缩运动。两者结合让人误以为自己击中了游戏中的对手,因为这个设备会在恰当的时候产生类似真正拳击的“冲击感”。

4.“触觉反馈”实现交互

触觉反馈主要是按钮和震动反馈,大多通过虚拟现实手柄实现,这样高度特化/简化的交互设备的优势显然是能够非常自如地在游戏等应用中使用,但是它无法适应更加广泛的应用场景。目前三大VR虚拟现实头盔显示器厂商Oculus、索尼、HTC Valve不约而同地采用了虚拟现实手柄作为标准的交互模式:两手分立、6个自由度空间跟踪,带按钮和震动反馈的手柄。这样的设备显然是用来进行一些高度特化的游戏类应用的(以及轻度的消费应用),这也可以视作一种商业策略,因为VR虚拟现实头盔显示器的早期消费者应该基本上是游戏玩家。

5.“语音”实现交互

VR虚拟现实用户不会理会视觉中心的指示文字,而是环顾四周不断发现和探索。一些图形上的指示会干扰到他们在VR虚拟现实中的沉浸感,所以最好的方法就是使用语音,和他们正在观察的周遭世界互不干扰。这时如果用户和VR虚拟现实世界进行语音交互,会更加自然,而且它是无处不在、无时不有的,用户不需要移动头部和寻找它们,在任何方位、任何角落都能和它们交流。

6.“方向追踪”实现交互

方向追踪可用来控制用户在VR虚拟现实中的前进方向。用方向追踪可能在很多情况下会空间受限,如果追踪调整方向很可能会有转不过去的情况。交互设计师给出了解决方案,按下鼠标右键可以让方向回到原始的正视方向或者叫重置当前凝视的方向,或者可以通过摇杆调整方向,或按下按钮回到初始位置。但问题还是存在的,有可能用户玩得很累,削弱了舒适性。

7.“真实场地”实现交互

超重度交互的虚拟现实主题公园The Void采用了这种技术,就是创造出一个与虚拟世界的墙壁、阻挡和边界等完全一致的可自由移动的真实场地,这种真实场地通过仔细的规划关卡和场景设计就能够给用户带来种种外设所不能带来的良好体验。把虚拟世界构建在物理世界之上,让使用者能够感觉到周围的物体并使用真实的道具,例如手提灯、剑、枪等,中国媒体称之为“地表最强娱乐设施”。该技术的缺点是规模及投入较大,并且只能适用于特定的虚拟场景,在场景应用的广泛性上受限。

8.“手势跟踪”实现交互

光学跟踪的优势在于使用门槛低、场景灵活,用户不需要在手上穿脱设备。目前手势追踪有两种方式,它们各有优劣,一种是光学跟踪,另一种是数据手套。

光学跟踪未来在一体化移动VR虚拟现实头盔显示器上直接集成光学手部跟踪用作移动场景的交互方式是一件很可行的事情。其缺点在于视场受局限,需要用户付出脑力和体力才能实现的交互是不会成功的,使用手势跟踪会比较累而且不直观,没有反馈。

数据手套的优势在于没有视场限制,而且完全可以在设备上集成反馈机制,例如震动、按钮和触摸。它的缺陷在于使用门槛较高:用户需要穿脱设备,而且作为一个外设其使用场景受局限。

9.“传感器”实现交互

传感器能够帮助人们与多维的VR虚拟现实信息环境进行自然的交互。例如,人们进入虚拟世界不仅仅是想坐在那里,还希望能够在虚拟世界中到处走走看看,但目前这些基本是设备上的各种传感器产生的,如智能感应环、温度传感器、光敏传感器、压力传感器、视觉传感器等,能够通过脉冲电流让皮肤产生相应的感觉或把游戏中的触觉、嗅觉等各种感知传送到大脑。目前已有的应用传感器的设备体验度都不高,在技术上还需要做出很多突破。如万向跑步机,目前的体验并不好,这样的跑步机实际上并不能够提供接近真实移动的感觉。再如StompzVR,使用脚上的惯性传感器用原地走代替前进。另外还有全身VR虚拟现实套装Teslasuit,可以让用户切身感觉到虚拟现实环境的变化。

虚拟现实是一场交互方式的新革命,人们正在实现由界面到空间的交互方式的变迁。未来多通道的交互将是VR虚拟现实时代的主流交互形态,目前VR虚拟现实交互的输入方式尚未统一,市面上的各种交互设备仍存在各自的不足。

作为一项能够“欺骗”大脑的终极技术,虚拟现实在短时间内迅猛发展,已经在医学、军事航天、室内设计、工业设计、房产开发、文物古迹保护等领域有了广泛的应用。随着多玩家VR虚拟现实交互游戏的介入以及玩家追踪技术的发展,虚拟现实把人与人之间的距离拉的越来越近,这个距离不再仅仅是借助互联网达到人们之间交互的目的,而是从身体上也拉近了人们之间的距离。未来虚拟现实的多人真实交互将成为现实。 hOUB19EsBUhoM8ltJB7Fp6ZGyTxI/xshkA8PdNz8WCNP1VpKQq86CI/Yk1qm+7BO

点击中间区域
呼出菜单
上一章
目录
下一章
×

打开