购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

第3章
虚拟现实的技术历程

计算机图形学之父伊凡·苏泽兰,在麻省理工学院攻读博士学位时的博士论文,课题是三维交互式图形系统,于是,他编写了第一个看似简陋的程序—画板,它成为有史以来第一个交互式绘图系统。在此基础上,苏泽兰提出了包括具有交互图形、显示、力反馈设备以及声音提示的虚拟现实系统的基本思想,成为虚拟现实领域重要的里程碑事件。一场社会的变革、一段时代的变迁由此拉开了序幕。

虚拟现实的产生得从1965年开始讲起。

那一年,作为计算机图形学之父和虚拟现实之父,伊凡·苏泽兰提出了虚拟现实这个概念。此前,他在麻省理工学院攻读博士学位时的博士论文,课题就是三维交互式图形系统。然后,他编写了一个看似简陋的程序—画板,可它却是有史以来第一个交互式绘图系统。

十几年后,人们在画板的基础上相继开发了CAD和CAM软件,真正体会到它带来的划时代变革,并成为20世纪最杰出的工程技术软件。

1965年,苏泽兰首次提出了包括具有交互图形、显示、力反馈设备以及声音提示的虚拟现实系统的基本思想。

如果你觉得这个想法实在太天才、太超前了。那么我告诉你,1942年,阿西莫夫就在短篇小说“Runaround《环舞》”中首次提出了机器人三定律。是的。1942年,第二次世界大战期间,有人在浴血奋战,有人已经在思考未来人类如何和机器人共存。

大概就在20世纪中期,虚拟现实的重要的里程碑事件发生了。随着人们的研究和技术的进步,虚拟现实(VR)和增强现实(AR)慢慢变得清晰,并形成了各自完整的技术体系。

简单地说,虚拟现实,是指沉浸式的进入虚拟世界消费内容,给用户身临其境的感觉。创建一个虚拟现实世界,用户利用VR设备将自己带入到这个虚拟世界中,不管是游戏还是电影等其他领域,用户可以利用VR设备将自己充分的与虚拟世界中结合,体验身临其境的感觉。

而增强现实,也称为混合现实,是指通过一些电脑技术,将虚拟的信息应用到我们真实的世界,把虚拟物品信息与我们真实的世界叠加在一起,使两者出现在同一个画面或者空间中。用户扫描一个物体时,会跑出来这个物体的虚拟信息。

简而言之就是VR将人们带入虚拟世界中;AR将虚拟信息带入真实世界中。按照字面意思,感觉增强现实比虚拟现实要更加容易一些。事实也的确是这样的。

1966年,美国麻省理工学院林肯实验室,正式开始了头戴式显示器式显示器的研制工作。听起来是不是感觉不太靠谱?那时候计算机都还无比笨重,怎么就会有实验室开始研制头戴式显示器式显示器?

其实一切并不如你所想,那个时代人类的科技已经达到了非常高的程度。仅仅三年之后,1969年7月21日,美国的“阿波罗11号”宇宙飞船就成功载着三名宇航员登上月球。

1970年,美国诞生了第一个功能较齐全的头戴式显示器式显示器系统;到了1980年,美国的Jaronlanier正式提出了虚拟现实一词,美国宇航局及美国国防部也组织了一系列有关虚拟现实技术的研究,并取得了显著成果。

20世纪80年代早期,美国军方开始大量关于飞行头戴式显示器、军事训练仿真器的研究。1987年一位著名的计算机科学家Jaron Lanier,制造出一款价值10万美元的虚拟现实头戴式显示器,第一款真正投放市场的VR商业产品。

20世纪80年代最重要的改变是,组成虚拟现实的各个设备都可以独立购买了!

· 立体显示:市场上已经可以买到索尼(Sony)生产的便携式LCD显示器、35mm广角镜片,很近距离下视场的广度也能得到保证(只是没有变形校正)。

· 虚拟画面生成 显卡每秒可渲染上千个三角形,已经可展示复杂的图像。

· 头部位置跟踪 Polhemus公司开发出了6个自由度的头部追踪设备,虽然使用距离还有局限,但是比起机械连杆和超声波控制的设备,精度大大提高,还少了束缚。

· 虚拟环境互动 带有关节动作传感器的手套已经出现。

· 模型生成 当时的显卡也可以做到实时三维建模。

1968年,哈佛副教授Ivan Sutherland跟他的学生Bob Sproull合作发明了Sutherland,称之为“终极显示器”的AR设备。使用这个设备的用户可以通过一个双目镜看到一个简单三维房间模型,用户还可以使用视觉和头部运动跟踪装置改变视角。尽管用户交互界面是头戴的,然而系统主体部分却又大又重,不能戴在用户头上,只能悬挂在用户头顶的天花板上。这套系统也因此被戏称为“达摩克利斯之剑”。

虽然第一台头戴式AR设备的发明,是在1968年,但是实际上,直到1990年,波音公司研究员Tom Caudell才创造了“AR”这个术语。Caudell和他的同事设计了一个辅助飞机布线系统,用于代替笨重的示例图版。这个头戴设备将布线图或者装配指南投射到特殊的可再用方板上。这些AR投影可以通过计算机快速轻松地更改,机械师再也不需要手工重新改造或者制作示例图版。

大约在1998年,AR第一次出现在大众平台上。当时有电视台在橄榄球赛电视转播上使用AR技术将得分线叠加到屏幕中的球场上。此后,AR技术开始被用于天气预报—天气预报制作者将计算机图像叠加到现实图像和地图上面。从那时起,AR真正地开始了其爆炸式的发展。

2000年,Bruce H. Thomas在澳大利亚南澳大学可穿戴计算机实验室开发了第一款手机室外AR游戏—ARQuake。2008年左右,AR开始被用于地图等手机应用上。2013年,谷歌发布了谷歌眼镜,2015年,微软发布HoloLens,这是一款能将计算机生成图像(全息图)叠加到用户周围世界中的头戴式AR设备,也正是随着这两款产品的出现,更多的人开始了解AR。

随着计算机技术的飞速发展,虚拟现实技术有了更广阔的应用领域。人们在登月计划的刺激和鼓舞下,开始幻想未来利用计算机技术生成一个逼真的,具有视觉、听觉、触觉等效果的可交互的、动态的世界,人们可以对该虚拟世界中的虚拟实体进行操纵和考察,体验跨越时空的神奇感觉。

但实际上,虚拟现实技术,是信息科学领域一类新兴的工程技术,它对计算机图形学、计算机仿真技术、人机接口技术、传感技术、多媒体技术和网络通信技术等,都有着极高的技术要求。

同时,虚拟现实技术的想象力,极大地突破了事物表达的传统方法的局限,使过去认为只擅长处理数字化单维信息的计算机,发展为能处理适合人的特性的多维信息,使人们可以将想象的环境虚拟实现,并可以在其中以最自然的动作与这种虚拟现实进行交流。这都给人类科学技术发展提出了极大的挑战。

虚拟现实要求的是,使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性,而且能够突破空间、时间以及其他客观限制,感受到真实世界中无法亲身经历的体验。

那么,生成虚拟现实就需要解决以下三个主要问题:①以假乱真的存在技术,即怎样合成对观察者的感官器官来说与实际存在相一致的输入信息,也就是如何可以产生与现实环境一样的视觉,触觉,嗅觉等;②相互作用,观察者怎样积极和能动地操作虚拟现实,以实现不同的视点景象和更高层次的感觉信息,实际上也就是怎么可以看得更像,听得更真等;③自律性现实,感觉者如何在不意识到自己动作、行为的条件下得到栩栩如生的现实感,在这里,观察者、传感器、计算机仿真系统与显示系统构成了一个相互作用的闭环流程。

我们就拿一个最简单的例子来说,虚拟出人体在三维空间中的穿衣服的行动和感触。这需要通过多个角度拍摄很多照片,再利用3D成像技术将平面图形转化成3D图形,再借以数字滤波技术将这些数据真实化。并且,要在这些数据的基础之上,生成身体的三维画面,胖一点或瘦一点,紧一点或松一点,都是差异非常细微的区别。更何况,虚拟现实的最终目标,还是实现人体感触的模拟,那就是真正穿衣服的感觉了。

应当说,经过几十年来的科研发展,虚拟现实从理论概念、到实验室研发,再到技术实验,最后到投入市场应用,经过了一个漫长的发展过程。在这其中,硬件发展的驱动力,源于计算机处理器、显示技术、传感器、移动网络速率、液晶显示技术等多个领域的技术进步。

目前来说,虚拟现实重点发展的硬件类型有以下几种:手持设备、固定式VR系统、头戴式显示器、空间增强现实系统、三维智能眼镜、动作捕捉及交互系统、3D立体透视视频等。

就全世界范围内来说,虚拟现实领域的最新技术研发方向,也进入了比较深层次的攻坚阶段,以下几种是科技媒体披露和总结出来的虚拟现实的最新科研动态。

(1)支持情感交互(affective-based HCI)的情感计算(affective computing) 它是通过各种传感器获取由人的情感所引起的表情及其生理变化信号,利用“情感模型”对这些信号进行识别,从而理解人的情感并做出适当的响应。其重点就在于创建一个能感知、识别和理解人类情感的能力,并能针对用户的情感做出智能、灵敏、友好反应的个人计算系统。

(2)支持可穿戴交互(wearable HCI)的穿戴计算(wearable computing) 可穿戴计算机是一类超微型、可穿戴、人机“最佳结合与协同”的移动信息系统。可穿戴计算机不只是将计算机微型化和穿戴在身上,它还实现了人机的紧密结合,使人脑得到“直接”和有效的扩充与延伸,增强了人的智能。这种交互方式由微型的、附在人体上的计算机系统来实现,该系统总是处在工作、待用和可存取状态,使人的感知能力得以增强,并主动感知穿戴者的状况、环境和需求,自主地做出适当响应,从而弱化了“人操作机器”,而强化了“机器辅助人”。

(3)支持人脑交互(brain-computer interaction)的脑计算(brain computing) 最理想的人机交互形式是直接将计算机与用户思想和目的进行连接,无需再包括任何类型的物理动作或解释。对“人脑计算机界面(brain-computer interface,BCI)”的初步研究可能是迈向这个方向的一步,它试图通过测量头皮或者大脑皮层的电信号来感知用户相关的大脑活动,从而获取命令或控制参数。人脑交互不是简单的“思想读取”或“偷听”大脑,而是通过监听大脑行为决定一个人的想法和目的,是一种新的大脑输出通道,一个可能需要训练和掌握技巧的通道。

(4)远程触摸和操纵实物 该技术现在只能模拟非常基本的动作,比如击掌或是来回拍球。而在未来,一个更复杂的版本或许能够在更大的屏幕上工作,并重现整个人体。简单点来说,该技术搭载的设备是基于在一种名为inFORM的可变形3D表面,可以在电子元件上模拟物理触感—即可以允许用户移动某个对象,而无需身体在那个地方都可以来触动它。这种变形的用户界面是由Daniel Leithinger和Sean Follmer在Hiroshi Ishii的指导下设计完成的。该技术的设计者Sean Follmer表示,这种形状显示和数字交互技术已经存在了一段时间,但inFORM不同,它专注于用户和之间的交互,并提供一种远程触摸和操纵,相隔千里仍可接触。

(5)下一代显示屏技术 比如,一家叫Bristol的公司开发了一种称为UltraHaptics的技术,你无需触摸到屏幕就可以控制屏幕。它利用的是使用者的超声波以及空气压力,从而进行相关的操作。另一个是由麻省理工学院的媒体实验室带来的,你可以在一名使用者的屏幕空间里的任何地方进行绘制,然后数据可以同步到他的屏幕上。

在2016年微软发布的超级平板上,就已经有一个神奇的鼠标,可以判断操作者的手势,并提供无数种神奇功能。

(6)三维重建技术 提出了一种方便普通民众(仅需利用手机和电脑)快速制作小型物体三维模型的方法。首先围绕物体拍摄若干张影像,然后快速恢复每一张影像的内外方位元素,使用图割法半自动提取物体的轮廓线,最后利用轮廓线信息快速生成物体的数字三维模型。这适用于任何材质的静态物体,可以解决影像匹配或激光扫描所不能解决的三维重建问题,通过选择人工背景解决了稳健姿态恢复问题,通过算法优化降低了计算能耗。

(7)体感系统Kinect Kinect for Xbox 360,简称Kinect,是由微软开发,应用于Xbox 360主机的周边设备。它让玩家不需要手持或踩踏控制器,而是使用语音指令或手势来操作Xbox 360的系统界面。它也能捕捉玩家全身上下的动作,用身体来进行游戏,带给玩家“免控制器的游戏与娱乐体验”。Kinect感应器是一个外形类似网络摄影机的装置。Kinect有三个镜头,中间的镜头是RGB彩色摄影机,左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的3D深度感应器。Kinect还搭配了追焦技术,底座马达会随着对焦物体移动跟着转动。Kinect也内建阵列式麦克风,由多组麦克风同时收音,比对后消除杂音。Kinect处理流程的最后一步是使用之前阶段输出的结果,根据追踪到的20个关节点来生成一幅骨架系统。通过这种方式Kinect能够基于充分的信息最准确地评估人体实际所处位置。

看到这里,你一定也是激动万分。是的,人类未来实现这些伟大的功能,一直在坚持各种高新科技甚至是意想不到的黑科技的发明创造。

2016年10月26日,微软举行的Windows 10(Win10)发布会上,就公布了一首全新的Win10专用VR头戴式显示器,它的卓越之处在于,可以和笔记本电脑简单搭配,就能实现丰富的三维画面的显示功能。

这款VR产品仅需要一根线连接在电脑上面,即可开始体验VR,同时由于设备的配置要求不高,一般的笔记本都能够使用这款产品。设备采用了由内而外的跟踪传感器和Oculus类似的“六轴自由定位系统”,不需要像Oculus the Rift和HTC Vive一样采用激光的外部跟踪器。用它来连接笔记本电脑,就能轻松实现很多动作判断、人机交互和三维视频等功能。

在微软股价重新回到十年之前并创下新高的时候,我们来看看其他各大厂商的各类最新产品。毕竟,虚拟现实领域在2016年蓄势待发,各大厂商宣传已久,令骨灰玩家及数字发烧友心痒难耐的产品最近也在陆续粉墨登场,甚至可将2016年定义为虚拟现实元年。

早在2014年以20亿美元的价格被Facebook收购的Oculus公司,它的Oculus the Rift头戴设备一直是全世界关注的科技最新动态和方向。三星的Gear VR占据第二的位置。

Oculus是一个在虚拟现实领域颇具影响的创业公司。Oculus的旗舰产品Oculus the Rift 几年来被普遍视为最具有前途的虚拟现实设备,可以将使用者置于一个全方位的视觉幻象当中。

2011年,当时年仅18岁的帕姆·拉克利(Palmer Luckey)在父母家中的车库里拼凑出一台粗糙的产品原型。2012年6月,约翰·卡马克(John Carmack)—ID Software的传奇创始人,《毁灭公爵》和《雷神之锤》的主程序员,3D游戏概念的缔造者—将这款早期产品原型带到了E3视频游戏大展上,再次将虚拟现实技术引入了大众话题当中。一年之后,Oculus在E3大展上展示了一款高清产品(Oculus the Rift),再一次震撼了所有人。而最终,是Facebook总值20亿美元的收购。而这只是一家还没有成型商业产品的公司,Oculus还在追寻这个科技行业大多数人几十年前已经放弃的梦想。

2016年的OC3大会,Oculus公司CEO Brendan Iribe宣布,通过额外的传感器,Oculus the Rift VR系统可以让用户在坐着和站着的情况下感受空间追踪的Room Scale VR体验。再加上头戴式显示器和遥控,VR系统就能够通过定位人体的传感器,将人体的位置信息反馈给系统,让环境追踪系统运作,为用户提供3D沉浸体验。

此外,还记得那个盛极一时又迅速衰落的HTC公司吗?2015年3月,HTC公司在MWC2015上发布了HTC Vive,这是一款由HTC与Valve联合开发的VR虚拟现实头戴式显示器产品。由于有Valve的Steam VR提供的技术支持,因此在Steam平台上已经可以体验利用HTC Vive功能的虚拟现实游戏。2016年6月,HTC又推出了面向企业用户的虚拟现实头戴式显示器套装—Vive BE商业版服务。

HTC Vive通过以下三个部分致力于给使用者提供沉浸式体验:一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制器的定位系统(Lighthouse)。

在头部上,HTC Vive开发者采用了一块OLED屏幕,单眼有效分辨率为1200×1080,双眼合并分辨率为2160×1200。2K分辨率大大降低了画面的颗粒感,用户几乎感觉不到纱门效应。并且能在佩戴眼镜的同时戴上头戴式显示器,即使没有佩戴眼镜,400度左右近视依然能清楚地看到画面的细节。画面刷新率为90Hz,2016年3月份的数据显示延迟为22ms,实际体验几乎零延迟,人也不觉得恶心和眩晕。

控制器定位系统Lighthouse采用的是Valve的专利,它不需要借助摄像头,而是靠激光和光敏传感器来确定运动物体的位置,也就是说HTC Vive允许用户在一定范围内走动。这是它与另外两大头戴式显示器Oculus the Rift和PS VR的最大区别。

Oculus取得的进展,激发索尼公司宣布推出自己的虚拟现实硬件,名为Project Morpheus,并很快成为虚拟现实领域大家争相议论的焦点。

目前,索尼已经售出了接近4000万台PS4,在激烈的市场竞争中,这3880万PS4会给索尼的PSVR打下坚实的用户基础。

2015年E3展会中,索尼对外展示了虚拟现实头戴式设备Project Morpheus,它能够与家庭游戏机配合使用,为用户带来虚拟现实游戏体验。Project Morpheus头戴式显示器拥有5.7英寸的OLED显示屏,刷新率达到了120Hz,延迟时间低至18ms,头戴式显示器重量大幅下降。在连接PS4游戏机之后,Project Morpheus可支持虚拟现实360°变换为游戏画面,让用户享受犹如置身于游戏之中的感觉。

如果加上索尼在PS系列游戏机上的技术积累,和索尼所拥有的强大的内容制作公司Sony Pictures Entertainment以及Sony Music Entertainment,毫无疑问,我们有理由寄予它更高的期待,相信索尼公司也会在虚拟现实领域中扮演重要的角色。

接下来让我们看看三星。三星的手机遍布全球,承载虚拟现实的移动平台数量有了保障,跟索尼相比是不是市场前景就胜出一筹呢?也许未来,三星能在虚拟现实领域占据移动端的巨大优势,跟Google的Cardboard和MergeVR展开较量。

谷歌在虚拟现实里做了什么?

看起来似乎什么都没有做,但其实谷歌公司是最早的虚拟现实巨头。原因就是那个超级棒的谷歌眼镜。

那款谷歌眼镜,是超越时代的产品,而且是非常经典的AR增强现实产品。它对光学的使用,对计算机的使用,对人机交互的使用,都是虚拟现实未来的方向之一。而目前,谷歌悄悄藏起来了诸多专利技术,转而研发使用广泛的廉价产品。

谷歌目前的虚拟现实头戴设备其实就是由Cardboard构成,该纸版的官方售价只有15美元,很容易就能买到。

Cardboard并没有引起媒体太多关注,后者的注意力都放在了Oculus the Rift、HTC Vive或三星Gear VR上。但Cardboard对iOS系统的兼容能够让谷歌在移动虚拟现实市场打下基础。鉴于谷歌可能将在2017年推出升级版的塑料Cardboard,用户在使用谷歌虚拟现实设备时会感到更为方便。塑料版Cardboard对于两大智能机操作系统的兼容可能会进一步提升其吸引力。从长远来看,这可能会帮助谷歌在虚拟现实领域取得对Facebook的胜利。

前文所述的,几乎所有都是消费级的虚拟现实技术应用。消费级别的虚拟现实应用攻城略地的第一个堡垒也许是游戏产业,但是它所能应用的天地将远远不止于此。虚拟现实技术应用将远远超越游戏层面,将改变人们讲故事的方式、医药业、教育、设计以及更多你想象不到的领域。

高盛2016年1月13日发布的VR/AR产业报告,从游戏、实况、视频娱乐、健康、房地产、零售、教育、工程、军事9大领域做了非常精细的收入预测,其估计2025年虚拟现实市场规模将达到800亿美元(其中硬件450亿美元,软件350亿美元),并给出1820亿美元的乐观估计。

这个领域已经杀进来了很多公司。资源的整合,项目的开发,都在以惊人的速度进展着。虚拟现实并不是下一个3D电视,又或者智能手表,它是计算行业的未来!

比如,VRX大会上就出现了很多游戏产业以外的讨论和项目介绍。DeepStream VR公司的CEO Howard Rose,通过演讲使所有人见识到了虚拟现实将在疼痛减缓方面做出哪些贡献。Magic Leap的首席创意官Graeme Devine分享了一个暖心故事—如何在虚拟现实环境中联手协作开发现有的软件。还有比如引擎公司Unity、Epic以及Crytek的CEO们畅谈了整个行业所蕴藏的极大潜力。

此外,对于动不动就诞生出世界级互联网巨头公司的网络社交产业来说,虚拟现实社交潜力巨大,是一座巨大的金山。接下来,我们就会迎来一系列的问题:虚拟现实中的个人隐私怎么保护?你该如何让自己远离垃圾广告轰炸?你该如何让你的用户保持一定的投入度?唯一的清楚的答案,就是在虚拟现实社交领域固然有太多的未知,但是可以肯定的一点是,这个领域的潜力实在太大了!

想象一下,如果Facebook打造出了更加高级的虚拟现实社交环境,整个市场规模会做到多大?!

虚拟现实社交中的大公司,即将成为下一代人津津乐道的话题公司。我们将看到发生在这些公司之间的几十亿美元的并购案和IPO,正如我们今天见证了社交网络公司所带来的资本狂欢。这也意味着,在虚拟现实社交领域,无论是硬件还是软件上都有很多尚未决出胜负的解决方案,除此之外,人们在面对全新的社交环境是否做好了充足的心理准备?这一切都打上了问号。

回望来时的路,一切进展仅仅发生在三年之内。2012年的8月,Kickstarter平台上Oculus众筹成功,这一路走来所有的产品进展速度惊人。各大厂商在面对虚拟现实产品开发上的态度是务实的,认真的。虚拟现实就是存在的,时机成熟时自然会来到我们身边。2016年的国际消费电子展(CES)上,来自世界各地的数码设备厂商都为大家带来了最新的产品和技术。

SpaceTop—3D互动桌面

来自麻省理工学院和微软的研究人员展示了一个3D互动桌面环境,称之为SpaceTop。SpaceTop使用透明显示器,用户把键盘和自己的双手放置在显示器后面。随后,用户可以通过手势来移动显示屏上的数字对象,以操纵现实世界物体的方法去操作网页、文档和视频,这是一场很有未来感的桌面计算演示。

IllumiRoom—外围投射的互动视觉体验

Illumi Room由微软雷德蒙研究院的研究人员开发。通过使用Kinect传感器和投影仪,系统能够把电视屏幕延伸到整个房间里。投射在电视屏幕周围的图像营造了额外的环绕情境,并形成了沉浸式环境。

MorePhone

加拿大奎恩斯(Queens)大学研究人员演示的MorePhone项目借助能够编程控制的可折叠显示器,将手机状态告知用户。例如,MorePhone并不会显示用户只有在打开手机后才能看得到的新邮件图标,而是会把显示器的一部分折叠起来。人们还进行了将可折叠显示器用作输入方式的探索(例如,你可以通过弯曲显示器的方法来放大或缩小画面),但这个项目的新颖之处在于探索可折叠作为输出方式的可能。

置换现实头戴式显示器

置换现实是日本理化学研究所Naotaka Fujii博士最近发明的一种混合型现实系统。假定用户将随时佩戴HMD,而系统则会记录下他所看到的一切。当场景与过去的录制信息大体上重合时,置换现实就能够在用户无法察觉的情况下在现实和过去之间切换。如果切换非常流畅,用户将无法知道她看到的是现实还是录制影像。这样就能创建一个沉浸式的混合现实环境。Kevin Fan和他的合作者研究了听觉和触觉反馈会对置换现实的感知产生哪些影响。

MilkVR

2014年Oculus和三星合作推出了虚拟现实头戴设备Gear VR,让虚拟现实以另一种形式得到廉价化,并且推出了部分对应的游戏,用户只需戴上“头戴式显示器”,就可以享受游戏。为了让虚拟现实技术有更好的发展,一款名为Milk VR的应用也于2016年登场。该款应用将为人们带来沉浸式的360°视频体验。

从真实世界到虚拟环境,中间经过了增强现实与虚拟环境这两类虚拟现实增强技术。国际上一般把计算机视觉、增强现实、增强虚拟环境、虚拟现实这4类相关技术统称为虚拟现实连续统一体(VR continuum)。

与早期相比,增强现实或增强虚拟环境的概念已经发生了很大的变化,技术领域大为拓宽,但它们的技术特征都离不开以下3点:将虚拟和现实环境进行混合;实时交互;三维注册。

强现实技术,通过运动相机或可穿戴显示装置的实时连续标定,将三维虚拟对象稳定一致地投影到用户视域中,达到“实中有虚”的表现效果。真实世界是我们所处的物理空间或其图像空间,其中的人和其他实物随着视点的变化,也进行对应的投影变换,使得我们感受到位于真实世界的三维空间中。而未来虚拟现实,就要做到把虚拟的环境,完美地实现和真实世界一样的感官反应。

还记得网络上传播甚广的篮球场上跳出一条大鲸鱼的视频吗?随着那个名为Magic Leap的宣传视频,数字光场这个概念也变得广为人知。这种不采用屏幕来做载体的显示方式,通过记录并复现光场来完成虚拟物体的显示。通过呈现不同深度的图像,使用户在观察近景或远景时,可以实现主动的对焦,这也是光场显示的一大优点。

同样,光场显示也有不同的显示方案,一种方案是采用多层的显示器,如光场立体镜。如Magic Leap采用的是光导纤维投影仪。这套方案的优势是可以做到很大的视场角,显示更加符合人的真实感受。但这一方案同时也具有比较大的挑战性,光场的显示需要比较大的计算量,并且需要有相应的手段记录或者生成想要叠加的虚拟对象相应位置的光源信息,同时还要精细地控制投影的内容和位置,目前这些技术还都处于研究阶段。

尽管存在比较多的挑战,光场显示技术仍旧是非常值得期待的一种成像方式。但是,这个技术能够做到实际运用,的确是太难了。

程序员们目前还没有能力在虚拟现实环境中开发虚拟现实,大部分的虚拟现实内容往往只是由具备了开发游戏能力的人所掌握。当这些工具的进入门槛变得更低,甚至消失不见时,我们才能真正看到虚拟现实革新的加速发展和普及。

这一点,对于虚拟现实的未来至关重要。因为虚拟现实未来所需要突破的几个技术关键点,都在游戏中有所体现。

要拍3D全景,摄像头至少要在8个以上,少了只能拍摄2D画面。硬件方面难点是所有摄像头的同步性,后期要无缝拼接则需要调整多幅图像的曝光度、对比度、白平衡等参数,渲染需要相当长的时间。其实现在的高端游戏一直在做的都是构建立体的画面,并且还采用若干个渲染引擎来做到完美的细节还原。

除了视频之外,音频技术的储备,人们似乎也已经做好了。对于声音到鼓膜的反射混响过程,工业界有比较成熟的音效算法,叫头部相关传输函数(head-related transfer function,HRTF),可把单一音源转化为双声道来欺骗人耳的定位。这要用到人头录音(dummy head recording),即采用仿真人头模型,在人耳鼓膜位置放置两个麦克风来录制声音,比较原音与双耳录制音即可得到HRTF,然后用HRTF对其他原音编码即可,这方面有很多公开数据集,比如:IRCAM Listen Database。

因为混声回声缺乏很好的构建模型,有的数据集采样自由度稀疏,需要插值。HRTF技术在定声音方向上非常不错,基于HRTF的耳机音效系统,如很早就投入商用的SRS到后来三星DNSe再到DTS的Headphone:X,它们很早就在耳机发烧友这一小众群体中流行。 jztN51AFzT37Mgkzo4iRVab1sWMrEEa/XnCstEYUMzuPQJup8IWi+E9l6rT8Nzz9

点击中间区域
呼出菜单
上一章
目录
下一章
×