VR、AR和MR都属于大的虚拟现实技术范畴,尽管它们之间存在着一定差别,但是,它们还是拥有一些共同的本质特征,有人称其为“3I特性”,即沉浸性(Immersion)、交互性(Interaction)、构想性(Imagination)。这是它们区别于此前其他技术的根本所在,从严格意义上来讲,只有同时具备了这些本质特征,才是真正的虚拟现实。
沉浸性又称浸入性,是反映用户体验感、参与感的特性。在传统的视听媒体体验过程中,无论是欣赏电影、电视、网络视频还是各种媒体影像,它们的视域都是有限的、有边界的,受众都是置身屏幕影像世界之外,处在一种“旁观”的状态,“由外向内”观看。虚拟现实技术彻底改变了传统的视听体验方式,通过头显等设备的帮助,它可以让用户感觉自己完全沉浸在虚拟仿真环境当中,产生一种身临其境的真实感。通过虚拟现实技术,用户由被动的观众变成了主动的观察者、体验者、参与者,自己置身于所观看和体验的场景之中,仿佛成为所看到的虚拟世界的有机组成部分,“由内向外”观看。因为虚拟世界的视听效果都非常逼真,所以,虚拟现实用户经常会觉得真假难辨。
沉浸感主要通过影响人们感觉器官对外部世界的感知这种方式来获得,具体包括视觉沉浸、听觉沉浸、触觉沉浸、嗅觉沉浸、味觉沉浸和其他感官沉浸等。在所有的感觉器官中,视觉和听觉对于人们获取信息最为重要,目前,虚拟现实头显、互动工具等也主要是通过影响视、听两大器官来控制人们的体验感。
视觉通道给人的视觉系统提供图形、图像显示,人类获取客观世界的信息大约有3/4需要通过视觉获得,视觉沉浸对虚拟现实系统非常重要。通过虚拟现实头显设备,用户可以“置身其中”,仿佛处在头显设备提供的影像场景中间,自由地向四周观看。
要想获得理想的视觉沉浸感受,虚拟现实头显需要达到以下基本要求。
单位面积像素越多,影像就越清晰。现在高清、超高清、4K、8K、16K甚至更高质量的影像摄制技术已经成熟,使得虚拟现实影像的质量也大幅度提高。目前,市场上主流的专业级虚拟现实头显设备(如HTC Vive)的分辨率为2K,它们往往需要连接高速主机获得支持,这些头显设备已经能够给用户带来比较好的视觉体验,而大多数消费级便携式虚拟现实头显设备的分辨率较低,影像和声音的质量较差,给用户带来的沉浸感也较差。
理论上讲,头显设备的刷新频率越高,影像就显得越连贯,用户看起来与正常看世界的视觉感受就越接近。在实际应用中,设备的刷新率要和分辨率综合考虑设定,虚拟现实头显设备一般需要较高的刷新率。如果影像出现卡顿,就会极大地破坏用户的沉浸感,让其马上“出戏”,意识到虚拟场景的虚假性。
具有合理双目视差的影像,可以给用户带来更好的空间感、立体感,可以增强用户体验的真实感。当然,拍摄或制作生成这样的影像,与传统2D影像相比,其数据量会成几何倍数增加,对于数据的生产、存储、传输等需要更高的技术要求。
头显设备的视场角最好要大于人眼的正常视场角,这样其显示的影像才能充满人眼视场,随着用户视线转移、头部转动、身体转动,头显设备可以将视点周围上下360度范围内的影像依次适时显示出来,给用户带来良好的沉浸感。如果眼镜等头显设备视场角不够大,用户很容易就可以看到其边框,也就是影像的边界,那样的话,沉浸感会大打折扣。
VR需要让用户完全沉浸在虚拟信息世界中,所以,必须要通过头显、耳机等设备将用户的主要感官和现实世界隔离开来,这样,用户才能更好地感受虚拟世界影像、声音等信息。
对于AR头显设备来说,能够让用户在看到现实世界影像的基础上,再在其中增加一些虚拟的信息,它不是让用户沉浸在纯虚拟世界里,而是沉浸在现实世界和虚拟信息组合而成的影像世界中。
听觉器官是人们感知客观世界的另一个重要通道,虚拟现实技术要能够提供和视觉同步的声音效果,才能更好地使用户获得真实感、沉浸感。
由于用户在使用虚拟现实头显设备时,其观看行为具有一定的随机性,用户可以根据自己的个人兴趣,随时转头、转眼观看自己感兴趣的方向、感兴趣的物体,这就要求虚拟现实耳机设备也能够实时提供相应的声音信息,而且这种声音必须是全方位立体声的声音场效果,声音不仅要清晰、准确,还要具有方位感、距离感、空间感、层次感,这对虚拟现实录音及声音还原技术都要求很高。
此外,人们听取声音的行为,还与其心理因素相关,用户关注的主体对象不同,会对听到的声音场里的各种声音有所选择、过滤,人们会优先听到自己关注的主体对象的声音,其他的声音会在一定程度上成为被忽略的背景声。传统的录音技术,能够清晰完整地记录和还原现场的客观声音信息,但是,却很难提供与不同用户心理需求、随机观看行为实时结合的声音选择、过滤功能,这也是虚拟现实技术发展过程中,摆在录音专业人员面前的一道难题。
触觉器官是人们感知客观世界的又一个重要通道,人类对于自己“看到”“听到”并感兴趣的事物,更进一步的心理需求就是“触到”。“看到”和“听到”基本属于“远观”,“触到”才是人们探索事物的真正开始,通过这种方式,人和客观事物才能真正发生实在的关系,客观事物也才能反作用于人类自身,给人带来更真切的感受。
人类主要通过皮肤触觉感知客观事物,其中手、脚、四肢、躯干、头部等的触觉最为重要。此外,人们还可以通过牙齿等器官接触事物,从而对其属性产生准确判断。人类通过触觉器官可以辨别客观事物的温度、湿度、硬度、重量,可以区分其材质,还可以感受疼痛感、压迫感、震动感等。
在人们体验虚拟现实世界时,不仅需要看到虚拟世界的事物,听到其声音,还需要与其相接触,这样,才和人们在现实世界中对事物的感知方式更加接近。
目前,世界范围内有多家公司在研发虚拟现实互动设备,比较主流的有互动手柄、互动手套、互动衣服等,通过这些互动设备,为用户提供与虚拟现实视听形象相匹配的触感,比如,虚拟现实头显设备中给人看到的是一杯热水,那么,用户尝试将其端起来,手上就真的会有重量和温度的感觉。
虚拟现实互动设备的研发是其系统工程中的重要环节,也是难度比较大的一个环节,与虚拟现实视听技术设备相比,现有的互动设备只能部分达到比较真实的触觉沉浸感,距离充分满足用户触觉体验的需要还有较大的差距。
嗅觉器官主要是鼻子,在人类感知客观世界时具有重要作用。不同的客观事物具有自身独特的气味,用户在虚拟世界中面对虚拟物体时,期望获得与真实世界相同的嗅觉感觉,这就需要借助各种特殊的设备,能够在空气中释放分子合成气体,营造虚拟环境中主要的气味效果。世界上万事万物的气味都有明显或细微的不同,要想实时营造出多种多样的虚拟世界景物的气味,技术上非常困难。再加上,还必须考虑用户心理因素,嗅觉技术不能仅仅是将事物的气味客观还原,还要考虑用户心理的需求和好恶,这就更加增大了该项技术的难度。目前,嗅觉技术还基本处于实验阶段,未有实质性推广应用。
味觉器官主要是舌头,可以品尝各种食物、饮品的味道。在用户体验虚拟世界时,遇到食物类、饮品类事物时,也希望能有真实的味觉感受。然而,在现阶段,虚拟世界毕竟是“虚拟的”,尽管其看起来、听起来很真实,却仍然不能真正完全替代现实世界的客观事物,因此,味觉沉浸技术还处于实验或概念阶段,是用户和研发者的一种理想状态,还未有实质性推广应用。
从虚拟现实技术的发展现状来看,距离实现全方位的沉浸感还有很大的差距,虚拟现实技术还处于初级发展阶段。
2019年10月,视频体验联盟(Video Experience Association,简称VEA)发布的《虚拟现实(VR)体验标准技术白皮书》,阶段性地建立起了VR体验评估模型。“VR体验评估模型从视听沉浸体验质量、观看体验质量和交互体验质量的角度,对分辨率、帧率、码率、FOV、MTP、自由度等20多个指标进行量化,采用分级映射的方式构建评估模型,是VR体验评估标准化进程的重要里程碑。” 从VEA发布的“影响用户VR体验的关键因素”表格中可以看到,现阶段影响用户沉浸感体验的主要还是视听效果,头显设备、内容品质、网络传输速率是决定视听效果的重要因素(如表1-2-1所示)。为了改善用户体验,VR/AR头显设备需要进一步小型化、轻便化,改进其佩戴舒适度、提高其屏幕分辨率、扩大视场角度;在内容方面,视频360度全景影像清晰度要达到8K以上,并且全部实现3D立体视觉效果,帧率提升到60帧/秒以上以缓解眩晕感。
表1-2-1 影响用户VR体验的关键因素
互动性是指用户能够通过虚拟现实的技术设备参与或干预虚拟现实场景、内容,与之发生相互作用,并相互影响。通过用户与虚拟现实产品的互动,可以有效提升沉浸感、参与感、体验感,也有助于解决“VR眩晕”问题。互动性是虚拟现实技术的本质特征之一,互动程度也是衡量虚拟现实技术产品、虚拟现实作品优劣的重要标准。
虚拟现实技术的互动性主要体现在以下三个方面。
在用户与虚拟现实仿真场景和虚拟事物互动的过程中,用户应该处于主导地位,用户根据自己的需要,主动做出动作或发出指令,虚拟场景和虚拟事物随之做出相应的反馈。总体而言,用户应该可以控制互动的进程、节奏和速度。
需要注意的是,尽管在虚拟现实互动过程中,用户处于主导地位,但是,互动过程和互动结果却不一定完全由用户控制,用户和虚拟现实场景和事物的互动通常需要遵循一定的规则,不同的用户行为会带来不同的反馈,也就会产生不同的互动过程和互动结果。
在用户与虚拟现实场景和事物互动的过程中,总体而言,用户是主动的,但是,在一些具体的环节设置上,虚拟现实场景和事物也会按照设定的规则运行,对用户形成一定的限制和约束,两者是作用与反作用的关系。整体“主动”,局部“被动”,是用户与虚拟现实场景和事物之间互动关系的基本写照。
目前,用户还不能像在现实世界中一样,单纯依靠自己的手、眼睛等直接与虚拟现实场景和事物进行互动,用户需要利用专用的三维交互设备实现交互,如头盔显示器、互动手柄、互动手环、数据手套、三维空间交互球等传感设备。通过使用这些互动设备、工具,用户可以使自己置身于虚拟现实场景中,并与其中的事物发生互动关系,真切地感受到视觉、听觉甚至是触觉、温度、硬度、湿度等感觉,给用户以非常真实的体验感。互动手柄、互动手环之类的互动工具可以幻化为虚拟场景中的相应事物,如虚拟现实电影中的各种道具,让用户通过虚拟场景、虚拟事物获得非常真实的体验感。
除了使用工具交互,虚拟现实交互还有多种交互方式,如用户行为检测交互,即通过动作捕捉仪、红外检测摄像头、感应器、全向跑步机等设备,搜集用户行为动作信息,与虚拟现实场景形成互动;再比如语音识别交互,即通过识别用户发出的声音信息,与虚拟现实场景及其中的景物进行互动。
目前,工具交互主要可以分成以下几种方式:简单地点击互动、手柄手环类交互、固定空间位移交互、无距离限制的位移交互等。人们也可以将工具交互、动作捕捉、行为检测、语音识别等交互方式综合运用,以提高用户在行为上的互动体验。
初级阶段,用户和虚拟现实场景的互动只能单人进行,用户戴上虚拟现实头显(眼镜)和耳机,自己沉浸于虚拟现实世界中,其他用户无法同时进入其中,无法同时参与其活动。现在,越来越多的虚拟现实游戏、应用等,已经可以使多名用户同时进入同一虚拟现实场景,用户与用户可以在虚拟现实环境中互动,共同克服困难、解决问题,也可以分享成功与欢乐。
在同一虚拟现实场景中实现多名用户的相互交互,使得实际物理空间距离不再是人与人之间交流和互动的障碍,相隔遥远的人们可以通过虚拟现实技术在一起相聚、交流,人们可以一起游戏、一起办公、一起学习,还可以一起举行生日聚会等,这是人与人之间前所未有的交流方式,虽然交互的场景是虚拟的,但是,人们的感受却是非常真实的。
在用户与虚拟现实场景、事物交互方面,自由度丰富、操作响应快速、操作精准、内容加载快速是获得良好交互体验的重要基础。
截至目前,虚拟现实交互技术还存在一定的瓶颈,硬件设备对人体自由行动还有明显的限制,虚拟现实场景中的力反馈、温度、质感、语言交流等交互手段方面还缺乏理想的解决方案。
构想性是指在虚拟现实环境中,用户可以根据所获取的多种信息和自身在系统中的行为,通过联想、推理和逻辑判断等思维过程,随着系统的运行状态变化,对系统运动的未来进展进行想象。
借助于虚拟现实技术,人们有可能从定性和定量集成的虚拟环境中得到感性和理性认识,进而深化概念、产生创意和构想,主动地寻求、探索信息,而不是被动地接受。这就更体现了虚拟现实的创意和构想性。
虚拟现实毕竟是虚拟现实,永远不能取代真正的现实,它给人们带来的是“真实感”,而不是“客观现实”的替代品。在使用虚拟现实技术过程中,还需要用户明确这条底线,调动自己的思维和想象,参与到与虚拟现实场景和事物的互动之中,以获得最佳的真实感、体验感。
美国学者埃弗雷特·罗杰斯(E.M.Rogers)于20世纪60年代提出了创新扩散理论,认为创新扩散是对新观念、新事物、新产品进行传播的社会过程,通常需要经历从创新者——早期采用者——早期大众采用——后期大众采用——保守传统人群采用这样五个阶段。“从创新扩散理论的五个阶段来看VR技术的应用可以发现,VR还是一项不断迭代更新的新传播技术,目前用户规模还不大,主要是一些创新者在使用,也就是处于五个阶段中的第一阶段,还没有进入到大众使用层面。” 随着虚拟现实产业相关技术的日益进步,虚拟现实硬件设备的技术性能会迅速提高,虚拟现实的软件开发、内容创作也会迎头赶上,虚拟现实市场也会逐渐培育成熟,虚拟现实的后续创新扩散过程也许会呈现出加速的趋势。把握虚拟现实技术的本质特征,可以更好地理解和运用虚拟现实技术,为视听媒体虚拟现实作品创作做出贡献。