随着计算和显示技术变得越来越强大,我们通过图形、文本和符号等形式的信息对现实世界的视觉进行增强处理的能力也在增强。本章我们将探讨目前市场上一些已经过验证的、有发展前景的增强性显示技术,重点介绍其关键功能、设计方面的差异,以及初步的应用情况。
市场上新出的显示装置很多都是双眼双通道式增强现实显示装置。这些显示装置很少是为一般消费者设计,因为具有广泛市场吸引力的产品目前还很大程度上是一个真空地带。另一方面,商务、工业和国防领域为产品应用开发商提供了充足的机会,比如解决某个问题、满足某项信息需求、提高工程流程的效率等。本节我们将探讨几款这类显示装置,重点介绍其特有的性能特点及目标运用环境。
Epson是商用头戴式增强现实装置市场最早的竞争主体之一,其Moverio系列的BT-100于2011年投放市场。这是第一款独立式、基于安卓系统、可穿戴、透视型、双眼双通道式、基于反射性波导光学技术的显示装置。自上市以来,科技发烧友们就在公共论坛和博客上抱怨Epson的这款显示装置镜片厚、视野窄,戴上这款产品既不能玩他们最喜欢的电脑游戏,也不能帮助他们在街上找到最近的咖啡店。一直以来,Epson只是默默地在工业和企业运用环境,也就是这个型号的目标运用环境,扩展用户基础。
往事不表,看看现在的情况。Epson已经将第三代Moverio智能眼镜投放市场,即BT-300。如图5-1所示,新的流线型设计采用的是平面反射波导器件和硅基OLED(Si-OLED)数字显示专利技术,从而分辨率更高、对比度理大、明亮度更好、黑色等成像色调更真实。如第4章中所述,LCD是通过调整液晶分子的方向、阻挡光的发射而产生黑色调的。因为单个的OLED像素单元能自行产生光,关闭像素单元即可实现更深的黑色。OLED显示技术同样也可以产生丰富得多的颜色,可以极大地提高图像的总体质量(Seiko Epson,2016;Nelson,2016)。
图5-1 这张图显示的是Epson的Moverio
图片来源:Epson美国公司
虽然市场现有的和即将上市的大多数增强现实显示装置强调无绳化的设计,Moverio BT-300也像其上几代产品一样,大多数计算和电子子系统并没有放到其主结构上,而是放在一个手持的小型控制器上,控制器上有三个编程按钮和一个圆形触摸式控制板。
这款产品对于一般的消费者来说也有广泛的用途,但有必要强调的是,Epson仍然是按工业和其他企业运用环境设计的BT-300。BT-300的规格见表5-1。
表5-1 Epson Moverio BT-300的规格
在硅谷流传着这么一句话:“要么你去挖金子,要么你去卖挖金子用的锄头。”这句话是指供应其他人开发热门产品和服务时所需的关键工具和组件。在虚拟和增强现实这个新兴的领域,这句谚语的道理再明显不过。有几家相对来说不怎么知名,但占据市场关键位置的公司提供这个领域的关键产品实现技术。以色列雷霍沃特的Lumus有限公司就是这样一家公司。这家公司向几家增强现实显示装置的制造商供应的关键部件是极化波导光学模块。
如第4章所述及图5-2所示,这种波导在其基材内嵌有一个部分反射性的、极化的平行表面序列,从而来自微型投影器件(比如LCoS芯片)的图像(光图案)可以穿过波导的基材(称为输入耦合)。经内反射穿过波导后,另外一个部分反射性的极化表面序列将光导出(输出耦合)并导入使用者的眼睛。
图5-2 这张图片显示的是Lumus公司的波导光学模块
图片来源:Lumus公司
Lumus公司生产和供应的这类波导可用作显示装置的完整模块,但不同型号的性能差别很大。很多增强现实显示装置都采用了Lumus的模块。我们下面将要介绍的产品有几款也采用了Lumus的模块,包括Lumus自己的DK-50开发套件(见图5-3)。
虽然DK-50不是按最终消费品设计,主要是作为其他制造商的基准设计和测试平台(是锄头,而不是金子),但它却是一款综合性、无线、独立式、双眼双通道式显示装置,其核心是Lumus公司的OE-32模块(图5-3中的小图)。其分辨率是720p,视野是40°。该系统包括一个插入式Snapdragon处理器(安卓系统)、内嵌9DoF IMU运动感应器和两只四百万像素的摄像头,还包括一组应用程序开发的软件开发套件(SDK),以及一个客户端程序(通过客户端程序可以接入安卓手机,作为无线遥控和移动网络的反向信道)(Lumus,2016)。DK-50的规格见表5-2。
图5-3 Lumus公司的DK-50开发套件,其目的是
图片来源:Lumus公司
表5-2 Lumus DK-50的规格
加利福尼亚州芒廷维尤的Atheer公司的AiR(增强交互式实境)眼镜(见图5-4)的目标使用者是工程、建筑、健康护理和物流行业的现场工程师、无电脑工作者,是一个基于LCoS显示模块和Lumus公司的波导光学模块的系统。该系统特别为以下运用环境设计:使用者可通过自然手势、语音指令和运动跟踪信息与呈现在其眼前的物体和数据进行互动。如果配合AiR企业套件(一个基于云技术的合作和任务流互动解决方案),使用者戴上AiR Glass则可与其他使用者进行设计和作业协作评审,以及通过视频电话、实时动画和其他方式与专家进行远程互动。
图5-4 AtheerAiR Glass特别为以下运用
图片来源:Atheer公司
其手势识别功能的核心是一款称为Ari的应用软件,其原理是通过标准摄像头将移动装置变成手势识别界面。这项功能在以下运用环境特别重要:作业人员可能戴了手套(比如手术间或工业环境),因此通过手使用互动界面不现实或不方便。AtheerAiR的规格见表5-3。
表5-3 AtheerAiR眼镜的规格
虽然很多增强现实显示装置的制造商将其产品的目标客户要么定位为一般消费者,要么定位为专业运用环境,加利福尼亚州洛杉矶的DAQRI有限责任公司却采取了完全不同的策略,其努力的重点方向是将专业级的可穿戴增强现实显示技术推广到更广阔的建筑、工程和施工(AEC)市场。
DAQRI的高度仪表化和强化型智能头盔(图5-5)采用的是以色列雷霍沃特的波导光学模块,其设计目的是通过图形、符号和有关的工作指引与三维空间相互关联并稳定在一起,从而为企业用户的工作环境视图提供补充信息。其最终目的是通过叠加这些补充信息提高作业人员的生产力、效率和安全性。
图5-5 DAQRI的智能头盔内置各种感应器件,其设计
图片来源:本图片经DAQRI许可复制。©2016 DAQRI或其子公司。版权所有
这款产品看起来像一个硬质的帽子,配有一个面罩,其底层系统包括一组摄像头、前视红外辐射仪(FLIR)热红外、用于红外深度映射和使用者运动跟踪的包含三个摄像头的Intel RealSense R-200包(前视)。可以通过多种方式将使用者与工业设施的现有信息系统相连,比如内置WiFi、蓝牙和蜂窝式无线模块。
因为工作场所各不相同,所以每个运用环境都需要一定程度的定制和整合,而在DAQRI的4D Studio系统环境下可以实现这种定制和整合。撰写本书时,该产品的详细规格还没有公开发行。表5-4是已知规格的汇总。
表5-4 DAQRI智能头盔的规格
当今世界上的科技公司巨头忙于在虚拟和增强现实领域抢占市场地盘,而有几家小得多也没那么知名的公司已经在这个领域很多年了。他们一直在默默地解决有关产品实现技术的大问题、保护其基本的知识产权地位,他们推出的先进视觉工具比竞争对手要领先几年。加利福尼亚州旧金山的Osterhout设计集团(ODG)就是其中之一。
ODG扎根于国家安全和国防有关的项目,多年来向政府和企业客户输送最前沿的头戴式增强现实显示装置。Osterhout公司的最新产品是ODG R-7智能眼镜(见图5-6)。这款产品在最初运用于国防的某款产品的基础上做了改进。
图5-6 Osterhout设计集团的
图片来源:ODG
这是款立体视觉的产品,其目标客户是企业用户,已经在健康护理、能源、交通、仓储和政府等关键市场备受关注。该产品具有平板电脑的主板集成式处理能力、性能和连接性,并且按完全无阻碍的方式设计。该产品还开发完成了相关的应用软件,以满足外科医生、飞行员、保养检查人员、仓储和施工人员以及其他各种人群的需求。R-7的规格见表5-5。
表5-5 Osterhout设计集团的R-7智能眼镜规格
弗吉尼亚州雷斯顿的NVIS公司是虚拟和增强现实行业最老牌的显示装置制造商之一。该公司成立于2002年,市场上性能最好的近眼显示系统有几款就是这个公司生产的。该公司致力于高保真沉浸式培训和传真,其产品线包括头戴式显示装置、虚拟望远镜、用于尖端车辆和武器仿真的定制内嵌式显示装置。
其中用得最多的一款是nVisor ST50(见图5-7)。该系统最初是为美国军队的研究和开发工程指挥部(RDECOM)设计,用于步兵训练项目,目前在世界上很多地方的培训、传真和科研设施中都可以看到这款产品。
图5-7 nVisor ST5是目前性能最高的光学透视
图片来源:NVIS公司
nVisor ST50的核心部分是EMagin公司的有机发光二极管(OLED)微型显示器件。这种微型显示器件可以实现单眼分辨率为1280×1024的图像,并且能耗小、体积小。定制的光学器件将显示的影像铺展在50°的视野范围内,变形小于2%,所以这款显示装置非常适合对现实和虚拟环境间的绝对误差要求很高的场合。其前盖是可移除式,因此nVisor ST50既适合于增强现实的应用场景,也适合于沉浸式的应用场景。其详细规格见表5-6。
表5-6 NVIS nVisor ST50的规格
微软公司的HoloLens(见图5-8)是很多消费者都期待的一款显示装置。这是一款高清、立体视觉、三维光学透视的头戴式显示装置,在先期市场推广活动中称为全息电脑。第一次有关这款产品的介绍在2015年1月推出。这款头戴式计算系统和显示装置完全是无障碍设计,每只眼睛的前方都设计有全息波导,因此呈现在使用者眼前的高清全息图与其物理环境在空间上相互关联并固化。
微软在本书出版时的几个月前才将产品细节告知相关的开发商。微软故意这么迟才透露该显示装置的内部工作机制的细节,但仅从已经确认的信息可知这是工程学上的杰作,是一款功能强大的产品。比如,使用者可通过目视、手势和语音识别与全息图进行互动。通过空间映射功能,可将声音源叠加在全息物体上,从而使用者向物体靠近时音量会增加,而远离物体时音量会减小。
图5-8 微软的HoloLens是一款功能强大的头戴式
图片来源:微软瑞士公司的Flickr相册,获CC 2.0许可
国际空间站上的宇航员目前在尝试这款显示装置在沉浸式程序参考(说明书或使用手册),以及随时通过地面设施和系统专家提供宇航员信息和任务支持方面的应用,由此可见其功能如何强大。有关这一点我们在第17章会进一步了解。
2016年春季有消息说微软把该产品的初期市场定位从游戏和娱乐消费装置改为企业用户可视化和生产工具。初期使用方包括凯斯西储大学、美国国家航空航天局、萨博和沃尔沃(Surur,2016)。
HoloLens的详细规格见表5-7。
表5-7 微软公司的HoloLens的规格
索尼最近也进入了可穿戴增强现实显示装置的市场,其推出的产品是SmartEyeglass(见图5-9)。这款产品的设计用途是作为产品开发商的平台,其界面与安卓系统的智能手机兼容,因此可以安装并驱动相关的应用程序。这款产品采用的薄型全息波导,可将文本、符号和图像等单颜色(绿色)的信息叠加到使用者的视野中。该产品通过一款设计优良的有线控制器进行操作。后者通过蓝牙或无线局域网(WLAN)连接可与安卓系统的移动装置(作为主机)进行通信。
图5-9 这张图片显示的是索尼的增强现实显示装置
图片来源:Rochester Optical Manufacturing公司
这款显示装置内置的感应器包括一只300万像素的摄像头、一个加速计、陀螺仪、电子指南针、明亮度感应器、麦克风和噪声抑制式副麦克风。这些感应器的数据通过有线连接传送至控制器,因此通过智能手机(无线连接)的应用程序便可获取这些数据。SmartEyeglass的规格见表5-8。
表5-8 索尼SmartEyeglass SED-E1的规格
单眼式增强现实显示装置主要是作为信息装置,将字母数字、图像和符号数据叠加到使用者的视野中,但对其总体场景分析没有显著的影响。比如,在这类显示装置帮助下,专业医疗人员可以方便地观看病史档案、图像和有关生命体征的测量数据,这类显示装置也可以为技术人员提供图形和其他数据,帮助他们完成具体的作业任务。
本节我们介绍几款这类显示装置,重点是各自的具体优点以及预期的主要应用领域。
纽约州罗契斯特的Vuzix公司是增强现实行业最老牌的公司之一。Vuzix创建于1997年(当时的公司名称不同),与国防领域有密切的关系,多年来已开发了几款专门的显示装置,其中一款是在美国军队中广泛使用的数字夜视武器瞄准装置,另一款是用于观看战术地图和视频的高分辨率单眼式显示装置。
2013年1月,Vuzix在其多年来积累的研发能力和技术的基础上推出了M100智能眼镜,一款安卓系统的穿戴式电脑和单眼式显示装置(见图5-10)。目前世界上很多企业用户都在使用这款产品。比如,这款产品可用于生产管理、指导仓储设施的工人以提高捡货作业的效率、远程医疗和远程协助,甚至可以用于维护停车场的秩序——停车场的现场管理人员只需轻轻一瞥便可扫描车牌,并通过腰挂式打印装置当场出具停车票。可通过应用软件用这款产品拍照、录制和播放视频,以及跟踪使用者的位置(通过GPS)和穿戴者头部的方向。正如其制造商所强调,这款显示装置的主要优点之一是其可以利用数以千计的现有应用软件的功能。另外还可以利用开发商的资源创造定制化的功能。
图5-10 Vuzix公司的M100智能眼镜目前是现有
图片来源:Vuzix公司
从使用者的角度来说,这款显示装置的视觉效果相当于把4英寸的智能手机屏放在大约14英寸的距离处。这款产品不仅左、右眼都可以戴,而且其外壳和手柄都可调节,可满足不同使用者的需求和舒适度要求。M100的规格见表5-9。
表5-9 Vuzix M100的规格
2015年年初,英特尔公司大规模投资Vuzix公司,收购了Vuzix公司的大约三分之一股份,并加速开发和推行下一代适用于企业、专业和消费者的可穿戴显示装置。其中,M300智能眼镜(见图5-11)是最早推出的新显示装置之一。
图5-11 Vuzix公司的新产品M300将最新智能手
图片来源:Vuzix公司
这款新产品充分利用最新的计算、显示和感应技术,相对于上一代产品,在人体工程方面有显著的改善,CPU更快,电池是热插拔式的,内置手势控制,还有最新智能手机的大多数性能和功能。另外,因为防水、防尘、防污等级提高,M300几乎可用于所有工作环境。M300的规格见表5-10。
表5-10 Vuzix M300的规格
Google Glass是Google公司开发的一款可穿戴电脑,配有单眼光学透视型头戴式显示装置(Google是加利福尼亚州芒廷维尤市的一家公司)。到目前为止还没有哪一款虚拟现实和增强现实显示装置像Google Glass那样触动了人们的情感,激发了人们的热情(当然也有攻击),或触发了那么多科研、开发和应用研究。虽然已于2015年初退出一般消费品市场,Google Glass在医院、仓库和远程服务行业等专业应用领域拥有一群热切的用户。这款产品有一些有趣的应用,比如,尼泊尔政府将其应用于无人飞行器(UAV)以跟踪犀牛、老虎和大象(Pandey,2014),有人将其作为来复枪在转角处射击时的瞄准器。图5-12显示的是该产品的基本外形设计。
图5-12 从这两张特写图可以看到Google
图片来源:Ted Eytan/Mitch Altma的Flickr相册,获CC 2.0许可
Google Glass也是工程学上的一件艺术品。虽然所用的产品实现技术几乎没有哪一项是新的或革命性的,但将这些技术组合在这么小的尺寸内,并且以创造性的方式实现这么多项功能,这本身就具有突破性。图5-13是这款产品的X光照片,从中可以看到主要内部组件的细节。
图5-13 这是Google Glass的X光照片,从
图片来源:AGL Initiatives的Andrew Vanden Heuvel
撰写本书时,Google Glass正在重新进行设计,预计在2017年推出新款。其现有版本的详细规格见表5-11。
表5-11 Google Glass Explorer(第2版)的规格
本章我们介绍了目前市场上几款最有发展前景的增强现实显示装置,不过这还只是冰山一角。有几十家大大小小的公司在研究、实验和创新显示技术。有的还只有比较简陋的工作室,有的已经拥有了正规的实验设施。在财务资源方面,有的在艰难地维持,有的已经收到了几个亿的风险资本,比如佛罗里达州目前还蒙着一层神秘面纱的Magic Leap公司。
虽然科技发烧友们对一般消费者级别的增强现实显示装置的呼声越来越高,硬件和软件制造商们面临的关键挑战可以归纳为以下两个简单的问题:你所想到的具体应用是什么?除游戏方面的应用之外,你认为这个热门产品的性质是什么?
回答以上两个问题的困难也就是为什么大多数增强现实显示装置的制造商和软件开发公司在开始阶段都将目标用户定位为企业用户,而不是一般消费者。这些技术在专业领域有广泛的应用。比如,可以提高作业人员和流程效率,也可以提高急救室内医生和战场上士兵的态势感。这些问题、挑战和需求再明显不过了。在大众消费领域“不可或缺”的应用需求出现之前,增强现实显示装置的开发商们将继续专注于能为他们带来收入的细分市场。
即使如此,基于移动设备的增强现实显示装置在不久的将来会在消费级的增强现实市场担当突破性的角色。比如,加利福尼亚州的PhaseSpace公司开发的SmokeVR系列头戴式新型低成本系统(见图5-14)预计也将投放市场。
图5-14 这张照片摄于2015年2月的
图片来源:PhaseSpace公司的Tracy McSheery
这款产品基于最初在2007年按照与海军研究室(Office of Naval Research)的合同所完成的工作,采用的创新性的宽视野视觉设计,水平视野达到100°,无颜色失真,图像质量非常高。该产品还配有一个弹压式的前面罩,加上这个面罩这款产品就可作为沉浸式虚拟现实显示装置。
人机交互界面还是相对年轻的一个领域。了解如何充分利用人类感官系统,并在此基础上了解如何利用这个新的介质,从很多方面来说我们还只是处于尝试阶段。