1.2　增强现实技术

增强现实（Augmented Reality，AR）的全称是增强虚拟现实系统，它是近年来国内外众多研究机构和知名大学的研究热点之一。增强现实（AR）技术不仅在与虚拟现实（Virtual Reality，VR）技术相类似的应用领域（诸如尖端武器和飞行器的研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域）具有广泛的应用，而且由于其具有能够对真实环境进行增强显示输出的特性，在精密仪器制造和维修、军用飞机导航、工程设计、医疗研究与解剖以及远程机器人控制等领域具有比虚拟现实技术更加明显的优势，是虚拟现实技术的一个重要的前沿分支。

增强现实（AR）也被称为混合现实。它利用计算机技术将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。在一般情况下，增强现实提供了不同于人类可以感知的信息，它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器把真实世界与计算机图形多重合成在一起，便可以看到真实的世界围绕着虚拟世界。

增强现实借助X3D虚拟/增强现实技术、计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的全新环境，因此增强现实系统具有虚实结合、实时交互、三维注册等新特点。

增强现实（AR）技术是采用对真实场景利用虚拟物体进行“增强”显示的技术，与虚拟现实相比，它具有更强的真实感受、建模工作量小等优点。增强现实技术可广泛应用于航空航天、军事模拟、教育科研、工程设计、考古、海洋、地质勘探、旅游、现代展示、医疗以及娱乐游戏等领域。美国巴特尔研究所在一项研究报告中列出了10个2020年最具战略意义的前沿技术发展趋势，其中增强现实技术排名前10位。

1.2.1　增强现实系统原理

虚拟现实与增强现实技术有着密不可分的联系，增强现实技术致力于将计算机产生的虚拟环境与真实环境融为一体，使浏览者对增强现实环境产生更加真实、贴切、鲜活的交互感受。在增强现实环境中，计算机生成的虚拟造型和场景要与周围真实环境中的物体相匹配，使增强虚拟现实效果更加具有临场感、交互感、真实感和想象力。

增强虚拟现实系统具有虚实结合、实时交互、三维注册等新特点。增强现实系统原理剖析如图1-28所示。

（1）虚实结合：增强现实是把虚拟环境与用户所处的实际环境融合在一起，在虚拟环境中融入真实场景部分，通过对现实环境的增强来强化用户的感受与体验。

（2）实时交互：增强现实系统提供给用户一个能够实时交互的增强环境，即虚实结合的环境，该环境能根据参与者的语音和关键部位位置、状态、操作等相关数据为参与者的各种行为提供自然、实时的反馈。实时性非常重要，如果交互时存在较大的延迟，会严重影响参与者的行为与感知能力。

（3）三维注册：该技术是增强现实系统最为关键的技术之一，其原理是将计算机生成的虚拟场景造型和真实环境中的物体进行匹配。在增强现实系统中绝大多数是利用动态的三维注册技术。动态三维注册技术分为两大类，即基于跟踪器的三维注册技术和基于视觉的三维注册技术。

基于跟踪器的三维注册技术主要记录真实环境中观察者的方向和位置，保持虚拟环境与真实环境的连续性，实现精确注册。通常的跟踪注册技术包括飞行时间定位跟踪系统、相差跟踪系统、机构联接跟踪系统、场跟踪系统和复合跟踪系统。

基于视觉的三维注册技术主要通过给定的一幅图像来确定摄像机和真实环境中目标的相对位置和方向。典型的视觉三维注册技术有仿射变换注册和相机定标注册。仿射注册技术的原理是对于给定三维空间中任何至少4个不共面的点，空间中任何一个点的投影变换都可以用这4个点的变换结果的树形组合来表示。仿射变换注册是增强现实三维注册技术的一个突破，解决了传统的跟踪、定标等烦琐的注册方法，实现通过视觉的分析进行注册。相机定标注册则是一个从三维场景到二维成像平面的转换过程，即通过获取相机内部参数计算相机的位置和方向。

1.2.2　X3D增强现实软件建模技术

从可视化输出的角度来看，主要是图像与几何模型相结合的建模方法。基于图像的建模方法全景图生成技术是基于图像建模方法的关键技术，其原理是空间中的一个视点对周围环境的360°全封闭视图。全景图生成方法涉及基于图像无缝连接技术和纹理映射技术。基于图像的三维重建和虚拟浏览是基于图像建模的关键技术。基于几何模型的建模方法是以几何实体建立虚拟环境，其关键技术包括三维实体建模技术、干涉校验技术、碰撞检测技术以及关联运动技术等。在计算机中通过X3D或VRML可以高效地完成几何建模、虚拟环境的构建以及用户和虚拟环境之间的复杂交互，并满足虚拟现实系统的本地和网络传输。

增强现实技术实现主要涵盖增强现实硬件、软件、跟踪设备等，具体实现包括摄像头、显示设备、三维产品模型、现实造型和场景以及相关设备和软件等，如图1-29所示。

在平面印刷品上叠加展品的三维虚拟模型或动画通过显示设备呈现，以独特的观赏体验吸引用户深入了解产品。浏览者可以360°自主观赏三维立体场景，在三维立体场景中对文字、视频、三维模型进行叠加，支持互动游戏，支持网页发布。其适用于展览会、产品展示厅、公共广告、出版、网络营销等应用场合。

X3D（Extensible3D，可扩展3D）增强现实技术是计算机的前沿科技，是21世纪三维立体网络开发的关键技术。增强现实X3D技术融合了VRML技术与XML（ExtensibleMarkup Language，可扩展标记语言）技术，X3D标准是XML标准与3D标准的有机结合，X3D被定义为可交互操作、可扩展、跨平台的网络3D内容标准。在2004年8月，X3D已被国际标准组织ISO批准通过为国际标准ISO/IEC19775，X3D正式成为国际通用标准。Web3D联盟是致力于研究和开发Internet上的虚拟现实技术的国际性的非营利组织，主要任务是制定互联网3D图形的标准与规范。Web3D联盟已经完成可扩展的三维图形规范（Extensible3D Specification），称为X3D规范。X3D规范使用可扩展标记语言XML表达对VRML几何造型和实体行为的描述能力，缩写X3D就是为了突出新规范中VRML与XML的集成。

X3D增强现实技术是下一代具有扩充性的三维图形规范，并且延伸了VRML97的功能。从VRML97到X3D是三维图形规范的一次重大变革，最大的改变之处就是X3D结合了XML和VRML97。X3D将XML的标记式语法定为三维图形的标准语法，已经完成了X3D的文件格式定义（DocumentTypeDefinition，DTD）。目前世界上最新的网络三维图形标准——X3D已成为网络上制作三维立体设计的新宠。Web3D联盟得到了Sun、SONY、Shout3D、Oracle、PHILIPS、3Dlabs、ATI、3DFX、Autodesk/Discreet、Division、Multigen、ELSA、NASA、NVIDIA、FranceTelecom等多家公司和科研机构的有力支持，可以相信X3D增强现实技术必将对未来的Web应用产生深远的影响。

X3D增强现实技术是互联网3D图形国际通用软件标准，定义了如何在多媒体中整合基于网络传播的交互三维内容。X3D技术可以在不同的硬件设备中使用，并可以用于不同的应用领域中，如科学可视化、航空航天模拟、虚拟战场、多媒体再现、教育、娱乐、网页设计、共享虚拟世界等方面。X3D也致力于建立一个3D图形与多媒体的统一的交换格式。X3D是VRML的继承。VRML是原来的网络3D图形的ISO标准（ISO/IEC14772）.X3D标准是XML标准与3D标准的有机结合，X3D相对VRML而言有重大改进，提供了以下新特性：更先进的应用程序界面、新增添的数据编码格式、严格的一致性、组件化结构、用来允许模块化的支持标准的各部分。

X3D增强现实技术系统在语义学上描述了基于时间的行为、交互3D、多媒体信息的抽象功能。X3D标准和规范不定义物理设备或任何依靠特定设备执行的概念，如屏幕分辨率和输入设备，只考虑到广泛的设备和应用，在解释和执行上提供很大的自由度。从概念上说，每一个X3D技术开发设计和应用都是一个包含图形和听觉对象的三维立体时空，并且可以用不同的机制动态地从网络上读取或修改。每个X3D技术开发设计和应用为所有已经定义的对象建立一个隐含的环境空间坐标；该技术由一系列3D和多媒体定义和组件组成；可以为其他文件和应用指定超链接；可以定义程序化或数据驱动的对象行为可以通过程序或脚本语言连接到外部模块或应用程序。X3D系统结构如图1-30所示。

X3D增强现实系统设计最基本的问题就是实现虚拟信息和现实世界的融合。显示技术是增强现实系统的关键技术之一，通常把增强现实的显示技术分为头盔显示器显示、投影式显示、手持式显示器显示和普通显示器显示。

（1）头盔显示器（Head-MountedDisplay，HMD）：现有的虚拟现实技术的人机界面中大多采用头盔显示器，主要原因是头盔显示器较其他几种显示技术而言沉浸感最强。因为用于增强显示系统的头盔显示器能够看到周围的真实环境，所以称为透视式（See-Through）头盔显示器。透视式头盔显示器分为视频透视式和光学透视式。前者利用摄像机对真实世界进行同步拍摄，将信号送入虚拟现实工作站，在虚拟工作站中将虚拟场景生成器生成的虚拟物体与真实世界中采集的信息融合，然后输出到头盔显示器，而后者则利用光学组合仪器直接将虚拟物体与真实世界在人眼中融合。还有一种更为奇特的方法是虚拟视网膜显示技术，华盛顿大学的人机界面实验室研究出的虚拟视网膜显是通过将低功率的激光直接投射到人眼的视网膜上，从而将虚拟物体添加到现实世界中。

（2）投影式显示（ProjectionDisplay）：将虚拟的信息直接投影到要增强的物体上，从而实现增强。日本Chuo大学研究出的PARTNER增强现实系统可以用于人员训练，并且使一个没有受过训练的试验人员通过系统的提示成功地拆卸了一台便携式OHP（OverHead Projector）。另外一种投影式显示方式是采用放在头上的投影机（Head-MountedProjective Display，HMPD）来进行投影。美国伊利诺斯州立大学和密歇根州立大学的一些研究人员研究出一种HMPD的原型系统。该系统由一个微型投影镜头、一个戴在头上的显示器和一个双面自反射屏幕组成。由计算机生成的虚拟物体显示在HMPD的微型显示器上，虚拟物体通过投影镜头折射后再由与视线成45°的分光器反射到自反射的屏幕上面。自反射的屏幕将入射光线沿入射角反射回去，进入人眼中，从而实现了虚拟物体与真实环境的重叠。

（3）手持式显示器（HandHeldDisplay，HHD）：采用摄像机等其他辅助部件，一些增强现实系统采用了手持式显示器。美国华盛顿大学人机界面技术实验室设计出了一个便携式的MagicBook增强现实系统。该系统采用一种基于视觉的跟踪方法，把虚拟的模型重叠在真实的书籍上，产生一个增强现实的场景，同时该界面支持多用户的协同工作。日本的SONY计算机科学实验室也研究出一种手持式显示器，利用这种显示器构建了TransVision协同式工作环境。

（4）普通显示器显示（Monitor-basedDisplay）：增强现实系统也可以采用普通显示器显示。在这种系统中，通过摄像机获得的真实世界的图像与计算机生成的虚拟物体合成之后在显示器输出。在需要时也可以输出为立体图像，这时需要用户戴上立体眼镜。

1.2.3　X3D增强现实技术的应用

基于增强现实技术实现的普适娱乐科技体验项目“广东梦想探险增强虚拟现实”系统借助头盔显示设备和基于光学的三维位姿跟踪方式将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。广东梦想探险增强虚拟现实项目包含珠江畅游、海底漫游和夜空探游3个场景，由小火车带领观众在不同的主题场景中体验亦真亦幻的视觉震撼，体验虚实结合的科技奥秘，同时也可谓是国内第一套基于增强现实技术面向大众的大型体验展项，如图1-31所示。

增强现实在国外已经有许多实际的应用。德国工程技术人员在进行机械安装、维修、调试时，通过头盔显示器可以将原来不能呈现的机器内部结构以及它的相关信息和数据完全呈现出来，可以按照计算机的提示进行工作解决技术难题。增强现实技术使我们的各项工作非常方便、快捷、准确。由上海交通大学、德国帕得博恩大学等共同主办的第二届中德“虚拟现实与增强现实技术及其工业应用”研讨会上展示了爱迪斯通带来的完整的增强现实3D工业仿真产品，如图1-32所示。本次会议以推动虚拟现实及增强现实（VR/AR）技术在中国工业领域的应用，增强中国工业创新能力为主题，旨在为科研人员、企业和供应商搭建技术发展和应用经验的交流平台，展示VR/AR在工业过程应用中最新的发展和成效。届时将有中国工程院院士谭建荣教授、德国帕得博恩HNI研究所JürgenGausemeier教授、上海交通大学的上海AME重点实验室主任马登哲教授等诸多中外特邀专家在会上做精彩的主题报告，与参会人员共同探讨VR/AR在中国工业应用的现状和需求，共享使VR/AR工业应用成为可能的研究成果，从而促成广泛而深入的工业应用。

在全球经济一体化的大趋势下，产品创新是实现制造业自主创新的根本，而VR/AR技术则是设计创新的重要手段，特别是军工、汽车、石化等国家支柱行业对VR/AR有着迫切的需求。力反馈、光学捕捉等前沿技术已经逐步应用到工业设计中，并得到了业界的青睐，增强现实技术可以把虚拟表现与物理世界中的感觉结合起来，助力行业及技术的发展。

爱迪斯通科技针对目前市场提供了一套完整的增强现实3D工业仿真解决方案，该方案建立于一个开放式结构的产品、工艺与资源组合模型之上，以CATIA和Virtools为基础平台，整合Haption力反馈、A．R．T．光学跟踪和D’Fusion增强现实等多元化周边硬件设备，针对客户的生产设计，使客户能够利用数字实例模型完成产品工艺的设计与验证，轻松完成游戏、出版、汽车、工业、医学治疗、军事模拟、航空航天等制造业领域的装配工艺。

增强现实游戏系统开发设计如TheEyeofJudgment，它是由索尼公司开发的结合电视和TradingCard的增强现实型PS3游戏，将TradingCard作为标志图片，识别后显示相应游戏角色，如图1-33所示。

增强现实立体电子图书系统如利用增强现实技术自动跳出的电子书，它是由日本某印刷公司开发的结合增强现实电子书，摄像头读取书上的标志图片后在显示器中显示相应的X3D动画，如图1-34所示。

增强现实技术在汽车领域的应用是“汽车维修”，使用奥迪发布的最新AR增强现实软件APP根本不用查看车主手册，或者使用工具打开汽车发动机盖就能知道奥迪A3的全部信息，如图1-35所示。

这款增强现实软件APP被称为eKurzinfo，它是Metaio公司开发的。eKurzinfo软件能识别奥迪A3的300多种部件，它利用弹窗简明扼要地标明汽车部件的名称、功能和保养方法，让奥迪A3车主能以二维或三维图形模式查看汽车。另外，eKurzinfo软件与Metaio公司的云设备相连接，甚至无须更新软件。只要车主有一台iPhone，就能实时了解汽车的所有情况，从水箱水位到仪表盘的各个按钮的用途，都在他的掌握之中。

还是由Metaio公司开发，大众汽车推出了iPad版增强现实维修软件APP，用户通过iPad可以了解修理XL1汽车的全过程：从拆卸汽车外壳开始，到修理和更换部件，直至将所有的复杂零部件重新装配到一起，如图1-36所示。

大众公司的修理技工在使用这款增强现实维修软件APP修理汽车之前，只要将iPad上的虚拟XL1汽车和实物XL1汽车进行对比，就可以得到一份修理步骤清单，并被告知需要的工具和相关汽车部件的公差尺寸。此外，还能使用iPad软件上的相关三维图形来确认零部件实物。

增强现实眼镜即将应用于战场，运用AR（增强现实）眼镜，美国海军陆战队的通信情报（SIGINT）专家可以在监视网络的同时执行现实任务。海军陆战队队员仅需瞥一眼眼镜上的平视显示器就可以获得关键的数据。通过侦查员的头戴式摄像头，敌方的镜头内容可以传达给其他队员。队员向其他战友发出警报，然后从双显示模式切换到左眼模式，并抬起了枪。 lq8XFk8odoq3ehVtjlHqX8axWBBg5nBadU3e5hDlT34ryvEZy8BlZVQfDWawcY74