下载掌阅APP，畅读海量书库
立即打开
增强现实（Augmented Reality，AR）也被称为扩增现实，1990年由波音公司研究院Thomas Caudell提出。广义地讲，增强现实是扩展现实世界技术的统称。通俗地可以理解为一种实时计算摄影机影像的位置及角度，并加上相应的图像的技术。它将原本现实世界中在特定时间、空间范围内很难体验到的实体信息，通过计算机科学技术，模拟、仿真再叠加后，使真实的环境和虚拟的物体实时地在同一个画面或空间出现，被人类感官所感知，实现超越现实的感官体验，如图1.1所示。
图1.1 增强现实技术体验
增强现实技术结合真实环境和虚拟环境，实现了真实世界信息和虚拟信息相互叠加、相互补充，并通过真实与虚拟之间的互动，在人们的意识中形成虚即是实，实即是虚的效果。这种虚实结合的技术可以为各种信息提供可视化的解释和表现，使用户能够有效地扩展感知世界的维度，是人机交互技术发展的一个重要方向。增强现实技术介于完全虚拟与完全真实之间，是超越虚拟技术的新阶段。
增强现实技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间、空间范围内很难体验到的实体信息（视觉、听觉、味觉、触觉等），通过计算机等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。具体工作时，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间存在。从真实世界出发，经过数字成像，系统通过影像数据和传感器数据一起对三维世界进行感知理解，同时得到对三维交互的理解，三维交互理解的目的是告知系统需要增强的内容。一旦系统知道了要增强的内容和位置，就可以进行虚实结合，这一般是通过渲染模块完成的。最后，合成的视频被传递到用户视觉系统中，由此实现了增强现实的效果。
增强现实技术不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与计算机图形重合在一起，便可以看到如真实的世界围绕着他。
增强现实技术包含多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实技术提供了在一般情况下不同于人类可以感知的信息。
增强现实技术有几个突出的特点：①真实世界和虚拟信息的合成，简称为虚实融合；②具有实时交互性；③在三维尺度空间中定位虚拟物体，也称三维配准。正是因为以上几个特点，增强现实技术可以广泛应用于许多领域，如娱乐、教育和医疗等。接下来将从增强现实的三个突出特点出发对增强现实技术进行详细介绍。
增强现实技术要将真实世界中的信息和虚拟世界中的信息集成后，通过科学技术，将其在一个画面或空间展现出来。真实环境与虚拟环境相结合是增强现实技术最大的特点，它能使现实生活中的真实环境和计算机生成的虚拟图像信息共存，将屏幕上呈现的虚拟物体拓展到真实环境中。增强现实技术利用计算机图形技术生成虚拟信息并借助传感技术将虚拟信息准确“放置”在真实场景中，而虚拟物体出现的时间或位置与真实世界对应的事物保持一致，再通过显示设备将虚拟信息与真实环境融为一体，呈现给用户一个虚实结合的新环境。
虚实融合还要考虑到几何和光照问题，这是虚拟物体与真实世界比较明显的区别。几何问题是指虚拟物体的模型精度应该比较高，显示出的模型效果应该与真实物体接近。同时，虚拟物体与真实物体应该具备一定的遮挡关系。由于当前计算机图形技术的局限性，生成的虚拟物体不可能与真实物体完全一致，只能在一定的分辨率下利用抗锯齿（Antialiasing）和曲面细分（Tessellation）等技术使虚拟物体尽可能逼真。光照问题是指真实世界中的物体具有眩光、透明、折射、反射和阴影等效果，实现完美的虚实融合需要利用计算机图形技术中的光照算法（如全局光照算法和局部光照算法等）生成虚拟的光影效果。
增强现实技术的目的就是使虚拟世界与现实世界实时同步。由于增强现实技术是虚拟场景和真实场景的叠加，用户在体验过程中需要结合虚拟画面进行实时交互，使用户能在现实世界中感受到来自虚拟世界的物体，从而提升用户的体验与感知。
近期热门的基于增强现实技术的地图App就是一个很好的例子，用户可以通过手机屏幕看到现实环境中叠加了各种信息，这些信息可以根据用户的操作和移动改变。其中的交互就是将地图信息放入现实场景中引导用户。
交互是从小而精确的位置扩展到整个环境中，从简单的人机交互发展到用户融入周围的虚实环境中的过程。增强信息不再作为独立的部分存在，而是同当前的用户活动融为一体。用户与增强现实系统的交互通常会使用键盘、鼠标、触摸设备（触摸屏、触摸笔）和麦克风等硬件。随着科技的发展，近年来出现了一些基于手势和体感的交互方式，如数据手套和动作捕捉仪等。
增强现实技术通过利用计算机技术实现虚拟世界与真实世界的实时同步。三维配准的目的是保持虚拟物体在真实世界中的存在性和连续性。随着设备的移动，屏幕中会相应呈现不同的内容，即设备根据用户在三维空间的运动调整计算机产生的增强信息。增强现实技术所生成的增强后的信息与用户实现精确“对准用户移动或转动头部时，视野随之变动，增强现实系统生成的增强信息也随之变化”，这是借助三维配准技术实现的。三维配准技术可以实时为计算机在真实世界中的某个位置添加增强虚拟信息，以确保增强虚拟信息能实时显示在显示器的正确位置上。
为了实现虚拟物体和真实世界的融合，首先要将虚拟物体正确地定位在真实世界中并实时地显示出来，这个定位过程被称为三维注册。增强现实技术的三维环境注册方式可以分为三类：第一类是基于传感器的注册技术，这类技术无须使用复杂的算法获取虚拟信息呈现的位置，而是通过GPS、加速度传感器、电子指南针和电子陀螺仪等各种硬件设备得到位置信息；第二类是基于计算机视觉的注册技术，这类技术使用计算机视觉算法，通过对真实世界中的物体图像或者特别设计的标志物进行图像识别和分析获取位置信息；第三类是综合使用传感器和计算机视觉的注册技术，它结合了前两类的优点，可以达到更可靠、更准确的注册。
摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到屏幕显示器，用户从屏幕上看到最终的增强场景图片，如图1.2所示。这是一套最简单的AR实现方案。由于这套方案对硬件要求很低，因此被实验室中的AR系统研究者大量采用。
图1.2 Monitor-based系统示意图
光学透视头盔显示器利用特殊的半透半反光学系统，像帽子一样佩戴在用户头部，覆盖的范围更大。视觉呈现方面部分为透视状态，将真实的环境光线直接透射给人眼，同时虚拟信息图像通过反射光路进入人眼，这种方式保证了人眼接收到的环境是绝对真实、没有加工过的，分辨率等于人眼自身分辨率，而虚拟信息直接叠加在上面，分辨率为投影器件分辨率，这种方式更加真实自然，如图1.3所示。市面上轰动一时的HoloLens谷歌眼镜利用的就是光学透视头盔显示器原理，可以看到谷歌眼镜的镜面是透明的，跟普通眼镜一样，当用户戴上谷歌眼镜后看到的现实景象会与虚拟图像合成。光学透视式头盔显示器能够显示几乎完整的真实场景，但在虚实融合的精确度上不如视频透视式头盔显示器。其最大的优势在于用户的舒适度较高，视野范范围广不易产生头晕，能直接看到真实环境等。当然，其不完善的地方在于对增强现实的实时响应性要求很高，如果达不到便会产生因更新速度不足或虚拟物体绘制不足而导致的虚拟与真实场景不同步现象，影响用户体验。
图1.3 Optical See-through系统示意图
视频透视头盔显示器带有一个或两个摄像头，大多采用基于视频合成技术的穿透式HMD，和光学透视头盔显示器原理类似，先使用摄像头获取场景的图像，然后根据摄像头位置进行虚拟信息的叠加，此时虚拟信息（图像或文字）直接渲染到原有视频流的上层，覆盖原有的信息。在拍摄现实场景的过程中，视频与图像经过场景合成器的处理，便会直达显示器让用户看到，如图1.4所示。用户对外部环境只能间接感受，因为装置上的摄像头遮挡视线，从而把用户与外部完全分隔开来。相对于光学透视显示装置而言，虽然它成本比较低，但不足的方面同样显而易见，不仅观察的舒适度不如光学透视显示装置，视野范围也比较小。
图1.4 Video See-through系统示意图
增强现实系统从使用方式上可以分为两类：移动型和固定型。移动型增强现实系统给用户提供了可移动性，可以让用户在大多数环境中使用增强现实设备并随意走动。固定型增强现实系统与之相反，系统不能移动，只能在系统构建位置处使用。实用的移动型或者固定型系统让用户只关注增强现实应用，而非设备本身，从而使用户的体验更加自然，使系统更易被社会认可。
增强现实系统从技术手段上可以分为两类：基于计算机视觉的AR（Vision-based AR）和基于地理位置信息的AR（LBS-based AR）。Vision-based AR是利用计算机视觉方法建立现实世界与屏幕之间的映射关系，使我们想要绘制的图形或是3D模型可以如同依附在现实物体上一般展现在屏幕上，如图1.5所示。LBS based AR是通过GPS获取用户的地理位置，然后从某些数据源（如Wiki、Google）等处获取该位置附近物体（如周围的餐馆、银行、学校等）的POI信息，利用移动设备的电子指南针和加速度传感器获取用户手持设备的方向和倾斜角度，再通过这些信息建立目标物体在现实场景中的平面基准（相当于marker），最后将坐标变换显示，如图1.6所示。
图1.5 Vision-based AR
图1.6 LBS-based AR
增强现实的表现形式依照标识图的有无基本上可以分为两类：标记式和无标记式。
1）标记式
标记式的增强现实是目前最常见的一种增强现实表现形式。标记式的增强现实系统必须通过事先读取的标识图信息为系统提供识别标准，并定位相关联的虚拟模型对于标识图的相对位置，之后将虚拟模型叠加在真实画面中呈现在屏幕上。
标记式的优点：①便于实现，利用普通纸张便可以印制标记，成本低，计算量较小，短时间内便可以实现系统搭建。②图像位置配准容易实现，标记式的位置配准实际上以标识的位置信息为基准，进行图像的叠加显示，因此跟踪性好，精度高。③直观明了，标记便于人识别，有标记的地方就在向人们传达一种信息：此处是增强现实区域，可以扫描。
标记式的缺点：①场所受限，受光线及遮挡影响明显，标记式只能用于能够拍摄到标识整体的范围内，如果标记的一部分信息被遮挡或是遭受强光／弱光照射就难以识别。②美观问题，增强现实标记过于显眼，有时会破坏周围环境或产品的美观。
2）无标记式
无标记式的增强现实系统不需要特定的标识图，系统可以通过更多样的方法实现虚拟现实特效。其中一种是基于地理位置服务（LBS）的增强现实系统。LBS通过电信移动运营商的无线电通信网络或外部定位方式（如GPS）获取移动终端用户的位置信息，在地理信息系统平台的支持下为用户提供相应服务。
增强现实的表现形式依照硬件设备摄像机的输入数，又可以分为单目和双目两种。
1）单目
单目即使用一台摄像机的输入图像作为计算机视觉算法的处理与输出，许多与增强现实相关的计算机视觉算法都是依赖单目摄像机完成的，例如所有依赖标识图进行检测识别的增强现实技术。常规的智能手机和平板电脑等移动设备都是单目的增强现实硬件设备，当然，现在有些厂商已经推出了带有双摄像头的智能手机。
2）双目
顾名思义，双目的增强现实系统需要两台摄像机的视频流输入。双目增强现实往往被应用于需要对真实环境进行场景检测或者三维重建的应用中。许多基于单目的计算机视觉算法，都是通过在初始化时将摄像头平移一小段距离，用平移前与平移后的两幅图像进行三角化，估算图中特征的深度信息。相比于单目系统，双目系统可以更直接地对真实环境中所需特征的深度信息进行更精确的计算和优化。
增强现实的表现形式依照展示内容的不同，又可以分为3D模型展示、AR视频展示、AR场景和AR游戏等。
1）3D模型
3D模型的展示形式比较简单，是AR基本的展示形式，应用较广泛，在早教商品以及展示领域有特殊的应用，如魔法百科的AR早教卡、宜家的AR家具App。
2）AR视频
AR视频展示的不再是一个静态模型，而是一段视频。通过AR视频展示，可以将原本枯燥的内容变得生动，相比于简单的3D模型更能博人眼球，一段普通的AR视频应用马上就能将晦涩的内容变得通俗易懂。AR视频展示主要用于内容介绍，如AR报纸。
3）AR场景
AR场景展示是基于现实并且在现实场景中叠加虚拟信息，应用范围比较广，内容都是动态的，实现了更多的展示方式，在AR场景展示中，人们可以与3D模型进行交互。
4）AR游戏
AR游戏相比较于传统游戏，以真实世界为场景，省去了场景的建模过程。AR游戏是目前比较受欢迎的，在真实的世界里玩游戏是一种非常棒的体验。
VR和AR都是目前较新的计算机技术。一般认为，AR技术的出现源于虚拟现实技术（Virtual Reality，VR）的发展，但二者存在明显的差别。虚拟现实（VR）技术给予用户一种在虚拟世界中完全沉浸的效果，场景和人物全是假的、脱离现实的，理想状态下，用户是感知不到真实世界的，是另外创造一个世界；而增强现实（AR）技术将虚拟和现实结合，用户看到的场景和人物一部分是真的，一部分是假的，是把虚拟的信息带入现实世界中，通过听、看、摸、闻虚拟信息增强对现实世界的感知，如图1.7所示。
图1.7 AR和VR区别
因为VR是纯虚拟场景，所以VR装备更多地用于用户与虚拟场景的互动，比较多使用的是：头戴式显示器、位置跟踪器、数据手套（5DT之类的）、动捕系统、数据头盔等。AR是现实场景与虚拟场景的结合，通过摄像头捕捉现实环境中的事物，结合虚拟画面进行展示和互动，所以基本都要用到摄像头。比如谷歌眼镜、微软HoloLens等产品都是增强现实设备，现在的智能手机只要安装AR软件也可以作为AR设备使用。