下载掌阅APP，畅读海量书库
立即打开
项目负责人：张树鹏
项目成员：曹瑞 戴也 陈筱琳
指导教师：侯文军
摘要： 本项目旨在将复杂难懂的火箭结构、火箭飞天等知识运用增强现实（AR）技术进行创意表达。通过用户画像的方法，建立用户角色、串联故事情节，将知识内容融入故事中，满足读者连续的阅读需求；运用设计创新的方式，使用AR虚实交互技术实现不同科普知识的创意表达和呈现，让读者的体验更加沉浸，记忆效果更加深刻。项目最终实现基于《飞天的梦》科普图书的AR展示系统，实现火箭历史、火箭结构、宇宙速度、太阳系等核心知识点的AR功能表达，并集成发布一套完整的产品系统。
航天科技成就，火箭发射、载人航天、月球探测等航天知识的普及不仅是科学知识的普及，也是科学精神和国家荣誉感的传递。在中国的科技馆中，有专门科普中国航天相关知识的展区，但大多为宏观内容的呈现，其规模庞大、综合性强，参观者可以远观但难以进行深入体验和细节学习，因此火箭、航天类的科普图书是合理的也是必要的。
本项目是基于科普图书《飞天的梦》的AR展示系统，以我国的航天技术成就为知识点展开的科普创新工作，旨在运用AR技术与交互手段来优化故事的阅读体验，以一种更为生动有趣、更加丰富立体的形式为少儿普及火箭、空间站相关的航天科学知识，提升少儿的学习兴趣，增强少儿的国家荣誉感。
项目内容为设计研发基于科普图书《飞天的梦》的AR展示系统，研究过程主要包括以下几个方面。
针对火箭航天知识，进行大量文献查阅、实地调研，归纳整理相关知识点，包括但不限于火箭结构知识、重力加速度、超重失重、空间站、火箭发射、载人火箭、火箭返回舱、太阳系行星知识、火箭发展史等相关重点，以严谨的科学态度和准确的语言文字对上述相关知识点进行汇总，为后续图书故事创作奠定基础。
如何将晦涩难懂的科普知识表达清楚，且更容易理解是项目重点思考的内容。目前，市场上存在许多这样的科普图书、科普视频，但科普效果不理想。因此在项目研究的过程中，我们提出基于用户画像的研究方法，将复杂的科普过程穿插在故事中，以故事情节进行转述，设计故事情节以及人物角色，将知识点转化成困难阻碍和解决方法，在故事情节的发展中阐述清楚，增强可读性和趣味性。
本项目以酷炫的数字原生代阅读形式、AR交互技术将单一文字和图像的科普知识表达转化为三维呈现、可交互的动画内容，优化读者的沉浸式阅读体验。例如将火箭结构、火箭发射知识设计成游戏过程，让孩子们自己参与体验火箭的安装、升空过程，重复演练如何脱离万有引力、体验宇宙速度的发现。这一阅读过程便是科学精神的植入与传递，与只能单一地讲解万有引力定律的图书相比有天壤之别。太阳系知识点AR展示如图1所示。
图1 太阳系知识点AR展示
将AR技术与科普图书绘本结合难点在于使用情境和虚实融合的处理。本项目在研究过程中更关注科普知识点的多媒体呈现方式，在实现阅读功能的同时满足读者与虚拟物理的互动，使用户在交互中体验、在体验中交互，真正实现虚拟和现实的融合，提高阅读过程的沉浸感。
项目主要内容包括以下几个方面，从图书内容、分镜绘画到完整的图书创作以及配套图书使用的移动端AR APP交互系统，分述如下。
主要故事框架及知识点如下。
嫦娥奔月——被封印的梦想。故事背景是外太空灵魂人害怕人类继续探索宇宙会对宇宙造成伤害，于是提取了人类关于航天的记忆。从此在地球居住的人类忘记了探索，开始任由地球自生自灭。
飞天梦想——克服万有引力。机缘巧合之下，故事主人公解封了记忆，开始怀揣梦想探索太空，要克服重重困难，需要恢复先进技术、创造飞行工具等。
宇宙速度——人类探索实践。在查阅资料中，人类针对困难问题逐个击破，借助速度来抵抗重力，依靠速度送飞船上天。
长征火箭——超级太空车。长征火箭承载了无数中国人的飞天梦，在一代代火箭人的努力下，火箭飞得越来越高，探索的历程也越来越远。
本书是科普绘本图书，需要将文本故事转化成图文信息呈现给读者，因此需要将科普故事精心设计成分镜故事，用插图绘画的手法表达故事情节的发展。
主要包括以下几个方面。①完成交互式科普童话绘本的编写、脚本编写、动线研究，设计主要故事场景；②技术查询和考证工作，完成绘本的角色、场景的设计、创建工作；③抽取火箭飞天的核心知识点，进行汇总整理。同时完成科普图书《飞天的梦》的设计制作；④基于科普童话故事《飞天的梦》的情节和知识点变化，设计基于AR技术的交互动画结构方案。
按照MVC的设计模式，Model层主要对数据库信息做提取、保存处理，在AR系统中主要表现为target目标的提取和处理。View层主要分两个部分：扫描图书标记区域；采集图片的特征点，匹配成功后显示三维模型、动画等内容。Control层主要负责图像识别匹配、内容处理、虚拟信息渲染等业务处理，以火箭科普知识为主，展示以下核心知识点。
①人类飞天的历史故事，包括从最初的对火的认知，到各种飞行器的发明，再到现在火箭的出现、宇宙飞船的发明，等等；②火箭结构介绍，包括整流罩、发动机、燃料箱等火箭结构；③火箭发射、卫星降落过程，从火箭装配到火箭发射，再到火箭各部件分离卫星展开，到最后的降落伞回落等过程知识；④太阳系行星知识介绍，火箭飞离地球后进入太空，对太阳系其他星球的知识介绍包括生动的三维模型以及专业的科普知识；⑤宇宙速度知识点，介绍第一、第二、第三宇宙速度的意义，以更直观的方式、更生动的表达呈现；⑥太空舱等设备结构介绍，介绍宇航员进入空间站后在太空舱的生活，空间站的结构、内容等；⑦根据上述知识点构建科普图书《飞天的梦》AR展示系统，实现动态的、可视的、三维的动画以及游戏，以更加直观生动的形式展示火箭相关知识内容。
故事主要分为七个章节，糅合了前文中提到的核心知识点，以故事情节串联知识点讲解，打造沉浸感的阅读体验。故事梗概如下：外太空的更高智慧的生命体G（重力的寓意）观察到人类不好的一面，因为不希望地球人开拓宇宙、占领资源，威胁宇宙的安全，所以决定消除人类航天的记忆，并将其封印在几个航天博物馆中，其记忆碎片可以分为燃料、火箭、航天飞机等几个部分；故事以小飞、小龙、小蝶三个人为主角展开剧情，小飞和小龙在参观航天废墟城时，奇异的想法激活了龙爷爷封存的航天记忆；然后龙爷爷带领三个孩子去探索宇宙，恢复人类的航天技术，进一步探索宇宙。
根据故事梗概，进行图书插图设计，完成总计40页的图书制作，部分页面如图2所示。
图2 绘本图书插图示意
AR展示系统包括三个部分：界面、交互、展示。该展示系统完成既定的考核指标，并以完整的APP产品形式呈现，共包括8个演示功能，操作简单，体验方便，主要功能如下。
人类飞天发展历史。扫描识别后，叠加虚拟的背景，用户读者可通过提示信息点击查看，该功能共完成了8组动画，分别包括竹蜻蜓、风筝、飞艇、滑翔机、火箭等的发射动画效果；
AR动态渲染技术实现螺旋桨飞机、空间站以及太空舱的DIY过程。通过将书本图案的涂色实时映射在AR扩增显示的模型上，增强了互动性和趣味性。这是一种典型的虚实交互方式，能够让用户在观看的同时参与到过程中，可增强用户对细节知识的记忆和理解能力。
解释第一、第二、第三宇宙速度。第一宇宙速度是火箭克服地心引力，达到绕地球飞行的最低速度——7.8km/s。第二宇宙速度是飞船逃离地球的最低速度——11.2km/s，第三宇宙速度是飞船飞出太阳系的最低速度——16.7km/s。通过设计“拉弓蓄力”的游戏方式来模拟火箭发射过程中需要达到的最低速度，实现AR火箭发射，让用户在游戏中学习细节知识点。
空间感知火箭拼装。采用IMU技术实现扫描寻找散落在空间范围内的火箭部件结构，找到之后可以固定在屏幕端，点击对应部件可以查看详细说明完成整个火箭的拼装，点击发射，可以查看火箭发射过程。
火箭发射、返回舱降落过程，通过AR视频的方式展示。扫描书中对应的页面，在合适位置叠加视频播放，内容是对图文信息的动态化视频展示，包括火箭部件的拼装、点火发射、部件顺序脱落、行星展开等内容，由建模完成然后渲染成视频，以AR的方式呈现出来。此方案是将视频叠加在书本上，并不会完全遮挡书本原有内容，相当于对图文内容的增强，可以优化阅读体验和增强记忆效果。
太阳系行星知识点介绍。通过模型动画+多点触控交互形式，让太阳系行星的空间运动呈现在眼前，近距离观看行星运动、旋转等规律。同时，通过点触交互实现行星知识点的介绍，将更加详细的知识点信息通过卡片的形式呈现在屏幕端，响应用户操作后出现。
火箭发射视频展示。为了帮助用户更好地理解火箭发射的过程，对火箭结构拼装、发射、部件脱落等过程进行了建模渲染，然后以视频的形式展示在对应的图书页面中。此外，返回舱降落采用同样的技术方案进行展示。
以上为《飞天的梦》移动端AR展示系统的全部功能。除此之外，以完整APP产品的形式进行封装，设计了包括icon、开机动画、跳转动画、主界面等内容，串联所有功能，发布成一个完成的产品使用。
对于AR科普图书来说，目前市面上的产品大多停留在知识讲解阶段，只是把书本上静态的图文用三维、视频等多媒体形式表达出来，与传统的视频讲解差别不大，并不能使读者更快地了解知识。这也是AR技术当前的瓶颈，即大多停留在增强显示的阶段，没有体现AR实时交互的特点。本项目在此基础上，更关注AR展示系统的交互操作、使用过程等。在研究方法上通过设计创新的形式，创新科普知识点的多媒体呈现方式，在实现阅读功能的同时满足读者与虚拟物理的互动，实现用户在交互中体验、在体验中交互，真正实现虚拟和现实的融合，增强阅读过程的沉浸感。
科普图书《飞天的梦》与目前图书市场上常见的科普图书是不同的。该图书采用AR技术，将信息技术纳入绘本图书画面中，与故事情节和画面同步交互，主要有以下两个创新点。
AR技术将绘本图书扩展到虚拟的3D音乐、模型动画中，用户不仅可以看到科普绘本图文解说，还能通过移动终端设备看到 3D 动画展现的火箭发射、卫星航天等场景。
AR展示系统中使用的虚实交互技术，能够从精确的位置扩展到整个环境，将用户真正带入对图书内容增强显示的虚拟环境中，让用户在外部环境中的操作控制与虚拟叠加的内容实时响应互动，增强学习认知的沉浸感。
本项目是对AR技术在科普知识传播、表达的一种探索，将原来神秘的火箭、航天等知识通过简单的手机、PAD等设备搬到用户眼前，同时创新性地提出一些高级的互动玩法，让用户能够在娱乐新奇中探索知识的奥妙，记忆更加深刻。
将AR技术应用在科普教育领域，可以提升科普教育技术应用和科普场馆创新能力建设水平。技术创新推动着学习模式的转变，随着计算机视觉、人工智能等技术的发展，科普教育的发展面临新的机遇和挑战。
随着移动互联网技术和计算机视觉图像识别技术的快速发展，AR技术实现了从军用、商用向民用化的快速发展。在谷歌、苹果、英特尔、高通等IT巨头的大力推动下，AR技术在国际上已经广泛应用于互动广告、展览展示、可穿戴式设备、数字出版、科普教育等领域。AR技术越来越普及，应用在科普教育中结合严谨的科普知识内容，可以开发出更多“既方便获取新知识，又能亲身体验”的科普教育产品，将对我国的科普事业起到重要作用。AR技术的虚实融合、实时交互、突破限制等特点可以满足人们随时随地、随心所欲的学习需求，推动学习模式的转变。
田勇：《通天神箭：火箭》，吉林人民出版社，2014。
刘学富：《基础天文学》，高等教育出版社，2004。
朱淼良、姚远、蒋云良：《增强现实综述》，《中国图象图形学报》2004年第7期。
任中方、张华、闫明松等：《MVC模式研究的综述》，《计算机应用研究》2004年第10期。
张树鹏、侯文军、王希萌：《基于增强现实虚实交互的科普知识学习方法设计研究》，《包装工程》2017年第20期。
Caron，F.，Duflos，E.，Pomorski，D.，et al.，GPS/IMU Data Fusion Using Multisensor Kalman Filtering：Introduction of Contextual Aspects，” Information Fusion ，2006，7（2）：221-230.