下载掌阅APP，畅读海量书库
立即打开
VR/AR互动游戏体感交互技术使用户用身体去感受3D动画场景和电子游戏，突破了以往单纯以手柄按键输入的操作方式，是一种通过肢体动作变化进行（操作）的新型3D动画或电子游戏。体感交互动画最初由鼠标、键盘进行交互动画设计，发展为单点、多点触摸交互动画设计，最后发展为体感交互动画设计。
VR/AR互动游戏体感交互技术是由电子游戏输入设备的进步展开的，街机游戏可以说是体感游戏最大的贡献者。电子游戏最开始的输入方式来自于计算机键盘，衍生出的专业电子游戏机以手柄或操作台的形式进行电子游戏。随着科技进步以及增强玩家游戏体验的需要，相关的游戏公司开发出了专业化VR/AR体感交互游戏输入设备以及大型街机游戏项目。例如大家所熟知的FC任天堂红白机，我们玩到的打野鸭、打飞碟这种需要游戏光枪支援的游戏就成为了体感游戏的原始雏形，包括街机游戏中大家所熟知的“VR战警”这种需要玩家手持光枪配合手臂、腰等肢体才能进行的游戏都可以理解为体感游戏的基础。
VR/AR互动游戏体感交互技术通过互联网运营平台进行人机互动，先是玩家在线互动、竞技运动，聚合实体健身的运动项目不需要手柄，直接利用肢体来完成游戏。即视频识别技术依靠相机捕捉三维空间中玩家的运动，在游戏示范中，玩家们用脚踢仅存在于屏幕中的足球，并伸手设法拦阻进球。在驾驶游戏中，玩家转动想象中的方向盘来操控电视游戏中的赛车。目前这项技术由微软Xbox360领先国际，而在国内，由代代星以嵌入式方式提供给海信智能电视的“运动大本营”摄像头小有名气。它通过xeyez三维动作识别器采用光学式双目立体识别、跟踪技术对人体的真实运动进行识别，将用户的运动行为实时反映在电子显示屏幕上，但目前这项技术还没有完全实现。
VR/AR体感游戏平台涵盖国外代表平台（Wii、iPhone、PlayStationMove、Xbox360）和国内代表平台（爱动推出的爱动体感运动机、17Vee）。国内嵌入式代表平台有康佳8000D系列云智能电视平台、康佳网锐电视LED551S95N平台、创维E70智能电视平台、海信XT710系列云智能电视平台、长虹A9000智能电视平台。
（1）任天堂Wii：日本任天堂公司（Nintendo）于2006年11月19日推出的家用游戏主机， Wii属于第七世代家用游戏机，前所未见的控制器使用方法、怀旧主机游戏软件贩卖下载、无关游戏的生活资讯内容、运用网络的功能及各项服务等均为Wii的主要特色。“Wii”听起来像是“we”（我们），发音也相同，强调该主机“老少咸宜”、能让全家大小都乐在其中的概念。该名称中的“ii”不仅象征其设计独特的控制器，也代表人们聚在一起同乐的形象。
（2）索尼PlayStationMove：索尼新一代体感设备，全称为PlayStationMove动态控制器，它和PlayStation3USB摄影机结合，创造全新游戏模式。PSMove不仅会辨识上下左右的动作，还会感应手腕的角度变化，所以无论是运动般的快速活动还是用笔绘画般纤细的动作都能在PSMove中一一重现。动态控制器也能感应空间的深度，令玩者恍如置身在游戏之中，感受逼真的、轻松的游戏体验。
（3）微软Kinect：微软在2010年6月14日对Xbox360体感周边外设正式发布的名字， Natal为开发代号。伴随Kinect名称的正式发布，Kinect还推出了多款配套游戏，包括Lucasarts出品的«星球大战»、MTV推出的跳舞游戏、宠物游戏、运动游戏«KinectSports»、冒险游戏«KinectAdventure»、赛车游戏«Joyride»等。
（4）爱动：爱动是由奥运会、亚运会、大运会的独家器材供应商泰山体育产业集团与中国科学院联合研发，采用先进的计算机识别技术，运营在运动仿真范畴的高科技客厅运动产品。爱动（idong）提供了创新时尚的运动健身新方式，是全国首家运动娱乐在线平台，目前已开发出旋风乒乓球、爱动网球、弥雅瑜伽、滑雪、游泳等40多项运动娱乐项目，让用户足不出户就能享受运动的身临其境，还能与朋友联网竞技，一决高下。
（5）17Vee：17Vee是目前国内唯一拥有百项技术专利的体感公司。2011年初，17Vee率先在“体感平台”的基础上加入了“网络游戏”理念，使得体感游戏被越来越多的玩家和用户喜爱。同时，17Vee已对外公布了旗下自主研发的充满浓郁中国风的武侠体感游戏«七剑群侠传»及«七剑群侠传——降魔录»。
（6）代代星：代代星在全球率先展出嵌入式平台的2D/3D体感游戏技术，是目前全球首款商用的嵌入式平台2D/3D体感游戏解决方案，目前已成熟地用于TV、机顶盒产品。例如市场上已盛行的康佳、创维、海信智能电视新推出的体感游戏新功能、新应用均属于嵌入式平台的体感游戏，代代星针对不同品牌（即不同嵌入式平台）提供不同的体感游戏方案。该公司发布的骑牛、篮球、打地鼠等上千款体感游戏在各品牌电视机上是不一样的，不过，每个电视机平台都拥有不少于200款的体感游戏，并均可在官网自由下载，包括2D和3D的。
（7）AIWI：AIWI是全球首款将iPhone、AndroidPhone和iPodTouch当作游戏手柄来控制计算机游戏的软件。AIWI娱乐平台与iPhone、AndroidPhone和iPodTouch手机产品的连接仅需要从APPStore或Android商店下载免费的AIWILite程序到相应手机上，将计算机与iPhone、AndroidPhone和iPodTouch设备通过蓝牙或无线网络连接起来，就可以开始体验令人兴奋的运动控制游戏了。其一键式操作简单、快捷，游戏内容也会随着最新版本相应增加。AIWI目前的最新版本为宝石版本，其下目前有水上摩托车、可爱弓箭手、高尔夫球游戏、网球游戏等20余款产品。
体感游戏的代表游戏有Wii上的网球游戏，idong上的旋风乒乓球、弥雅瑜伽、爱动网球等40多个体感运动游戏以及iPhone著名的保龄球游戏和PlayStationMove上的Motion Fighter，以及由广州代代星电子科技有限公司为康佳、创维、海信等电视平台提供的骑牛、台球、打地鼠、划艇等200多款体感游戏。
体感游戏未来在以下领域有所发展：云计算游戏；移动游戏，包含云、体感、高带宽；体感游戏，包括任天堂、微软Kinect、索尼等；意念控制技术，如读心术，即读取脑电波技术等。
VR/AR互动游戏体感游戏技术主要涵盖多点触控技术、体态感应识别技术、全息投影技术、AR增强现实技术以及嵌入式技术等，多点触控技术现已比较成熟。体态感应识别技术涵盖引擎开发、2D手势感应、3D手势感应、3D画面与全息电影结合生成4D互动环境、语音识别、语音用户界面等。全息投影技术包含声光电控制技术、多媒体制作技术（三维真彩色）、实物造景与幻象（与光学成像结合）等。AR增强现实技术包括混合现实、传感技术、虚实结合、实时交互、三位注册等。最新出现的体感游戏类型采用嵌入式技术，以嵌入式技术为手段，以智能电视、高清电视、机顶盒为硬件平台搭建嵌入层，并把公司自主产权的体感游戏植入各种机型的电视机平台，为不同电视机平台全方位解决嵌入式体感游戏方案，称之为嵌入式体感游戏。
VR/AR体感互动游戏主要包括嵌入式体感游戏、智能健身器械、摄像头体感游戏等。嵌入式体感游戏通过嵌入式技术植入电视机、手机等终端显示来完成体感游戏的终端技术对接，也称为“电视体感游戏”。智能健身器械是以健身器械为载体的体感互动方式，由多类别的健身器材组成的多样化游戏互动内容。以动感单车为例，其方式是采集动感单车中的速度频率和阻力系数用无线信号发射，由计算机端的接收装置来收取信号，并转换为电子信号及软件进行判断和运算，从而实现互动竞技的功能。摄像头体感游戏不需要手柄控制，通过摄像头完成游戏的体感控制。在这种专用设备的体感游戏中，通过高科技的摄像头来实现体感控制。有的则对硬件要求较低，只需要普通的摄像头即可完成体感识别。海信已率先推出“运动大本营专用摄像头”，以影像辨别为核心技术，结合了传统的2D平面影像摄影与崭新的3D深度影像摄影，通过精确掌握玩家身形轮廓与肢体位置来判断玩家的姿势动作，并将这些动作对应到游戏中的角色或操作，与游戏或电影制作时经常采用的“动作捕捉”性质类似，不过不需要在身上配戴专属的感应标记，只要轻松地走进感应范围内即可游戏。
VR/AR体感互动游戏产品分为大型、中型和小型体感互动游戏产品。体感互动游戏大型产品涵盖舞台全息互动投影系统、潘多拉魔盒、沉浸式互动投影系统。
（1）舞台全息互动投影系统：全息技术在舞台美术中得以应用、实时手部动作、语音命令不需3D眼镜。
（2）潘多拉魔盒：3D投影秀、户外3D投影广告、裸眼3D投影、建筑体投影、高分辨率高亮度投影、边缘融合、畸变校正、裸眼3D动画制作、多机并行处理、融合实时交互的语音同步解决方案（识别观众掌声与欢呼声）等。
（3）沉浸式互动投影系统：多台投影机、边缘融合技术以及超大无缝逼真画面等。
VR/AR体感互动游戏中型产品包括魔法手套AR系统和地面互动投影系统。
（1）魔法手套AR系统：高端服务器、动作捕捉摄像头、数据手套、3D内容设计、多媒体交互感应和动作声音捕捉技术。
（2）地面互动投影系统：虚拟仿真技术、图像识别技术、水波纹、翻转、碰撞、擦除、避让、跟随。
VR/AR体感互动游戏小型产品包含多点触摸无线同步桌面系统和多点触摸无线传感，结合英特尔网络、移动通信设备，真实空间，不需要E-Mail和手机同步功能，只需直观手势，可多用户使用。
VR/AR体感互动技术从鼠标到键盘再到触摸屏，科技的进步带给人类越来越美妙的人机交互体验。但是创新无止境，更智能、更自然的人机交互方式是人类永恒的追求，于是体感技术诞生了。放眼未来，人机交互肯定是往体感、语言方向去发展，无疑体感技术将会成人机交互的下一个趋势。
VR/AR体感技术让人们无须借助任何控制设备，可以直接使用肢体动作与数字设备和环境互动，随心所欲地操控。体感技术的核心价值在于它让计算机有了更精准、有效的“眼睛”去观察这个世界，并根据人的动作来完成各种指令。
图1-47 VR/AR“体感交互软件”的
VR/AR“体感交互软件”能自动用体感设备模拟Windows操作系统的鼠标和键盘操作事件，兼容所有应用软件，能将投影机、拼接屏、广告机、智能电视机等数字设备升级为体感操作设备，日常的浏览图片，开会PPT演示，Flash游戏，动画、多媒体，桌面应用都可以轻松变成体感控制。该软件最大的价值在于它提供了强大的自定义功能，所有开发者以及软件开发公司、整体解决方案提供商或者中间商可以根据自己的项目需求自行开发应用，而不需要专门成立体感技术团队进行研发，实现低成本、高效率的体感应用开发。VR/AR“体感交互软件”如图1-47所示。
VR/AR体感交互技术正在从游戏走向大众智能终端，任天堂公司在2006年推出的首个体感控制器WiiRemote开启了体感时代的到来。之后索尼公司推出了体感游戏产品PlayStationMove，微软公司推出了体感产品Kinect，体感控制技术已经广泛应用于游戏当中。目前，体感技术正在从游戏走向大众应用领域，如计算机、平板，并开始往零售、医疗保健、教育等行业渗透。
VR/AR体感技术是人机交互的发展趋势，从人机交互的发展历程来看，先后经历了鼠标、触摸屏两次大的人机交互的变革。人机交互的发展趋势首先体现在从被动接受信息到主动处理用户的信息，甚至捕捉用户的意图、用户的想法；其次从简单地满足人们的输入需求变为强调用户体验。最终人机交互的理想状态就是像人与人之间交流一样顺畅，而人与人之间的交流主要由体态、动作、表情和语言等完成，因此人机交互肯定是往体感、语言方向去发展。
VR/AR互动游戏体感技术的核心在于MEMS传感器与软件算法，依照体感互动方式与原理的不同，主要分为惯性感测、光学感测以及惯性及光学联合感应和测试。惯性感测涉及的主要硬件为各类惯性传感器，如重力传感器、陀螺仪以及磁传感器等；光学感测涉及的主要硬件为红外探测器和摄像头。VR/AR体感产品的硬件相对简单，其核心技术在于MEMS传感器及各公司自己的独特算法，如图1-48所示。
自电子游戏设备诞生起，游戏设备就不断朝着给人以真实化的操作和体验方向发展。由于早期电子技术和传感器技术的限制，电子游戏设备主要靠双手进行控制，操作起来往往比较烦琐，尤其是一些复杂的操作需要较快的手速和反应速度。在大多数情况下并不能做到脑和手的统一，大大降低了游戏的可操作性。近年来随着科技的发展，依靠对人体动作进行检测作为输入方式的体感游戏设备陆续出现，带给人身临其境的体验感。
VR/AR体感游戏传感器依托了PNI公司研究与设计传感器融合技术的专家20多年的经验与PNI专利的卡尔曼滤波算法等。VR/AR体感游戏传感器SENtral芯片同时处理9轴运动传感器数据，包含三轴加速度传感器、三轴磁传感器以及三轴陀螺仪。SENtral芯片在体感游戏设备中的应用如图1-49所示。
图1-48 VR/AR体感核心MEMS传
图1-49 VR/AR体感游戏传感器的
VR/AR体感游戏设备主要是通过其动作上的姿态检测用的传感器对在游戏过程中人员的动作进行检测，并将真实动作转换为虚拟的动作。在进行游戏时不再是依靠双手进行操控，人体自身就是控制器，游戏中需要完成什么样的动作自身即可完成，使得游戏更加生动、真实和鲜活。VR/AR体感游戏设备通常利用三轴加速度传感器、三轴磁传感器以及三轴陀螺仪分别对游戏过程中人体动作的速度、旋转角度、移动方位进行检测，测量得到的数据经过9轴算法芯片融合做出运动分析和判断，最后通过游戏的数据模拟系统予以显示。其中最主要的是利用9轴算法芯片对测量数据的整理和计算，只有得到了准确的融合数据，当进行运动模拟和还原时才能保证不失真。
VR/AR体感游戏设备的PNISENtral芯片采用小尺寸、低功耗设计，使得其非常易于集成和应用于对功耗要求较低的需求中。SENtral综合利用了PNI公司20多年来在算法融合数据领域的技术和优势，使得测量的数据相对更加精确，同时SENtral9轴算法芯片能很好地和市面上的大多数传感器兼容，便于用户进行合适的选择。
图1-50 VR/AR惯性传感器在手机和
VR/AR惯性传感器在手机和平板电脑里有所应用，如图1-50所示。现在智能手机在生活中得到广泛应用，其功能也越来越多。此外，吸引消费者的另一原因是它带有很多的传感器，可以感应很多外部信息，如现在很多产品都带有磁传感器、陀螺仪、加速传感器、接近传感器、气压传感器等。
磁传感器、加速度传感器和陀螺仪通常称为惯性传感器，常用于各种设备或终端中实现姿态检测、运动检测等。加速度传感器利用重力加速度，可以用于检测设备的倾斜角度，但是它会受到运动加速度的影响，使倾角测量不够准确，所以通常需要利用陀螺仪和磁传感器补偿。同时用磁传感器测量方位角时也是利用地磁场，当系统中的电流变化或周围有导磁材料以及设备倾斜时，测量出的方位角也不准确，这时需要用加速度传感器（倾角传感器）和陀螺仪进行补偿，而陀螺仪只有在运动时才输出角速率，静态时输出为0，它也很难单独地确定设备的姿态，所以在实际应用中通常应用三轴磁传感器、三轴加速度传感器和三轴陀螺仪确定设备的姿态以及实现运动检测。
PNI公司的新款数据融合处理芯片SENtral是惯性导航传感器数据融合的数据处理中心，是首款超低功耗、同时处理9轴惯性传感器的集成电路。该芯片同时处理9轴惯性传感器数据，包括三轴加速度传感器、三轴磁传感器以及三轴陀螺仪，依托PNI公司研究与设计传感器数据融合技术的专家20多年的经验与PNI专利的卡尔曼滤波算法等技术，芯片快速输出准确可靠的方向（航向）、俯仰角、横滚角和角速度等实时运动数据。
MEMS传感器即微机电系统（MicroelectroMechanicalSystems），是在微电子技术基础上发展起来的多学科交叉的前沿研究领域。经过40多年的发展，它已成为世界瞩目的重大科技领域之一。它涉及电子、机械、材料、物理学、化学、生物学、医学等多种学科与技术，具有广阔的应用前景。截止到2010年，全世界大约有600余家单位从事MEMS的研制和生产工作，已研制出包括微型压力传感器、加速度传感器、微喷墨打印头、数字微镜显示器在内的几百种产品，其中MEMS传感器占相当大的比例。MEMS传感器是采用微电子和微机械加工技术制造出来的新型传感器。与传统的传感器相比，它具有体积小、重量轻、成本低、功耗低、可靠性高、适于批量化生产、易于集成和实现智能化的特点。同时，微米量级的特征尺寸使得它可以实现某些传统机械传感器不能实现的功能。
MEMS传感器又可以细分，如加速度计，按检测质量的运动方式划分有角振动式和线振动式加速度计等。常见的MEMS传感器有压力传感器、加速度传感器、微机械陀螺仪、惯性传感器、MEMS硅麦克风等；MEMS传感器的品种多到以万为单位，且不同MEMS之间的参量较多，没有完全标准的工艺。这种行业特性让MEMS传感器制造企业的前期研发投入过大，单品种的销量很难提高。以惯性传感器为例，其市场盈亏平衡规模为月产1000万只，即企业至少每月生产1000万只惯性传感器才能保持不亏本状态，根据调查，国内绝大多数企业远低于这一规模。国内最大的纯MEMS传感器公司——美新至今是亏损的。只有企业做得越大它的赢利能力才越强。
在智能手机上，MEMS传感器提供声音性能、场景切换、手势识别、方向定位以及温度/压力/湿度传感器等广泛的应用。在可穿戴技术应用中，MEMS传感器可实现运动追踪、心跳速率测量等。在汽车领域，MEMS传感器借助气囊碰撞传感器、胎压监测系统（TPMS）和车辆稳定性控制增强车辆的性能。在医疗领域，通过MEMS传感器成功研制出微型胰岛素注射泵，并使心脏搭桥移植和人工细胞组织成为现实中可实际使用的治疗方式等。MEMS传感器应用物联网，消费电子包含平板电脑、手机、可穿戴智能设备，并涉及汽车工业、航空航天和医疗等领域，如图1-51所示。
图1-51 MEMS传感器在各个领域的应用
在游戏控制中，MEMS传感器加速度计可控制系统光标的输入或者游戏机的输入，左右倾斜或前后翻倒移动智能手机可以左右或上下移动屏幕上的光标。这种功能是大家熟知的并且已被集成到几个独立的游戏机中，如任天堂公司的滚滚卡比游戏和游戏控制器、微软公司的FreestylePro控制器。跳跃动作还引入了第3个轴（Z轴）。与大多数移动智能手机中采用的标准8位置控制不同，加速度计能提供可变的模拟控制。用户的手机倾斜得越厉害，光标移动的速度越快。由于它采用倾斜作为一种模拟信号输入并且与智能手机键盘输入方式相结合，所以可以用一只手完成复杂的输入组合，如图1-52所示。
由于智能手机的初始位置可能位于任何方向，如用户可能处于平躺状态，游戏通常通过某一按键将光标位置设置在屏幕中间。从初始位置开始，智能手机可用X轴或Z轴（假定X轴沿电话的长度方向，Z轴沿电话的厚度方向）控制选择上下方向。因为每次启动游戏或光标控制时其初始位置都被复位，所以无须精确的0g性能。本应用中加速度计的关键指标是至少－1.2～＋1.2g的测量范围，要求低噪声性能（＜500μg/√Hz），以便防止移动电话放在稳定的桌面上时出现光标抖动。0～50Hz带宽比较合适，较窄的带宽会使游戏迟缓。
图1-52 MEMS传感器在游戏控制中的应用
传感器技术直接影响到体感互动游戏的发展，产业之间既相互联系、相互影响又相互牵制。VR/AR互动游戏体感技术的兴起有望使三类公司受益明显，一类是传感器公司，如重力传感器、陀螺仪、磁传感器，例如士兰微、歌尔声学、苏州固锝等；第二类是做CMOS传感器和摄像头等光学设备的公司，如华天科技、水晶光电等；第三类是做体感解决方案及应用的公司，如中瑞思创。VR/AR体感技术作为新兴的技术尚不成熟，普及仍需时间，此外还会面临许多新技术的竞争风险。但是，在传感器技术的推动与支持下，这种更加自然、直观、身临其境的人机交互方式一定会越来越受到人们的欢迎。