自然用户界面(Natural User Interface,NUI)是指一类无形的用户界面。“自然”一词是相对图形用户界面(GUI)而言的,GUI要求用户必须学习软件开发者预先设置好的操作,而NUI则只需要人们以最自然的交流方式(如语言和文字)与机器互动。直观地说,就是用NUI的计算机不需要键盘或鼠标。
——维基百科
随着计算机技术和传感器技术的日益更新,新的人机交互技术不断推出,而这些技术正是虚拟世界和现实世界之间的桥梁。
下面是现今一些人机交互技术的简介。
1.第六感设备
这套第六感设备由MIT(麻省理工)Media Lab的Pranan Mistry在TED大会上展示,创意地将迷你放映机、手机、摄像头、多点触摸等技术组合在一起,表现出来的便是通过胸口悬挂的摄像机识别不同的手势动作,完成不同功能操作,如图1-3所示。
图1-3 第六感设备功能
2.追影技术
Google的Gmail Motion,如图1-4所示。Gmail登录时启用内置摄像头,通过空间跟踪算法识别侦测到的动作,用来进行浏览、回复、转发等操作。
图1-4 Gmail Motion操作
3.虚拟现实
Google的《街景计划》就是虚拟现实的一大应用,类似的还有模拟飞行游戏、飞行舱模拟器等。Google地图中的虚拟街景如图1-5所示。
图1-5 Google地图中的虚拟街景
4.多点触摸
目前多点触摸已经被广泛应用于触摸屏中,比如iPhone、iPad以及Microsoft Surface,Surface还可以提供多点触摸(Multi-touch)功能,如图1-6所示。
图1-6 触摸屏中的多点触摸技术
5.语音识别
从IBM的ViaVoice到Apple的Siri,语音设别功能也逐渐大众化。相应的还有Microsoft的Bing Audio和Tellme。苹果手机中的Siri语音识别技术如图1-7所示。
图1-7 苹果手机中的Siri语音识别技术
6.眼球追踪
眼球追踪技术的应用也十分广泛,高端相机通过眼球来控制相机焦点,阅读电子书籍时到末尾自动翻页,帮助残障人士操作计算机等。这方面最著名的要属霍金的座椅了。目前瑞典Tobii眼球追踪技术公司的眼动仪是眼球追踪技术上的成熟产品,如图1-8所示。
图1-8 Tobii公司出品的眼动仪
7.体感操作
美国Intuitive Surgical公司研制的达芬奇机器人手术系统,由装有四支超高自由度的机械手臂的手术台和一台高精度的3D高清视觉系统构成。达芬奇机器人手术系统如图1-9所示,这里机器人成为人身体的自然延伸部分。
图1-9 达芬奇机器人手术系统
8.脑机交互
在《阿凡达》中,下身瘫痪的杰克萨利就是头脑上带着设备,通过意念操控人造混血阿凡达。脑机交互技术目前仍是前沿技术,NeuroVigil公司研制的iBrain,能够捕捉人类“脑电波”的变化,将其转为相应的计算机指令。而著名的物理学家霍金的座椅的升级版就使用了iBrain,如图1-10所示。
图1-10 霍金使用iBrain系统进行交流