第五节
多模态移动教学系统

在移动设备上，学习者的学习可通过多种互动模式来实现，如仅借助语言实施的互动，即学习者倾向于借助言语或语言模式来发出需求信息，然后接收语言信息反馈，以达到学习目的的互动；仅借助手写笔或键盘的互动，即学习者倾向于应用书写笔或键盘来进入所需学习内容或输入文字信息以发出需求；或多种模式的互动同时应用，即应用多模态互动实现学习目的。

提出多模态互动这一概念的重要意义在于，这一概念本身表明技术具有一种能够提供很强自适应人机互动环境的能力，这种互动环境是根据不同模式的数据输入和输出来构建的，而数据输入和输出模式的多样化又可以支持学习者根据自己的社会需求和心理需求变换不同的人机互动模式。事实上，移动设备可以实现多模态互动学习，只要满足两个条件即可：①将各种不同技术融入到移动设备中；②这些技术能够支持用户根据自己的交际需求，变换使用语音、书写笔或键盘。借助多模态互动，学习者可以找到一种更可获取的、可用性更强的学习环境，因为这一理念将学习者的认知能力或学习局限性都考虑在内，使学习环境具有更强的自适应性。

多模态界面能够减少用户所犯错误，因为他们可以多种方法对数据进行输入和确认，也正因为如此，与这一理念相关的手段都被称为“跨模式补偿”（cross-mode compensation）。这种“跨模式补偿”系统的应用实践表明，使用多种模式联合输入信息，可以提高学习者在任务中的认知和表现。如果多模态整合能够合理分配每一种输入模式所输入的内容，早期认知可能有助于将研究引向正确的结果。在某些情况下，如果单独借助语言或书写笔（或键盘）实施输入出现问题，则多模态整合就有助于避免错误，即所谓的相互补偿。

Rudnicky＆Hauptmann（1990）曾经实施过几项对比语音输入错误纠正和传统按键错误纠正的研究，旨在探讨多模态互动的设计原理。研究任务主要涉及数字的输入、对输入的数字进行纠正以及对提供的数字进行确认。其中采用了三种数据输入互动模式：借助语音的互动、借助按键的互动和多模态互动（整合了语音和按键的输入）。研究结果表明，语音模式互动的速度最快，同时也是输入具体数字或具体值的过程中出错误最少的互动。

Magal-Royo等（2011）也曾经尝试创造一种多模态互动环境，这一环境的创造是基于一项英语考试的传统设计而实施的。这种英语考试是专为西班牙学生升大学时检测其英语语言知识的考试，要求学生以传统形式的笔和纸作答，考试题型包括阅读理解、语法等。Magal-Royo等人的尝试是借助可用于看视频和听语音文档的多媒体技术，将纸质上的内容转移到数字环境中，这一过程包含以下几项操作：

◇使纸质上的内容适应数字媒体环境，这一操作必须对所实施的任务类型进行分析；

◇使之前存在“断裂”的互动性测试内容适应能够按先后顺序浏览的结构，这一操作必须遵循事先设定的路径；

◇使已经数字化的内容适应移动设备的特性（主要是移动设备的小屏幕、小字号特性）；

◇对编程语言进行自适应改进，使按键和语音这两种备选输入模式具备多模态程序。

Magal-Royo等人的研究以HTC Desire和三星i900银河S两款手机为实验平台，两款手机都以安卓2. 1为操作系统。在他们的研究设计中，数据的管理和存储使用的编程语言是Java，因为Java编程基于以下三个主要原理：第一是使用了以目标为导向的编程；第二是具有在几个不同平台或操作系统上运作程序的能力；第三是具有与安卓操作系统互换的通用性，而安卓系统则是手机上最常见的操作系统。该系统的显示屏视觉设计采用了万维网联合会（World Wide Web Consortium，W3C）针对技术和形式的访问权限所设置的标准。这一标准专门针对在线数字环境而设，包括了所有为移动设备或小型显示屏设置的技术和形式上的标准。这些技术标准的设定有助于改善、解释所需信息的终端流量，同时也限制了显示屏的数量和进入考试各环节的访问权限。

多模态互动环境的应用将大大延伸和提高基于手机的网络访问权限和可用性，这意味着基于新一代移动设备的新型学习模式将成为可能。因此，未来针对多模态互动的研究将集中关注终端用户——语言学习者使用这种互动模式的效果评价。与此同时，另一研究重心将是在课堂上应用这种多模态互动的技术可行性，以及语言教师如何在网络环境和数字环境下用移动设备创造具有多模态互动特性的测试和学习任务，以帮助学生获得基于移动设备的随时随地自主学习能力。 U55RxPy1vgO3/OxrL57w0B8ic35bFif+qt2jvw9Dh5LcxWg9I15xrP9Tp413dD9f