下载掌阅APP，畅读海量书库
立即打开
最初的多模态话语分析将交流中的不同模式分开来研究，如运用语言学理论模式将视觉交际描述成一种“图像语言”，将音乐交际描述为一种“音乐语言”等（van Leeuwen & Kress，2011：108）。后来Roland Barthes（1977）注意到了多模态交际中潜在的一般性原则，试图设计出一个能应用于所有符号模式的分析框架，并归纳了多模态语篇中的图文关系：锚定（anchorage）、说明（illustration）、接递（relay）。但在他的著作中，“语言信息”和“视觉信息”仍然是分离的，在它们彼此相关联之前，它们只能被孤立地理解（ibid．）。因此，张德禄等（2015：1）认为，虽然Barthes在20世纪70年代就开始研究图像的修辞，但多模态话语分析理论在20世纪90年代才蓬勃发展起来，其标志性成果是Kress和van Leeuven（1996）所著的《阅读图像——视觉设计语法》（ Reading Images ： the Grammar of Visual Design ）。
经过近20年的发展，在多模态话语分析领域出现了很多研究路径。van Leeuwen & Kress（2011：107）认为，20世纪有四个语言学流派进行了多模态研究。第一个是布拉格学派，他们在30—40年代将语言学研究延伸至视觉艺术和戏剧中的非语言方面；第二个是巴黎学派的符号学，将结构主义语言学（structuralist linguistics）的概念和方法运用于流行文化和大众传媒的研究（如Barthes，1967、1977）；第三个是60—70年代一些美国语言学家对口语和非言语交流的研究；第四个则是发源于Halliday系统功能语言学的社会符号学派（如Baldry & Thibault，2006；Hodge & Kress，1988；van Leeuwen，2005），该流派首次使用了“多模态”这一术语。O'Halloran（2011）认为社会符号学、互动社会语言学和认知语言学是多模态话语分析领域最活跃的3个流派。Jewitt（2016：1）则认为，多模态话语分析主要有3个传统：系统功能语言学多模态话语分析、社会符号学和会话分析。其他学者将这三者与其他理论结合，又衍生出五种分析方法，即地理符号学、多模态互动分析、多模态民族志、多模态语料库分析以及多模态感知分析。
以上关于研究路径的观点因关注点的不同而存在差异，同时也没有囊括所有的流派或分析方法。综合目前的多模态研究现状和最新发展以及以上的学派分类，本研究认为最近十几年来多模态话语分析主要有以下9个研究路径。
Halliday（1985/1994、2004）将语言作为一种符号资源进行研究，认为语言只是符号资源的一种，他建立和发展的系统功能语法旨在解释所有符号的意义生成和传播。他的符号学思想和系统功能语言学理论为多模态语篇分析提供了直接的理论来源。学者们将系统功能语法三大元功能思想延伸运用到各类多模态话语分析中，并称此研究路径为“系统功能语言学多模态话语分析”（SF-MDA）。O'Toole（1994）是最早将该理论运用到多模态话语分析的，他详细分析了展览艺术。其他学者，如O'Halloran（1999、2000）将该理论用来研究数学教科书中的语言、图像和数学符号。该研究路径注重描述不同符号资源的意义系统以及符号之间的互动所产生的意义。
虽然Saussure和Halliday都认为符号的社会性是阐释符号意义的必要条件，但他们主要还是研究语言系统。Kress和van Leeuwen（1996、2001、2006）将系统功能语法、Saussure和Halliday的符号学思想以及话语分析的理论相结合，发展了以视觉语法为基础的社会符号学（Social Semiotics），将语言符号之外的其他符号纳入自己的研究视野。视觉语法借用Halliday（1994）的语言三大功能假说（语言的概念功能、人际功能和语篇功能），同时借鉴电影研究的相关理论，提出与这三大元功能相对应的视觉图像分析的三个层面：图像的再现意义、互动意义和构图意义。社会符号学路径的多模态话语分析旨在发现各种符号模态的普遍规律，关注社会文化语境，同批评话语分析一样，致力于揭示交际行为中的权力和意识形态。社会符号学认为符号使用者的意图、兴趣决定他们对符号资源的选择，因此意义是选择的结果。不同的模态有不同的意义潜式。Jewitt（2016：85）认为，社会符号学的研究使人们关注软件设计者的符号选择，关注设计者在布局、用色、材质、设计方面的选择，使人们意识到有必要从某一种模态的语法研究发展到对跨模态的符号规则研究。
受到社会符号学的启发，认知语言学的学者们将社会符号学、隐喻理论、转喻理论以及关联理论相结合，认为隐喻不仅表现于语言，还表现在其他符号模态中，提出了多模态隐喻（Forceville，1996、2006；Forceville & Urios-Aparisi，2009）这一概念，即源域和目标域分别或主要由两种不同符号模式呈现的隐喻，在很多情况下，其中一个符号模式为语言符号。多模态隐喻分析主要关注多模态语篇中隐喻和转喻的建构和解读。要证明隐喻和转喻是人类的基本认知机制，基于语言研究所观察到的概念隐喻及相关结论就需要在其他非语言模态隐喻的观察中得到进一步证明，这同时也是多模态隐喻研究的意义所在。
多模态互动分析（Multimodal（inter）Action Analysis）（Norris，2004；Norris & Jones，2005；Scollon，2001、2004）的主要理论基础是互动社会语言学和中介话语（mediated discourse）理论（Scollon，2001、2004），同时也吸收了社会符号学的一些观点，将语言看成社会行为，认为互动进程是共同参与过程，关注互动者如何使用多种符号模态实现社会活动，强调互动中的身份凸显。该学派以活动（action）为分析单位，而不是某个模态，划分了互动活动中的三个层级（高层活动、低层活动和凝固活动（frozen action））以及两种类型的模态（身体的、非身体的）。
会话分析（Conversation Analysis）研究始于20世纪60年代，是社会学的一个分析方式，即通过观察、审视、描述社会互动的具体事例来研究社会互动，将社会学理论用于具体场景的实证研究（empirical observation）。研究内容包括日常会话和机构会话（如学校和医院）。由于会话中的一个行为可以由语言来实现，另一个则可以通过手势或瞬间眼神转换来实现，因此会话分析主要关注人们怎样开始和结束会话、话轮之间的转换、会话中的结构和逻辑以及互动中的身体、眼神、手势等。该研究路径的代表人物主要有Sacks（1972）、Goodwin（2000）、Jefferson（2004）等学者，他们的研究为人类学和教育学提供了非常有意义的借鉴，使互动过程中的眼神和身体姿势得到了充分的重视。尽管该学派属于多模态话语分析，但并不强调“多模态”这一概念。
地理符号学（Geo-semiotics/Discourses in Place）以社会符号学为视角，将语言人类学和空间符号学（Place Semiotics）相结合，研究语言和其他模态的符号在物质世界的空间性。该理论的奠基者Scollon & Scollon（2003）认为，公共语篇（如路标、告示、品牌标志）的解读必须考虑其所在的社会和物质世界。
多模态民族志（Multimodal Ethnography）将社会符号学研究方法和民族志（人种论）相结合，从人种论的角度（即参与者的视角）研究社会文化语境中意义的生成和理解。该方法对儿童在校内、校外各种场景（如操场、网络环境、幼儿园以及小学课堂）中的意义生成（meaning making）进行研究。该流派注重实地考察和研究，其代表人物主要有Flewitt（2011）、Street、Pahl和Rowsell（2014）等学者。
多模态语料库分析（Multimodal Corpus Analysis）将语料库的分析方法、系统功能语言学和符号学理论相结合，旨在通过大型语料库的方法验证多模态话语研究领域中关于意义生成的假设。该学派的代表人物Bateman（2014：238）认为，在多模态研究理论发展的初始阶段，单个案例的分析很重要，但是随着该理论的成熟，就有必要通过语料库的量化研究了解该理论的适用范围和普遍性。在经过大型语料库的实证检验之前，理论或概念只能是假设。他将所收集的语料分为线性（如文本或口语录音）和非线性（如印刷广告和网页）两种，前者用ELAN软件进行标注，后者用GeM Framework标注。目前，用于研究网站、手册、报纸和杂志等多模态话语的语料库已经建立并被用来检测和探索多模态理论中的一些假设。目前最常用的多模态建库工具主要有Anvil、Elan等。
多模态感知分析（Multimodal Reception Analysis）主要研究人们对多模态话语的认知过程。该流派的领军人物Holsanova（2014）将认知理论中有关感知和注意力的理论、社会符号学有关多模态话语的组构理论（composition）和眼动跟踪分析法（eye-tracking methods）相结合来研究人们对语篇的感知。目前多模态眼动跟踪已被用来检验社会符号学理论和关于设计的理论。
以上这9个多模态话语分析的研究路径在理论背景上有着千丝万缕的联系，如社会符号学分析对于系统功能语言学多模态话语分析的传承，其他路径对社会符号学的借鉴等，因此也有学者认为第一种和第二种分析路径可以归为一类，但是这两者的理论侧重点稍有不同，因此本文采用Jewitt（2016）的观点，将他们单列开来，以便我们更全面地了解多模态话语分析的研究现状。以上研究路径尽管在理论基础、研究方法、目的和关注点上不尽相同，但本质上都是探索语言和其他符号模态是如何共同作用从而实现人类交际活动的。同时，也体现了多模态话语分析这一研究领域的多学科性和跨学科性。正是多学科的融合才促进了多模态研究的发展。