下载掌阅APP，畅读海量书库
立即打开
在上述多模态话语分析起源和发展中，我们看到国外的发展和研究现状，本部分是对国内研究的梳理和总结。国内的多模态话语分析始于“多模式话语的社会符号学分析”（李战子，2003）一文，该文详细介绍了视觉语法（Kress & van Leeuwen，1996），引起了国内学界对多模态话语分析的关注和讨论。胡壮麟（2007）讨论了多模态符号学和多媒体符号学的区别，指出人类进入了社会符号学多模态化的新世纪；朱永生（2007）论述了与多模态话语分析紧密相关的4个问题：（1）多模态话语的产生；（2）多模态话语的定义；（3）多模态话语分析的性质和理论基础；（4）多模态话语分析的内容、方法和意义。张德禄（2009）根据系统功能语言学理论尝试建立了一个多模态话语分析的综合框架，指出多模态话语可以从文化、情景、话语意义、语法、形式和媒介等多个层面进行研究。这些学者对多模态研究的理论基础、研究路径和现实意义进行了评介，对推进国内的多模态话语研究起到了宏观指导的作用（李战子、陆丹云，2012）。
前期的理论研究和探索引发了学界对多模态话语分析的兴趣和热情，借助“百度学术”
的搜索功能，我们发现，在2007年到2016年间（在2015年达到巅峰），国内共有873篇相关的论文（见图2.1），这些论文涉及多个学科和研究领域（见图2.2）。
图2.1 2007—2016年多模态话语分析论文数量
图2.2 多模态话语分析的跨学科性
如此浩瀚的文献，难以进行总结概括，同时该数据并不准确，因为第一篇关于多模态话语分析的介绍文章是李战子（2003），文章标题为“多模式话语的社会符号学分析”，而“百度学术”的统计显示，多模态话语分析始于2007年，也就是说李战子（2003）并没有被统计进这873篇文章中。另外，仅仅以“多模态话语分析”为检索词并不能囊括所有相关的文献，还需要在数据搜索的基础上进行人工判断。因此，“百度学术”搜索结果只能说明多模态话语分析在国内的研究热度以及其多学科、跨学科的研究特点，为我们了解这一领域的研究提供一定的参考。
基于以上原因，本研究主要选取有一定学术影响的期刊进行收集、统计并进行人工甄别和分类。通过知网搜索，共收集到70篇CSSCI来源的期刊（以外语类为主）文章，分别发表在《外语学刊》（17篇）、《外语教学》（15篇）、《外语研究》（11篇）、《外语电话教学》（7篇）、《外语与外语研究》（6篇）、《中国外语》（5篇）、《外国语》（3篇）、《当代修辞学》（2篇）、《当代语言学》（1篇）、《现代外语》（1篇）、《教育理论与实践》（1篇）和《辽宁工程技术大学学报（社会科学版）》（1篇）。发表时间从2003年到2017年。图2.3是本书对上述文献按年度统计的结果。
图2.3 2003—2017年CSSCI来源期刊的发表情况
在对这70篇CSSCI来源期刊的文章进行研读和分类整理后，发现国内多模态话语分析主要有以下几个研究路径。
从国内现有文献来看，多数研究以视觉语法为基础，提出适用于特定语类的多模态分析模式，并试图揭示文字和图像这两套符号系统对特定语类的语义贡献（李战子、陆丹云，2012）。同时国内的多模态话语分析并没有对系统功能语法多模态话语分析和社会符号学分析这两种有着理论渊源的分析路径进行严格区分，因此，本章将两者合在一起进行综述。
（1）对多模态话语中的图文关系、评价意义、互文性、多模态语法建构、语类特征以及一些核心概念进行梳理和探讨。例如，韦琴红（2009）探讨了mode和modality的概念意义，认为mode表示的是符号资源，modality表示的是不同符号资源在其意义表达中的真实性程度；汪燕华（2010）通过分析Saussure、Halliday和Kress的符号学理论，明确了多模态语篇分析的符号学理据。她发现多模态语篇分析的理论是基于Saussure对符号具有“社会性”这一论断之上的。Halliday的“语言是社会符号的理论”是对此论断的扩展。Kress的社会符号学理论融合了Halliday“语言作为社会符号”的思想，发展并创立了旨在解释所有符号意义生成和传播的符号学理论；汪燕华（2011）通过定量分析两种话语中图类的分布情况以及图文关系，认为语类和图类的配置模式是多模态话语构建其“可识别性、可预测性”特征的重要方面；张德禄、张兢田（2012）探索了多模态语法建构的问题；冯德正、亓玉杰（2014）将评价理论扩展到多模态语篇中，探讨了多模态语篇中的评价意义；张德禄、瞿桃（2015）以从大学英语课本到英语课堂教学的转译为例，研究了多模态话语中的转译现象；王莹、辛斌（2016）以德国《明镜》周刊的封面作为研究对象，探讨了多模态图文语篇的互文性。
（2）理论在实例分析中的运用。此类研究主要是个案分析，涉及多个语类，如美国诗人卡明斯的经典具体诗“1（a”的多方位功能解读（王红阳，2007）、北京申奥会徽中所传达的和谐理念（郑海翠、张迈曾，2008）、中国古代山水写意画《山径春行图》中言语符号与视觉符号如何共同作为社会符号来完成表意功能，并如何在多模态语篇中发挥意义共建的作用（李美霞、宋二春，2010）、大学英语课堂教学中各种不同模态是如何相互协同并共同完成教学目标的（张德禄、王璐，2010）、多模态小品文中的主体模态（胡壮麟，2011）、交通标志牌的图文关系与解读过程（张德禄、王群，2011）、2011年西安世界园艺博览会会徽的多模态话语意义建构（孙毅，2012）、中英媒体报道奥运会圣火采集仪式时使用图像的情况以及两国媒体在报道这一事件中所体现的意识形态差异（田海龙、张向静，2013）、广告类超文本多模态的视觉语法分析（李德志，2013）、多模态房产平面广告人际意义的分析（侯建波，2014）、以《舌尖上的中国》为例的多模态视频话语分析（严慧仙，2015）、多模态驱动的研究生英语学术语篇建构（李雪、王景惠，2015）、旅游宣传海报的分析及中国文化对外传播的方式和特点（梁兵、蒋平，2015）、以英语朗诵比赛为例的舞台叙事的多模态语篇研究（陈松菁，2016）、烟盒警示语的个案分析（张丽萍等，2016）等。
（3）多模态研究向其他领域的扩展。陈瑜敏、黄国文（2009）以社会符号学为理论框架，运用人际功能研究中的介入、分级概念，将话语多声研究扩展到多模态交际语境，探讨多声互动的类型和程度。研究发现，合理运用多模态符号资源，有助于解决语言教材编写和使用中的一些具体问题。
（4）理论创新。有的学者将其他领域的理论运用到多模态话语分析中，进行了理论创新，如张德禄、穆志刚（2012）在功能文体学理论研究的基础上，以图文连环画为例，探讨了多模态功能文体学理论框架的建构问题；冯德正等（2016）将修辞结构理论（Rhetorical Structure Theory）扩展到平面广告与电视广告的研究中，不仅深入阐释了多模态广告语篇中复杂的修辞结构关系，也为研究其他类型的多模态语篇提供了新的理论视角。
相对于系统功能语言学和社会符号学的多模态话语分析，多模态隐喻分析起步较晚，在国内的发展方兴未艾，主要成果体现在理论评介和理论运用上。在理论评介方面，赵秀凤（2011）介绍了多模态隐喻研究的缘起、发展和前景等；谢竞贤（2011）在评价Forceville & Urios-Aparisi（2009）的基础上，探讨了多模态隐喻的特点。张辉、展伟伟（2011）结合广告实例阐述了多模态隐喻的转喻基础、隐转喻相互作用、图文配合以及文化性等；冯德正（2011）将多模态隐喻置于系统功能语言学的框架内，以隐喻潜势为切入点，对图像隐喻和多模态隐喻的构建与类型进行了系统化阐述与分类。在理论运用方面，潘艳艳（2011）分析了政治漫画中的多模态隐喻及身份建构；冯德正、邢春燕（2011）以汽车广告为例，讨论了空间隐喻与多模态意义建构；蓝纯、蔡颖（2013）对21条海飞丝电视广告中的多模态隐喻进行了分析；江桂英、王容花（2013）研究了英语演讲中言语—手势多模态隐喻；杨友文（2015）发现海报语篇中的多模态隐喻表征类型分为六类，其中“始源域文字—目标域图像”是最典型范式。这六种类型呈现出的规律性特征主要与各模态的表征特点有关。
另外，还有文献更多地关注多模态语篇的认知机制、文化认知模式以及哲学基础。例如，潘艳艳（2013）以动态多模态语篇《中国形象片》为例，探讨了纪录片类语篇的隐喻和转喻及两者的相互作用，解释了语篇的认知机制。赵秀凤（2013）以政治漫画为例，探讨多模态隐喻构建的整合模型。王林海、刘秀云（2013）以科幻电影《阿凡达》这一多模态语篇为例，探究概念整合理论在多模态隐喻语篇的隐喻建构和认知机制形成过程中发挥的作用。才亚楠（2014）通过分析两则多模态广告语篇，解读概念隐喻与文化认知模式之间的相互作用和互动机制。王凤（2013）从语言哲学出发探究多模态隐喻的研究基础，阐明多模态隐喻的内涵及其理论基础，从多模态隐喻视角剖析维特根斯坦在《逻辑哲学论》中强调的不可说与可说的辩证关系，讨论文字符号与非文字符号的结合，从而印证可说的不可说性以及不可说的可说性。
国内基于语料库的多模态话语分析目前并不多，主要原因是国内该领域的研究还在理论提出和探索阶段，还未发展到理论验证阶段，而且现有的理论还不能直接运用到多模态语料库分析中。王正、张德禄（2016）在进行多模态语类研究时，发现系统功能语言学现有的语类研究方法不能直接运用于多模态语类特征的描述，需要进一步完善，以适用于多模态语类分析。他们尝试以期刊封面语类为例，以多模态语料库方法为基础，探索如何在系统功能语言学的理论框架之下建立一种针对多模态语类的简便、有效的分析模式。
另一个原因是技术方面的挑战以及语料的标注问题。刘剑、胡开宝（2015）认为，在技术条件许可的情况下，创建多模态口译语料库，直接针对音视频语料进行切分与标注，能更完整地保留语料的多模态信息，有效克服文字口译语料库的不足，更好地开展口译研究。他们分析了国内外多模态语料库的建设与研究现状，重点阐述了多模态口译语料库相关的建库技术，包括语料的有效采集及质量要求、多模态语料的切分及转写、多层次标注模型（包括副语言现象以及手势表情等非语言因素的标注）、围绕时间轴的对齐、标注的可靠性评估等。
多模态互动分析目前在国内还不多见，70篇CSSCI来源期刊文献中，只有张德禄、王正（2016）全面介绍了这一分析路径的基本理论和方法，探讨了该方法的特点和不足，提出了自己的多模态互动分析的综合框架，并对一堂英语课的教学活动进行了实例分析。
“多模态”这一概念在国内提出的最初几年，朱永生（2007）曾指出，从事多模态话语分析的绝大多数是系统功能语言学家，而多模态话语分析是跨学科的，仅仅依靠语言学的一个流派是远远不够的。只有其他学科的学者共同参与，多模态话语的意义才能得到更加全面和正确的解读。目前国内多模态话语分析的研究现状和发展中呈现出的多学科性、跨学科性正是学者们期待看到的，不仅是系统功能语言学家，其他语言学流派，如认知语言学、语用学、修辞学以及语料库理论和技术等也都参与多模态话语分析这一研究领域，不仅使多模态话语的意义得到更加全面而正确的解读，而且也促进了这一研究领域的繁荣和发展。