下载掌阅APP，畅读海量书库
立即打开
视觉语法（Visual Grammar）（Kress & van Leeuven，1996/2006）是社会符号学的主要理论，该理论借用Halliday（1994）的语言三大功能假说（语言的概念功能、人际功能和语篇功能），同时借鉴电影研究的相关理论，提出与这三大元功能相对应的视觉图像分析的三个层面：图像的再现意义、互动意义和构图意义。根据Kress & van Leeuven（2006：114—115），图像的再现意义表征图像中人物、地点和事件之间的交际关系或概念关系。图像的构图意义包括三个方面：信息值（information value）、显著性（salience）和框架（framing）。图像的上下、左右、中心和边缘分别传递出不同的信息值。显著性表明图像中的成分可通过被放置在前景或背景、相对尺寸、色调值的对比、鲜明度的不同等方式，体现出吸引观看者注意力的不同程度；框架指的是图像中有无空间分割线条。这些线条表示图像中各成分之间在空间上被分离或被连接的关系。
图像的互动意义体现观看者与图像参与者之间的特定关系，主要通过（目光）接触（contact）、距离（distance）和视角（perspective）三方面的共同作用，构建出观看者和再现内容之间复杂、微妙的关系。接触是指图像参与者与观看者通过矢量（目光）和面部表情建立起来的一种互动关系。当参与者目光直接注视观看者时，属于索取类图像。这样的构图有两个功能，一是形成和观众的直接交流；二是构成了“图像行为”，要求和观众建立某种社会关系，寻求观众接受、赞同他们的观点和想法。图像参与者与观看者之间没有目光接触，则属于提供类图像，观看者只是接收信息的一方。
社会距离通过镜头取景的框架大小得到体现。图像参与者和观看者之间的关系越是亲密，镜头取景的框架越小，一般近镜头或特写镜头揭示一种亲密的个人关系和特定的情感；而长镜头取景的框架大，揭示了一种疏远的社会关系。
视角主要体现态度意义和权力关系。视角分为水平视角和垂直视角。水平视角分为正面和斜面视角，电影中多数场景都会采用正面视角，可以带给观众身临其境的感觉。对于垂直视角，如果图像参与者是从很高的角度被拍摄（俯拍），说明观看者地位较高，那么观众是从权力的视角（point of power）观看他们；如果是从低角度拍摄（仰拍），则表示图像参与者处于强势的地位，从权力的视角看观众；如果图像和观众的视线持平（at eye level），即平角角度，那么双方是平等关系，没有权力的差异。
视觉语法有关图像互动意义的论述表明，作为批评话语分析的一个流派，社会符号学关注不为人所注意的、日常使用的符号模态的社会效应和意识形态效果，强调多模态话语的“批评”作用，即对多模态语篇在设计、产生和传播过程中权力和意识形态的作用进行揭示。然而，视觉语法还不能充分地解释多模态意义建构。Forceville（1999：171）指出，一个完善的视觉语法应该至少能够预测或启发人们，某些规则在什么情况下运行。Kress和van Leeuwen的研究以及其他基于他们理论的研究，很大程度上依赖于视觉结构与语言表现形式的对比，更多地关注信息的物质层面（如涉及的模态有多少、模态的组合等），忽视了多模态知识建构和激活中涉及的思维过程，从而偏离了结合语境的信息解读，同时也忽视了语类以及语类的规约性（Pérez-Sobrino，2017：25-26）。Bateman（2017）认为，Kress和van Leeuwen忽视了语篇意义（discourse semantics）。他指出，语篇意义很重要，能够帮助我们避免视觉语法中过于概括的观点（over-general statements）。例如，Kress和van Leeuwen的视觉语法认为，页面或屏幕的相对空间位置具有固定的意义（ intrinsic meaning）：页面的顶端更加理想化（ideal），表示事物应有的样子，而底端则更加真实（real），是事物实际的样子。这样的观点在没有进一步实证的情况下，直接用于解释所有的页面和屏幕图像，最后就会产生过于概括的结论。此外，视觉语法是在语言研究（功能语言学）的基础上发展起来的，尽管也大量借鉴了影视拍摄理论，但是在动态视频分析方面还存在明显的缺陷。例如，影视作品中最常用的特写镜头以及特写镜头的意义和功能，在视觉语法中并没有详细阐述。
事实上，视觉语法为我们提供了一个工具箱或者分析思路，在实际应用的过程中还需要根据语料的语类特点进行调整，并和其他分析方法相结合，才不会产生生搬硬套的分析结果。