来源：清华全球传播

【编者按】：2020年9月21日，清华大学新闻学院史安斌教授组织的读书研讨会围绕着“多模态话语分析”这一研究方法进行了讨论，新闻学院博士生刘长宇，硕士生叶倩分别围绕着多模态话语分析的前沿文献对这一方法在传播学中的应用进行了介绍。本文汇总了两位同学对方法的引介和参会师生的讨论，对多模态话语分析在传播学中的研究进行了简要综述。

现实背景与理论假设

所谓“模态”（Mode），即表示一种社会形成、文化赋予的意义资源。图像、文字、布局、手势、音乐、语言、动态图像等都是模态。数字化与多模态化（Multimodality）是当前话语世界的重要发展趋势。单独的文字文本已经不足以符合当前的表达与交流需求。以画面、动画、声音、图表、颜色等多种模态资源共同呈现意义为主要特征的多模态话语（Multimodal Discourse）成为当前表意的主流。在此背景下，既往只针对文字语篇的话语分析方法就需要进一步拓展，多模态话语分析（Multimodal Discourse Analysis）应运而生。

在此语境下，多模态话语分析发展出四个核心理论假设：1、意义是通过多种表征和传播模态而产生、传播、接受、解释和在解释中重塑的。其他模态与语言有着同样重要的表意功能。语言模态不是唯一出发点，也不是所有传播模态的原型；2、不同的模态具有不同的社会功能，所有的模态都是在特定的文化、历史与社会使用中型塑并实现特定社会功能的。模态的选择是知识的认识论塑造和意识形态设计的一个核心方面；3、不同类型的模态之间的互动对意义的形成具有重要意义。互联网技术赋予传播模态相互耦合的各种可能性，模态之间的相互作用本身就是意义生产的一部分；4、多模态符号资源形成的符号的意义与单一的言语模态一样，是社会性的。受到特定社会背景下符号制作者的动机和利益的影响。基于以上假设，多模态话语分析即“不仅仅从语言和文字的维度把握传播和表征，转而关注人们使用的所有传播形势（模态），包括形象、手势、目光、姿势等，重视分析不同模态及其互动的表意及其特征。”(Jewitt，2009：14-16)

理论源流与研究视野

既有的研究多认为，现在认为多模态话语分析起始于罗兰巴特（Roland Barthes）在其经典作品《图像的修辞》（The Rhetorics of the Image）对于图像与语言的表意配合的分析，尝试设计出一个能应用于所有符号模态的分析框架。巴特的成果对于多模态话语分析的一个重要价值即在于其实现了“符号”定义的“语言脱域”。肯尼斯·伯克（Kenneth Burke）所提出的新修辞学为多模态话语分析解决了“出场”的问题。伯克认为，动机的形成改变与象征手段的使用紧密相关，因此一切涉及象征手段的行为都必然涉及动机问题，所以都应该归于“行动”。在此意义上，以象征手段为基础的符号实践都带有动机，因此修辞学的研究对象应该包括图像符号在内的一切符号实践，扩展到数学、音乐雕塑绘画舞蹈建筑风格等符号系统。

20世纪70年代，语言学的两种取向合流，形成了研究话语表面形式与深层社会结构和权势之间的批评话语分析。韩礼德（Haliday）的系统功能语法不仅为批评话语分析提供了语言学的理论基础（吕行，2015：10），其语言元功能理论更是为多模态话语分析提供了理论与框架借鉴。20世纪80年代中后期，克莱斯（Kress）和列文（Leeuven）等语言学家逐渐从批判话语分析的研究旨趣中脱离出来，开始将系统功能语法从语言拓展至其他符号系统，并发展出一套适用于多模态符号资源的话语分析框架，多模态话语分析研究逐渐兴起。进入21世纪，信息技术的进步使得多模态话语分析成为热门，并逐步展出自己的理论体系与研究方法。

在数字传播的语境下，多模态话语分析的研究视野贡献主要包括以下四个方面：1、对模态及其符号资源的系统描述。挖掘数字媒体背景下不同技术对表征、交流和互动的意义创造潜力和限制；2、关注模态资源如何在特定语境中被采纳和使用，关注身体模态和空间的符号资源的可供性如何在不同的数字环境中发挥作用；3、探索开发数字媒体赋能下新的模态符号资源及既有模态符号资源的新用途；4、多模态话语分析为当前的数字传播研究提供了眼动分析、数字视频数据分析等映射和分析与数字技术互动的视觉、体现和空间特征的创新方法。

核心研究路径与应用延伸

总结既有的文献可发现，多模态话语分析的相关研究主要集中于社会符号学、系统功能语言学、多模态互动分析和多模态语料库分析四条核心路径。社会符号学路径聚焦于分析人们在特定社会语境中如何使用模态资源进行表征实践，旨在发现各种符号模态的普遍规律，关注社会文化语境，致力于揭示交际行为中的权力和意识形态；系统功能语言学路径关注多模态传播现象，在微观文本层面处理“话语”，强调符号资源所依据的元功能系统及系统选择在多模态现象中的整合及其表意；多模态互动的分析重点从表征和传播转向对互动规则的体察，聚焦于人们如何在特定情境中运用手势、目光、姿势、动作等多模态资源来调节互动；多模态语料库研究的兴起于计算机与大数据技术的发展有关，重视根据不同的条件线索在语料库中筛选、处理大量语料的步骤与方法的拓展。除了四条核心取径，多模态话语分析还包括多模态隐喻分析、会话分析（Conversation Analysis）、地理符号学（Geo-semiotics / discourses in place）、多模态民族志（Multimodal ethnography）、多模态感知分析（Multimodal reception analysis）等多样化的研究路径(潘艳艳，李战子，2017)。

聚焦于新闻传播领域的应用延伸，相关研究相比语言学领域而言系统性规范性还有待提升。总结而言，当前新闻传播学领域内对多模态话语分析方法的调用多案例研究，且多集中于图文配合的分析，对于其他模态资源的分析较少；此外，常用的方法取径为系统功能语言学和多模态隐喻，理论模型以“视觉语法”（Visual Grammar）为主，相关研究多经验描述，少理论分析；最后，在研究程序上，语言学层面的多模态话语分析包含收集多模态数据、检视数据、数据抽样、数据转录、单独模态分析、跨模态分析及勾连社会理论七个步骤。但在新闻传播学领域内，对这一方法的应用程序却并无一定之规，多依据研究需要进行动态调整。

研究个案：不同立场不同呈现？——草根媒体与主流媒体有关“环境非正义”报道的多模态框架分析

环境非正义，即生态环境方面利益和负担的不平等分配，是理解气候变化的关键。既往研究只讨论主流媒体，忽略了草根媒体（Alternative media），且目前研究多专注于语言模式，对其他模态符号资源关注较少，阻碍了对问题的全面理解。基于既有分析，本研究选择比利时的三家主流媒体与一家草根媒体，以其有关“环境非正义”的报道作为研究样本，从多模态话语分析的视角出发对比两者的报道框架。

研究基于经典的框架理论，认为框架可以进一步划分为三个维度：宏观框架（Masterframes）、议题框架（Frames）和具体微观的子框架（Subframes）。宏观框架即总体上涉及“环境非正义”的宏观认知框架，议题框架则包含对环境非正义责任归因、问题界定与解决方案。在初步分析基础上，研究总结出两个子框架，主流媒体所采取的报道子框架为“不平等脆弱”（Unequal Vulnerability），草根媒体的子框架为“不平等归因”（Unequal Attribution）。研究进一步采用多模态话语分析方法，从议题框架的三个方面入手，对两个子框架之间的差异进行分析。

具体到研究方法层面，研究综合了“视觉语法”理论、多模态隐喻、视觉框架等多种理论资源，结合研究需要形成自己的多模态分析框架。具体而言，研究从情境（Participants and context）、行动（Actions）、修辞特征（Rhetorical figures）、叙事（Narration）和互文性（Intertextuality）五个维度入手，尝试分析不同子框架在报道方面的差异。

研究个案：不同立场不同呈现？——草根媒体与主流媒体有关“环境非正义”报道的多模态框架分析

环境非正义，即生态环境方面利益和负担的不平等分配，是理解气候变化的关键。既往研究只讨论主流媒体，忽略了草根媒体（Alternative media），且目前研究多专注于语言模式，对其他模态符号资源关注较少，阻碍了对问题的全面理解。基于既有分析，本研究选择比利时的三家主流媒体与一家草根媒体，以其有关“环境非正义”的报道作为研究样本，从多模态话语分析的视角出发对比两者的报道框架。

研究基于经典的框架理论，认为框架可以进一步划分为三个维度：宏观框架（Masterframes）、议题框架（Frames）和具体微观的子框架（Subframes）。宏观框架即总体上涉及“环境非正义”的宏观认知框架，议题框架则包含对环境非正义责任归因、问题界定与解决方案。在初步分析基础上，研究总结出两个子框架，主流媒体所采取的报道子框架为“不平等脆弱”（Unequal Vulnerability），草根媒体的子框架为“不平等归因”（Unequal Attribution）。研究进一步采用多模态话语分析方法，从议题框架的三个方面入手，对两个子框架之间的差异进行分析。

具体到研究方法层面，研究综合了“视觉语法”理论、多模态隐喻、视觉框架等多种理论资源，结合研究需要形成自己的多模态分析框架。具体而言，研究从情境（Participants and context）、行动（Actions）、修辞特征（Rhetorical figures）、叙事（Narration）和互文性（Intertextuality）五个维度入手，尝试分析不同子框架在报道方面的差异。

研究发现，虽然主流媒体与草根媒体在有关“环境非正义”的宏观框架中有共享的认知，但在议题框架涉及的三个维度中，不同的子框架却有完全不同的报道偏好。总结而言，“不平等脆弱”子框架试图维护人类中心主义与西方中心主义，强化不平等，而“不平等归因”框架则希望通过反思性认同推动全球平等互惠合作。

总结而言，多模态话语分析作为当前较为流行的一种研究方法，较适用于当前强调“跨媒介叙事”与“复媒体”环境的传播实践，但在新闻传播领域的多模态话语分析应用在系统性与规范性上还有待提升，理论化程度也有所欠缺。因此在运用的时候最好结合一定的量化方法，如规范的内容分析、社会网络分析等前沿研究方法，从而弥补其因为理论框架单一和自身的阐释属性而带来的主观性和片面性。

【参考文献】

[1].Jewitt,C.(Eds).(2011).The Routledge handbook of multimodal analysis. Routledge.

[2]. Georgakopoulou, A.,& Spilioti, T. (Eds).(2015). The Routledge handbook of language and digital media. Routledge.

[3]. 吕行.多模态语篇的意义建构研究[M]. 北京：外语教学与研究出版社. 2015.

[4]. 潘艳艳,李战子.国内多模态话语分析综论(2003—2017)——以CSSCI来源期刊发表成果为考察对象[J].福建师范大学学报(哲学社会科学版),2017(05):49-59+168-169.

[5]. Moernaut, R., Mast, J., & Pepermans, Y. (2018). Reversed positionality, reversed reality? The multimodal Environmental Justice frame in mainstream and alternative media. International Communication Gazette, 80(5), 476-505.