1、 多模態(tài)話語分析 內(nèi)容提要一、多模態(tài)話語分析及其歷史發(fā)展二、主要研究成果三、未來的發(fā)展趨勢四、參考文獻(xiàn)多模態(tài)話語相關(guān)概念界定多模態(tài)話語：是一種融合了多種符號模態(tài)進(jìn)行交際的話語。李戰(zhàn)子（2019：5）指出多模態(tài)話語為除了文本之外，還帶有圖像、圖表等的復(fù)合話語，或者說任何一種以上的符號編碼實(shí)現(xiàn)意義的文本。Mode and Medium模態(tài)（Mode）：同步實(shí)現(xiàn)話語和交流類別的符號資源，它可以通過一種生產(chǎn)媒介來實(shí)現(xiàn)。媒介（Medium）：表達(dá)信息的物理工具。多模態(tài)話語分析理論介紹20世紀(jì)90年代（西方） 批評話系統(tǒng)功能語法社會符號學(xué)傳統(tǒng)的語話分析批評性社會符號學(xué)語分析語言教學(xué)影視戲劇建筑規(guī)劃網(wǎng)站頁面

2、設(shè)計(jì)書刊排版 多模態(tài) 話語分析傳媒學(xué)心理學(xué)法學(xué)哲學(xué)美學(xué)多模態(tài)話語分析理論介紹理論基礎(chǔ)以社會符號學(xué)為視角，以韓禮德的系統(tǒng)功能語法為理論基礎(chǔ)，即語言是社會符號，除語言這外還有非語言符號（繪畫、雕刻、音樂、舞蹈等）這些非語言符號與語言共同構(gòu)建社會意義。 主要觀點(diǎn)圖像、音樂、手勢、動畫、音調(diào)等非語言符號在交流中也是意義生成的資源。意義的表達(dá)是由多種模態(tài)符號來共同實(shí)現(xiàn)的，在社會交往的過程中，所有的模態(tài)符號都是各自獨(dú)立又相互作用的，孤立地研究一種符號模態(tài)不能解釋話語的全部意義。Kress and van Leeuwen提出“多模態(tài)話語”（multimodal discourse）這個(gè)概念，他們將系統(tǒng)功能語

3、言學(xué)中的純理功能思想拓寬到視覺模式，創(chuàng)建了以“再現(xiàn)意義”“互動意義”和“構(gòu)圖意義”為核心內(nèi)容的分析視覺圖像的語法框架，奠定了多模態(tài)話語分析的理論基礎(chǔ)和分析方法。80年代后期：多模態(tài)話語分析理論的歷史發(fā)展話語分析篇章語言學(xué)批評話語分析（研究話語表層形式與深層社會結(jié)構(gòu)和權(quán)勢之間的關(guān)系，以韓禮德的系統(tǒng)功能語法為理論基礎(chǔ)。）20世紀(jì)70年代后期：Kress &van Leeuwen開始嘗試包括對語調(diào)、音樂、視覺圖像、雕塑、繪畫、建筑的研究，自此“社會符號學(xué)”成為一門獨(dú)立的學(xué)科，專門研究包括語言在內(nèi)的各種模態(tài)符號對交際的作用，關(guān)注在社會情境下所有的符號模態(tài)構(gòu)建意義的過程。 2019年首屆國際多模態(tài)話語研

4、討會在奧地利薩爾斯堡召開，并出版會議論文集Perspectives on Multimodality.以后每隔兩年舉行一次。2006年在意大利Pavia 召開的第三屆多模態(tài)大會，涵蓋了身體符號學(xué)、數(shù)字和因特網(wǎng)語類、多媒體翻譯、多模態(tài)文化和教育、視覺藝術(shù)和電影等七個(gè)主題。本世紀(jì)初我國學(xué)者也開始關(guān)注多模態(tài)話語，發(fā)表論文內(nèi)容涉及廣告、教學(xué)、建筑、影視等諸多領(lǐng)域，2009年我國國內(nèi)第一本多模態(tài)話語專著視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究出版主要代表人物 Kress,van Leeuwen, Lemke，Jewitt OHalloran,OToole,Ventola,Baldry,Thibault,So

5、collon，顧曰國、韋琴紅，李戰(zhàn)子，胡壯麟，張德祿，朱永生，葉起昌，成文，田海龍等主要研究成果國外主要成果國內(nèi)主要成果國外主要研究成果Kress and Leeuwen, ( 2019; 2019)研究了模態(tài)與媒體的關(guān)系,專門探討了多模態(tài)現(xiàn)象規(guī)則地表達(dá)意義的現(xiàn)象,包括視覺圖象、顏色語法,以及報(bào)紙的版面設(shè)計(jì)和不同媒介的作用等;他們所構(gòu)建的分析視覺圖像的語法框架為多模態(tài)話語分析提供了理論依據(jù)和分析方法；OToole(1994)主要從級階的角度來分析圖象。Lemke(2019)探討了科學(xué)文章中圖表與文字的關(guān)系；Martinec&Salway(2019)、Len(2019)則詳細(xì)地探討了新舊媒體中的

6、圖文二者關(guān)系。二維平面中的圖文關(guān)系： 再現(xiàn)互動構(gòu)圖概念人際組篇Kress&Leeuwen分析視覺圖像的語法框架敘事概念行動、反應(yīng)、言語和心理分類、分析、象征接觸、社會距離、態(tài)度信息價(jià)值、突出度、分格OHalloran, K. L.(2019a; 2019b; 2000; 2019; 2019)不僅研究多模態(tài)的理論建構(gòu),還專門研究了數(shù)學(xué)語篇中的多模態(tài)現(xiàn)象，數(shù)學(xué)公式與語言之間的轉(zhuǎn)換。Royce, T.(2019，2019)探討了廣告中圖像與文字的關(guān)系，研究了不同符號在多模態(tài)話語中的互補(bǔ)性,以及在第二語言課堂教學(xué)中多模態(tài)的協(xié)同性等；Jewitt(2019)觀察了教師使用互動白板（Interactiv

7、e Whiteboards）時(shí)對節(jié)奏、多模態(tài)和互動性的資源分配，分析了互動白板語篇設(shè)計(jì)和教學(xué)原則，探討課堂教學(xué)中多模態(tài)讀寫、教學(xué)方法和現(xiàn)代技術(shù)的關(guān)系；Norris(2019,2019,2019)在Scollon的MDT理論基礎(chǔ)上建立了自己的多模態(tài)分析框架，并利用這個(gè)理論框架分析了兩個(gè)德國婦女的身份構(gòu)建過程以及多人交際中關(guān)聯(lián)的產(chǎn)生；Baldry,Thibault（2019）詳盡的介紹了多模態(tài)語篇的轉(zhuǎn)寫和分析方法，包括語言描述法、繪圖法、圖文結(jié)合法、圖片展示法等，以及如何在電子學(xué)習(xí)的環(huán)境下利用多模態(tài)話語分析方法來輔助教學(xué)。 MDT理論MDT理論（Mediated Discourse Theory）

8、介入性語篇分析Scollon交際社會語言學(xué)民俗方法論語言人類學(xué)跨文化交際社會文化心理學(xué)該理論試圖把人們的社會行為和語篇有機(jī)地結(jié)合起來研究以彌補(bǔ)以往的語篇分析理論忽略了行為而社會學(xué)理論忽略了語篇的不足。國內(nèi)主要研究成果李戰(zhàn)子( 2019) 對Kress和 Van Leeuwen的多模態(tài)話語的社會符號學(xué)分析方法進(jìn)行了研究，指出其對于加深認(rèn)識語言的社會符號特點(diǎn)、對于多模式話語的產(chǎn)生和理解以及英語教學(xué)都具有重要意義。胡壯麟(2019, 2019a, 2019b)從理論和實(shí)踐的角度研究了多模態(tài)化和意義的多模態(tài)構(gòu)建。朱永生(2019)研究了多模態(tài)話語的理論基礎(chǔ)和研究方法。顧曰國（2019,2019）提出從

9、內(nèi)容層和媒介層兩方面來分析多模態(tài)話語，并運(yùn)用自己的構(gòu)建的多模態(tài)分析框架分析了北外五十周年校慶的慶典禮；張德祿（2009）提出一個(gè)多模態(tài)話語分析綜合理論框架，模態(tài)選擇的原則，并對多模態(tài)話語理論應(yīng)用到外語教學(xué)的實(shí)踐進(jìn)行了探索。韋琴紅（2009）在Kress和 Van Leeuwen的社會符號學(xué)框架下的視覺交流理論的基礎(chǔ)上，從圖像、情態(tài)、構(gòu)圖、顏色、印刷版式等視覺交流的和主要方面研究了多模態(tài)話語。張德祿多模態(tài)話語分析綜合理論框架文化層面 文化語境 語境層面 情景語境內(nèi) 意義層面 話語意義容層面 形式層面 形式及關(guān)系表達(dá)層面 媒體意識形態(tài)體裁話語范圍、話語基調(diào)、話語方式概念意義人際意義謀篇意義形式關(guān)系

10、語言、圖覺、聲覺、感覺互補(bǔ)非互補(bǔ)語言非語言伴語言純語言身體、非身體外語教學(xué)中模態(tài)的選擇基本因素（1）教學(xué)內(nèi)容所涉及的領(lǐng)域-話語范圍 （2）教學(xué)對象的情況，以及與授課者的關(guān)系-話語基調(diào) 教學(xué)條件和場所-話語的方式多模態(tài)選擇的目的：補(bǔ)缺，強(qiáng)化，吸引注意力，幫助理解三個(gè)角度：（1）為外語教學(xué)提供情景和便利條件 （2）為外語教學(xué)提供輔助條件（3）為多模態(tài)話語交際提供多通道話語意義表達(dá)方式，提高教學(xué)效率。 未來的發(fā)展趨勢如何把各個(gè)學(xué)科的研究成果融合起來是將是多模態(tài)話語分析今后必須面對的問題。跨學(xué)科交叉研究將是多模態(tài)話語分析未來的必然趨勢。如何把多媒體和多種模態(tài)結(jié)合起來進(jìn)行分析解讀是多模態(tài)話語分析將要解決

11、的問題。把多媒體技術(shù)和多種模態(tài)結(jié)合研究是多模態(tài)話語分析的必然趨勢。1Kay L. OHalloran, Multimodal Analysis and Digital Technology2Gu,Y. A multimodal text analysis of an anniversary ceremony in China,20193Gu,Y. Multimodal text analysis: A corpus linguistic approach to situated discourse,20194YINGEN XIONG AND FRANCIS QUEK,Hand Motion Gesture Frequency Properties and Multimodal Discourse Analysis5Jaime Snyder, App