|
摘 要：本文从多模态概念的不同用法入手，辨析了多模态、多媒介、多感官之间的关联和差异，呈现了人类学介入多模态研究的可能性和必要性。通过回顾人类学多模态转向的提出过程，说明了其学术意义和价值。人类学整体论视角和民族志研究方式为人类学的多模态转向提供了基础，而主体性、场景性、融合性、互动性、交感性和技术性展示了多模态民族志方法的特色。本文还结合田野案例讨论了多模态仪式场景的人类学呈现问题。人类学的多模态转向，即“多模态人类学”作为人类学研究的一个富有创新性的可能方向，是人类学表述危机反思时代之后新的批判性探索。 关键词：多模态；多模态人类学；多模态民族志；感官感知; 作者简介：王建民，中央民族大学民族学与社会学学院教授、民族艺术研究院常务副院长；曹静，女，中央民族大学民族学与社会学学院博士研究生。 基金：国家社科基金艺术学重大项目“一带一路战略中的新疆民族艺术与国家认同研究”（项目编号:16ZD09）；中央民族大学北京市民族艺术学高精尖项目“艺术人类学教材”的中期研究成果 20世纪末以来，“多模态”逐渐成为当代跨学科热门理论话题，与认知科学、脑科学、临床医学、计算机科学、人工智能等领域密切联系。人类学的多模态转向，即“多模态人类学”作为人类学研究的一个富有创新性的可能方向，是人类学表述危机及其反思时代之后新的批判性探索，应当引起学界，尤其是国内学界的进一步关注。本文从“多模态”概念辨析入手，拟对“多模态人类学”概念、理论和方法论取向进行分析，对人类学的多模态转向及其意义进行论证，促进这一新的人类学研究领域的发展。 一、“多模态”概念辨析 多模态（multimodality）是模态（modality）加前缀构成的新词。模态在符号领域的研究可以追溯到皮尔士（Charles Peirce），是指一种特殊的以符号、文本或其他样式将信息呈现给人类的编码方式。1 在哲学层面，模态被视为人类对于知识的认识，由此可以理解表象与认识能力之间的关系。模态在康德（Immanuel Kant）学术思想中占有重要地位，与质、量、关系共同构成了其知性范畴的四个领域。康德是第一位将艺术经验纳入其总体哲学体系的现代西方哲学家。他认为审美判断是一种无利害的不带个人偏私的判断，对于审美判断非常重要的模态与可能性、现实性、必然性联系在一起。人们先是把感官接受的感觉材料即表象，纳入时间和空间两种直观形式中，由此得到感性知识。再把感性知识材料纳入知性范畴，形成真正的知识。他认为，在人的“心灵两个能力，即认识能力和欲求能力”的共同作用下，概念决定并指向客观真理的知性法则以保证认识和判断的逻辑完善性，感性直观激发主体心灵活跃的感性法则以保证审美完善性。普遍性和必然性的形式（范畴）与可以感知的材料结合起来构成关于现象世界的知识。为了更有效地将普遍有效性和感性结合，康德又引入了“共通感”（sensus communis）概念，视之为一种与逻辑、审美和实践三方面的“普通的审美判断力”相联系的普遍有效的感觉。2可以说，康德围绕模态的哲学思考将感性放置到与知性完全平等的位置上，调节理性主义二分式思路，力求能够实现二分断裂的过渡和连接。德勒兹（Gilles Deleuze）从思想与存在的差异性出发，回归到经验，反思和批判康德的命题，把模态的哲学思辨与对于图像美学和音乐美学的研究结合在一起。3朗西埃（Jacques Rancière）认为，与审美实践联系在一起的哲学“是将不同疆界的特异性遣返至思考能力的平等共享的一种展演”。4哲学探索无疑为多模态问题的讨论增添了理论厚度。 在讨论逻辑命题分类的哲学意义上的“模态”概念之外，在英文表达中，“模态”可以指存在的性质或状态，感觉的途径或者类别、方法或者形式。词义本身的多样性与不同学科使用概念的差异性叠加，使得“模态”往往处于似是而非的模糊状态。在差异性很大的多学科研究实践中，因为关注点和立场不同，模态研究可能会有差异较大的指向。近十余年来，强调复数的“多模态”已经逐渐发展为一个通用标签，成为当代社会文化研究广泛引用的术语。最近也有人类学家用多模态与双重或多重感官性（double， multisensoriality）概念来思考和研究当代多媒体生态问题。5 在语言-符号研究领域，被称为“功能语言学派”的布拉格学派，将语言结构与功能结合起来，强调语言是与其他社会现象相联系的符号体系，是由多种表达手段构成的、为特定目的服务的功能系统，视觉艺术和戏剧表演因此也成为他们所关心的领域；巴黎学派符号学将结构主义语言学的概念和方法运用于流行文化和大众传媒研究；20世纪60-70年代，一些美国学者突破语言学研究窠臼，关注口语和非言语交流，将非言语交流纳入研究范畴；韩礼德（Michael A.K.Halliday）系统功能语言学的社会符号学派以符号学资源及其基础系统作为意义创造的工具解释多重意义，主张语境由场景（field）、人物及其关系（tenor）和语言方式（mode）三元素组成，使用口头交流或通过书面文字沟通就是语言方式的选择。6 社会符号学派强调除语言外还有很多其他符号模式，并在语言学领域创新使用“多模态”术语突显这一观点。继承韩礼德学术理路的一批学者力求推进多模态研究、多模态话语分析、多模态交互分析的概括性研究，并且尝试把社会符号学、欧洲符号学和批评话语分析传统综合起来。7与此同时，克雷斯（Gunther Kress）和范列文（Theo van Leeuwen）的视觉语法（visual grammar）、8范列文的语音符号学（semiotics of the voice）以及符号学实践与符号学技术，9将研究延伸到更具体的领域。他们将包括视觉人类学在内的视觉研究与实践发展出的这种新的多模态研究聚焦于视觉与其他感知感觉间的关系，从社会符号学理论的角度强调视觉设计符号学的“语法”方法和“词汇”方法之间的差异，强调区分两者的重要性，强调特定的多模态特征、结构和系统与更广泛的社会结构（尤其是权力）和（意识形态）力量的关系，并视之为视觉“语言”形成和重塑的条件。8 “多模态”经常与“多媒体”或“多感官”等术语互换使用，造成符号、媒介和感官三种概念时常纠缠在一起，使得“多模态”概念在使用中发生意义迁延，将多模态研究方向变得模糊摇摆。国内目前的多模态探索主要集中在语言教学领域，概念使用相对狭窄，这种情况也许会影响到多模态学术理念在更大范围的推广和学术贡献产出。其他领域已经开展的一些研究往往缺乏对于多模态概念的系统梳理和明晰辨析，甚至有可能在以讹传讹的挪用中失去研究的本意。因此，开展多模态人类学研究，首先必须将基本概念辨析清楚。根据国际学术界已有的研究，目前多模态这一概念大致有三种指向： 首先，从语言学出发，多模态涉及传情达意的多种语言方式（mode）或符号形式的选择。符号研究拓展到非语言方式，关注在多层面能够产生和表达意义的多样性符号资源（semiotic resource），视之为多模态“模式”（mode），囊括了文字、版式、图像、颜色、音乐、舞蹈、手势、身姿、服装、首饰、化妆、道具、用品、器物、地理空间和社会空间等。 其次，多模态又与表意符号媒介（media）相关，包括信息容器与设备，也涵盖特定的传播组织形式或社会机制，甲骨、竹简、帛书、纸书、石碑、照片、录音磁带、电影胶片、录像带、影音光盘等信息容器，还有驿马、电报、电话、传真、电子邮件、可视电话、移动电话、布告、报纸、杂志、无线电、电视、穿戴设备，以及微信、脸书、QQ、快手、抖音等不断出新的网络媒介都在其列。意义表达和传递通常是在社会中进行，因此可以将各种媒介视为实现沟通的不同模态。当代媒介具有越来越强的杂合性，人们同时运用文字、声音、图像、身体动作等交错拼接，根据模态作用机制将多种符号资源组织编排起来，构成多模态呈现，通过调动情绪情感，使得所传达的观念和意义更容易被接受。 更为重要的是，多模态是与多感官联系在一起的。多模态是文化实践参与者、研究者和观众/读者心理感受和体验的表达和呈现方式，是由人的观念和情感认知驱动的。各种符号资源和多模态媒介都需要通过感官才能感受到。顾日国指出，模态指人类通过感官（如视觉、听觉）与外部环境（如人、机器、物件、动物等）之间的互动方式。用单个感官进行互动的叫单模态，用两个的叫双模态，三个或以上的叫多模态。区分的关键在于有几种感官参与。多模态与现代脑神经科学的“感官模态系统”（sensory modalities）有关，是指多个感觉器官加上处理各自信号的神经系统。10强调多感官感知，视觉、听觉、味觉、嗅觉、触觉、动觉，以及各种感觉系统间的联觉，是多模态研究的重要学术路径。在人类学家眼中，“感觉既是身体行为，也是文化行为：视觉、听觉、触觉、味觉和嗅觉不仅是理解物理现象的手段，也是传递文化价值观的渠道”。11多感官人类学正是在此意义上的探索。 严格地说，符号是具体化的表意方式，媒介是表意符号使用的渠道，而感官感知则是符号的认识和处理系统。多模态、多媒介、多感官各有侧重又相互联系，应该在既往研究基础上更进一步，消弭因为学科壁垒造成的概念及其意涵的区隔，重新理解“多模态”，把感官和模态、感官和媒介连接起来，使之重新人类学化。我们认为，多模态就是将人类运用多种传播媒介通过多感官传达和感知的信息及其反应融合在一起的过程，重点是多模态的融合。 科学主义观念处于一统天下时，理念与情绪情感、视觉与其他感知形式、文字与图像等往往被切割成相分离的，甚至可能对立的领域。人类的文化感知和表达传递通常并非仅利用单一感官、单一媒介，而是通过不同的交流渠道、感官感知方式、具体表达模式的交融和混杂运用来进行的。人脑并非是将世界感知为碎片化的且相互分割的图像、声音等，而是通过不同感官通道接收信息，整合同一和不同感官通道的各种信息，形成整体的知觉。某个感官通道信息缺失或不协调就会影响整体的知觉体验。人们运用具有共同索引（co-indexing）作用的符号，呈现出模态复合性和交叉性。人在自己熟悉的环境中总能更为清楚地辨识所处的状况，更为熟练地运用随手可得的非确定的工具来应对。杜威（John Dewey）虽然主张“经验总是由目标导向的活动构成的”，但也承认没有工具性的或外部目的的更令人满意的活动的重要性，并指出游戏等活动带来的“每一次体验都是一个活的生物和他生活在其中的世界的某个方面相互作用的结果”。12多模态的运用本身就意味着多样化的感觉与思考方式，人们有自己的观念、设想、感觉，并与呈现经验的物质进行对话，使之成为有效的表达材料，表现出认知和欲望的能力，传达力求表达的意义和情绪情感，尤其是作为能动性的快乐和痛苦的感觉。 某个人说话发出声音，接收者主要靠听觉感知，但接收者的其他感知系统并未闲置。讲话者往往会控制声音，处理词句的高低、轻重、长短，并伴随着特定的声音质感抑扬顿挫地发出。擅长此道的讲话者会用更高的音调突显新信息和重要理论论断，而用较低平的音调讲述听众已知的内容。短暂停顿后提高音调表示话题转换或开启新的论说层次。讲话者的眼神表情、动作手势、身材长相、身体气味、穿着打扮、位置和距离远近高低，加上讲话时的特定时空因素，以及接收者的感知，构成了用多感官、多媒介传达，以及用多感官、多媒介感知和接收的信息传播过程。 演讲者常会使用个人语言风格和处理手法讲解，伴随着声音的其他多种模态也至关紧要。在板书和应用文字中插入图片、音频、视频的PPT时，字迹清晰度、字体风格，乃至字距、行距和书写布局，静止和运动的图像的拍摄角度、景别、用光，音视频制作质量和原作者身份等，还有演讲厅空间设计与布置风格、桌椅的舒适度、投影仪流明度、扩音机和音响系统品质、听课者的身份及多模态回应等，都会对于信息传达过程发生程度不同的影响。这种多媒介、多感官并用的信息传达过程，就是多模态共生状态，使用的就是多模态话语。 随着媒介大众化和信息技术发展，文字、声音、静止与动态的图像的使用越来越广泛和普遍，每个人都可以在选定的网络平台上表演，都可以做主播，都可以制作和发布多媒介混杂的影视作品。人工智能时代来临之后，又出现了语音交互、机器识别、传感器信号捕捉与反应，以及机器多感官等模态形式，并开始改变人们的生活。在全新模态加入的时空中怎样面对“多模态转向”（multimodal turn）是迫在眉睫的研究论题。 二、人类学的多模态转向 人类学作为一个研究人类社会与文化的学科，尽管早期并不一定使用模态概念，但在诞生之初就涉及模态乃至多模态现象，并广泛见诸于论著之中。爱德华·泰勒（Edward B.Tylor）在1861年出版的实地考察著作《阿纳瓦克：墨西哥和墨西哥人》一书中就多次记录和评论了他在考察中所见到的象形文字及占星图、音乐、舞蹈，较为详细地描述了当地人信奉瓜达卢佩圣母（Santa Maria de Guadalupe）神像图像的习俗，还附有墨西哥古董青铜钟图片，说这种雕刻图案经常在阿兹特克图像中出现。13图像、圣像、舞蹈、音乐是詹姆斯·弗雷泽（James Frazer）在《金枝：巫术与宗教之研究》中讨论原始崇拜时数十次至上百次涉及的文化事项。14人类学对于多模态的关注在其研究对象（社会行为、传统、物质文化、语言等）和方法选择（参与观察、田野记录、摄影、民族志电影等）上都有所体现。15 在现代化过程中，人们通过截然分开的“转译”和“纯化”16工作，尝试去认识和理解自然与社会的关系。按照布鲁诺·拉图尔（Bruno Latour）的划分，转译是设法在观察到的不同方面之间建立联系，而纯化则是通过把所观察到的不同方面分割开来去认识每个具体方面。转译和纯化两种实践同时存在于人的认知过程中。如果把自然和社会分割开来，即经过科学主义的纯化过程后，两者似乎就是对立的。但按照前现代主义的认识，自然与社会是关联的，通过转译过程，去认识自然界物象的相互联系，而由人类和纯自然共同参与的杂合体在实践中也无法用现代主义逻辑真正被纯化为自然和社会两极。17研究者为了弥补自然和社会间不断创造出来并加以扩大的鸿沟，不得不求助于表征性符号媒介，将话语、表达、语言、文本、修辞与意义联系起来，将文字符号表征的部分内容界定为理性、有逻辑、符合文化规则的，加以浓墨重彩的叙述和讨论。语言分析深深地陷在科学主义陷阱之中，很少探究语法及语义与语用、概念化与转译之间的关系。多元场景中语言文字之外的符号、除视觉外的感官模态被认为是个人化的、感性的、情绪化的和不确定的，对于意义的赋予可能会产生消极作用。因此，学术界将更多注意力放在了那些被认为是能够更好地呈现文化逻辑和法则的现象之上。同一枚硬币的另一面，即人的声音、面部表情、姿势、手势、步态等所传达的表达意义和情绪情感则往往被忽略，或者被判定为与文化逻辑不符、不够真实和客观。文化表达的丰富内容被提纯为抽象化的“文化逻辑”。 现代印刷媒介不仅成为凝聚想象的民族国家共同体的必要技术手段，以印刷媒介呈现的学术载体的刊发数量和质量也成为现代民族国家学术评价的核心尺度。与其他许多人文社会科学一样，迄今为止，人类学家的学术成就主要是通过学术专著和期刊文章得到学术评价体系认可的，教学活动等相关评价最终也往往与学术发表有关，形成一个与知识权力相关联的相对封闭的学术知识生产和交流体系。多模态在此过程中通常会被推向边缘，仅仅在人们非正式的评头论足中有一席之地，甚至表现出越“专业”，学术成就通道就越单一化的现象。 正是在与多模态相关的语言人类学、视觉人类学研究中，人类学的多模态认识开始成形，发展出不同取向的新思考，或深化对于语言学符号指号过程的理解，或研究不同社会媒体平台，或改进视觉表现手段和手法。一批人类学家不断探索，从具体方法运用逐渐扩展到方法论思考，再归纳、总结和反思理论，多模态与人类学之间的联系逐渐建立起来。象征意义或意念心像因为多模态手段的调用而有可能实现更加全面、生动、细致的表述和分析，从而实现更顺畅的理解、沟通和交流。 20世纪80年代中期，民族志表述危机引发了批评和反思，人类学家更加自觉地进行不同路径的尝试，“多模态人类学”正是在此背景下提出的。在生物视角、胚胎视角、心理视角、认知科学视角、哲学视角、临床视角和人工模拟视角18之外，加入人类学视角，反思和批判单一视角的窠臼，以新的民族志记录、描述和阐释方式，增添更为深入和具有解释力的社会文化阐释。在民族志表述危机的反思之后，人类学家检讨了对于社会文化现象观察的缺失，意识到以往在对于社会文化结构、理性、逻辑和规则的探索中，忽略了个体能动性、感性、不确定性和场景中的变通性。所有的语言表述，不管是通过什么媒介，采用什么形式或者行动，表述的内容和方式都是密不可分的。媒介、形式、行动与语言同样重要，构成了表达的一部分。人类的认知不仅是通过头脑思考形成的，也是以身体在场的体现（embodiment）方式生动地感知、认识和呈现的，有时还可能通过感触图像及身体接触艺术品的体触（corpothetics）19来获得。人类能够超越环境中有机体的界限，通过身体动作创造出与现实生活密切相关的象征意义。20每一件人类创造的生动之物“都具有一种独特的媒介，通过它及其他一些物，在性质上无所不在的整体得到承载。在每一次体验中，我们通过某种特殊的触角来触摸世界；我们与它交往，通过一种专门的器官接近它”。21具身性的体验和体触创造了一种对于物质存在内在主题的全新感受，能够不断激发新的激情，在互动中获得更强烈、更全面的体验。各种感官感知在混杂糅合的联觉中，意义和情绪情感的表现性和作用力得到了相互补充和加强，使得人们能够将认知重新置于现实世界之中，深化对于鲜活的文化实践者主体性和主体间性的理解。 与此同时，一些视觉人类学家在影像实践中注意到媒介和社交媒介的多种形式与观念、感官感知和情绪情感的关联性，意识到影像的局限性和狭隘性，转向多模态人类学，关注媒介高度丰富的实际存在状态，寻找人类学家、公众、学生、研究参与者和其他学科领域的同事通过媒介建立新的联系的可能性。 当代人类学认识论和方法论的反思也指向了多模态议题。当代人类学田野工作面临的状况日益复杂，不再仅仅是人类学家在用新的数字信息搜集和记录工具观察和记录当地人的生活。如果在田野工作中与当地人建立起来比较密切的关系，当地人对于人类学家有了一定的信任，在人类学家的田野存在和对于当地人生活的参与同时，当地人也通过他们的手机、相机、社交媒体流等观察和记录着人类学家的言行，越来越多的人类学家不再是单向的知识生产者，也成为当地人的自媒体报道和呈现的重要角色。不仅是“被观察的观察者”，22更是被记录的记录者、被表述的表述者、被呈现的呈现者。人类学家在与当地人及其他媒体的合作互动中重新塑造社会关系，共同生产知识，合作表演和展现一出又一出多模态的社会戏剧。 2017年，塞缪尔·柯林斯（Samuel G.Collins）、马修·杜林顿（Matthew Durington）和哈贾特·吉尔（Harjant Gill）发出了“多模态：一个邀请”（Multimodality:An Invitation）的宣言，23美国人类学学会期刊《美国人类学家》杂志于2019年第1期发表了“多模态人类学：多模态的发明专栏”（Multimodal Anthropologies: Special Series on Multimodal Inventions），强调人类学知识生产、传承和展现在数码媒介时代的多媒介转向，关注多模态研究对于人类学学科的发明政治（politics of invention，指新的人类学学术概念及其相关知识的创造）做出的贡献，以重新构想人类学，为未来人类学的发展提供新的可能性。24在专栏中发表了3篇论文，25以及对于影视片《棉花之路》（Cotton Road:A Supply Chain Journey）和《山谷故事》（Village Tales）的影评。 三、多模态民族志的方法论思考 多模态人类学必然涉及人类学田野民族志问题，涉及质性研究方法论、质性研究与量化研究的关系处理等方面的新思考。更具体地说，如何改进民族志传统，把多媒体、多感官与多模态结合起来，是多模态人类学研究应该特别注意解决的研究方法和方法论问题。从研究取向到使用工具、创新角度等层面，都需要将多模态放置在思考框架中，消解因为学术区隔而未能妥善整合的多种差异性方法间的张力。 人类学整体论视角和民族志呈现方式为多模态研究提供了可发展的空间。通过强调融通观察的潜在可能性，通过多模态合作，可以拓展和丰富民族志研究。尽管多模态民族志研究也涉及以量化研究为基准还是以质性研究为核心的争论，但其核心任务是参与到多模态实践过程中，认识和理解动态的、流动的、通过人的行为创造和塑造的多模态。我们认为，多模态民族志研究方法的重要原则，应当关注以下几个方面: 1.主体性。 多模态生产和再生产是在全球资本主义、资本积累和其他权力介入的场景中进行的，应当关注多模态技术科学实践与权力的关系，彰显模态的主体性感受与表达。什么是模态、哪些模态可以被普遍接受和理解是社群成员们选择和认定的，也是他们具体运用和感受的。他们对于符号资源及其运用方式、媒介和工具的有效性、恰当性和感染力强弱等有着独特判断和认识，在对于不同模态及其相互联系的感知感觉体验和表达模式上具有一定的群体性。有些研究者主张，一个社群决定把什么作为模态来看待和使用什么就是模态。26应当了解和掌握模态理论研究的既有成果和最新进展，更需要通过民族志研究去更系统地去认识、探讨和理解多样而复杂的多模态，从本体论（ontology）的立场出发，了解和探寻文化实践主体的模态概念、分类、观念和表达模式，将这些文化现象纳入更广泛的社会科学和人文学科的知识视野中，把文化的不同表现侧面联系起来探讨。 2.场景性。 民族志研究强调场景，但多模态的场景概念比较以往则更加全景化。不仅要关注现实场景如何影响人们的模态选择和使用，更要在场景中从不同视角和不同场景去研究多模态。代替以往较为简单的场景描述的是采用更多样化的手段，关注更为立体的多符号资源并用、多媒介共存、多感官同在的场景。在多模态场景中，各种模态互为场景。可以首先将以往疏忽的各种模态纳入场景中，进而再聚焦于研究者更感兴趣的多模态现象。在交互式“场域”观念中，使场景与所聚焦的文化现象之间的分离得到消弭，实现“场”“景”交融。 3.融合性。 人类学以往的意义探讨多与语言学和符号学相关，但行动者在现实“社会语境”中“创造意义”动用的符号学资源已经大大超出了语言符号的范畴。27“多模态的多种引用都有一个关于可感知组合的性能和分析重点，这些组合是通过对不同的符号进行联合索引而建立起来的”。28多模态彼此往往互为索引项，同时纳入观察和研究视野才能够使意义和情绪情感的丰富性更为充分地呈现出来。在多模态话语形式间关系研究中，区分了互补与非互补关系，前者包含突出、主次、扩充的强化关系和协调、联合、交叉的非强化关系，后者则有交叠、内包和语境交互的关系分类。29然而，多种模态间的关系却并非分类那么简单，多模态之间的互补关系有些强一些，有些则会弱一些。甚至在一次信息交流的互动过程中，多模态的组合关系也有可能发生变动。现实社会语境中的人们通过多样化的符号资源进行生动而频繁的社会互动，观察、捕捉和记录不同符号资源过程性的配合方式是多模态人类学研究的基本立足点。人们通过真正的多模态组合来交流，这种组合构成了真正意义上的“融合”（amalgamations），而不是把不同模态的组成部分拼合在一起“编排”（orchestrations）。30只有把外在环境、行为空间、身体多感官和多符号资源等不同模态同时处理时，文本的意义才会变得更加清晰和立体。多模态知识蕴含在参与者与指涉物的在场、多模态与多媒体运用、模态间的关系及其处理方式、模态变换过程、表现与反馈方式等整个多模态呈现的过程之中。 4.互动性。 多模态经常是多人构成行为发生语境中共同存在和共同参与的互动，在行动中通过协作构建意义。多模态民族志可以说是将不同的沟通方式、感官感知渠道或者体现模式整合到自然生成的多模态组合之中的表现性和解释性方法。在多模态交互作用中，这种组合是由多个参与者的谈话、身体运动技巧和与物质对象的动作建立起来的。31多模态在交流中发生，通过多模态互动实现信息交流。人们的自我反身性实践和对于社会世界处置方式表现为与社会关系和感知距离相联系的具体化的模态类型、模态空间和模态时间。由多模态研究努力理解当代社会生活中的日常交流和互动，32就需要观察行为发出者与作用对象是如何运用多模态彼此沟通和联系的，相互关系是怎样达成和延展的，不同行动者与不同对象的互动频度和紧密度，在交流中是否会互换角色，互换角色过程中对于模态的使用有哪些差异，还要注意权力在多模态互动中的介入。 5.交感性。 近年来，社会人文学科回归物质性、具身性维度，重视物感物觉，一定意义上呼应了《礼记·乐记》中关于“人心之动，物使之然也”的论说和维柯《新科学》中关于“诗性智慧”的观点，类似于普安索和皮尔士对于“质感”和“象似”的高度重视。33将多模态和人类学意义上的感官民族志方法结合，对于感官感知认识和理解就可以深化一步，在多模态研究中实现整合。在多模态民族志中实现质性和量化结合的精细化观察、记录、描述是分析和讨论的基础。将多模态和田野民族志联系起来涉及质性研究方法论面临着新的思考。在社会实践中关注人们运用多模态谈话与交流的技巧，在微观层面描述多模态运用。一系列文化内部概念的、专业的及公众的时间长度、空间距离、大小尺寸、重量、力量、位置尺度，民间描述音乐用的声、音、乐、调、律、段、曲、板、眼和音乐学专业的旋律、曲调、节奏、调式、和声、复调、曲式、力度、速度、织体、音色等都可以记录和描写，批判性和创造性地将不同领域使用的各种量化记录描述方法和手段记录多模态。例如，在研究仪式、舞蹈、武术等多模态的，特别是动觉和触觉结合的行为时，在关注其他模态同时，更精细地观察和记录人体运动的部位、方向、层位、角度、力效、延续时间和延展空间、队形/阵图，以及在运动中接触其他人或物的方式直接或间接、急促或缓慢、重或轻、松弛或紧张，开始和结束的接触点和接触时间，被接触时接触点的局部反应和运动中的节奏变化。在绘画民族志研究中，观察作品题材、人物造型、景观选择与构图的关系，画家对于画面整体和局部的调子、色彩明度、纯度、冷暖、对比、互补等关系的处理，及其创作中几易其稿的变动。在描述的基础上，由体验式的参与观察去考察多模态的符号资源、媒介和感官感知，在兼顾观念与情绪情感的深度访谈中结合社会关系和文化观念，通过一系列具有理论关怀的细致询问，探求多模态行为的缘由、道理和讲究，了解文化实践者的行为感受和文化意义阐释。在对于多模态过程包含量化描述的质性研究中，行动意义和情绪情感就有可能更清晰而明确地呈现出来。 6.技术性。 数字录音录像技术的时效性、便利性，数据传输量、数据传输速度不断提升，数字音像技术无处不在，进一步增强了多模态描述和分析的需求，也极大地提升了运用影像与数字媒体技术描述和分析多模态行为的可能性。需要观察和记录运用多模态互动的多媒介语境、形式、手段和方式，使用多媒体的过程和心得，从而实现田野工作过程中研究者与行动者的交互性信息共享。多模态有赖于影像与数字技术的进一步开发，但也离不开对于技术应用的思考。要在影像呈现中使得所聚焦的文化活动过程或者人物在整体互动中发挥出核心作用，就需要考虑聚焦和关联。要尽最大可能呈现核心活动及焦点人物的言行举止以及与其他角色的多模态互动，尝试使用多机位、多角度、多景别的摄像机来进行更为充分的记录和描述。与此同时，使用更多的摄影机和麦克风，来采录不同的影像，接收不同的声音，确保所有来源的影像和声音品质，以便在后期编辑时与文化活动过程或者焦点人物产生各种互动的多角色的多模态呈现都能够得到充分调动。在仪式活动记录中，不仅要对所有的参与者进行跟踪拍摄，还需要跟踪所有与活动相关的动态和静态物象，包括和仪式行为相关的空间环境、建筑景观、动物、植物。拍摄的目的不仅仅是在视频编辑中添加一些灵动感，更是为了借由这些多模态影像呈现出意义和情绪情感复杂构成及其变化。在实践中，尽可能地尝试使用在声学、身体动态、色彩学等领域研究的创新性方法，提升摄像机和相关设备的使用效能，以及对于影像资料的复合性分析，以使研究过程更臻完善。 四、多模态仪式场景的呈现和简析 在理论和方法论的辨析和讨论之后，就面临着是否可能应用以及如何应用的问题。从多模态的视角来考察，民族民间艺术的表达手段和形式通常都十分丰富，在各种仪式、节庆活动中也有非常多以不同模态呈现的表演性行为，但很遗憾，在以往的一些研究中许多重要的表意文化实践却被有意无意地忽略了，成为了干瘪的抽象概念和生硬理论的堆积。 仅就我们曾经做过田野考察的民间乐舞来说，无论是帕米尔高原的塔吉克乐舞、麦盖提刀郎麦西莱甫、陕北绥德“闹红火”、重庆秀山花灯，还是江苏常熟的浒浦花鼓，都是多种艺术符号资源融合在一起的，多个角色相互配合，每个角色扮相迥异，说、唱、乐、舞、技、艺等多种艺术手段往往是组合并置，甚至难以分割的。场地大小、演出场所条件都不重要，观众紧紧围绕在艺人表演的场子周围。在不同的场景中，艺人们根据自己的技艺功底即兴发挥，即席见景见人编词演唱，呼应着观众的情绪，改变音乐节奏、增加舞蹈动作，除通常有的能够娴熟运用技术技巧生旦配合之外，都少不了一些制造诙谐效果的角色，或插科打诨，或耍宝逗乐，表演随心所欲，一些深受民众喜爱的艺人还有各不相同的特长和绝活。服装道具也有各自的特点，为本地观众喜闻乐见，表演过程经常有观众参与，甚至观众有可能会转变角色，加入乐舞表演行列之中。随着不断改编和逐渐舞台化、专业化，民族民间乐舞中丰富多彩的角色一个一个地消失，剩下的角色也变得越来越“规矩”和一本正经，多样化的艺术手段变得越来越单一、音乐和动作越来越整齐划一，甚至有些原本乐舞一体的民族民间艺术形式剥离了现场的音乐演奏，成为纯粹用于舞台表演的舞蹈，与当地民众的文化生活越来越疏远。因此，我们认识到，要认识和明了生活样态的民族民间艺术，乃至于文化，就必须避免只是从单一的，被生硬切割、分解和区隔的艺术领域和文化的个别方面来观察和研究的简单视角。 新疆帕米尔高原的塔吉克人婚礼乐舞和竞技活动直接关系到塔吉克人家的面子。谁家的婚礼上来的客人不多，没有人跳舞唱歌，这家就会很没面子。如果还能够搞叼羊和赛马活动，那更是面子十足。远近的高手接到亲友传送来的手机讯息或者口信，会闻讯赶来参加。主家也会备好丰厚的奖品。冰峰脚下绿色的河畔草原上骑手们反复争夺着一只白色的“屯巴克”（teenbak）是一幅绝佳的高原动态景色。如果在山脚下的荒滩上举行，尘土蔽天盖日，一大群参与者骑马追逐着一位手拎“屯巴克”急速奔向竞赛标点的骑手从尘浪中奔踊而出，参赛者用力驱赶马匹和抢夺羊只时发出的吼声、观众的呐喊鼓励声、马蹄踏在地面上的铿锵声，与鹰笛和手鼓演奏的“屯巴克索孜”（teenbaksuz）音乐交响叠奏，竞赛激烈，热闹非凡。叼羊可不是仅仅冲着奖品而来，更是博得观众赞誉的好机会，是为了赢得更高的个人，乃至家族声望和名气。 塔吉克婚礼通常分两个舞场。室外的舞场无论认识与否，面向所有来宾敞开，包括到高原旅游的游客也都会受到热情款待。室内的舞场在深夜开始，很显然能陪伴至那个时候的人都是至亲、好友和近邻，两个舞场在时间和空间的不同，区分出亲疏远近的社会关系。 塔吉克人通常把婚礼上的两人对舞称为“恰卜索孜”（chapsuz）和“买力斯”（meylis）舞，是指鹰笛和手鼓合奏时的鼓曲节奏型。“恰卜索孜”是指7/8拍的手鼓鼓点节奏，“买力斯”是5/8拍的手鼓鼓点节奏，但泛指两种类型的音乐，同时还是随着这两种节奏跳的舞蹈的名称。塔吉克族传统乐器有鹰笛、手鼓、热卜普、艾捷克、莎什塔尔、巴朗孜库木等，但鹰笛成为中国塔吉克文化表达中最引人注目的一种乐器。鹰笛是用鹰翅骨做成的三孔对笛，声音高亢而悠扬。塔吉克民间流传着关于鹰和鹰笛的爱情故事，婚礼场合出现的鹰笛又多了一番爱情的意涵。婚礼舞蹈即将开始时，通常由两位男性吹奏鹰笛，一支主奏、一支副奏。如果乐手水平差不太多，两人在演奏一段后会互换角色。手鼓是用羊皮做成的，手鼓持法和演奏法独具特色。打手鼓的则多是女性，两人共同演奏，也有主奏、副奏的分工。两人有时合敲同一面手鼓，有时各持一面手鼓，两面手鼓略微倾斜相对，形成共鸣关系。演奏一段时间乐手略感劳累之时，马上会有人接过鹰笛和手鼓，继续演奏，音乐伴随着婚礼舞蹈的始末。“恰卜索孜”和“买力斯”两种节奏会轮流变化，紧密衔接。为了不影响舞者跳舞，通常是演奏完数个八拍后，随着舞蹈参与者的增加和情绪的高涨而变为另一种节奏，起起伏伏，使得参与者舞兴大增，情趣盎然。在塔吉克人各种仪式和民间歌舞活动中，如婚礼、割礼、出生礼和肖贡巴哈尔节等等，“恰卜索孜”和“买力斯”音乐响起，塔吉克人就开始翩翩起舞。在外人看来，这是一种重要的塔吉克文化表现形式和塔吉克民俗的展示窗口。 在塔吉克人看来红色象征着光明和力量，白色则与纯洁和吉祥联系在一起。新郎的帽子上缠绕着红白两色辫成的绸带，腰间缠绕着一块红色的绸布，双手小指各套一枚戒指，上面系着四条红白绸带，还会用一种石头磨成白粉浆点在新郎眼睑周围。新娘全身穿着红色衣裙，双手小指上也戴着系有红白两色绸带的戒指，四条长辫上编着大大的银元状或白色纽扣饰品，戴大耳环和几条串珠项链，胸前还要佩戴圆形大银饰（alga）。头戴绣花圆帽，帽子的绣花图案可以看出这个新娘是属于塔吉克的哪个分支。34花帽前面挂着一串小银链（silsila），物如其名，一晃动就伴随着闪闪银光发出轻微的“斯力斯拉”的响声。花帽上披着一条长及膝盖的红色披肩，露脸的地方挂一块刚好遮住脸的白纱布。参加婚礼的人们，尤其是年轻女性穿的和新娘一样鲜亮的红衣裙，只是没有那么繁复。 舞会要开始了！人们默契地围拢在乐手四周形成一个圆形的舞场，热场人（duraqi）腰间扎着红布，手里拿着一条半米长的红白布编成的粗绳，一边吆喝一边走向人群极力邀请围观的人跳舞。年轻小伙子们跃跃欲试，相互鼓励对方先步入舞场，欢乐但不缺礼貌，没人会与在场的女孩开玩笑。通常第一个走进舞场的人会收获一片掌声，两人一对，一个顺时针一个逆时针相互转圈跳，男性脚下步伐细小而稳重，上肢动作舒展而优雅，一个八拍轮换旋转方向。跳累了，就在跳完一段舞曲后退下。与此同时，也不断有人加入，跳至高潮的时候有多对同时跳。最尊贵的客人或长辈在舞会最高潮时款款步入舞场跳一曲，其他舞者就会退到舞场边缘，把中心位置让出来。衣着鲜亮、轻施粉黛的女孩更愿意走进舞场，经常是好几位闺蜜聚在一起，又一起登场起舞。有时一些头戴白纱巾的女性静静地坐在角落，脸上不会有夸张的表情。一年之内家里有丧事，家人正在服丧期，筹办婚礼的人家在婚礼前必须宰羊请这些家庭的人来做客，得到他们同意之后，才能够举办婚礼。舞场上男男、女女、男女、兄妹、父女都可以对跳，搭配自由，甚至三四岁的孩子也会加入舞蹈的行列。但是公公和儿媳遵循回避的规则不会在一起跳舞。 舞场气氛热烈而不越分寸，女孩舞蹈时自信地微笑但不会露齿，也不会与男舞者对视。男孩热情但不会勉强任何女孩跳舞。无论和谁对跳都不会有身体的接触。舞姿潇洒或漂亮而不失优雅的人总会得到掌声和打赏，在场的人们会打赏红布、纱巾或者钱给跳舞的长辈和尊贵的客人以及舞跳得好的人。围观跳舞的不仅有不断高声喝彩的本地村民和周围的乡亲，还有远道而来的游客。尤其是在旅游旺季，穿着各色户外服，挎着相机的各地游客也成为舞场的一道风景线。 没有谁要求和指挥，邻居和近亲加入操办婚礼的工作中。妇女们帮忙揉面打馕、准备婚礼物品、布置新房，男人们准备煮羊肉的柴禾，或者帮助主家招呼客人，每一个帮忙的人都能找到自己的该做的事，就像一场训练有素的舞蹈表演，谁什么时候出场跳什么动作都已经内化为惯习，轻松自如而又有条不紊地完成仪式的一切后台工作。客人们在主家的引导下按照女性优先和长幼尊卑身份走进大房子，根据性别和身份依次沿着主炕、尾炕和小炕边坐下，最尊贵的客人坐在主炕靠炉灶的地方，主人家献茶，并且用抓饭和手抓肉款待客人。随后，主家端出一只空盘子，每个客人根据自己和主家亲疏远近的关系放入盘中数额不等的现金，参加婚礼的旅游者在导游的指引下也奉上自己的祝福礼金。餐毕，稍坐片刻后离开大房子，去院子里或者其他房间。接着，又一批客人走进大房子，来向主人家表示祝贺。在新建的抗震安居房或者城镇居民小区中，人们在不同的居所格局中，依据社会关系距离，富有弹性地安排参加婚礼的每个人都能够在恰当的空间中行动。 在这样一场主人和来宾共同参与的社会戏剧中，通过乐舞活动、婚礼待客，甚至人们的来来往往，人们用多种感官获取和表现着声音、身体姿态和动作、色彩、气味、口味等诸多动态的和静态的模态，每一个人都由此以各自的身份参与其中并生动地呈现，乃至彰显自我，以场景性的多样化方式传达出对于文化观念的认识和理解，各种情绪情感也丰富多彩地贯穿在整个过程之中。家族、血亲和姻亲、邻里、村落、部落、乡镇之间在竞争与合作中，缔结和巩固社会关系，并构成一套交织在一起的社会关系秩序，日常生活中的文化实践也与族群、民族和国家认同紧密地联系在一起，构成了一个族群或地方的文化表达，使其文化意义和情绪情感模式得以生动展示和完整呈现。35 五、结 语 总之，多模态作为人类学研究的一个富有创新性的方向，不断反思和批判僵化的和武断的二元割裂观念，通过各种媒介呈现的多种符号方式与人们的感官感知相联系，把以往相互切割，甚至常常被忽略或者遗漏的多种模态重新人类学化，更加充分地凸显文化意义和情绪情感的表现和作用，深化了对于文化实践者主体性和主体间性的理解，在反思性的学术实践中有可能成为一条富含理论性的学术产出通道。在以扎实的田野民族志为基础的多模态人类学研究中谋求新突破，以期促进学术更好地面对和面向社会文化的新变化，及时开拓新领域，获得新进展，促进人类学学科的繁荣和进步。 注释 1.参见Natasa Lackovic，“Analysing Videos in Educational Research:An‘Inquiry Graphics’Approach Formultimodal，Peircean Semiotic Coding of Video Data，” Journal of Education and Pedagogy，Vol.3，No.6，2018。 2.参见[德]康德著、邓晓芒译：《康德三大批判合集》，人民出版社2009年版；周黄正蜜：《论康德的审美共通感》，《云南大学学报》2014年第4期。 3.参见[法]德勒兹著，张宇凌、关群德译：《康德与伯格森解读》，社会科学文献出版社2002年版。在上编“康德的批判哲学”中德勒兹阐述了这种观点，如第60-61页、69-70页色彩和声音的讨论。 4.[法]雅克·朗西埃著、谢卓婷译:《审美维度:美学、政治、知识》，《马克思主义美学研究》2016年第2期。 5.参见Ethiraj Gabriel Dattatreyan and Isaac Marrero-Guillam，“Introduction:Multimodal Anthropology and the Politics of Invention，” American Anthropologist，Vol.121，No.1，2019。 6.参见顾日国：《多模态感官系统与语言研究》，《当代语言学》2015年第4期。 7.参见Gunther Kress，Multimodality:A Social Semiotic Approach to Contemporary Communication，London:Routledge，2009;Gunther Kress and Theo van Leeuwen，Multimodal discourse:The Modes and Media of Comtemporary Comunication，London:Arnold Publishers，2001;Carey Jewitt，The Routledge Handbook of Multimodal Analysis，2nd edn.，London:Routledge，2014;Carey Jewitt，Jeff Bezemer，Kay O'Halloran eds.，Introducing Multimodality，London:Routledge，2016。 8. 参见Gunther Kress and Theo van Leeuwen，Reading Images:The Grammar of Visual Design，2nd edn.，London:Routledge，2006。 9.如 Theo van Leeuwen，Speech，Music，Sound，London:Macmillan Press Ltd.，1999;Theo van Leeuwen，The Language of Colour，Oxon，UK:Routledge，2011等。 10.参见顾日国:《多模态感官系统与语言研究》，《当代语言学》2015年第4期。 11.[美]迈克尔·赫茨菲尔德著，刘珩、石毅、李昌银译：《人类学:文化和社会领域中的理论实践》，华夏出版社2009年版，第268页。 12.参见John Dewey，Art as Experience，New York:Perigee Books，1980[1934]，pp.43-44。 13.参见Edward Burnett Tylor，Anahuac:or Mexico and the Mexicans，London:Longman，Green and Roberts，1861。 14.参见James Frazer，The Golden Bough:A Study of Magic and Religion，New York and London:Macmillan，1894;[英]詹姆斯·乔治·弗雷泽著、徐育新等译:《金枝:巫术与宗教之研究》，大众文艺出版社1998年版。 15.参见Pia Lane，“Multimodality and Culture，”in Carol A.Chapelle ed.，Blackwell Encyclopedia of Applied Linguistics，Oxford，UK:Wiley-Blackwell，2012。 16.法国哲学人类学家布鲁诺·拉图尔的概念，参见下文。 17.参见[法]布鲁诺·拉图尔著，刘鹏、安涅思译：《我们从未现代过——对称性人类学论集》，苏州大学出版社2010年版，第12-13页。 18.多模态研究的七种视角，参见顾日国：《多模态感官系统与语言研究》，《当代语言学》2015年第4期。 19.参见Christopher Pinney，“Piercing the Skin of the Idol，”in C.Pinney and N.Thomas eds.，Beyond Aesthetics:Art and the Technologies of Enchantment，Oxford，UK:Berg，2001，pp.157-180。体触是通过感触图像及身体接触艺术品获得的感受，进而会激发一种超验的意识，在一些文化中体触具有群体性，特别是在群体信仰活动中往往有所呈现。 20.参见Matthias Jung，“Stages of Embodied Articulation，”Gregor Etzelmüller and Christian Tewes eds.，Embodiment in Evolution and Culture，Stuttgart:Tübingen，Mohr Siebeck GmbH and Co.KG，2016，pp.175-190。 21.参见[美]杜威著、高建平译：《艺术即经验》，商务印书馆2005年版，第216页。 22.参见George W.Stocking ed，Observers Observed:Essays on Ethnographic Fieldwork，Vol.I of History of Anthropology，Madison:University of Wisconsin Press，1983。 23.参见Samuel G.Collins，Matthew Durington and Harjant Gill，“Multimodality:An Invitation，” American Anthropologist，Vol.119，No.1，2017。 24.《美国人类学家》2019年第1期于2019年4月发行，由马修·杜灵顿、哈贾特·吉尔和塞缪尔·柯林斯任专栏编辑。 25.这3篇论文是Ethiraj Gabriel Dattatreyan and Isaac Marrero-Guillamón，“Introduction:Multimodal Anthropology and the Politics of Invention，”American Anthropologist，Vol.121，No.1，2019;Arjun Shankar，“Listening to Images，Participatory Pedagogy，and Anthropological （Re-）Inventions，”American Anthropologist，Vol.121，No.1，2019;Kiven Strohm，“The Sensible Life of Return:Collaborative Experiments in Art and Anthropology in Palestine / Israel，”American Anthropologist，Vol.121，No.1，2019。 26.参见Gunther Kress，Multimodality:A Social Semiotic Approach to Contemporary Communication，London:Routledge，2009。 27.参见Bella Dicks，Rosie Flewitt，Lesley Lancaster，Kate Pahl，“Multimodality and Ethnography:Working at the Intersection，” Qualitative Research，Vol.11，No.3，2011。 28.Sicali Mark，“Modality，Multi-modality，”The International Encyclopedia of Linguistic Anthropology，Forthcoming，2018，https://www.researchgate.net/publication/327160733，浏览时间2020年4月19日。 29.参见张德禄：《多模态话语分析综合理论框架探索》，《中国外语》2009年第1期。 30.参见Markus A.Höllerer，Thibault Daudigeos and Dennis Jancsary，“Multimodality，Meaning，and Institutions:Editorial，”in Markus A.Höllerer，Thibault Daudigeos and Dennis Jancsary eds.，Multimodality，Meaning，and Institutions，WA，UK:Emerald Publishing Limited，2018，p.20。 31.参见Sicoli Mark，“Modality，Multi-modality，”The International Encyclopedia of Linguistic Anthropology，Forthcoming，2018，https://www.researchgate.net/publication/327160733，浏览时间2020年4月19日。 32.参见Bella Dicks，Rosie Flewitt，Lesley Lancaster，Kate Pahl，“Multimodality and Ethnography:Working at the Intersection，” Qualitative Research，Vol.11，No.3，2011。 33.有关著述很多，如John Deely，Basics of Semiotics，Indianapolis:Indiana University Press，1990;John Deely，Augustine and Poinsot，The Protosemiotic Development，Scranton，PA and London:University of Scranton Press，2009;Margaret Lock and Judith Farquhar eds.，Beyond the Body Proper:Reading the Anthropology off Material Life，Durham and London:Duke University Press，2007;[美]保罗·康纳顿著、纳日碧力戈译:《社会如何记忆》，上海人民出版社2000年版;Tim Ingold，Making:Anthropology，Archaeology，Art and Architecture，London and New York:Routledge，2013;Carolyn Korsmeyer ed.，The Taste Culture Reader:Experiencing Food and Drink （Sensory Formations）2nd Edn.，London:Bloomsbury Academic，2016;Kalpana Ram and Christopher Houston eds.，Phenomenology in Anthropology:A Sense of Perspective， Indianapolis:Indiana University Press，2015;[美]乔治·莱考夫、[美]马克·约翰逊著，何文忠译:《我们赖以生存的隐喻》，浙江大学出版社2015年版;[美]查尔斯·S·皮尔士著、[美]詹姆斯·胡普斯编、徐鹏译:《皮尔士论符号》，上海译文出版社2016年版等。 34.中国塔吉克族有色勒库尔和瓦罕两个分支，花帽绣花图案有较为明显的区分，是方言差异之外塔吉克人分辨内部族群的重要指号（sign）之一。 35.限于篇幅，本文个案聚焦于多模态仪式场景的呈现，更细致的叙述和相关理论分析有待另文专论。 (责任编辑：admin) |