Размещено на http://www.Allbest.Ru/

Размещено на http://www.Allbest.Ru/

Размещено на http://www.Allbest.Ru/

Челябинский государственный университет

Понятие мультимодальности и вопросы анализа мультимодального лекционного дискурса

Сорокина Ю.В.

Аннотация

Статья раскрывает понятие «мультимодальность», основные характеристики и некоторые подходы к анализу мультимодального дискурса. Актуальной тему делает отсутствие в данный момент методов и инструментария для анализа лекционного мультимодального дискурса, единого терминологического аппарата. В статье описаны основные характеристики мультимодального лекционного дискурса, выделены компоненты и подходы к его анализу.

Ключевые слова и фразы: модальность; код; мультимодальность; мультимодальный дискурс; лекционный дискурс.

Sorokina Y.V. Notion of multimodality and issues of multimodal lecture discourse analysis

In the article the notion “multimodality”, the main characteristics and some approaches to the analysis of the multimodal discourse are revealed. The absence of methods and tools for the analysis of the multimodal lecture discourse as well as single terminological apparatus makes this topic relevant. The author describes the main characteristics of the multimodal lecture discourse, and singles out the components and approaches to its analysis.

Key words and phrases: modality; code; multimodality; multimodal discourse; lecture discourse.

В современном мире передача и восприятие информации происходят посредством различных систем и каналов, способных порождать значения и взаимодействовать одновременно. Коммуникация не сводится к какой-то одной знаковой системе, а представляет собой специфическую форму симбиотического взаимодействия [6]. Мономодальность меняется на более сложный и интегрированный вариант подачи информации. Коммуникативные процессы основываются на комплексном взаимодействии различных знаковых систем, т.е. мультимодальностей, поэтому языковая коммуникация мультимодальна по своей природе. Целью данной статьи является раскрытие понятия «мультимодальность», а также описание особенностей анализа мультимодального лекционного дискурса.

Проблема мультимодальности является одной из ключевых в невербальной семиотике. Основными аспектами мультимодальности являются исследования вербальных, невербальных, смешанных вербальноневербальных, телесных компонентов знаковой коммуникации и создание моделей вербального, невербального, смешанного поведения.

Модальность - это перцептивный или психологический феномен, связанный с восприятием информации [4]. Термин «модальность» заимствован из психологии и используется для обозначения сенсорных каналов восприятия. В когнитивной лингвистике термин определяется как один из кодов информации, включенный в понятие гибридизированного текста. В психолингвистике модальность - это принадлежность к определенной сенсорной системе, модальность обозначает характеристики ощущений, сигналов, стимулов, информации, рецепторов. Модальность обладает социокультурной предопределенностью и имеет свою традицию моделирования и передачи информации в обществе. Для понимания модальности необходимо понимание рассматриваемой культуры. Составляющими элементами каждой культуры являются идеи, верования, мировоззрение, ценности, нормы, социальные факторы, влияющие на жизнь общества и социальное поведение индивида. Выделяются следующие типы модальности: обонятельная, осязательная, вкусовая, зрительная и слуховая [7]. лекционный мультимодальный терминологический невербальный

Итак, мультимодальность состоит в формировании значений при помощи разных семиотических средств - модусов (письмо, речь, изображение) - соответствующих социокультурных конвенций. Мультимодальность понимается как описание общих законов и правил взаимодействия в коммуникативном акте вербальных и невербальных знаков [2, c. 101], соединение различных кодов предъявления информации [7].

Теория коммуникации определяет код как элемент базовой модели коммуникации, передающей смысл. Выделяются следующие коммуникативные коды: вербальный, паралингвистический и экстралингвистический. Вербальный (verbal code) код представляет собой передачу информации посредством письменной и устной речи. Паралингвистический код (paralanguage code) включает все голосовые средства передачи информации, передаваемой вербальным кодом. К этой категории относятся темп, тембр, тон, интонация. Экстралингвистический/невербальный код (non-verbal/visual code) представлен не связанными с языком и речью средствами: жестами, мимикой, зрительным контактом, позами, временем, проксемическим пространством, локацией. Е.А. Артемова выделяет языковые коды, визуальные коды (технический, репрезентативный, иконический, иконографический) и также социальный, культурный, стилистический и идеологический коды [1, с. 146].

Под мультимодальностью понимается описание общих законов и конкретных правил взаимодействия в устном коммуникативном акте вербальных или невербальных знаков [3]. Г. Кресс считает мультимодальными явлениями взаимодействия между вербальными текстами и изображениями, видео, речью и жестами, размером и цветом текста [7]. Мы считаем, что мультимодальным является любой текст, соединяющий в себе различные семиотические коды, требующий актуализации сразу нескольких перцептивных каналов, визуального и аудиального. В дискурс-анализе использование нескольких средств или каналов передачи информации принято называть мультимодальностью. Мультимодальность описывает коммуникацию с точки зрения текстовых, аудиовизуальных, лингвистических и пространственных модусов, которые задействуются для составления и передачи сообщения.

Дискурс мультимодален - в нем одновременно взаимодействуют различные семиотические системы, транслирующие информацию с учетом коммуникативных традиций общества.

Лекционный дискурс является симбиозом нескольких модальностей. Мультимодальность лекционного дискурса - это одновременное взаимодействие различных семиотических систем, транслирующих информацию с учетом коммуникативных традиций общества.

Методы и инструментарий для анализа мультимодального дискурса являются актуальной проблемой, о чем свидетельствуют многочисленные публикации на данную тему, но отсутствие на данный момент единого терминологического аппарата.

В рамках мультимодальности лекционного дискурса необходимы исследования различных вербальных, невербальных и смешанных (вербально-невербальных), телесных компонентов знаковой коммуникации и создание моделей вербального, невербального и смешанного поведения, их алгоритмизация и компьютерная реализация. Также должны рассматриваться культурные и общественные ритуалы, формы регламентированного поведения, девиации невербального и смешанного общения и т.д.

По мнению И.П. Хутыз, для успешного конструирования лекционного дискурса необходимо максимально приблизить его к мультимодальности [4, c. 92]. Основная цель лекционного дискурса - донести информацию до получателя по конкретной теме, обеспечивая понятность, что обычно достигается посредством интерактивных средств обучения. Общение не ограничивается языковыми средствами передачи информации, соответственно эффективная устная лекция должна включать в себя элементы нескольких семиотических систем (модальностей) - наглядные визуальные средства, интонация, диалогичность и т.п. Выступления ораторов обладают индивидуальными приемами создания образа, которые они используют для достижения определенного воздействия на аудиторию. Интонационные инструменты воздействия, жесты, мимика, паузы, смех и т.д. образуют знаковую систему, дополняют или заменяют средства вербальной коммуникации. Внешность оратора, дистанция также играют определенную роль. Невербальные элементы служат показателем эмоционального состояния оратора в данный момент, темп, манера изложения расцениваются как проявление компетентности говорящего. Если во время презентации лекции задействован только один звуковой канал, то такая лекция может считаться малоэффективной и однообразной, лишая студента доступа к разнообразной цифровой и печатной информации, и сводящейся лишь к записыванию под диктовку предложенной лектором информации.

Наиболее изученными визуально наблюдаемыми невербальными средствами самопрезентации личности оратора являются кинестетические (внешние проявления чувств и эмоций через жесты и мимику) и проксемические (расположение людей в пространстве приобщении). Для описания невербального компонента можно рассмотреть кинесические средства и способы их реализации (движение головы, мимика, миремы, мануальные жесты).

Перед теорией мультимодальности также стоит ряд вопросов относительно средств анализа нетекстовых компонентов, уровней исследования и т.д. Выделяют следующие уровни комплексной мультимодальности: микроуровень - деление на отдельные коды и субкоды и выявление различных семиотических и коммуникативных потенциалов и ресурсов, которые в комплексном коммуникативном процессе содержит в себе каждая знаковая система [6]; мезоуровень - специфические интра- и интеркодовые процессы транскрипции, конкретное взаимодействие элементов микроуровня, рассмотрение дополнительных потенциалов значения и то, как они модифицируют общий смысл коммуникации [5]. Мезоуровень и микроуровень могут применяться при рассмотрении коммуникативных процессов, например, в рамках одной лекции. Макроуровень охватывает более обширные рамки, например, определенный жанр дискурса или дискурс. Данные уровни не изолированы друг от друга, а инкорпорированы, и каждый более обширный уровень содержит в себе меньшие уровни. Макроуровень включает как потенциалы каждого кода отдельно, так и их взаимную активизацию на абстрактном уровне [6].

В немецкоязычной литературе рассматриваются три группы методов анализа разных кодов (язык, изображение или аудио) мультимодальной информации: количественные, качественные и комбинаторные методы, которые могут быть использованы в зависимости от конкретной ситуации и конечного результата, на который ориентируется ученый [5; 6].

В России в сферу интересов входят телесные и жестовые модусы коммуникации, которые тоже важны для интерпретации и декодирования коммуникативного сообщения. Комплексным методом исследования стал видеоанализ, при котором требуется подробная фиксация вербальных компонентов коммуникации, а также невербальных сигналов, необходимых для правильного понимания намерения говорящего.

Для комплексного изучения лекционного дискурса необходимо использовать разные направления рассмотрения мультимодальности в её лингвистическом и социологическом понимании, комбинируя анализ вербальных и невербальных средств, используемых для передачи информации.

Таким образом, возросший интерес к изучению мультимодальности связан с расширением границ текстуальности. Мультимодальным является текст, закодированный семиотически разнородными средствами: вербальными и невербальными. Мультимодальное понимание информации взаимообусловлено, а именно, все компоненты коммуникации интерпретируются в совокупности и рекурсивно, т.е. значения постоянно обрабатываются и модифицируются. Кроме языка, который является центральным кодом, невербальные компоненты играют немаловажную роль в процессе передачи восприятия информации. Аудиовизуальная составляющая является катализатором полноценного восприятия реципиентом транслируемой информации.

Список источников

1. Артемова Е.А. Карикатура как жанр политического дискурса: дисс. … к. филол. н. Волгоград, 2002. 237 с.

2. Крейдлин Г.Е. Семиотическая концептуализация тела и проблема мультимодальности // Экология языка и коммуникативная практика. 2014. №2. С. 100-120.

3. Мичурин Д.Е. Прецедентный поликодовый текст в вербально-изобразительной коммуникации интернет-сообществ (на материале русскоязычных имидж-форумов): дисс. … к. филол. н. Тверь, 2014. 162 с.

4. Хутыз И.П. Мультимодальность академического дискурса как условие его коммуникативной успешности // Вестник Адыгейского государственного университета. Серия 2: Филология и искусствоведение. 2016. №1 (172). С. 90-95.

5. Holly W. Bildьberschreibungen. Wie Sprechtexte Nachrichtenfilme lesbar machen // Bildlinguistik. Theorien - Methoden - Fallbeispiele / hrsg. H.J. Diekmannshenke, M. Klemm, H. Stцkl. Berlin, 2011. S. 235-256.

6. Klemm M., Michel S. Medienkulturlinguistik. Plдdoyer fьr eine holistische Analyse von (multimodaler) Medienkommunikation // Korpus - Kommunikation - Kultur. Ansдtze und Konzepte einer kulturwissenschaftlichen Linguistik / hrsg. N. Benitt, C. Koch, K. Mьller, L. Schьler, S. Saage. Trier, 2014. S. 183-215.

7. Kress G. What Is Mode? // A Handbook of Multimodal Analysis / ed. by C. Jewitt. L. - N.Y.: Routledge, 2009. P. 54-67.

Размещено на allbest.ru