Главная Коллекция "Revolution" Иностранные языки и языкознание Влияние вербального комментария на интерпретацию визуального медиасообщения: мультимодальный подход

Влияние вербального комментария на интерпретацию визуального медиасообщения: мультимодальный подход

Работа посвящена обсуждению некоторых возможностей мультимодального подхода к изучению особенностей восприятия и интерпретации медиатекстов аудиторией. Сопоставление результатов изучения групп на основе соотнесения вербализованных категорий репрезентации.

Рубрика Иностранные языки и языкознание
Вид статья
Язык русский
Дата добавления 29.07.2021
Размер файла 1,3 M
рефераты на заказ со скидкой

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

Влияние вербального комментария на интерпретацию визуального медиасообщения: мультимодальный подход

А.В. Белоедова,

Е.А. Кожемякин,

Я.И. Тяжлов

Белгородский государственный национальный исследовательский университет, Российская Федерация, Белгород

Аннотация

Работа посвящена обсуждению некоторых возможностей мультимодального подхода к изучению особенностей восприятия и интерпретации медиатекстов аудиторией. Авторы исходят из принципиально мультимодального характера медиакоммуникации, в ходе которой реципиент испытывает влияние различных факторов на интерпретацию исходного текста, причем к данным факторам часто относятся семиотические ресурсы, формально не аффилированные с исходным текстом. В ходе проведенного исследования проверке была подвергнута гипотеза о влиянии вербального комментария на интерпретацию визуального объекта. С этой целью авторы сформировали две группы респондентов - контрольную и экспериментальную, каждой из которых была предложена для описания фотография, при этом для экспериментальной группы фотография была сопровождена вербальным комментарием. Сопоставление результатов изучения двух групп происходило на основе соотнесения вербализованных категорий репрезентации, субъективных оценок фотографии и синтаксиса вербального описания визуального медиатекста. Результаты исследования подтвердили общее предположение о том, что мультимодальный подход, ориентированный на выявление, описание и объяснение смысловых эффектов реализации семиотических ансамблей медиатекстов, позволяет уточнить особенности интерпретации реципиентами визуальных объектов под влиянием иных (в данном случае вербальных) семиотических ресурсов. Так, сопоставление компонентов вербального описания и субъективных оценок реципиентами фотографии без вербального комментария и той же фотографии с сопровождающим вербальным комментарием позволило заключить, что интерпретация визуальных объектов мотивирована вербальным комментарием: он тематизирует и контекстуализирует визуальную рецепцию и интерпретацию исходного сообщения. В заключении статьи авторы определяют перспективы развития данного исследования и применения мультимодального подхода к изучению медиатекстов в целом.

Ключевые слова: медиатекст, мультимодальный подход, семиотический ансамбль, визуальные компоненты текста, вербальные описания.

Impact of verbal comment on interpretation of visual message: Multimodal approach

A. V. Beloedova, E. A. Kozhemyakin, Y. I. Tyazhlov

Belgorod State National Research University,

Belgorod, Russian Federation

The paper discusses several advantages of multimodal approach to the analysis of nature and specifics of media audience's reception of texts. The authors base their ideas on the principally multimodal nature of media communication, which reflects in the way the recipients interpret texts. Thus, various factors impact on the interpretation of the initialized text. Moreover, such factors predominately include other semiotic resources that are not formally affiliated with the basic text. In the research, the hypothesis was about the impact of verbal comments on interpretation of visual objects by recipients. According to this goal, the authors selected two groups of respondents - a control and an experimental one, which were offered a photograph and were asked to describe it verbally in a free manner. The experimental group of respondents was offered the same photograph with motivating verbal comment, including the general information about the origins and topics of the photograph. The authors compared the results of the both groups descriptions by matching verbalized categories of representation, individual evaluations of the photograph and "the syntax" of verbal description of the visual media text. The research results proved the general supposition: the multimodal approach, being aimed at finding, describing and explicating the meaning effects of semiotic ensembles, contributes to understanding the features of interpretation of visual objects under the influence of other semiotic (here - verbal) resources. Thus, the results show that the interpretation of visual objects is motivated by the verbal comment: it topicalizes and contextualizes the visual reception and interpretation of the basic message. In the conclusion, the authors define the perspectives both of the research and the multimodal approach to media texts study.

Keywords: media text, multimodal approach, semiotic ensemble, visual components of text, verbal descriptions.

Постановка проблемы

Тексты, функционирующие в сфере массмедиа, - это тексты "открытого" типа, так как они не только свободно и по-разному интерпретируются аудиторией, но и совместно с ней "со-творяются" [Эко 2016]. Среда восприятия и интерпретации медиатекстов семиотически насыщена, т. е. содержит множество факторов, определяющих те или иные "прочтения" текстов, на которых сфокусировано внимание адресата.

Инициированный текст, как правило, приобретает новые коннотации в зависимости от того, кто является реципиентом и в каком контексте осуществляется восприятие медиатекста. Значимым аспектом изучения медиатекста является его прагматическое измерение, т. е. определение связи между знаково-смысловой составляющей и действиями интерпретатора. Такие "открытые" тексты можно рассматривать как синтактико-семантико-прагматические феномены, в основу порождения которых закладываются и способы их интерпретации.

История вопроса

Семиотическая, дискурс-аналитическая методология предоставляет в распоряжение ученых широкий спектр инструментов для анализа структуры мультимодальных, поликодовых, негомогенных по своей знаковой природе медиатекстов. Этот инструментарий позволяет, с одной стороны, учесть парциальность вербальных и невербальных компонентов, с другой стороны, рассмотреть медиатекст как синкретический мультимодальный ансамбль [Бернацкая 2000; Добросклонская 2008; Дускаева 2012; Лотман 1999; Омельяненко, Ремчукова 2018], в котором знаки разных модусов объединены в "семантически когерентное целое" [Кресс 2016: 86]. Фотография, сопровождаемая вербальным комментарием, может рассматриваться как феномен, в котором прослеживаются парциальные роли вербального и визуального регистров/модусов.

В отличие от вербального текста, который позволяет точно кодифицировать прагматику отправителя, фотография лишена сопоставимого спектра таких возможностей. Более того, многие исследователи [Барт 2015; 2016; Берджер 2014; Сонтаг 2013; Краусс 2014] единогласно отказывают фотографии в наличии собственного уникального языка. Так, Р. Барт утверждает, что фотография представляет собой исключительно "денотативное" сообщение, "сообщение без кода": при переводе реальности в фотоснимок нет необходимости "разбивать эту реальность на единицы и создавать из них знаки, отличные по субстанции от распознаваемого с их помощью объекта... помещать между этим объектом и его изображением посредующую инстанцию кода". Фотография по Р. Барту является точным "аналогом" реальности [Барт 2015: 7]. Описать фотоснимок невозможно, так как описание фотографии будет представлять собой описание ее денотата [Барт 2016: 41]. Дж. Берджер также отказывает фотографии в наличии собственного уникального языка, а интерпретация фотографии, по Берджеру, "истина, непременно зависящая от зрителя" [Берджер 2014: 10-22].

Набор конативных приемов фотографии весьма ограничен, а значительная их часть не является собственными приемами фотографии. В то же время фотографическое изображение - результат обработки, отбора, построения. Фотография может быть "прочитана" с точки зрения риторики и идеологии, а интерпретация возможна только при наличии определенного кода. В этом заключается структурно-этический парадокс фотографии. Сохраняя имидж беспристрастного регистратора действительности, фотография способна убеждать и лгать. Именно поэтому исследование фотографии, не сводящееся к банальному перечислению и описанию технологии изготовления изображения, невозможно без включения в обсуждение сопутствующих кодов, модальностей, регистров и рассмотрения (а возможно, и последующей классификации) на первый взгляд случайных проявлений их взаимодействия.

Мультимодальный подход позволяет расширить стандартную модель коммуникации, в которой сообщение, как правило, интерпретируется исходя из общего для отправителя и получателя кода. Этот подход позволяет рассмотреть не столько формы и результаты реализации интенций коммуникатора, сколько смысловые эффекты, возникающие в процессе интерпретации семиотических ансамблей, или синтез значений, транслируемых различными семиотическими ресурсами и в аспекте различных модусов рецепции. Мультимодальный подход позволяет нам более точно зафиксировать, описать и интерпретировать данные, которые носят скорее смешанный характер: визуальные, аудиальные и вербальные, - а также количественные и качественные данные [Барт 2015; Эко 2006; Kress 1996; O'Halloran 2004; van Leeuwen 2008; Гаврилова 2016; Кожемякин 2019].

Мы полагаем также, что мультимодальный подход позволяет выявить или уточнить характер факторного влияния одних семиотических ресурсов на интерпретацию сообщений, выраженных с помощью других семиотических ресурсов. Так, искусственно созданная пресуппозиция в виде вербального комментария должна, по нашим предположениям, создать субкод, который приведет адресата к построению собственных объяснительных гипотез о том, что он видит на фотографии, и даже "дорисовать" то, что он увидеть на ней не может. Мы полагаем, что открытый процесс интерпретации будет детерминирован в большей степени вербальным комментарием.

Описание методики исследования

Для того чтобы подтвердить или опровергнуть наше предположение, мы провели анкетирование с элементами эксперимента. Исследование было направлено на уточнение возможностей и ограничений мультимодального подхода к анализу медиасообщений.

Таким образом, объектом исследования выступает специфика интерпретации мультимодального медиатекста реципиентами, а предметом - влияние взаимодействия визуальных элементов медиатекста и вербального комментария на интерпретацию аудиторией медиасообщения. Объект и предмет исследования рассматриваются нами в рамках мультимодального подхода к изучению медиакоммуникации.

Наше исследование базируется на следующих ключевых допущениях и релевантных им методах:

1) вербальные описания визуальных объектов являются индикаторами визуального опыта реципиентов и могут прямо или косвенно выражать субъективную значимость компонентов мультимодального медиатекста для индивидов; в связи с этим обстоятельством метод опроса, основанный на фиксации и интерпретации вербальных высказываний реципиентов, нам представляется релевантным предмету анализа;

2) интерпретация визуальных данных может быть мотивирована "контекстуальными" (экстратекстовыми) семиотическими ресурсами [Тяжлов, Манохин, Ушакова 2020]. Для определения факторного влияния ресурсов, внешних по отношению к оцениваемому сообщению, мы применили элементы метода эксперимента, т. е. осуществили сопоставление субъективных оценок реципиентов фотографии без вербального комментария и той же фотографии с сопровождающим вербальным комментарием, который, по нашему мнению, тематизирует и контекстуализирует визуальную рецепцию и интерпретацию исходного сообщения.

Исследование проводилось по следующей схеме.

Этап 1. Сбор вербальных описаний фотографии двумя группами респондентов.

Первая группа отвечала на вопросы, касающиеся предложенной фотографии. Фотография не снабжалась какими-либо комментариями.

Респондентам была предложена фотография (рис.) и ряд вопросов: "Опишите как можно подробнее, что вы видите на этой фотографии"; "Понравилась ли вам фотография? Почему?"; "Оцените себя как фотографа, модель и зрителя по пятибалльной шкале, где 5 - "я считаю себя очень компетентным", а 1 - "не считаю себя компетентным фотографом / моделью / зрителем"", - а также вопросы об используемом устройстве, половой принадлежности и курсе.

Второй группе респондентов были предложены те же фотография и вопросы, но снимок был сопровожден вербальным комментарием: Это фотография с главной страницы спецпроекта о домашнем насилии "С меня хватит". Автор проекта журналистка Ольга Алферова стремится обсудить мифы о насилии, дать высказаться жертвам и тиранам, рассказать о том, как остановить насилие в собственной семье и куда обращаться за помощью.

В опросе приняли участие 68 человек (36 - в первой и 32 - во второй группе респондентов), студенты 1, 3, 4 курсов бакалавриата и 1, 2 курса магистратуры факультета журналистики НИУ "БелГУ".

Данных опроса достаточно, чтобы оценить продуктивность мультимодального подхода к анализу смешанных данных. В то же время мы признаем, что обоснованные выводы о характере визуального восприятия мультимодальных медиатекстов возможны в случае более репрезентативной выборочной совокупности и ее статистически значимого объема.

Рис. Фотография, предложенная респондентам для описания и оценки

Этап 2. Категоризация вербальных высказываний двух групп респондентов.

В основу процедуры категоризации вербальных данных был положен следующий алгоритм:

— из наиболее объемного (насыщенного большим количеством перечислений) ответа были вычленены следующие "переменные" - фреймы: предметы репрезентации (человек, животные, помещение, мебель, личные вещи, предметы быта и т. п.; свойства предметов репрезентации - их эмоционально-психологическое состояние, интерпретация состояния, свойства предметов, их действия и т. п.); свойства визуального сообщения (цвет, свет, ракурс, план и т. п.);

— кодификация данных происходила по принципу соотнесения ответа в определенной анкете и выделенной переменной в определенной категории.

Неучтенные переменные, встречающиеся в ответах других анкет, вносились в новую строку в таблице.

При обработке ответов на вопрос о том, понравилась ли фотография, были в таблицу добавлены переменные, способные структурировать оценочные высказывания, - эмоционально-окрашенные и эмоционально-нейтральные слова, слова с абсолютным значением и рефлексивы.

Этап 3. Интерпретация полученных данных.

1. Сопоставительный анализ данных опроса двух групп респондентов с целью определения влияния вербального комментария на интерпретацию реципиентами визуальных объектов.

2. Анализ "синтаксиса" вербального описания и фокуса субъективного внимания реципиентов при восприятии фотографии без вербального комментария и фотографии с сопровождающим комментарием.

Анализ материала

1. Анализ категорий вербальных высказываний двух групп респондентов.

Наиболее часто встречающиеся в вербальных описаниях категории указывают на их субъективную значимость для реципиента. Для выявления таких категорий мы использовали метод прямого распределения словоупотреблений в ответах респондентов, а результаты представили в виде списка наиболее часто встречающихся лемм в ответах респондентов. Поясним, что, во-первых, единицами счета выступили не словоформы, а леммы, т. е. слова, приведенные к начальной форме; во-вторых, список был ранжирован дважды: по количеству респондентов, использовавших леммы, и по общему количеству употребления лемм. Иными словами, лемма "девушка" может встречаться в 30 ответах респондентов (первый ранговый список) 60 раз (второй ранговый список), при этом первый количественный показатель является приоритетным в контексте задач нашего исследования, поскольку оно ориентировано не столько на уточнение частоты словоупотреблений при описании визуального объекта (это скорее лексикографическая задача), сколько на выявление субъективной значимости элементов визуального объекта для реципиентов.

Помимо этого, общее количество словоупотреблений нам было необходимо для определения относительных величин употребления лемм в выборочной совокупности.

Применение данных методик позволило нам получить следующие предварительные результаты.

Результаты ответов первой группы были ранжированы по количеству респондентов, использовавших в своих ответах лемму хотя бы единожды. Эти результаты соотнесены с общим количеством случаев употребления лемм в ответах респондентов. Распределение наиболее часто встречаемых слов, обозначающих репрезентированные на фотографии объекты, действия и свойства, представлено следующим образом: девушка (86 %), а также девочка (8,3 %) и женщина (2,8 %), зеркало (75 %), кот/кошка (66,7 %), отражение (52,8 %), стол (50 %), дверь (38,9 %), шкаф (36 %), стоит (36 %), часы (33,3 %), белый (30,5 %), комната (30,5 %), задумчивость/ ностальгия (13,9 %), безнадежность / испуг / потерянность / страх (8,3 %), безучастность / безмятежность / лень (8,3 %).

Эти данные свидетельствуют о фокусе внимания и интересе реципиентов, обращенных к следующим визуальным объектам: девушка, зеркало, кот/кошка, отражение, стол, дверь. Количество их употребления в вербальных высказываниях указывает на значимость визуальных репрезентаций для конструирования реципиентами дискурса о них, но также они предположительно выражают ключевые элементы лексикода фотографии.

Эти данные отличаются от ответов второй группы респондентов: девушка (71,8 %), а также девочка (9,4 %) и женщина (9,4 %), безысходность, безнадежность, бессилие, страх, тоска, отчаяние, печаль, пустота (53 %), зеркало (43,8 %), дверь (43,8 %), кот, кошка (34,4 %), стоит (28,1 %), отражение (25 %), стол (18,8 %), часы (18,8 %), комната (15,6 %), белый (6,25 %).

Категория "предметы репрезентации".

Люди, части тела, предметы одежды. Чаще всего респонденты обеих групп обращали внимание на девушку, которая находится Здесь и далее компоненты фотографии перечислены в порядке убывания количества употре-блений респондентами. в центре композиции фотографии (86 % респондентов первой группы и 71,8 % - второй). Интересна, на наш взгляд, система ее номинаций: девушка, девочка (8,3 и 9,4 % соответственно), женщина (2,8 и 9,4 % соответственно). Респонденты вполне однозначно определяют возраст модели.

Эмоциональное состояние изображения девушки интерпретирует 30 % респондентов первой группы и 59 % - второй. Спектр указываемых эмоций более разнообразен в описаниях респондентов первой группы, что, на наш взгляд, связано с нейтральным выражением лица модели и недостаточным количеством лексиконов для его однозначной интерпретации: задумчивость, эмоциональное опустошение, ностальгирует, с безразличным лицом, непонятно, она кого-то только- только проводила и ей грустно от этого, уставшая, испуганная. Важно отметить, что отсутствуют однозначно положительные оценки эмоционального состояния, например счастлива, так как отсутствует общепринятый маркер положительных эмоций - улыбка. Респонденты, оценивавшие фотографию с вербальным комментарием, более активно и более единообразно интерпретируют эмоциональные аспекты изображения (безысходность, бессилие, страх, тоска, отчаяние, печаль, пустота).

Эти результаты могут косвенно указывать на мотивированность высказываний респондентов вербальным комментарием, описывающим контекст фотографии и ее концептуальную основу. Отметим, что интерпретация эмоциональных состояний респондентами подкрепляется в высказываниях обращением ко взгляду и лицу девушки на фотографии: во взгляде печаль, опустошенный взгляд, пустой взгляд, взгляд выражает взволнованность, в ее лице полное непонимание, безысходность в глазах, страх в глазах и т. п. Индексация лица и взгляда как трансляторов эмоций отмечается также в высказываниях первой группы респондентов (девушка с безразличным лицом, эмоция на ее лице напоминает мне потерянность, по лицу можно понять, что она уставшая), однако общее количество упоминаний лица и взгляда в таком контексте меньше, чем у второй группы.

Животные. Кот/кошка - третий по частоте идентификации объект в описаниях. Животное упоминают 66,7 % респондентов первой группы и 34,4 % - второй. Несмотря на значительную частоту указания на объект, он воспринимается пассивным. Его действия, состояние, значение практически не интерпретируются респондентами. Чаще всего респонденты только указывают на него, не заостряя внимание на взаимодействии с другими объектами (кот лежит, белый кот).

Помещение и предметы интерьера. Часто опрашиваемые при описании фотографии обращали внимание на помещение и предметы интерьера. В описании помещения, в котором сделана фотография, фигурировали такие номинации, как комната, дом, квартира, а также дверь, пол, стена. Основное внимание интерпретаторы уделяли описанию предметов интерьера - зеркало, стол, икона, часы, шкаф.

В целом зеркало - второй по частоте идентификации объект в ответах респондентов первой группы (75 % респондентов) и третий - в описаниях респондентов второй группы (43,8 %). При этом лемма зеркало чаще фигурирует в описаниях, чем лемма девушка. Лемма отражение также часто употребляется респондентами (52,8 и 25 %). Это можно объяснить спецификой построения фотографии, в которой зеркало и отражение в нем играют ключевую роль. Большинство объектов находятся именно в зеркальном отражении. Зеркало и отражение фигурируют в описаниях как одни из наиболее часто встречающихся коллокаций - 4 и 5 соответственно.

Личные вещи. Менее значимой "переменной" выступили личные вещи (блокноты, ручки, расческа, планшет, расческа, чашка, книги, лак для волос, телефон, коробка из-под обуви, магнитофон, две непонятные вещички и др.), чаще всего делался акцент на их неопрятности, хаосе, беспорядке.

При этом в некоторых случаях есть указание на их принадлежность девушке, чего нам доподлинно фотография не сообщает: ее вещи, которые, очевидно, принадлежат ей; женские штучки; скорее всего, средства для волос. Респонденты склонны сюжетно связывать объекты в кадре, находить между ними связи. В некоторых случаях респонденты случайным образом достраивают сюжет, вводят в него предметы и персонажей, которых нет в кадре: окно комнаты напротив; человек, который вошел в комнату; она кого-то только проводила. Но, как правило, респонденты ограничиваются перечислением предметов, которые они могут без труда идентифицировать, - мебель и элементы интерьера, во вторую очередь - более мелкие детали - личные вещи.

При сопоставлении результатов описания фотографии без вербального комментария и фотографии с сопровождающим комментарием обращает на себя внимание следующее обстоятельство: респонденты второй группы в меньшей степени обращают внимание на предметы репрезентации (мебель, предметы быта, личные вещи), а также на их цвет. Фокус их внимания переключен вербальным комментарием на интерпретацию эмоционального состояния.

Категории "свойства и действия предметов репрезентации", "интерпретация и оценка состояния". Категория "свойства предметов репрезентации" оказалась наиболее подверженной ракурсу восприятия, заданному подписью к фотографии и отсылке к теме домашнего насилия (вторая группа респондентов), с одной стороны. С другой - эта часть данных оказалась наиболее сложной для структурирования и анализа, так как каждый из интерпретаторов использовал художественно-выразительные средства для описания состояний и эмоций.

Свойства предметов. Опрашиваемые нечасто при описании сосредоточивались на данной категории (около 30 %). Чаще всего обращали внимание на зеркало (овальное, висящее, отражающееся в другом зеркале), дверь (открытая, приоткрытая, закрытая), личные вещи (лежат в беспорядке) и обстановку комнаты (домашняя обстановка).

Действия предметов репрезентации. Чаще всего встречаются вариации двух действий девушки - стоит и смотрит. Наиболее интересны вариации с действием "смотрит" в ответах респондентов второй группы: смотрит сама на себя в зеркало, смотрит на часы, смотрит на икону, смотрит именно на икону, смотрит в зеркало. Обычно сочетание смотрит на икону, смотрит на себя в зеркало, смотрит на часы сопровождается интерпретацией респондентами психоэмоционального состояния девушки в русле рассуждений о домашнем насилии (и девушки как жертвы).

Интерпретация состояния. Эта категория регулярно вербализируется в ответах респондентов, причем они носят разрозненный и вариативный характер. В то же время очевидна связь интерпретации состояния модели (девушки) с вербальным комментарием к фото (вторая группа респондентов): включая косвенное указание на тему, она прослеживается в 62,5 % ответов и отсутствует в 18,7 % ответов. Попытка интерпретировать состояние девушки, которая просто стоит перед дверью на фотографии, без слез и следов побоев, напрямую детерминируется отсылкой к домашнему насилию, отмеченному в комментарии к фотографии.

Оценка эмоционально-психологического состояния. Это наиболее обширная группа высказываний, вербализирующих рефлексию второй группы респондентов о том, какие эмоции они видят на фотографии. Уточним, что в опросе не было просьбы описать данный аспект, следовательно, опрашиваемые давали ответы, сконструированные именно вербальной отсылкой к теме. Среди всего спектра эмоций, которые стремились передать участники опроса при описании фотографии, ядерными являются следующие: страх, испуг (напуганная/испуганная девушка; здесь отражение страха, бессилия и угасания ходят по кругу и не покидают свои пределы), безвыходность, безысходность (она понимает безнадежность своего положения, и поэтому потеряла смысл жизни; цикличность и замкнутость), печаль, грусть, отчаяние (печальная / отчаявшаяся / грустная / уставшая девушка).

Периферийные эмоции, названные респондентами, также были негативными: пустота, безнадежность (застывший полумертвый взгляд), ссора, вражда, ненависть (очередная ссора, ненавистная квартира), усталость (она устала от всего, что с ней происходит, но при этом уже привыкла к постоянному насилию), волнение, взволнованность (взгляд выражает взволнованность), потерянность (как будто только что кого-то выпроводила, а в ее взгляде читается потерянность), презрение к себе (невозможность выйти из проблемной ситуации, презрение самой себя).

Участники опроса, помимо приписывания девушке негативных эмоций, также писали о ее желании бороться, выйти из проблемной ситуации (дверь, которая для нее уже закрыта, поэтому она может это сделать; так больше продолжаться не может и т. п.). Эти ответы, не обусловленные ни вербальным комментарием, ни самой фотографией, могут говорить о том, что интерпретаторы не только "вообразили себе", когнитивно смоделировали сценарий домашнего насилия, но даже пришли к его завершению: по их мнению, девушке следует прекратить действие, которого на фото нет.

Предварительный вывод, который мы можем сделать, - вербальный комментарий смещает внимание респондентов с ответа на вопрос "Что я вижу на этой фотографии" в сторону ответа на вопрос "Что я должен увидеть?" в связи с контекстом. Это положение подтверждают номинации во фреймах "интерпретация состояния" и "оценка эмоционально-психологического состояния". Мы выделили еще три группы слов, которые показывают процесс "домысливания", конструирования изображения под воздействием отсылки к домашнему насилию:

1. Слова, связанные с мыслями и чувствами интерпретатора, они являются своеобразным "мостиком", по которому тот проходит в процессе видения и объяснения (может, это и есть выход? начинает казаться). Некоторые опрашиваемые признаются, что они пытались связать контекст, в который погружена фотография, с тем, что на ней изображено, но не смогли: Если честно, я не вижу на фото никакого подтекста.

2. Слова, называющие домышленных персонажей, которых нет на фото: горе-возлюбленный, муж-тиран, "любимый", верующие люди, родители, тиран- мужчина. Они встречались в тех ответах, в которых описание начиналось с утверждения о том, что девушка подвергалась домашнему насилию.

3. Слово насилие и слова, близкие ему по семантике, которые напрямую указывают на связь интерпретации фотографии с вербальным комментарием: тирания, муж-тиран; происходит насилие; тиран-мужчина, который напился и начал сходить с ума; поднять руку (в значении "ударить").

2. Анализ субъективного отношения к фотографии. Описание проекта, в рамках которого публиковалась фотография, выступило для опрашиваемых референциальным указателем, который рефокусирует внимание с того, что изображено, на то, для чего и как это изображалось. В ответах на второй вопрос о том, понравилось ли фото респондентам, эта связь только укрепилась. Особенно в частях, где пытались объяснить причины своего впечатления от увиденного.

Рассмотрим результаты анализа субъективных оценок первой и второй группы респондентов в сравнении. Ярко проявлены три аспекта оценок.

1. Фотография понравилась 47 % респондентам первой группы и 56 % - второй. В первом случае респонденты мотивируют свой ответ привлекательностью и оригинальностью композиции, количеством деталей, атмосферой, энергией, смысловой нагруженностью. Во втором, соотносят фото и тему проекта: Понравилась, это своеобразная интерпретация домашнего насилия, ведь оно - некое рабство, из которого крайне сложно выбраться.

2. Фотография однозначно не понравилась 22 % респондентам первой группы и 28 % - второй. Респонденты, оценивавшие фото без вербального комментария, мотивируют такое отношение преимущественно дискомфортом от неопределенности эмоций, сюжета, авторской интенции. Вторая группа снова сопоставляет изображение и контекст и не видит связей: Нет, мне не нравится фотография, потому что, как по мне, она не полностью олицетворяет ту проблему, которую хочет поднять автор в посте.

3. Однозначный ответ не смогли дать 22 % респондентов в первой группе (они указывают на неоднозначность впечатлений: вызывает неоднозначные чувства / не могу ответить четко: "да" или "нет"; фотография жуткая; В плане интереса - да. Она необычная. В контексте симпатии - нет) и 9,3 % - во второй (обычно причины не указывались).

Мы можем утверждать, что неопределенность - ключевая категория в оценке респондентов, не определившихся с отношением к фотографии, как и в случае с респондентами, которым фотография не понравилась.

Таким образом, полисемичность изображения, "задумчивость образа" [Барт 2016: 52; Рансьер 2018: 102-125], с одной стороны, может вызвать дискомфорт, сопряженный с его артикуляцией, однозначной идентификацией денотата, с другой стороны, эти же качества изображения оставляют место для незакодированного и зависящего от интерпретатора рипсШш(а) ("укола", притягательной детали) [Барт 2016: 68].

Интересно, что интерпретация состояния смещается с девушки (в первом вопросе анкеты) к индивидуальным ощущениям реципиента от фото (во втором вопросе): фотографии, которые сначала вроде бы пугают, например, из-за двойного отражения зеркал, а потом вроде бы ты как у себя дома - все так тепло и уютно и т. п.

3. Анализ синтаксиса вербального описания визуальных объектов. Под синтаксисом вербального описания визуальных объектов мы понимаем относительно устойчивые координированные сочетания языковых единиц, соотнесенных с предметом описания, в нашем случае - с компонентами фотографии. Мы полагаем, что синтаксис вербального описания может быть определен посредством выявления так называемых N-грамм, т. е. устойчивых последовательностей слов в текстовом фрагменте определенного размера или "продолжительности" [Захаров, Богданова 2020]. Анализ N-грамм позволяет сделать предположение о "порядке чтения" реципиентом фотографии, последовательности смещения фокуса внимания, а также о значимых для реципиента свойствах и действиях изображенных объектов.

В качестве ключевых слов (базовых лексических единиц, лежащих в основе выявляемых последовательностей) были определены наиболее часто встречаемые в описаниях лексические единицы, выявленные на этапе подсчета количества словоупотреблений в ответах респондентов. Размер текстовых фрагментов составил по шесть слов до и после ключевого слова. Этот интервал обусловлен средним размером текста, включающим в себя ряд перечислений. В эти фрагменты входят слова, обозначающие не только предметы репрезентации, но и действия, качества и состояния репрезентированных объектов.

Основные результаты представлены в таблицах 1-6.

Так, наиболее часто в высказываниях респондентов первой группы встречаются следующие последовательности слов, выражающие предметы репрезентаций и используемые со словом девушка (ключевое слово в табл. 1) (в порядке убывания): дверь, платье (компонент 1 в табл. 1), зеркало, кот (компонент 2 в табл. 1) и комната (компонент 3 в табл. 1). Это означает, что вероятность использования этих слов в текстовом фрагменте, включающем слово девушка, выше, чем вероятность использования всех других слов, при этом наиболее часто встречаются слова дверь и платье.

Таким образом, ключевой (наиболее часто встречаемый, наиболее устойчивый) кластер описания в ответах респондентов первой группы - молодая/юная девушка в синем платье стоит/смотрит. В этот кластер включены также следующие элементы визуального ряда: белый кот лежит; на стене зеркало, в котором отражается; девушка опирается на приоткрытую дверь.

Таблица 1. Лексические единицы, выражающие предметы репрезентации, составляющие N-грамму с ключевым словом, в ответах первой группы респондентов

Ключевое слово

Компонент 1

Компонент 2

Компонент 3

Девушка

Дверь, платье

Зеркало, кот

Комната

Зеркало

Стена

Стол

Отражение

Кот / кошка

Девушка

Часы

Стол

Отражение

Зеркало

Девушка

Шкаф

Стол

Зеркало

Девушка

Вещи

Дверь

Девушка

Зеркало

Часы

Таблица 2. Лексические единицы, выражающие действия, составляющие N-грамму с ключевым словом, в ответах первой группы респондентов

Ключевое слово

Компонент 1

Компонент 2

Компонент 3

Девушка

Стоит

Смотрит

Отражается

Зеркало

Отражается

Находится

Висит

Кот / кошка

Лежит

Отражение

Увидеть

Стол

Стоит

Лежит

Дверь

Опираться

Стоит

Отражается

Таблица 3. Лексические единицы, выражающие качества и свойства, составляющие N-грамму с ключевым словом, в ответах первой группы респондентов

Ключевое слово

Компонент 1

Компонент 2

Компонент 3

Девушка

Синее (платье)

Молодая / юная

Безразлично / безучастно

Зеркало

Маленькое

Большое

Кот / кошка

Белый

Отражение

Зеркальное

Дважды /

Отражение

отражения

Стол

Круглый,

небольшой,

рабочий

Дверь

Приоткрытая

Эти данные отличаются от результатов анализа N-грамм в описаниях респондентов второй группы (табл. 4-6).

Таблица 4. Лексические единицы, выражающие предметы репрезентации, составляющие N-грамму с ключевым словом, в ответах второй группы респондентов

Ключевое слово

Компонент 1

Компонент 2

Компонент 3

Девушка

Тоска

Отчаяние

Глаза

Безысходность, безнадежность, бессилие, страх, тоска, отчаяние, печаль, пустота

Взгляд / глаза

Девушка

Зеркало

Стол

Отражение

Свет

Дверь

Спина

Сторона

Девушка

Кот / кошка

Девушка

Комната

Таблица 5. Лексические единицы, выражающие действия, составляющие N-грамму с ключевым словом, в ответах второй группы респондентов

Ключевое слово

Компонент 1

Компонент 2

Компонент 3

Девушка

Стоит

Смотрит

Отражается

Зеркало

Находится

Отражается

Дверь

Уходить

Кот / кошка

Лежит

Таблица 6. Лексические единицы, выражающие качества и свойства, составляющие N-грамму с ключевым словом, в ответах второй группы респондентов

Ключевое слово

Компонент 1

Компонент 2

Компонент 3

Девушка

Юная

Страх

Безнадежность

Зеркало

Маленькое

Находящееся

Дверь

Закрытая

Открытая

Кот / кошка

Белый

Рядом

Ключевой кластер описания в ответах респондентов второй группы: юная девушка стоит / смотрит со страхом (тоской, отчаянием, безысходностью и т. п.) в глазах. В этот кластер включены также следующие элементы визуального ряда: дверь/уходить, закрытая дверь, отражается в зеркале, кот лежит.

Мы можем предположить, что некоторые визуальные элементы наделяются дополнительными значениями под влиянием вербального комментария (например, взгляд девушки и дверь), в то время как другие визуальные объекты исключаются из этого фрейма (например, стол) или занимают скорее периферийное место в визуальном сюжете (например, кот из центральной фигуры в описаниях фотографии без комментария занимает малозначимое место в визуальном фрейме домашнего насилия).

Результаты исследования

Мы подтвердили предположение о том, что мультимодальный подход, ориентированный на определение смысловых эффектов семиотических ансамблей медиатекстов, позволяет уточнить особенности интерпретации реципиентами визуальных объектов под влиянием иных (в нашем случае вербальных) семиотических ресурсов. Так, сопоставление компонентов вербального описания и субъективных оценок реципиентами фотографии без вербального комментария и с сопровождающим вербальным комментарием позволило заключить, что интерпретация визуальных объектов мотивирована вербальным комментарием: он тематизирует и контекстуализирует визуальную интерпретацию исходного сообщения. Мультимодальный подход может быть также применен для выявления процессов трансмодальной ресемиотизации ("перевода" данных визуальной рецепции на вербальный язык), а также интерсемиотических соответствий (например, оценки соотношения структуры вербальных описаний "порядку" визуальных объектов). интерпретация вербализованный мультимодальный

Результаты позволили сделать более частные методологические выводы:

1) количество словоупотреблений в вербальных описаниях визуальных объектов свидетельствует о фокусе внимания и интересе реципиентов в отношении содержания фотографии и ее компонентов и может быть представлено в виде субъективного ранжирования визуальных объектов в соответствии со значимостью этих объектов для реципиентов; предполагаем, что их значимость мотивирована темой или контекстом (в нашем случае вербальным комментарием) и определена личным визуальным и коммуникативным опытом реципиента - эта гипотеза требует дополнительного уточнения;

2) вербальное описание фотографии включает в себя упоминания визуальных объектов, образующих некоторые относительно устойчивые кластеры, что может указывать на значимые для реципиента фрагменты семиотических ансамблей; эти фрагменты могут быть выявлены на основе определения наиболее часто встречающихся в описаниях слов и словосочетаний, а также N-грамм, т. е. устойчивых последовательностей слов в текстовом фрагменте определенного размера;

3) есть значимые отличия в описаниях фотографии без комментария и фотографии с комментарием, которые выражаются в различном содержании кластеров описания, а также в наделении дополнительными значениями определенных визуальных элементов. Использование в эксперименте дополнительного мотиватора интерпретаций (вербального комментария) позволяет также уточнить семиотические ресурсы некоторых эмоций и состояний.

Выводы

Результаты исследования позволяют нам определить ряд перспективных исследовательских программ:

1) полученные данные дают возможность сформулировать гипотезу о свойствах центрального визуального объекта, привлекающего внимание реципиентов, - в нашем случае изображенной на фотографии девушки. Мы полагаем, что она попадает в фокус внимания в силу антропоцентричности визуального восприятия, а также поскольку запечатлена на переднем плане и является самым крупным объектом на фотографии; определение факторных переменных фокуса внимания предполагает проведение глубинного интервью с элементами эксперимента;

2) мы предполагаем, что содержание интерпретации эмоционального состояния определяется вербальным комментарием, а семиотическим ресурсом репрезентируемой эмоции является выражение лица и взгляд; эта гипотеза также предполагает проведение глубинного интервью;

3) отдельному исследованию подлежат семиотические корреляты в визуальном и вербальном текстах. Изучение этого феномена позволит определить соответствие между визуальными элементами и вербальными высказываниями, а также смысловые эффекты интерсемиотической трансдукции, в том числе конструирование реципиентами новых смыслов, не являющихся суммой значений всех воспринятых семиотических компонентов.

Литература

1. Барт, Р. (2015). Третий смысл. Москва: Ад Маргинем Пресс.

2. Барт, Р. (2016). Camera lucida. Москва: Ад Маргинем Пресс.

3. Берджер, Дж. (2014). Фотография и ее предназначения. Москва: Ад Маргинем Пресс.

4. Бернацкая, А.А. (2000). К проблеме "креолизации" текста: история и современное состояние. Речевое общение, 3 (11), 104-110.

5. Гаврилова, М.В. (2016). Социальная семиотика: теоретические основания и принципы анализа мультимодальных текстов. Политическая наука, 3, 101-117.

6. Добросклонская, Т Г. (2008). Медиалингвистика: системный подход к изучению языка СМИ. Москва: Флинта.

7. Дускаева, Л.Р. (2012). Стилистика медиатекста. Избранные статьи 2010-2012 гг. Санкт-Петербург: Изд-во С.-Петерб. ун-та.

8. Захаров, В. П., Богданова, С.Ю. (2020). Корпусная лингвистика. Санкт-Петербург: Изд-во С.-Петерб. ун-та.

9. Кожемякин, Е.А. (2019). К вопросу о методологии анализа мультимодальных текстов. В А.Г. Пастухов (Ред.), Тексты нового века. Материалы Международного круглого стола (с. 5-7). Орел: ОГИК.

10. Краусс, Р. (2014). Фотографическое: опыт теории расхождений. Москва: Ад Маргинем Пресс.

11. Кресс, Г. (2016). Социальная семиотика и вызовы мультимодальности. Политическая наука, 3, 77-100.

12. Лотман, Ю.М. (1999). Внутри мыслящих миров. Человек - текст - семиосфера - история. Москва: Языки русской культуры.

13. Омельяненко, В. А., Ремчукова, Е.Н. (2018). Поликодовые тексты в аспекте теории мультимодальности. Коммуникативные исследования, 3 (17), 66-78.

14. Рансьер, Ж. (2018). Эмансипированный зритель. Нижний Новгород: Красная ласточка.

15. Сонтаг, С. (2013). О фотографии. Москва: Ад Маргинем Пресс.

16. Тяжлов, Я. И., Манохин, Д. К., Ушакова, С.В. (2020). Медиапросветительский потенциал кинокрити- ческого текста. Современный дискурс-анализ, 1 (25), 3-17.

17. Эко, У (2006). Отсутствующая структура: введение в семиологию. Санкт-Петербург: Симпозиум.

18. Эко, У (2016). Роль читателя. Исследования по семиотике текста. Москва: АСТ. Электронный ресурс https://litportal.ru/avtory/umberto-eko/read/page/1/kniga-rol-chitatelya-issledovaniya-pose- miotike-teksta-275980.html.

19. Kress, G. (1996). Reading Images: The Grammar of Visual Design. London: Routledge.

20. Leeuwen van, T. (2008). Discourse and Practice. New Tools for Critical Discourse Analysis. New York: Oxford University Press.

21. O'Halloran, K. L. (Ed.). (2004). Multimodal Discourse Analysis. Systemic-Functional Perspectives. London; New York: Continuum.

22. References

23. Bart, R. (2015). Third meaning. Moscow, Ad Marginem Press. (In Russian)

24. Bart, R. (2016). Camera lucida. Moscow, Ad Marginem Press. (In Russian)

25. Berger, J. (2014). Photography and its purpose. Moscow, Ad Marginem Press. (In Russian)

26. Bernatskaya, A. A. (2000). To the issue of creolization of text: history and modernity. Rechevoye obscheniye, 3 (11), 104-110. (In Russian)

27. Dobrosklonskaya, T G. (2008). Medialinguistics: system approach to mass media language studies. Moscow, Flinta Publ. (In Russian)

28. Duskayeva, L. R. (2012). Stylistics of media texts: Selected papers 2010-2012. St. Petersburg, St. Petersburg University Press. (In Russian)

29. Eko, U. (2006). Absent structure: introduction to semiology. St. Petersburg, Simpozium Publ. (In Russian)

30. Eko, U. (2016). The role of reader. Studies in text semiotics. Moscow, AST Publ. Retrieved from https://lit- portal.ru/avtory/umberto-eko/read/page/1/kniga-rol-chitatelya-issledovaniya-posemiotike-teks- ta-275980.html. (In Russian)

31. Gavrilova, M. V. (2016). Social semiotics: theoretical background and principles of analysis of multimodal texts. Politicheskaia nauka, 3, 101-117. (In Russian)

32. Kozhemiakin, E. A. (2019). On the issue of methodology of analysis of multimodal texts. In A. G. Pastukhov (Ed.), Teksty novogo veka. Materialy Mezhdunarodnogo kruglogo stola (pp. 5-7). Orel, Orel State Institute of culture Publ. (In Russian)

33. Krauss, R. (2014). Photographical: a theory of divergence. Moscow, Ad Marginem Press. (In Russian)

34. Kress, G. (1996). Reading Images: The Grammar of Visual Design. London, Routledge.

35. Kress, G. (2016). Social semiotics and challenges of multimodality. Politicheskaia nauka, 3, 77-100. (In Russian)

36. Leeuwen van, T. (2008). Discourse and Practice. New Tools for Critical Discourse Analysis. New York, Oxford University Press.

37. Lotman, Yu. M. (1999). Inside thinking worlds. Human - text - semiosphere - history. Moscow, Yazyki russkoy kul'tury Publ. (In Russian)

38. O'Halloran, K. L. (Ed.). (2004). Multimodal Discourse Analysis. Systemic-Functional Perspectives. London; New York, Continuum.

39. Omelyanenko, V. A., Remchukova, E. N. (2018). Polycode texts in the aspect of the theory of multimodality. Kommunikativnye issledovaniia, 3 (17), 66-78. (In Russian).

40. Ranser, Zh. (2018). Emancipated spectator. Nizhnii Novgorod, Krasnaia lastochka Publ. (In Russian).

41. Sontag, S. (2013). About photography. Moscow, Ad Marginem Press. (In Russian)

42. Tyazhlov, Y. I., Manokhin, D. K., Ushakova, S. V (2020). Media educational potential of cinemacritical texts. Sovremennyi diskurs-analiz, 1 (25), 3-17. (In Russian)

43. Zakharov, V P., Bogdanova, S. Iu. (2020). Corpus linguistics. St. Petersburg, St. Petersburg University Press. (In Russian)

Размещено на Allbest.ru

...

Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.

© 2000 — 2023, ООО «Олбест» Все права защищены