Опыт проведения перцептивного эксперимента на материале поликодовой мультимодальной базы данных

Размещено на http://www.allbest.ru

Опыт проведения перцептивного эксперимента на материале поликодовой мультимодальной базы данных

В рамках гранта РФФИ № 18-18-00476 «Фундаментальное междисциплинарное исследование воздействия агрессивной среды Интернета в условиях мультимодальной поликодовой коммуникации в социальных сетях на трансформацию психофизиологических и когнитивных характеристик личности пользователей сети Интернет (применительно к молодежному контингенту)» мы создали мульти-модальную поликодовую аннотированную базу данных русскоязыч-ного интернет-контента [Потапова, Потапов, Джунковский 2019; По-тапова, Потапов 2019].

Следующим логическим этапом было выявление того, как собран-ный стимульный материал воспринимается молодыми пользователя-ми Интернета. Наиболее многообещающим способом выполнения этой задачи было проведение перцептивного эксперимента на основе выборки аннотированного материала [Potapova et al. 2019].

Метод проведения эксперимента основан на предыдущих раз-работках в сфере квантитативного анализа [Потапова 2010] и может быть использован в сфере Big Data, что было продемонстрировано в ходе создания, обработки и аннотирования базы данных [Потапова, Потапов, Джунковский 2019].

По своей сути, проведенный эксперимент был направлен на выяв-ление перцептивных особенностей испытуемых применительно к ма-териалам социальных сетей в русскоязычном сегменте. Были взяты видеоролики, из которых был извлечен фрагмент продолжительно-стью в одну минуту, на котором происходила поликодовая мультимо-дальная коммуникация.

Испытуемым была представлена возможность прослушать аудио-сигнал взятого отрывка без видеосигнала, просмотреть видеосиг-нал без аудиосигнала и, наконец, ознакомиться с отрывком с видео- и аудиосигналами.

Испытуемые должны были заполнить анкету после каждого эта-па ознакомления с отрывком. Идентичность анкет при вариации сти-мульного материала, согласно нашей гипотезе, позволила выделить особенности перцепции испытуемых при представлении идентичного информационного сообщения в трех разных комбинациях модально-стей. Подход позволяет по результатам анализа экспериментальных данных сделать выводы о различиях в отношении к стимульному ма-териалу испытуемых в зависимости от того, по каким каналам пере-дачи информации он воспринимается.

Методика и процедура исследования

мультимодальный база информационный

В ходе эксперимента испытуемым было предложено три анкеты.

АНКЕТА Исполнитель: Ф.И.О

Год рождения

Национальность

Образование

Группа

Задания

1.1. Прослушать предъявляемый Вам фрагмент дискурса из Интернета (3 раза).

1.2. Определить и подчеркнуть: монолог, диалог, трилог, полилог:

А) Число участников;

Продолжение анкеты

Б) Гендерное распределение коммуникантов:

М Ж (ММ, МЖ, ММ, МММ и др.)

В) Приблизительный возраст:

15-18 18-25 25-35 35-45 45-55 55-70 др.

Г) Общую эмоциональную окраску (тональность) коммуникации:

позитивная негативная нейтральная

Д) Ваше отношение к предъявляемому материалу:

Симпатия антипатия эмпатия

Е) Какие эмоции вызывает у Вас предъявляемый материал:

Ж) Охарактеризуйте Ваше понимание смысла коммуникации:

Призыв к активным действиям Побуждение к положительному настрою

Безразличие Побуждение к отрицательному настрою

I.3. Определить ситуацию, в которой происходит действие: митинг дискуссия собрание личная жизнь другое:

A) Определить сопроводительный фон: музыка шум (метро, поезда, автомобиля, крики) другое:

Б) Воображаемая Вами одежда коммуникантов: модная повседневная хип-хоп неряшливая другое:

B) Стиль общения: спокойный доброжелательный нейтральный недоброжелательный агрессивный другое:

Г) Предполагаемое Вами невербальное сопровождение:

Общая моторика: активная средняя пассивная

Продолжение анкеты

Жестика: активная (пояснить: руки, корпус, ноги, голова) пассивная

Мимика:

глаза, рот, брови, уголки рта, нос, щеки другое:

Проксемика:

На расстоянии друг от друга близко друг к другу касаясь друг друга

11.1. Виды речевого общения:

• устная речь;

• письменная речь;

• произносительная норма;

• просторечие;

• диалектальная окраска;

• молодежный слэнг;

• профессиональное арго;

• обращенная речь.

11.2. Наличие графического материала:

• письменный текст;

• объявление;

• комментарии;

• пояснения;

• иллюстрации;

• реклама.

11.3. Наличие художественных вставок:

• портрет;

• картина;

• фрагмент фильма;

• лозунг;

• реклама.

11.4. Наличие музыкального фона:

• стиль современной музыки (джаз, рэп и т.д.);

• классика;

• в сопровождении вокала;

• вокализ;

• хоровое пение;

• другое:

Продолжение анкеты

11.5. Паравербалика (интонационно-просодические особенности, тембральные осо-бенности):

• интонационная вариативность;

• эмфаза;

• логически размеренная речь;

• просодически маркированная речь (ударение, ритм, широкий-узкий диапазон голоса, высокий / средний / низкий регистр голоса / другое:);

• дефекты речи (картавость / заикание / ротацизм / афония / другое:);

11.6. Дополнительные наблюдения:

Испытуемые перед началом эксперимента получили три анкеты, по одной на этап аудиовосприятия, видеовосприятия и комплексного аудиовизуального восприятия стимульного материала.

В ходе эксперимента испытуемые должны были проанализиро-вать стимульный материал и ответить на ряд вопросов. В анкетах со-держались задания по определению особенностей ситуации общения, отношения испытуемых к материалу, а также количества и состава коммуникантов. В частности, испытуемые должны были сообщить в анкетах предполагаемое число участников коммуникации, их ген-дерное и возрастное распределение; определить, в какой ситуации происходит общение, какие посторонние звуки наблюдаются в сооб-щении, как одеты коммуниканты, каков их стиль общения, наблюда-ются ли паралингвистические и экстралингвистические проявления коммуникации, в частности наблюдается ли проявления моторики, жестики, мимики, проксемики; содержится ли в общении графиче-ский материал, художественные вставки, музыкальный фон.

Кроме того, наши испытуемые должны были эксплицировать свое отношение к стимульному материалу: каков смысл коммуникации, какова его эмоциональная окраска, какие эмоции он вызывает, а так-же каково их отношение к стимульному материалу. Предваритель-но отметим, что наблюдались существенные различия при анализе модальностей аудио-, видео- и аудио- и видеоматериалов на том же анализируемом сообщении у тех же самых испытуемых, что под-тверждает важность проводимого исследования.

Стимульный материал

В качестве стимульного материала испытуемым предлагался фраг-мент видеозаписи длинной в 60 секунд, на которой было запечатлено празднование Нового года в большой семье. В видео фигурировали чет-веро взрослых и трое детей. Данное видео использовалось в изначаль-ной форме, в режиме «без звука», а также в режиме «без изображения».

Группа испытуемых

В качестве испытуемых выступали группы студентов лингвисти-ческих специальностей. Одновременно стимульный материал де-монстрировался группам численностью не более 15 человек. Возраст испытуемых колебался от 17 до 23 лет. В группах наблюдался незначи-тельный перевес числа женщин над мужчинами (соотношение 4:3).

Процедура эксперимента

Участники эксперимента приглашались в лабораторию и получа-ли три распечатанные анкеты. Испытуемым отдводилось пять минут на заполнение персональных данных и ознакомление с анкетой перед каждой третью эксперимента. Перед началом ведущий осведомлялся у группы испытуемых об их готовности. Для демонстрации стимуль-ного материала использовался широкоформатный телевизионный экран, подсоединенный к компьютеру, за которым находился веду-щий. В распоряжении ведущего также был второй монитор, изобра-жение на котором не могли видеть испытуемые.

На первом этапе эксперимента испытуемые воспринимали только звуковую информацию. Выключался телевизионный экран и включал-ся звук, после чего начиналось воспроизведение видеофайла. После трехкратного аудиовосприятия информации испытуемым отводилось 5 минут на заполнение первой анкеты.

На втором этапе испытуемым вновь предоставлялось время на заполнение персональных данных и ознакомление со второй анке-той. На данном этапе испытуемые должны были воспринять только визуальную информацию, что достигалось тем, что на компьютере выключался звук, но включался телевизионный экран. После трех-кратного визуального восприятия информации испытуемым отводи-лось 5 минут на заполнение второй анкеты.

На последнем этапе эксперимента повторялся предварительный этап: испытуемые вновь читали анкету и заполняли персональные данные. После сигнала о готовности, они три раз воспринимали от-резок видеоролика в неизмененном варианте с информацией, переда-ваемой по звуковому и визуальному каналу одновременно.

Заключение

Описанный эксперимент продолжается, но уже на предварительном этапе он показал, что восприятие стимульного материала испытуемыми значительно отличается. Кроме ожидаемых различий в оценке испы-туемыми возраста и числа коммуникантов на видео, предварительный анализ материала позволяет говорить о том, что те же самые испытуе-мые дают различную эмоциональную оценку материалу, полученному по звуковому и визуальному каналу [Potapova, Potapov 2017].

Использование описанного перцептивного эксперимента по вы-явлению влияния аннотированного поликодового мультимодального интернет-контента на русском языке позволяет получить большой объем данных. Эти квантитативные данные в ходе математической и статистической обработки позволят сделать конкретные выводы о том, как молодые пользователи Интернета воспринимают поликодо- вую мультимодальную информацию в Сети [Potapova, Potapov 2016].

Тем не менее на данном этапе преждевременно говорить о резуль-татах. Вместо этого необходимо констатировать, что предлагаемый метод проведения перцептивного эксперимента уже сейчас позво-ляет получить квантитативные данные об особенностях восприятия интернет-контента. Необходимо продолжить проведение эксперимен-та на дополнительных группах с целью увеличения результирующей выборки испытуемых.

Список литературы / references

1. Потапова Р. К. Речь: коммуникация, информация, кибернетика. М. : Изд-во УРСС, 2010. [Potapova, R. K. (2010). Rech': kommunikacija, informacija, kibernetika (Speech: Communcation, Information, Cybernetics). Moscow: URSS. (In Russ.)].

2. Потапова Р. К., Потапов В. В. О глубинно-параметрическом методе анно-тирования для базы данных русскоязычного поликодового социально-сетевого дискурса : материалы VI Междунар. конгр. исследователей русского языка «Русский язык: исторические судьбы и современность». М.: Изд-во Моск. ун-та, 2019. [Potapova, R. K., Potapov, V V. (2019) O glubinno-parametricheskom metode anno-tirovanija dlja bazy dannyh russkojazychnogo polikodovogo social'no-setevogo diskursa (On deep parametric polycode Russian social network discourse annotation method for databases). In Russian language: Historic fates in modern world: 6th International Conference of Russian Language Scholars. Moscow: MSU. (In Russ.)].

3. Потапова Р. К., Потапов В. В., Джунковский А. В. К опыту глубинного ан-нотирования поликодовых Интернет Big Data (применительно к Digital Humanities) // Мягкий измерения и вычисления. 2019. № 9 (22). С. 40-43. [Potapova, R. K., Potapov, V. V, Dzhunokvskiy, A. V (2019). On deep annota-tion of polycode Internet Big Data (in relation to Digital Humanities). In: Soft dimensions and calculations, 9(22), 40-43. (In Russ.)].

4. Потапова Р. К., Потапов В. В., Джунковский А. В. О новом методе форми-рования и аннотирования поликодового корпуса данных применительно к социальным сетям Интернета // Вестник Московского государствен-ного лингвистического университета. Гуманитарные науки. 2019. Вып. 7 (823). С. 134-145. [Potapova, R. K., Potapov, V. V., Dzhunokvskiy, A. V. (2019). On a new method of formation and annotation of polycoda data corpora in relation to Internet social networks. Vestnik of Moscow State Linguistic University. Humanities, 7(823), 134-145. (In Russ.)].

5. Potapova R. et al. Some peculiarities of internet multimodal polycode corpora annotation / R. Potapova, V. Potapov, L. Komalova, A. Dzhunkovskiy // Lecture Notes in Computer Science. 2019. Vol. 11658. P 392-400.

6. Potapova R., Potapov V. Human as acmeologic entity in social network discourse (multidimensional approach) // A. Karpov, R. Potapova, I. Mporas (eds.). SPECOM 2017. LNAI. Cham : Springer, 2017. Vol. 10458. P 407-416.

7. Potapova R., Potapov V Polybasic attribution of social network discourse // A. Ronzhin, R. Potapova, G. Nemeth (eds.). SPECOM 2016. LNCS. Heidel-berg: Springer, 2016. Vol. 9811. P 539-546.

Размещено на Allbest