Посмотрите на вазу: как языковые маркеры влияют на глазодвигательную активность (на материале жанра экскурсии)

Размещено на http://www.allbest.ru/

Посмотрите на вазу: как языковые маркеры влияют на глазодвигательную активность (на материале жанра экскурсии)

М.В. Лиханов, И.А. Куликов



Экспериментально исследуется проблема влияния типа лексического маркера на глазодвигательную активность адресата. В ходе эксперимента 1 было выяснено, что время-до-цели меняется в зависимости от типа использованного маркера. Локативный и визуально-локативный типы маркера показали наименьшее время-до-цели. Эксперимент 2 подтвердил результаты первого эксперимента, однако наименьшее время-до-цели показали визуальные маркеры. Более того, время осмотра объекта изменяется в зависимости от категории маркера.

Ключевые слова: глазодвигательная активность; внимание; жанр экскурсионной метки; экскурсант; время осмотра; вре-мя-до-цели.



TAKE A LOOK AT THE VASE: LEXICAL MARKERS AFFECT OCULOMOTOR ACTIVITY (ON THE MATERIAL OF EXCURSION GENRE)

Maxim V. Likhanov, Tomsk State University (Tomsk, Russian Federation). Ivan A. Kulikov, Tomsk State University (Tomsk, Russian Federation)

Keywords: oculomotor activity; attention; excursion genre; excursionist; time-on-target; time-to-target.

The present paper is devoted to an investigation of the role of lexical markers, which are used by the tour guide to guide the excursionist's attention during an excursion. The aim of this study was to check whether the addressee's eye movements will vary as afunction of the marker category used by the tour guide. In order to do so, the authors conducted two eye tracker studies, allocating head-mounted and stationary eye tracker in Study 1 and Study 2, respectively. In Study 1, the authors checked whether the effectiveness of the tour guide manipulation of the addressee's eye movements, manifested in time-to-target, would vary as a function of the marker category. In Study 1, data from 30 participants were analysed (age, M - 18.1, SD = 1.1, 14 female). The eye movements of the participants were recorded individually during the excursion in the Museum of Rare Books, Tomsk State University. The text of the excursion was individual for each participant. The data were recorded in a natural environment, the tour guide was not advised on the usage of any special markers and talked freely. An ANOVA with repeated measures were used with marker category as an independent variable and time-to target (time from the nomination of object to the first fixation on it, TtT) as a dependent variable. The effect of gesture was controlled. The data showed four distinct categories of a lexical marker: visual-locative, locative, indicative and zero. Results of the first study showed that TtT varies as a function of the marker category used, F (2.259, 65.52) = 111.95, p<.05, with locative and visual-locative markers having the smallest TtT. In Study 2, the authors checked whether the effectiveness of the tour guide manipulation of the addressee's eye movements, manifested in time-to-target and time-on-target, would vary as a function of the marker category. The data from 42 participants were analysed (age, M = 21.5, SD = 2.2; 28 female). The participants were presented with a photo of the museum screen while listening to the recorded text on rare books. The text was the same for each participant. The order of markers was pseudorandomised for each participant to account for the effects of first encounter. Each participant was presented with one marker from a category, which was picked by experts as an iconic for the category. Marker categories were adjusted and now five categories were used: visual, visual-locative, locative, indicative and zero. The TtT and the time-on target (dwell time on a target, ToT) were investigated. An ANOVA with repeated measures was used with the marker category as an independent variable and time-to-target as a dependent variable. Also, an ANOVA with repeated measures was used with the marker category as an independent variable and ToT as a dependent variable. The data from Study 2 replicated the findings of the head- mounted eye tracker study; although, the pattern of the results was slightly different. TtT varied as a function of the marker category, F (2.44, 100.16) = 13.94, p=.0001. In this study, the visual marker category had the smallest TtT. The results of the study showed that ToT also varied as a function of the marker category, F (2.21, 84.02) = 11.02, p=.0001. The post-hoc test showed significant differences in ToT between the zero category and all other categories. The smallest ToT was shown by the zero category. Overall, the results are discussed in the framework of semantic differences between categories and in the more general language-mediated eye movement paradigm. The data bring evidence that the addressee's eye movements indeed vary as a function of the marker category, with visual, visual-locative and locative being the most effective.



Введение

Современные экспериментальные методы (в частности, айтрекер) позволяют исследовать взаимодействие лингвистических стимулов и референтов в реальном мире с позиции глазодвигательной активности [1.С. 1105-1122].Исследования последовательно показывают, что адресат использует визуальную информацию, чтобы ограничить набор возможных целевых референтов [2. С. 409-436; 3. С. 95-127].Все большее количество исследований свидетельствует в пользу того, что информация, заложенная в лексему, используется для формирования ожидания объекта, следующего за этой лексемой [4.С. 1995-2024].

Первыми это продемонстрировали Гэрри Альтманн и ЮкиКамиде в 1999 г. [5.С. 247-264]. Ученые показали, что распределение внимания участников было связано с тем предложением, которое они слышали. Например, если участники слышали глагол «есть», «ожидающие» глаза двигались в сторону съедобных объектов в визуальной сцене, заданной простыми рисунками и пиктограммами. Позже ученые обнаружили, что для этого адресат пользуется окружающим контекстом, заданным визуальной информацией из реального мира [6. С. 55-71; 7. С. 455-469].

Дальнейшие исследования показали, что направление движения взгляда связано с речью и в фотореалистичных сценах [8.С. 208-216]. Участник исследования смотрел на фотографию одновременно с тем, как ему зачитывались заранее записанные предложения, в которых упоминался какой-либо объект с фотографии. Ученые наблюдали фиксацию на объекте спустя значительный промежуток времени (~ 2 500 мс) после его номинации. Этот эффект был позже реплицирован в серии экспериментов [4.С. 1995-2024]. Результаты исследований позволяют сделать вывод, что мозг использует контекстуальную информацию из окружающего мира и направляет взгляд на объект в визуальном поле, максимально релевантный лексической информации. Например, когда объект назван, но отсутствует, участники фиксируются на контекстно релевантных объектах (например, на столе, если услышали глагол «есть»). Во втором эксперименте ученые показали, что взгляд движется в сторону релевантных объектов, даже если сцена исчезает после предъявления лексического стимула, делая вывод о том, что «ожидающие» движения глаз базируются на контекстуальной информации в памяти, на основании которой принимается решение. Таким образом, мы можем сказать, что мозг использует доступную визуальную информацию и фиксируется на релевантном объекте после его номинации.

В предыдущих исследованиях связи движений глаз и лексических единиц, как правило, использовались слова, не указывающие напрямую на необходимость визуальной активности. В этом контексте остается неясным то, как движения глаз связаны с лексикой, содержащей такое указание. Цель данной статьи - исследовать глазодвигательную активность под руководством лексического стимула, содержащего указание на объект интереса. Экскурсионная коммуникация позволяет исследовать глазодвигательную активность под руководством лексического стимула ввиду своей специфики как полисемиотичной системы [10.С. 90-93], где рассказ неразрывно связан с показом. В ситуации общения у экскурсовода появляется необходимость в жанре, выполняющем прагматическую функцию и служащем для максимально эффективного и быстрого связывания объекта показа и той информации, которая ему посвящена, - жанре экскурсионной метки.

Исследуя тексты экскурсий, мы обнаружили, что жанр обслуживается гетерогенными по своему семантическому значению единицами-маркерами, среди которых выделяются следующие категории: локативные, визуально-локативные, нулевые и указательные, в соответствии с наличием или отсутствием соответствующих семантических компонентов выполняющие, однако, одну функцию - указания на объект, о котором идет речь. Например, единица «посмотрите здесь», относящаяся к визуально-локативной категории, используется наравне с единицей «это», относящейся к указательной категории. Ввиду того, что жанр предполагает управление глазодвигательной активностью слушателя, возникает вопрос: меняются ли как-то характеристики этой активности экскурсанта при использовании экскурсоводом единиц разных категорий.

Опираясь на вышесказанное, мы выдвинули гипотезу о том, что эффективность управления глазодвигательной активностью экскурсанта изменяется в зависимости от категории маркера указания на объект, использованного адресантом-экскурсоводом.

Мы проверили данную гипотезу в двух экспериментах на разных выборках.



Исследование 1 - «разведочный» эксперимент

Введение

Для исследования коммуникативно-прагматического аспекта экскурсионной коммуникации в первом исследовании мы стремились приблизить ситуацию экспериментального общения между адресантом и адресатом к реальной экскурсионной коммуникации, поэтому остановились на полевом дизайне исследования и использовании мобильного айтрекера. Такой тип айтрекера позволяет проводить исследования вне лабораторных условий, использовать более экологи- чески-валидное окружение и исследовать сложные виды взаимодействия участника исследования с окружающим миром, однако накладывает ряд ограничений, касающихся точности замеров: ограничение доступных метрик и наличие шума в статистических данных, вызванного, например, жестами экскурсовода.

Для исследования степени эффективности управления глазодвигательной активностью экскурсанта мы остановились на показателе «время-до-цели», позволяющем отследить, насколько быстро происходила первая фиксация на объекте показа после его номинации.

Мы выдвинули гипотезу о том, что эффективность управления глазодвигательной активностью экскурсанта, выраженная во времени-до-цели, изменяется в зависимости от категории маркера указания на объект, использованного адресантом. Эффект жеста контролировался.



Методы

Участники. 30 человек (возраст, M= 18,1, SD= 1,1; 14 женщин) приняли участие в исследовании. Все участники заполнили информированное согласие. Все участники обладали хорошим зрением, не имели травм головы и получили баллы по курсам за участие. Исследование было проведено в соответствии с Федеральным законом Российской Федерации «О персональных данных» (152-ФЗ) и Этическим кодексом психолога, принятым 14 февраля 2012 г. V съездом Российского психологического общества.

Процедура. Участники заходили в Музей книги Научной библиотеки ТГУ по одному, на них надевались очки SMIEyeTrackingGlassesv.1.8 (далее ETG), и экскурсовод проводил индивидуальную экскурсию для каждого. Экскурсовод всегда работал только с одним экскурсантом. Нами были предварительно отобраны четыре экскурсионных витрины, имеющие филологическую специфику (две, посвящены литературе XX в. и еще две - цензуре), которые экскурсовод мог посещать в произвольном порядке, руководствуясь своей логикой и логикой экскурсии. Условия проведения экскурсии были максимально приближены к естественным, что делает исследование экологически валидным (Ecologicalvalidity), но снижает экспериментальный контроль (ExperimentalControl). Движения глаз были записаны на протяжении осмотра всех четырех витрин.

Стимулы. Экскурсионные объекты были отобраны так, чтобы в экскурсии присутствовали как экспонаты, при осмотре которых экскурсант фокусировал взгляд на мелких деталях объекта, так и экспонаты, где требовалось осмотреть объекты целиком. Все стимулы были естественными и являлись частью выставки Музея книги Научной библиотеки ТГУ. В качестве экскурсионных объектов использовались экспонаты, представленные в витринах музея (см. пример витрины в Приложении 1).

Для сохранения естественного течения экскурсии ее текст был индивидуален для каждого из участников. Использование маркеров указания на объект и их категории не обсуждались с экскурсоводом. По результатам предварительного анализа речевые маркеры адресанта включали следующие категории:

- локативные: «наверху слева» + номинация, «здесь справа» + номинация;

- визуально-локативные: «посмотрите вверху» + номинация, «здесь можете видеть» + номинация;

- нулевые: только номинация;

- указательные: «вот» + номинация.

Оборудование. Для записи движений глаз были

использованы очки-айтрекерSMIETGv.1.8, соединенные с записывающим устройством на базе КПК. Заявленные производителем характеристики:

- частота видеорегистрации 30 Гц;

- пространственная разрешающая способность 0,1°;

- точность определения направления 0,5°;

- диапазон регистрации глаз 80° по горизонтали, 60° по вертикали.

Обработка данных. Для обработки данных использовали стандартное программное обеспечением BeGazev3.5. Записанные данные импортировались в программу, в которой выполнялись обработка и экспорт количественных показателей глазодвигательной активности. Программа SonyVegasv.10 использовалась для корректировки измерений времени аудио. Категории маркера указания на объект были выделены на основе представленности или отсутствия семантического компонента.

Статистика. Для проверки гипотезы был использован однофакторный дисперсионный анализ с повторяющимися измерениями (RepeatedmeasuresANOVA), где время-до-цели было использовано в качестве зависимой переменной, а категория маркера - в качестве независимой.

Время-до-цели считалось как время от начала фонации слова, номинирующего объект, до первой фиксации на объекте. Ввиду того, что экспериментальные исследования последовательно демонстрируют, что движения глаз, происходящие при посредничестве речи (language-mediatedeye-movements), как правило, начинаются спустя 200 мс после начала фонации стимула-слова (см.: [9.С. 151-171] для обсуждения), время-до-цели, меньшее 200 мс, было удалено как противоречащее теоретическим выкладкам до усреднения внутри участника. Два выброса было удалено для первого участника и для семнадцатого(+/- 3,29 8Б). После этого распределение времени- до-цели внутри категорий маркера для всех участников стало соответствовать критерию нормальности.

Время жеста считалось как время от начала фонации слова, номинирующего объект, до конца движения руки экскурсовода, указывающего на объект речи. Жест всегда следовал за началом фонации номинации объекта. Две пробы без жеста были удалены из дальнейшего анализа, оставив 206 проб с жестом (М = 126,5, 8Б = 35,81). Для контроля времени жеста были посчитаны стандартизованные регрессионные остатки, где время жеста использовалось в качестве независимой переменной, а время-до-цели - зависимой (М = 0, 8Б = 1). Таким образом, мы убрали влияние жеста на время-до- цели. Эти регрессионные остатки использовались в качестве нового показателя времени-до-цели в дальнейшем анализе. лексический маркер глазодвигательный экскурсант

Вследствие того, что количество объектов показа было примерно одинаковым у всех экскурсантов (автор-экскурсовод мог говорить, а мог и пропускать некоторые объекты, но в среднем их количество оставалось единым), количество маркеров в одной экскурсии в среднем почти не менялось (M = 30,8, SD = 1,2). Однако количество маркеров в каждой из категорий варьировало между людьми (M = 7,8, SD = 1,2; M = 6,2, SD = 0,8; M = 7,7, SD = 0,5; M = 7,3, SD = 1,1 для локативных, визуально-локативных, нулевых и указательных соответственно). Для дальнейшего анализа мы использовали среднее время-до-цели для каждой категории внутри отдельного человека.

Тест Моучли показал, что допущение о сферичности было нарушено (²(5) = 12,71, p = ,026), поэтому мы использовали поправку Гринхауса - Гэйс- сера [11. С. 461].

Статистический анализ данных проводился в IBM SPSS ver. 23.

Результаты

Описательные статистики времени-до-цели для каждой категории представлены в табл. 1.

Т а б л и ц а 1

Описательные статистики времени-до-цели для отдельных семантических категорий маркеров, используемых адресантом

Категория маркера	Среднее	Стандартное отклонение	Количество
Локативный	-,86	,29	30
Визуально-локативный	-,58	,57	30
Нулевой	1,37	,64	30
Указательный	,06	,43	30

Однофакторный дисперсионный анализ с повторяющимися измерениями

Результаты однофакторного дисперсионного анализа с поправкой Гринхауса - Гэйсера показали, что время-до-цели значимо отличалось для разных категорий маркера (Т(2,259, 65,52) = 111,95, р< ,05). Апостериорный тест с использованием поправки Бонфер-рони показал, что время-до-цели значимо отличалось для всех категорий (р < ,05), кроме локативных и ви зуально-локативных маркеров (р = ,109). Наименьшее время-до-цели (в миллисекундах) показала категория локативных и визуально-локативных маркеров (М = 879,56, 8Б = 279,46; М = 1 178,46, 8Б = 613,57 соответственно). Наибольшее время-до-цели показала категория нулевых маркеров (М = 3 295,83, 8Б = 727,63). Среднее время-до-цели для указательной категории составило 1 875,93 мс (8Б = 477,26). Распределение среднего времени-до-цели показано на рис. 1.

Размещено на http://www.allbest.ru/

Обсуждение

Маркеры были разделены на категории на основании различий в семантике, в частности по наличию или отсутствию компонента в семантике. Было выделено четыре категории маркеров: локативная, содержащая отсылку к местоположению объекта в визуальном поле; визуально-локативная, где к локативному компоненту добавлялся показатель необходимости визуальной активности; указательная, указывающая на тот объект, о котором идет речь; нулевая, только номинирующая объект, не указывающая на него или

его местонахождение и не апеллирующая к визуальной активности. Наши данные показывают связь между произнесенным текстом и движениями глаз: время до первой фиксации адресата на объекте изменяется в зависимости от категории маркера, использованного адресатом. Время-до-цели при использовании нулевого маркера было значимо больше времени- до-цели для других типов маркера. Возможным объяснением этого может являться тот факт, что нулевые маркеры не содержат прямого указания на необходимость визуальной активности (фокусировки на объекте) и локализацию необходимого объекта, что выражается в большем времени-до-цели. Локативная и визуально-локативная категории маркера показали наименьшее время-до-цели. Отметим, что жест присутствовал во всех пробах, взятых в анализ, и в какой- то степени компенсировал отсутствие указания на объект. Однако разница во времени-до-цели проявилась и при контроле влияния жеста, что косвенно свидетельствует в пользу влияния категории маркера, а не характеристик жеста, на время-до-цели.

Визуально-локативные маркеры не отличались статистически значимо от других типов по времени- до-цели, несмотря на наличие как визуального, так и локативного компонентов. Возможным объяснением отсутствия значимости может быть избыточность апелляции к визуальной активности при наличии жеста, что стало причиной отсутствия значимых статистических отличий между нулевой и визуально-локативной категориями. Необходимо реплицировать этот эффект для того, чтобы делать какие-либо выводы.

К ограничениям для выводов текущего исследования можно отнести несколько факторов:

- вариабельность текстов экскурсий;

- присутствие жестов, которые могли повлиять на время-до-цели;

- использование мобильного айтрекера, позволявшего участнику совершать движения головой.



Исследование 2

Введение

В данном исследовании мы хотели реплицировать результаты, полученные в первом исследовании. Однако, учитывая ограничения первого исследования, мы решили перенести эксперимент в лабораторные условия. Мы стремились приблизить ситуацию взаимодействия экскурсовода и экскурсанта к реальной жизни и поэтому решили исследовать взаимодействие глазодвигательной активности и речевого маркера именно в актуально произнесенном тексте, а не в изолированном высказывании. Одновременно с этим мы стремились ограничить посторонние влияния на поведение участника, указанные в ограничениях прошлого эксперимента. Во-первых, в данном исследовании был использован стационарный айтрекер вместо мобильного, что позволило одновременно убрать факторы жестов экскурсовода и движений головы экскурсанта. Во-вторых, в исследовании использовался один фиксированный текст экскурсии, в котором менялись только маркеры указания на объект. Более того, на данном этапе было принято решение сфокусироваться только на одном «эталонном» маркере из семантической группы. Эталонный маркер для каждой группы был отобран путем обращения к частотным словарям и экспертной оценке (см. секцию «Материалы»). Это позволило повысить статистическую мощность, поскольку вариабельность внутри группы стимулов отсутствовала и потенциальным фактором, снижающим мощность, оставалась только индивидуальная вариабельность участников исследования [13]. В тексте было представлено 5 разных категорий маркера, т.е. один человек слышал один маркер из категории. Это предъявило определенные требования к количеству участников, необходимых для получения той же статистической мощности, что и в первом исследовании. 0*Роццг калькулятор [14.С. 175-191] показал, что для получения в однофакторном дисперсионном анализе такого же размера эффекта, что и в первом эксперименте, будет необходимо 40 человек, и у каждого из них будет по одной реакции на стимул каждой категории.

Таким образом, мы хотели проверить, сохранится ли паттерн, наблюдаемый в первом исследовании (увеличение времени-до-цели при использовании нулевого стимула или сокращение его при использовании визуально-локативного стимула), во втором эксперименте.

Как отмечалось выше, визуально-локативные маркеры не отличались значимо от маркеров других групп. Однако мы считаем, что маркеры этой категории должны были иметь наименьшее время-до-цели ввиду наличия как локативного компонента, упрощающего нахождение объекта интереса в визуальном поле, так и визуального, указывающего на необходимость визуальной активности. Чтобы уменьшить вариабельность внутри категории, было принято решение тщательнее подойти к семантическому анализу стимулов категории. Мы обнаружили, что данную категорию можно разделить на две: визуальнолокативную и «визуально-императивную», ввиду различий в семантике. Типологизирование с использованием обновленного критерия привело к выделению пяти групп: визуальной («посмотрите» + номинация объекта), локативной («здесь» + номинация объекта), визуально-локативной («посмотрите здесь» + номинация объекта), указательной («это» + номинация) и нулевой (только номинация объекта показа).

Также мы хотели проверить, сохранится ли паттерн, наблюдаемый в первом исследовании, при применении другого показателя. В качестве этого показателя было использовано время, потраченное на осмотр объекта.

Таким образом исследование имело три основных гипотезы:

Гипотеза 1: Эффективность управления вниманием, манифестированная во времени-до-цели, изменяется в зависимости от категории маркера (репликация исследования 1).

Гипотеза 2: Визуально-локативные маркеры имеют меньшее время-до-цели, чем маркеры остальных категорий.

Гипотеза 3: Эффективность управления вниманием, манифестированная в количестве времени, затраченном на осмотр объекта, изменяется в зависимости от категории маркера.

Методы

Участники. 42 человека (возраст, M= 21,5, SD= 2,2; 28 женщин) приняли участие в исследовании. Все участники заполнили информированное согласие. Все участники обладали хорошим зрением, не имели травм головы и получили подарочный сертификат в кофейню за участие.

Процедура. Участники заходили в комнату по одному и заполняли форму информированного согласия. Затем участник садился на стул в 60 см от айтре-кера и надевал наушники. После этого запускался эксперимент, в начале которого человек должен был прочитать инструкцию, указать свой пол, возраст и род занятий, а затем пройти процедуру калибровки айтрекера. В качестве стандарта калибровки было принято отклонение не более 0,5° по осям Х и У. Среднее отклонение для настоящего исследования составило 0,45 и 0,41 для X и Yсоответственно. После этого начиналась основная часть эксперимента, в ходе которой участнику предъявлялся снимок витрины, сделанный в Музее книги Научной библиотеки ТГУ. На витрине было расположено 10 объектов разного размера (см. прил. 1). Одновременно с этим участник слушал текст, записанный на аудио. После прослушивания текста участник должен был ответить на несколько вопросов о содержании экскурсии.

Оборудование. Бинокулярная запись движений глаз происходила с помощью стационарного айтреке-раSMIRED500 (https://www.smivision.com/) cчастотой регистрации 500 Гц.

Обработка данных. Осуществление эксперимента и обработка данных производились с помощью штатного программного обеспечения айтрекера: ExperimentCenter3.7 и BeGaze3.7.

Этические основания. Исследование было одобрено этическим комитетом междисциплинарных исследований Томского государственного университета.

Материалы. В этом эксперименте текст был одинаков для всех участников (см. прил. 2). В качестве стимулов использовались эталонные слова для каждой из 5 категорий маркеров. Маркеры были отобраны с помощью экспертной оценки и словарей частотности. Так, в качестве эталонного маркера визуальной категории (1) с помощью экспертной оценки было выбрано словосочетание «посмотрите на» как самое часто встречающееся в рамках экскурсионной коммуникации. Для сравнения, в Национальном корпусе русского языка (НКРЯ) [15] частотность для лексемы «видеть» составляет 818,2 ipm, а для «посмотреть» - 314,2 ipm. Более того, единица «видит», как правило, используется в вопросительных конструкциях (например, «видите, книга?»). В эксперименте мы хотели избавиться от лишних наслоений (вопроса) и решили выбрать лексему «посмотрите». В качестве эталонной единицы для локативных маркеров (3) мы использовали лексему «здесь». Лексема имеет одинаковую встречаемость с лексемой «тут»: ~ 10 000 ipmпо НКРЯ. Ю.Д. Апресян [16.С. 9-41] отмечает, что лексема «здесь» имеет пространственное употребление в 88% процентов случаев. Опираясь на вышесказанное, в качестве визуально-локативного маркера (2) мы использовали словосочетание «посмотрите здесь», комбинацию из первых двух маркеров. Нулевым маркером (4) считалось отсутствие какого-либо значимого маркера, указывающего на расположение объекта или необходимость визуальной активности. Автор- экскурсовод текста лишь номинировал объект интереса. В качестве указательного маркера (5) использовалась лексема «это» как наиболее частотная (5 707,8 ipm) в сравнении, например, с лексемой «вот», также выполняющей дейктическую функцию (1 785,1 ipm) по НКРЯ.

Для компенсации эффектов «первой встречи» маркера в тексте (разницы во времени-до-цели для первого маркера в тексте и для последнего), разного размера объектов, количества слов между маркерами разных категорий и начальных звуков лексемы [17.C. 460-482], обозначающей этот объект, порядок маркеров в тексте был псевдорандомизован: мы использовали пять разных последовательностей маркеров: 12 345, 23 451, 34 512, 45 123, 51 234 (см. выше). Например, в качестве первого маркера в тексте для первого участника был использован визуальный маркер, за которым шел визуально-локативный, в то время как для второго участника визуальнолокативный маркер был первым, за ним следовал локативный и т. д. Текст экскурсии был записан на диктофон таким образом, чтобы вместо слов «Маркер», выделенных жирных шрифтом в Приложении 2, можно было подставить любое слово-маркер, например «посмотрите здесь», не перезаписывая остальной текст.

Статистика. Для проверки первой и второй гипотез был использован однофакторный дисперсионный анализ с повторяющимися измерениями (RepeatedmeasuresANOVA), где время-до-цели было использовано в качестве зависимой переменной, а категория маркера - в качестве независимой. Для проверки третьей гипотезы в качестве зависимой переменной использовалось время осмотра.

Время-до-цели считалось как время от начала фонации слова, номинирующего объект будущей фиксации, до первой фиксации на объекте. Ввиду того, что экспериментальные исследования последовательно демонстрируют, что движения глаз, происходящие при посредничестве речи (language- mediatedeye-movements), как правило, начинаются спустя 200 мс после начала фонации стимула-слова (см. [9.С. 151-171] для обсуждения), время-до-цели, меньшее 200 мс, было удалено как противоречащее теоретическим выкладкам до усреднения внутри участника. Одна реакция была удалена для девятнадцатого участника (+/- 3,29 SD). После этого распределение времени-до-цели внутри категорий маркера для всех участников стало соответствовать критерию нормальности. Тест Моучли показал, что допущение о сферичности было нарушено для време- ни-до-цели (х²(9) = 54,73, p= ,001), поэтому мы использовали поправку Гринхауса - Гэйссера [11. С. 461].

Время осмотра считалось как совокупное время фиксации на объекте. Среднее количество возвратов составило 3,23 (8Б = 1,11). Корреляция между временем осмотра и количеством возвратов была не значима (р = ,442), параметр «количество осмотров» не был включен в модель. Тест Моучли показал, что допущение о сферичности было нарушено для времени осмотра (х²(9) = 67,51, р = ,001), поэтому мы использовали поправку Гринхауса - Гэйссера [11. С. 461].

Корреляционный анализ показал, что время осмотра отрицательно коррелировало со временем-до- цели, r(210) = -198, p = ,004.

Статистический анализ данных проводился в IBM SPSS ver. 23.

Результаты

Время-до-цели. Описательные статистики представлены в табл. 2.

Т а б л и ц а 2

Описательные статистики «время-до-цели» для отдельных семантических категорий маркеров, используемых адресантом

Категория	Среднее	Стандартное отклонение	Количество
Визуальная	1 316,04	609,44	42
Визуально-локативная	1 811,88	759,69	42
Локативная	2 359,88	2 095,65	42
Нулевая	2 974,31	1 011,99	42
Указательная	2 764,89	1 981,48	42

Результаты однофакторного дисперсионного анализа с поправкой Гринхауса - Гэйсера показали, что время-до-цели значимо отличалось для разных категорий маркера (Т(2,44, 100,16) = 13,94, р = ,0001, эта квадрат = ,25). Апостериорный тест с использованием поправки Бонферрони показал, что время-до-цели для визуальных маркеров значимо отличалось от всех категорий. Визуально-локативные маркеры значимо отличались по времени-до-цели для всех категорий кроме локативной. Локативные маркеры отличались значимо только от визуальной категории. Нулевые маркеры отличались значимо только от визуальной и локативной категорий. Указательные маркеры отличались значимо только от визуальных и визуальнолокативных маркеров. Наименьшее время-до-цели показала визуальная категория (рис. 2).

Время осмотра. Описательные статистики представлены в табл. 3.

Рис. 2. Время-до-цели в зависимости от категории речевого маркера указания на объект

Категория

Т а б л и ц а 3

Описательные статистики времени осмотра для отдельных семантических категорий маркеров, используемых адресантом

Категория	Среднее	Стандартное отклонение	Количество
Визуальная	4 087,84	3 552,86	39
Визуально-локативная	3 899,07	3 065,98	39
Локативная	2 363,32	2 095,65	39
Нулевая	1 066,72	1 011,99	39
Указательная	3 650,72	2 981,48	39

Результаты однофакторного дисперсионного анализа с поправкой Гринхауса-Гэйсера показали, что время осмотра значимо отличалось для разных категорий маркера (Б(2,21, 84,02) = 11,02, р = ,0001, эта квадрат = ,22). Апостериорный тест с использованием поправки Бонферрони показал, что время осмотра для визуальных маркеров незначимо отличалось от локативных, визуально-локативных и указательных маркеров (р> ,05). Время осмотра для категории нулевых маркеров значимо отличалось от всех категорий (р< ,05). Локативная категория значимо отличалась от Наименьшее время осмотра показала категория нуле- всех категорий за исключением визуальной (р > ,05).вых маркеров (рис. 3).

Обсуждение

Данные показали, что время-до-цели адресанта действительно изменяется в зависимости от категории маркера, таким образом реплицировав эффект, найденный в первом исследовании.

Визуальные маркеры показали наименьшее время- до-цели среди всех остальных категорий маркеров, что свидетельствует о том, что апелляция к визуальной активности ведет к сокращению времени до первой фиксации адресанта на объекте, а значит, более эффективно управляет вниманием адресанта.

Наши данные опровергают вторую гипотезу так как визуально-локативные маркеры имеют большее среднее время-до-цели, чем маркеры визуальной категории. Визуально-локативные маркеры отличались незначимо от локативной категории. Мы можем предположить, что дополнительная апелляция к визуальной активности при наличии локативного компонента и ограниченного визуального поля (фотографии в нашем случае) являлась избыточной в визуальнолокативных маркерах, что привело к отсутствию статистически значимых различий между этой категорией и категорией локативных маркеров. Возможным объяснением этого может быть то, что данные для каждой из категорий маркеров не усреднялись на уровне человека, что стало причиной больших стандартных отклонений и незначимых различий между категориями в результате. В дальнейших исследованиях необходимо увеличить размер выборки, усреднить данные внутри участника или обратиться к смешанным моделям.

Результаты исследования показали, что количество времени, затраченное на осмотр объекта, изменяется в зависимости от категории маркера, подтвердив, таким образом, третью гипотезу. При этом апостериорный тест показал, что только категория нулевых маркеров значимо отличалась от всех остальных. Опираясь на эти данные, мы можем сделать вывод о том, что маркеры любой категории более эффективны, чем «чистая» номинация объекта. Отметим, что визуальные маркеры показали наибольшее среднее время осмотра по сравнению с другими категориями маркеров, не отличаясь, однако, значимо от других категорий (за исключением нулевой).

Возможным ограничением для выводов этого исследования может являться тот факт, что в качестве локативного маркера мы использовали лексему «здесь» как самую частотную единицу с локативным значением, которая в рамках ограниченного визуального поля могла не добавлять информацию о местоположении объекта. В дальнейших исследованиях будет необходимо проверить эффект такого локативного маркера, который будет напрямую указывать на местоположение объекта, например «наверху» или «слева». К ограничениям данного исследования можно отнести тот факт, что мы использовали только один эталонный маркер, что привело к большим стандартным отклонениям и не позволило использовать смешанные модели со случайным эффектом slopeи intercept.



Заключение

Подводя итог, мы можем сказать, что категория маркера, используемая адресантом-экскурсоводом, оказывает влияние на визуальную активность адресата во время проведения экскурсии. Наши данные еще раз подтверждают гипотезу Г. Альтмана и Ю. Камиде [5. С. 247-164; 18. С. 133-156; 6. С. 55-71] о связи глазодвигательной активности респондентов с семантикой слова. В данной статье мы исследовали глазодвигательную активность адресата речи как в реальной ситуации, так и при осмотре фотореалистичной сцены, что еще раз подтверждает результаты Андерсона и соавторов [8. С. 208-216], показавших связь движений глаз и лексического стимула в фотореалистичной сцене.

Наши данные, полученные с помощью мобильного и стационарного айтрекеров, свидетельствуют, что категория используемого маркера действительно оказывает влияние на глазодвигательную активность. Результаты обоих экспериментов показали, что в случае использования нулевого маркера человек может просто пропустить объект, не обратив внимания на номинацию этого объекта экскурсоводом.

Отдельного обсуждения требует противоречие между паттерном результатов первого и второго экспериментов во времени-до цели. В первом эксперименте наименьшее время-до-цели показали локативные и визуально-локативные маркеры, в то время как во втором наименьшее время-до-цели принадлежало типу визуальных маркеров. Возможным объяснением может быть тот факт, что первое исследование было максимально приближено к обычной экскурсии, где экскурсовод пользовался дополнительными средствами передачи информации, в частности жестами, для указания на объект, в то время как во втором эксперименте жесты отсутствовали. Во время живой коммуникации функцию указания на объект берет на себя жест, дублируя локативный маркер, уточняя локализацию объекта и уменьшая время до фиксации на цели. Во время второго эксперимента участник мог пользоваться только аудиальной информацией, полученной от адресанта (см.: дистантная коммуникация; [19]), что сделало апелляцию к визуальной активности посредством визуального маркера более актуальным источником информации. Визуальный маркер указывал адресату на то, что объект есть в визуальном поле, и на то, что на него нужно обратить внимание, в то время как остальные типы маркеров содержали избыточную информацию в ограниченном визуальном поле фотографии, использовавшейся в качестве стимула. Следует отметить, что при отсутствии жеста (в эксперименте 2) визуальные маркеры показали как наименьшее время, необходимое адресанту, чтобы переключиться на объект, так и наибольшее время осмотра объекта при использовании этих маркеров.

Наши данные, таким образом, свидетельствуют в пользу наибольшей эффективности маркеров, содержащих визуальный и локативный компоненты, и могут быть интересны в более широком контексте за пределами лингвистических исследований, например при подготовке экскурсоводов, где данные результаты могут служить свидетельством большей восприимчивости адресата к маркерам именно этой категории по сравнению с другими и, как следствие, более эффективными для управления его вниманием. Более того, результаты исследования свидетельствуют в пользу того, что при отсутствии жеста (например, в аудиоэкскурсии) экскурсовод должен не просто называть объект (нулевой маркер), но и указывать на него, используя указательные, визуальные или локативные маркеры, в то время как в рамках обычной экскурсии наиболее эффективными будут являться локативные и визуально-локативные местоимения. Методические рекомендации такого рода особенно актуальны в мире визуального восприятия информации и той образовательной цели, которую преследует экскурсионная коммуникация.



ЛИТЕРАТУРА

1. Апресян В.Ю. Тут, здесь и сейчас. О временных значениях пространственных дейктических слов // Русский язык в научном освещении. 2014. №° 27. С. 9-41. URL: http://publications.hse.ru/articles/106984009(датаобращения: 05.10.2017).

2. Huettig F., McQueen J.M. The tug of war between phonological, semantic and shape information in language-mediated visual search // Journal of Memory and Language. 2007. Vol. 57 (4). P. 460-482. URL: https://doi.org/10.1016/j.jml.2007.02.001

3. Kamide Y., Altmann G.T.M., Haywood S.L. The time-course of prediction in incremental sentence processing: Evidence from anticipatory eye movements // Journal of Memory and Language. 2003. Vol. 49 (1). P. 133-156. URL: https://doi.org/10.1016/S0749-596X(03)00023-8

4. Земская Е. А. Русская разговорная речь : лингвистический анализ и проблемы обучения. М. : Рус. яз., 1979. 240 с.

5. Tanenhaus M.K., Brown-Schmidt S. Language processing in the natural world // Philosophical Transactions of the Royal Society B: Biological

6. Sciences. 2008. Vol. 363. P. 1105-1122. URL: https://doi.org/10.1098/rstb.2007.2162

7. Eberhard K.M., Spivey-Knowlton M.J., Sedivy J.C., Tanenhaus M.K. Eye movements as a window into real-time spoken language comprehension

in natural contexts // Journal of Psycholinguistic Research. 1995. Vol. 24 (6). P. 409-436. URL: https://doi.org/10.1007/BF02143160

8. Knoeferle P., Crocker M.W., Scheepers C., Pickering M.J. The influence of the immediate visual context on incremental thematic role-assignment:

Evidence from eye-movements in depicted events // Cognition. 2005. Vol. 95 (1). P. 95-127. URL: https://doi.org/10.1016/j.cogni- tion.2004.03.002

9. Coco M.I., Keller F., Malcolm G.L. Anticipation in Real-World Scenes: The Role of Visual Context and Visual Memory // Cognitive Science.

2016. Vol. 40 (8). P. 1995-2024. URL: https://doi.org/10.1111/cogs.12313

10. Altmann G.T.M., Kamide Y. Incremental interpretation at verbs: Restricting the domain of subsequent reference // Cognition. 1999.

Vol. 73 (3). P. 247-264. URL: https://doi.org/10.1016/S0010-0277(99)00059-1

11. Altmann G.T.M., Kamide Y. Discourse-mediation of the mapping between language and the visual world: Eye movements and mental representa

tion // Cognition. 2009. Vol. 111 (1). P. 55-71. URL: https://doi.org/10.1016/j. cognition.2008.12.005

12. Ferreira F., Tanenhaus M.K. Introduction to the special issue on language-vision interactions // Journal of Memory and Language. 2007. Vol. 57 (4).

P. 455-459. URL: https://doi.org/10.1016/jjml.2007.08.002

13. Andersson R., Ferreira F., Henderson J.M. I see what you're saying: The integration of complex speech and scenes during language comprehension

// ActaPsychologica. 2011. Vol. 137 (2). P. 208-216. URL: https://doi.org/10.1016j.actpsy.2011.01.007

14. Huettig F., Rommers J., Meyer A.S. Using the visual world paradigm to study language processing: A review and critical evaluation // ActaPsy

chologica. 2011. Vol. 137. P. 151-171. URL: https://doi.org/10.1016j.actpsy.2010.11.003

15. Бахвалова Л.Е. Лингвопрагматические параметры экскурсионной речи // Вестник Ярославского государственного университета им. П.Г. Демидова. 2010. № 4. С. 90-93.

Field A. Andy Field - Discovering Statistics Using SPSS. Lavoisier. Fr. 2013. URL: https://doi.org/10.1111j.1365-2648.2007.04270_Lx

12. Levene H. Robust tests for equality of variances // Olkin I., Hotelling H. et al. Contributions to Probability and Statistics: Essays in Honor of Harold Hotelling. Stanford University Press, 1960. 278-292.

13. Hedge C., Powell G., Sumner P. The reliability paradox: Why robust ^gnit/ve tasks do not produce reliable individual differences // Behavioral Research Methods. 2017. URL: https://link.springer.com/article/10.3758/s13428-017-0935-1doi: 10.3758/s13428-017-0935-1.

14. Faul F., Erdfelder E., Lang A.-G., Buchner A. G Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences // Behavior Research Methods. 2007. Vol. 39. P. 175-191.

Ляшевская О.Н., Шаров С. А. Частотный словарь современного русского языка (на материалах Национального корпуса русского языка). М. :Азбуковник, 2009. 1090 с.

REFERENCES

1. Tanenhaus, M.K. & Brown-Schmidt, S. (2008) Language processing in the natural world. Philosophical Transactions of the Royal Society B: Bio

logical Sciences. 363. pp. 1105-1122. DOI: 10.1098/rstb.2007.2162

2. Eberhard, K.M., Spivey-Knowlton, M.J., Sedivy, J.C. &Tanenhaus, M.K. (1995) Eye movements as a window into real-time spoken language

comprehension in natural contexts. Journal of Psycholinguistic Research.24 (6). pp. 409-436. DOI: 10.1007/BF02143160

3. Knoeferle, P., Crocker, M.W., Scheepers, C. & Pickering, M.J. (2005) The influence of the immediate visual context on incremental thematic role-

assignment: Evidence from eye-movements in depicted events. Cognition.95 (1). pp. 95-127. DOI: 10.1016/j.co gnition.2004.03.002

4. Coco, M.I., Keller, F. & Malcolm, G.L. (2016) Anticipation in Real-World Scenes: The Role of Visual Context and Visual Memory. Cognitive

Science.40 (8). pp. 1995-2024. DOI: 10.1111/cogs.12313

5. Altmann, G.T.M. &Kamide, Y. (1999) Incremental interpretation at verbs: Restricting the domain of subsequent reference. Cognition. 73 (3).

pp. 247-264. DOI: 10.1016/S0010-0277(99)00059-1

6. Altmann, G.T.M. &Kamide, Y. (2009) Discourse-mediation of the mapping between language and the visual world: Eye movements and mental

representation. Cognition.111 (1). pp. 55-71. DOI: 10.1016/j. cognition.2008.12.005

7. Ferreira, F. &Tanenhaus, M.K. (2007) Introduction to the special issue on language-vision interactions. Journal of Memory and Language. 57 (4).

pp. 455-459. DOI: 10.1016/j.jml.2007.08.002

8. Andersson, R., Ferreira, F. & Henderson, J.M. (2011) I see what you're saying: The integration of complex speech and scenes during language

comprehension. ActaPsychologica.137 (2). pp. 208-216. DOI: 10.1016/j.actpsy.2011.01.007

9. Huettig, F., Rommers, J. & Meyer, A.S. (2011) Using the visual world paradigm to study language processing: A review and critical evaluation.

ActaPsychologica. 137. pp. 151-171. DOI: 10.1016/j.actpsy.2010.11.003

10. Bakhvalova, L.E. (2010) Lingvopragmaticheskieparametryekskursionnoyrechi [Linguopragmatic parameters of the excursionist's speech]. Vest- nikYaroslavskogogosudarstvennogouniversitetaim. P.G. Demidova. 4. pp. 90-93.

11. Field, A. (2013) Andy Field - Discovering Statistics Using SPSS. Lavoisier. Fr. DOI: 10.1111/j.1365-2648.2007.04270_1.x

12. Levene, H. (1960) Robust tests for equality of variances. In: Olkin, I. et al. Contributions to Probability and Statistics: Essays in Honor of Harold Hotelling. Stanford: Stanford University Press.

13. Hedge, C., Powell, G. & Sumner, P. (2017) The reliability paradox: Why robust sognitive tasks do not produce reliable individual differences. Behavioral Research Methods. 50 (3). pp. 1166-1186. DOI: 10.3758/s13428-017-0935-1.

14. Faul, F., Erdfelder, E., Lang, A.-G. & Buchner, A. (2007) G Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2). pp. 175-191. DOI: 10.3758/BF03193146

15. Lyashevskaya, O.N. &Sharov, S.A. (2009) Chastotnyyslovar' sovremennogorusskogoyazyka (namaterialakhNatsional'nogokorpusarusskogoyazyka) [Frequency dictionary of the modern Russian language (on the materials of the National Corpus of the Russian language)]. Moscow: Az- bukovnik.

16. Apresyan, V.Yu. (2014) Tut, zdes' iseychas. O vremennykhznacheniyakhprostranstvennykhdeykticheskikhslov [Here, there and now. On the temporal meanings of spatial deictic words]. Russkiyyazyk v nauchnomosveshchenii. 27. pp. 9-41. [Online] Available from: http://publications.hse.ru/articles/106984009. (Accessed: 05.10.2017).

17. Huettig, Fund & McQueen, J.M. (2007) The tug of war between phonological, semantic and shape information in language-mediated visual search. Journal of Memory and Language. 57 (4). pp. 460-482. DOI: 10.1016/j.jml.2007.02.001

18. Kamide, Y., Altmann, G.T.M. & Haywood, S.L. (2003) The time-course of prediction in incremental sentence processing: Evidence from anticipatory eye movements. Journal of Memory and Language. 49 (1). pp. 133-156. DOI: 10.1016/S0749-596X(03)00023-8

19. Zemskaya, E.A. (1979) Russkayarazgovornayarech': lingvisticheskiyanaliziproblemyobucheniya [Russian colloquial speech: linguistic analysis and problems of teaching]. Moscow: Russkiyyazyk.

Приложение 1

Фотография витрины, использовавшаяся в качестве стимула

Приложение 2

Текст экскурсии, использовавшийся в качестве стимульного материала во втором исследовании

Добро пожаловать в Музей книги Научной библиотеки ТГУ. Сегодня мы с вами остановимся на витрине, посвященной русской словесности и, в частности, Василию Андреевичу Жуковскому. Маркер портрет молодого Жуковского. Тогда он еще не был в составе Императорской Российской академии, но позже он станет наставником Царевича Александра Николаевича.

Его книжная коллекция составляет значительную часть нынешнего фонда библиотеки. Основная масса книг ушла в дублетный фонд. В XIX в. переплеты были владельческие, и богатство переплета отражало состояние владельца. Маркер, «Русская слава», например. Достаточно скромно оформлена. По такой обложке можно было узнать владельца, так как они были индивидуальные.

Книги в фонде исследовались, и было замечено, что Жуковский был не просто собирателем книг или накопителем. Маркер резачок, которым разрезались страницы. В его библиотеке было очень мало неразрезанных книг, значит, большинство из них было прочитано.

Жуковский с книгой работал. Маркер, карандашик. Он был найден в одной из книг Жуковского. Это был его личный карандашик, он был сделан в Лондоне, кстати.

И каким образом он работал? Маркер пометы, он оставлял их в своих книгах. Поэтому его библиотека интересна не только с позиции того, какие книги в ней есть, но и как дневник переводчика, активно работавшего с книгой.

Спасибо, приходите в Музей книги Научной библиотеки ТГУ, чтобы узнать больше.

Маркеры:

1) визуальный - «посмотрите на»

2) визуально-локативный - «посмотрите здесь»

3) локативный - «здесь»

4) нулевой - отсутствовал

5) указательные - «этот»

Размещено на Allbest.ru

...