Айтрекинг исследования использования разных форм инструкции в обучении детей с нарушением слуха

Сравнение параметров глазодвигательной активности детей с нарушением слуха в четырех сериях эксперимента (Критерий однородности дисперсий Ливеня >0,05)

Table 1

Comparison of the parameters of oculomotor activity of children with hearing impairment in four series of the experiment (Livens test for homogeneity of variances >0.05)

Таким образом, характерная особенность при выполнении задания по инструкции только в вербальной форме в том, что дети с нарушением слуха реже и меньше по времени смотрят на лицо взрослого для установления совместного внимания, что не приводит к эффективному выделению целевых стимулов и удержанию постоянного внимания (по фиксациям дольше 300-500 миллисекунд). Однако они быстрее ориентируются на нецелевые стимулы.

Анализ графиков движения глаз в первой серии эксперимента позволяет прийти к выводу, что для установления совместного вни мания дошкольники с нарушением слуха используют мультимодальные средства: зоной интереса становится не только рот взрослого, но и направление взгляда, изменение положения головы, жесты, разворот корпуса тела (рис. 2).

Рис. 2. График движения глаз детей с нарушением слуха в 1 серии эксперимента (пример использования мультимодальных средств)

Fig. 2. Graph of the eye movements of children with hearing impairment in the 1st series of the experiment (an example of the use of multimodal means)

В подтверждение количественным данным о большей ориентации на нецелевые стимулы на графиках движения глаз у дошкольников с нарушением слуха фиксируются трудности переключения и распределения внимания (рис. 3).

Рис. 3. График движения глаз детей с нарушением слуха в 1 серии эксперимента (пример трудностей распределения внимания)

Fig. 3. Graph of the eye movements of children with hearing impairment in the 1st series of the experiment (an example of attention distribution difficulties)

Дефицит совместного внимания у детей с нарушением слуха проявляется в частых отвлечениях от релевантной области (образца, бланка с заданием или от лица взрослого) и предпочтении нерелевантных областей (в зоне интереса окружающие предметы, нейтральные/нецелевые стимулы) целевым стимулам, необходимым для поддержания совместного внимания со взрослым во время инструкции (рис. 3). Характерным является «соскальзывание», переключение с целевых стимулов. Как следствие у детей с нарушением слуха наблюдаются трудности в распределении внимания: оно функционирует не в сфокусированном режиме, а распределено по большой области поля зрения (фиксации распределены по большей области). Наличие коротких по времени и количеству фиксаций на целевых стимулах, снижение количества фиксаций в среднем можно интерпретировать как восприятие информационных признаков неструктурированными.

2. Во второй серии эксперимента, когда инструкция давалась в речевой форме в сочетании с показом взрослым примера заполнения «ключа», в окуломоторной активности детей с нарушением слуха фиксировалось увеличение продолжительности первой фиксации на целевые стимулы, но больший промежуток времени до первой фиксации. Наблюдалось большее количество фиксаций в среднем, но среднее время фиксаций было ниже. Увеличивалось время и количество фиксаций на лице взрослого. Также выше было количество фиксаций дольше 300-500 миллисекунд (табл. 1).

В данной серии эксперимента по графику движения глаз и тепловым картам фиксируются навыки детекции и следования указательному жесту взрослого как ресурсу для обучения (рис. 4).

Рис. 4. График движения глаз детей с нарушением слуха во 2 серии эксперимента (пример использования детекции указательного жеста)

Fig. 4. Graph of eye movements of children with hearing impairment in the 2nd series of the experiment (an example of using the detection of a pointing gesture)

При данном типе инструкции у детей с нарушением слуха появляются дополнительные опережающие действия (рис. 5).

Рис. 5. График движения глаз детей с нарушением слуха во 2 серии эксперимента (пример опережающих действий)

Fig. 5. Graph of eye movements of children with hearing impairment in the 2nd series of the experiment (example of anticipatory actions)

В этой серии эксперимента дети чаще начинали заполнять фигуры, не дожидаясь окончания произнесения инструкции, начинали синхронно со взрослым выполнять нерелевантные действия (например, рисовали или раскрашивали бланк) и не по шаблону (вырабатывали свое правило заполнения бланка).

В отличие от других серий эксперимента, в этой серии детям с нарушением слуха чаще требовалась повторная инструкция и пояснения (рис. 6).

Рис. 6. График движения глаз детей с нарушением слуха во 2 серии эксперимента (пример необходимости повторной инструкции)

Fig. 6. Graph of the eye movements of children with hearing impairment in the 2nd series of the experiment (an example of the need for repeated instructions)

Однако сочетание вербальной инструкции и примера действия оказывается эффективным для восприятия детей с нарушением слуха: они лучше дифференцируют целевые стимулы от нецелевых и продолжительно удерживают внимание на целевых стимулах, отмечается больше фиксаций, свидетельствующих о постоянном внимании ребенка (300-500 миллисекунд). Именно при этом типе инструкции дети с нарушением слуха чаще и дольше смотрят на лицо взрослого.

При данном типе инструкции дефицит совместного внимания проявляется в необходимости большего количества времени от начала предъявления инструкции до начала обработки, наблюдается приоритет нецелевых стимулов.

3. В третьей серии эксперимента, когда инструкция давалась в форме примера-действия заполнения «ключа» взрослым без речевого пояснения, в окуломоторной активности детей с нарушением слуха фиксировалось уменьшение длительности первой фиксации на целевые стимулы, при увеличении продолжительности первой фиксации на нецелевые стимулы. Средняя продолжительность фиксаций в данной серии эксперимента была ниже, а количество фиксаций выше. Снижалась продолжительность фиксаций на лице взрослого. Наблюдалось большее количество фиксаций длительностью до 300 миллисекунд и 300-500 миллисекунд (табл. 1).

Инструкция в виде показа примера действия не является эффективной для восприятия детьми с нарушением слуха с точки зрения обработки информации: целевые фиксации появляются позже, фиксации оказываются редки и менее продолжительны в нерелевантных областях. Без речевого сопровождения остается большое количество фиксаций, свидетельствующих о постоянном устойчивом внимании (300-500 миллисекунд), хотя дети меньше по времени фиксировались на лице взрослого, обращаясь за подсказкой.

Также как и во второй серии эксперимента, в данной серии по графику движения глаз детей с нарушением слуха фиксируются навыки детекции и следования указательному жесту взрослого как ресурсу для обучения. Для контроля и сличения действий дети с нарушением слуха активно ориентируются на зрительный образец как внешнюю опору (рис. 7).

Однако часто появляются «опережающие» действия при заполнении бланка, которые носят характер имитации или синхронного выполнения (рис. 8).

Скорее всего, это связано с попыткой детей упростить программирование действий: так дети легче запоминают программу действий, им становятся понятнее намерения и действия взрослого. Для того чтобы перевести программу действий взрослого в образ программы собственных действий, детям с нарушением слуха необходимо имитировать эти действия. Имитация в данном случае не механическое перенесение действий, а необходимость синхронного выполнения действий вместе с взрослым для лучшего предсказания программы действий и понимания намерений взрослого.

Рис. 7. График движения глаз детей с нарушением слуха в 3 серии эксперимента (пример опоры на зрительный образец)

Fig. 7. Graph of the movement of the eyes of children with hearing impairment in the 3rd series of the experiment (an example of relying on a visual sample)

Рис. 8. График движения глаз детей с нарушением слуха в 3 серии эксперимента (пример имитации)

Fig. 8. Graph of eye movements of children with hearing impairment in the 3rd series of the experiment (simulation example)

В подтверждение количественных данных на графиках движения глаз у дошкольников с нарушением слуха фиксируются трудности переключения и распределения внимания (рис. 9).

Дефицит навыков совместного внимания при данном типе инструкции проявляется в трудностях поддержания устойчивого внимания, в сложностях дифференциации и удержания целевых сти-мулов, нехватке средств поддержания контакта со взрослым (предсказание его программы действий и распознавания его намерений).

Рис. 9. График движения глаз детей с нарушением слуха в 3 серии эксперимента (пример трудностей распределения внимания)

Fig. 9. Graph of eye movements of children with hearing impairment in the 3rd series of the experiment (an example of attention distribution difficulties)

4. В четвертой серии эксперимента, когда инструкция давалась в форме предъявления зрительного образца «ключа» без словесного сопровождения и без показа действий взрослым, в окуломоторной активности детей с нарушением слуха фиксировалось увеличение продолжительности фиксации на нецелевые и целевые стимулы. Увеличилась средняя продолжительность фиксации на целевые стимулы, но количество фиксаций снизилось. Однако увеличилась и продолжительность фиксации на нецелевые стимулы. Увеличилась длительность фиксаций на лице взрослого, но количество подобных фиксаций снизилось. Уменьшилось количество времени до первой фиксации, продолжительность фиксаций на нецелевые стимулы, а также количество фиксаций длительностью дольше 300-500 миллисекунд (табл. 1).

Несмотря на то, что инструкция давалась только в форме предъявления «образца-ключа» заполнения фигур без вербального сопровождения, дети с нарушением слуха все равно обращались за подсказкой к взрослому. Об этом свидетельствует возросшее время фиксаций на лице взрослого -- даже больше, чем в других сериях эксперимента.

Можно предположить, что дети с нарушением слуха нуждаются в сверке своих действий со взрослым, поэтому все чаще при отсутствии подсказок ребенок сам обращается за сличением к взрослому. Скорее всего, при более самостоятельной ориентировке (например, только вербальная инструкция или только наличие зрительного образца) ребенок чаще по количеству фиксаций и дольше по времени обращается к лицу взрослого в поисках подсказки.

В данной серии эксперимента у детей с нарушением слуха часто появлялись дополнительные действия, нерелевантные инструкции (рис.10).

Рис. 10. График движения глаз детей с нарушением слуха в 4 серии эксперимента (пример нерелевантных действий)

Fig. 10. Graph of eye movements of children with hearing impairment in the 4th series of the experiment (example of irrelevant actions)

Дефицит совместного внимания проявляется в основном в трудностях оттормаживания реакции на нецелевые стимулы, одинаковом приоритете целевых и нецелевых стимулов, когнитивной сложности самостоятельной обработки информации (среднее время фиксаций увеличено), трудностях в поддержании устойчивого внимания.

Наши данные подтверждают, что разные формы инструкции, как основной источник поддержания визуального внимания ребенка с нарушением слуха, неодинаково эффективны и способствуют большей степени проявления дефицита совместного внимания.

Например, при речевой форме инструкции (первая серия) и инструкции в форме предъявления образца (четвертая серия) дети с нарушением слуха затрачивают меньше времени от начала предъявления стимула до начала просмотра. При сочетании речевой инструкции с демонстрацией действия (вторая серия) это время увеличивается. Однако при сочетании вербальной и невербальной формы инструкции дети с нарушением слуха быстрее и продолжительнее фиксируют внимание на целевых стимулах, а при только речевой форме (первая серия) и предъявлении образца (четвертая серия) время первой фиксации на целевых стимулах снижается. Скорее всего, в первой и четвертой сериях эксперимента наблюдаются ав-томатические, восходящие механизмы внимания, которые приводят к более быстрой фиксации на нецелевых стимулах. Во второй серии эксперимента наблюдается приоритет контролируемых нисходящих механизмов внимания.

При инструкции в форме демонстрации правила действием без речевого сопровождения (третья серия) дети с нарушением слуха дольше совершают первую фиксацию на нецелевых стимулах, а при предъявлении образца (четвертая серия) быстрее, однако именно при данной форме инструкции фиксации на целевые стимулы дольше. То есть фиксации носят более точный характер при инструкции в форме предъявлении образца. Нецелевые стимулы дольше фиксируются при инструкции только в речевой форме (первая серия), что можно рассматривать как менее точную фиксацию на информации. Можно увидеть различия в количество фиксаций между релевантными и нерелевантными для задачи стимулами, которые отражают процесс сравнения стимулов или нескольких фрагментов информации.

При сочетании вербальной инструкции с демонстрацией правильного действия (вторая серия) фиксации на лице взрослого чаще и дольше.

Постоянное внимание поддерживается лучше при сочетании вербальной инструкции с демонстрацией правильного действия (вторая серия) и наглядной форме примера заполнения (третья серия).

Обсуждение

Анализ специфики глазодвигательной активности у детей с нарушением слуха позволил объяснить особенности перцептивных действий детей для поддержания совместного визуального внимания, определяющие трудности обучения.

Показано, что основным источником организации внимания ребенка с нарушением слуха является способ подачи инструкции. Наши данные подтверждают, что разные формы инструкции, как основной источник поддержания визуального внимания ребенка с нарушением слуха, неодинаково эффективны.

Анализ окуломоторнй активности детей с нарушением слуха позволил прийти к выводу, что при разной форме подачи инструкции меняются следующие параметры:

* сдвиги внимания, которые имеют либо контролируемый характер (как во второй серии), либо автоматический (управляется стимулом как в третьей серии). Наблюдается приоритет либо восходящих механизмов внимания (стимул сам «захватывает», внимание и время до первой фиксации быстрее и дольше происходит на нецелевых стимулах, чем на целевых), либо приоритет нисходящего механизма внимания (ребенок поддерживает продолжительно внимание на целевом стимуле, внимание и время до первой фиксации быстрее и дольше происходит на целевых стимулах, чем на нецелевых);

* точность фиксаций и способность к их контролю (во второй серии эксперимента больше целевых фиксаций, они более продолжительны);

* количество и продолжительность фиксаций между релевантными для задачи стимулами, которые отражают процесс сравнения стимулов или нескольких фрагментов информации (больше фиксаций во второй и третьей серии, но они менее продолжительны -- стимулы заметнее и обрабатываются быстрее, напротив, меньше фиксаций и увеличение времени фиксаций в первой и четвертой серии -- дольше выделяются и обрабатываются стимулы). Это свидетельствует о когнитивной сложности обработки информационного стимула (при низком количестве фиксаций стимулы, в том числе целевые, дольше обрабатываются в четвертой серии эксперимента);

* способность продолжительно поддерживать внимание (по количеству фиксаций длительностью 300-500 миллисекунд -- вторая и третья серия, в том числе поддержание совместного внимания со взрослым), в том числе на образце (вторая серия).

При этом не все формы инструкции будут оптимальны и одинаково эффективны.

Данные исследования позволяют предположить, что «визуальные ключи» в виде зрительного образца для ребенка с нарушением слуха могут выступать как средство «сворачивания» ориентировочных действий: при наличии зрительного образца фиксации чаще и быстрее оказываются в релевантных областях (особенно в четвертой серии эксперимента). При опоре на образец внимание ребенка с нарушением слуха становится более устойчивым, но наблюдаются трудности выбора приоритета целевых и нецелевых стимулов. Зри-тельные опоры в виде образца повышают эффективность обучения, когда оказываются интегрированы и синхронизированы с информацией других модальностей -- в первую очередь, вербальной в сочетании с моторными действиями взрослого.

В нашем исследовании зафиксированы особенности перехода от совместного анализа правил действия к более самостоятельному: в начале фиксации в релевантных и нерелевантных областях сокращенные по времени и количеству, «свернутые», а затем принимают все более длительный характер. В начале, при совместном анализе задания со взрослым, дети с нарушением слуха быстрее фиксируются на нецелевых стимулах (меньше времени до первой фиксации на нецелевых стимулах), затем, в процессе обучения и при переходе к самостоятельному выполнению задания, наблюдается снижение количества и продолжительности фиксаций на нецелевых стимулах (увеличивается время до первой фиксации на целевых стимулах), дети быстрее переключаются на целевые стимулы и дольше задерживаются в релевантных областях (среднее время и количество фиксаций в целевых областях).

Выводы

Исследование процесса обучения с помощью метода регистрации движений глаз позволяет детально проанализировать, что происходит «внутри» процесса обучения через фиксацию перцептивных действий детей с нарушением слуха.

Основные маркеры атипичного совместного внимания, препятствующие эффективному обучению детей с нарушением слуха, могут быть обнаружены не столько в количестве фиксаций, сколько в продолжительности фиксаций на релевантном и не релевантном стимуле. Критическим является длительность зрительного сосредоточения на целевом объекте (бланке или образце) и на взрослом (лицо, указательные жесты и другие мультимодальные средства). Тем самым отображена возможность измерения времени фиксаций как прогнозирующего маркера трудностей обучения у детей с нарушением слуха.

Восприятие детей с нарушением слуха в ходе обучения характеризуется обобщенной ориентировочной основой деятельности (снижается количество и время фиксаций, больше фиксаций на целевых стимулах).

Мультимодальная инструкция позволяет переструктурировать восприятие ребенка с нарушением слуха, сфокусировав внимание на релевантных задаче элементах, быстро выявить релевантную область, сокращая тем самым время до первой релевантной фиксации, достичь того, что фиксаций в релевантных зонах значительно больше (в нерелевантных, соответственно, меньше).

Наиболее эффективным является одновременное использование мультимодальных средств для объяснения инструкции. В процессе обучения детей с нарушением слуха для привлечения и регуляции внимания важно использовать различные виды чувствительности, например, действие и речь. Применение одновременно вербальной инструкции с сопровождением демонстрации действия привлекает внимание ребенка с нарушением слуха (увеличивая количество фиксаций в выделенной области), но это еще не означает улучшения понимания. Необходимо использовать действия в качестве поведенческих сигналов, чтобы облегчать обработку информации (Smith, 2012). Для поддержания контакта в ходе коррекционной работы с детьми с нарушением слуха необходимо дополнительно применять способы установления совместного внимания: использовать специальные средства привлечения внимания к речи, к лицу взрослых и других детей, применять вариативные способы предъявления материала (показ, словесно-жестовая форма, оптимальное соотношение устной и письменной форм речи), что помогает решить вопрос референтной неопределенности стимулов. Следует учитывать способ восприятия взрослого детьми с нарушением слуха речи -- постоянная фиксация внимания на лице, губах, мимике говорящего.

Данные о специфике установления эпизодов совместного внимания детей с нарушением слуха позволяют учитывать в процессе обучения особенности процесса интериоризации, понимать, как применять варианты форм инструкции по трем параметрам: со- вместное/самостоятельное действие со взрослым; опосредованное внешними опорами/интериоризированное действие; развернутое/ свернутое действие.

Литература

Блинникова И.В., Ишмуратова Ю.А. Решение задач экспертами и новичками в области химии: анализ ошибок, времени выполнения и параметров движений глаз // Вестник Московского университета. Серия 14. Психология. 2021. № 2. С. 281-313.

Котов А., Котова Т. Произношение имен объектов и категориальный эффект восприятия // Психология. Журнал высшей школы экономики. 2013. № 10. С. 75-85.

Котова Т.Н. Содержания совместного внимания при формировании значения нового слова. Когнитивная наука в Москве: новые исследования. Мат. конф. 16 июня 2015 г. / Под ред. Е.В. Печенковой, М.В. Фаликман. М.: БукиВеди, ИППиП, 2015.

Куравский Л.С., Мармалюк П.А., Барабанщиков В.А., Безруких М.М., Демидов А.А., Иванов В.В., Юрьев Г.А. Оценка степени сформированности навыков и компетенций на основе вероятностных распределений глазодвигательной активности // Вопросы психологии. 2013. № 5. С. 1-17.

Лунева А.Р., Лебедь А.А., Коровкин С.Ю. Влияние модальности и осознанности подсказки на скорость решения инсайтных и комбинаторных задач. Когнитивная наука в Москве: новые исследования. Мат. конф. 16 июня 2015 г. / Под ред. Е.В. Печенковой, М.В. Фаликман. М.: БукиВеди, ИППиП, 2015.

Чумаченко Д.В., Шварц А.Ю. Проблема трансформации перцептивных процессов в ходе обучения: анализ исследований, выполненных методом записи движений глаз, с позиций деятельностного подхода // Психологические исследования. 2016. № 9 (49). С. 12-25.

Шварц А.Ю. Взаимодействует ли реальная форма с идеальной? Исследование овладения счетом на числовой прямой с помощью записи движений глаз // Психология. Журнал Высшей школы экономики. 2019. № 16 (1). С. 145-163. doi: 10.17323/1813-8918-2019-1-145-163

Abrahamson, D., Gutierrez, J.F., Charoenying, T., Negrete, A.G., Bumbacher, E. (2012). Fostering hooks and shifts: tutorial tactics for guided mathematical discovery. Technology, Knowledge, and learning, 17 (1-2), 61-86. doi: 10.1007/s10758-012-9192-7

Bakeman, R., Adamson, L.B. (1984). Coordinating attention to people and objects in mother-infant and peer-infant interaction. Child Development, 55, 1278-1289.

Bednarik, R., Shipilov, A. (2011). Gaze cursor during distant collaborative programming: A preliminary analysis. Dual Eye Tracking in CSCW. (Retrieved from https://scholar.google.com/scholar?hl=en&q=R.+Bednarik+and+A.+Shipilov.+Gaze+ cursor+during+distant+collaborative+programming%3A+A+preliminary+analysis.+ In+Dual+Eye+Tracking+in+CSCW%2C+2011%2C+2011) (review date: 02.05.2022).

Beesley, T., Le Pelley, M.E. (2010). The influence of blocking on overt attention and associability in human learning. Journal of Experimental Psychology: Animal Behavior Processes, 10, 1-7.

Boucheix, J.-M., Lowe, R.K., Putri, D.K., Groff, J. (2013). Cueing animations: Dynamic signaling aids information extraction and comprehension. Learning and Instruction, 25, 71-84. doi: 10.1016/j.learninstruc.2012.11.005

Castellanos, I., Pisoni, D.B., Yu, C., Chen, C.H., & Houston, D.M. (2018). Embodied cognition in prelingually deaf children with cochlear implants: Preliminary findings. In H. Knoors & M. Marschark (Eds.), Evidence-based practices in deaf education (pp. 397-416). Oxford University Press. doi: 10.1093/oso/9780190880545.001.0001

Charman, T., Swettenham, J., Baron-Cohen, S., Baird, G., Cox, A., Drew, A. (2001). Testing joint attention, imitation, and play as infancy precursors to language and theory of mind. Cognitive Development, 15, 481-498.

Chen, C.-H., Houston, D.M., Yu, C. (2021). Parent-Child Joint Behaviors in Novel Object Play Create High-Quality Data for Word Learning. Child Development, 92 (5), 1889-1905. doi: 10.1111/cdev.13620

Chen, C-H., Castellanos, I., Yu, C., Houston, D.M. (2020). What leads to coordinated attention in parent-toddler interactions? Childrens hearing status matters. Development science, 23, e12919. doi: 10.1111/desc.12919

Dawson, G., Munson, J., Estes, A., Osterling, J., McPartland, J., Toth, K. (2002). Neurocognitive function and joint attention ability in young children with autism spectrum disorder versus developmental delay. Child Development, 73, 345-358.

Demareva, V.A., Polevaya, S.A. (2012). Searching for psychophysiological markers of foreign language proficiency: Evidence from eye tracking. International Journal of Psychophysiology, 85 (3), 392-397.

Dindar, K., Korkiakangas, T., Laitila, A., Karna, E. (2017). An interactional «live eye tracking» study in autism spectrum disorder: combining qualitative and quantitative approaches in the study of gaze. Qualitative Research in Psychology, 14 (3), 239-265.

Dunn, J., Brophy, M. (2005). Communication, relationships, and individual differences in children's understanding ofmind. In J.W. Astington & J.A. Baird (Eds.), Why languagematters for theory of mind (pp. 50-69). New York, NY: Oxford University Press.

Epelboim, J., Suppes, P. (1997). Eye Movements during Geometrical Problem Solving. Perception, 26 (1), 138-138. doi: 10.1068/v970042

Ericsson, K.A., Kintsch, W (1995). Long-term working memory. Psychological Review, 102, 211-245.