Аппаратно-программный комплекс для исследований зрительного восприятия сложных изображений во время саккадических движений глаз человека

Размещено на http://www.allbest.ru/

Институт психологии РАН, Центр экспериментальной психологии МГППУ, Москва, Россия

Аппаратно-программный комплекс для исследований зрительного восприятия сложных изображений во время саккадических движений глаз человека

Жердев И.Ю.,

Барабанщиков В.А.

Приводится описание аппаратно-программного комплекса для неинвазивных окулографических исследований механизмов зрительного восприятия и организации движений глаз, обосновываются его технические возможности. Рассматриваются условия создания компьютерной программы на языке программирования ActionScript 3 для проведения аппаратурных экспериментов, в которых требуется быстрое обновление изображения на экране в ответ на заданное событие. Намечаются перспективы исследований зрительного восприятия сложных изображений во время движений глаз.

Ключевые слова: зрительное восприятие; движения глаз; саккады; фиксации; айтрекинг; тахистоскопия; саккадическое подавление; программное обеспечение айтрекеров; интерпретируемый язык; скрипт; машинная обработка данных; программная платформа Adobe Flash Player.

A hardware-software system for non-invasive oculographic study of visual perception mechanisms and eye movement organization is described. Software creation for instrumental research capable of rapid display change triggered by a certain event on ActionScript 3 programming language is considered in principle. Possible applications are proposed. Psychological context and complex images' visual perception in prospect are discussed.

Keywords: visual perception; eye movements; saccades; fixations; eyetracking; tachistoscopy; saccadic suppression; eyetracker software; interpreted language; script; machine data processing; Adobe Flash Player software platform.

Подавляющее большинство закономерностей зрительного восприятия раскрыто в условиях фиксации глаз наблюдателей на элементах среды. Возможности зрения во время быстрых саккадических движений, связывающих смежные фиксации, изучены поверхностно и в недостаточном объеме. Основной факт состоит в том, что во время саккад зрительная способность падает («эффект саккадического подавления»), а результат восприятия либо не осознается наблюдателем, либо осознается, но частично (Барабанщиков, Белопольский, 2008; Зинченко, Вергилес, 1969; Луук, Романюта, 1972; Demeyer et al., 2010; Diepen, Graef, d'Ydewalle, 1995; Henderson, Hollingworth, 2003; Ibbotson, Krekelberg, 2011; Latour, 1962; Volkmann, Schick, Riggs, 1968; Wittenberg, Bremmer, Wachtler, 2008).

Трудности разработки данной тематики вызваны отсутствием надежного и удобного оборудования, совмещающего функции тахистоскопа и регистратора движений глаз. Необходимая аппаратура малодоступна современным исследователям, а описанные в литературе устройства, как правило, выполняются в единственном экземпляре самими же авторами для решения узко ограниченного круга задач.

Для изучения закономерностей зрительного восприятия во время саккадических движений глаз авторами настоящей работы был разработан аппаратно-программный комплекс, позволяющий наряду с регистрацией окуломоторной активности варьировать содержание и длительность стимула. Его главное преимущество состоит в легкой перенастраиваемости под новые задачи, новое оборудование, в возможности проведения массовых исследований.

Процедурно требовалось принять с айтрекера ^{Айтрекер - устройство для регистрации окуломоторной активности человека (Барабанщиков, Жегалло, 2013).} поток данных о движении глаз и в нужный момент дважды обновить изображение на экране за 30 мс -- временной интервал, в течение которого происходит перемещение глаза от фиксационного к стартовому зрительному объекту, находящемуся на расстоянии 10°, при медианной угловой скорости 268 ± 48 °/с и медианном пиковом ускорении 34440 ± 10303 °/с².

Аппаратная часть. 1. Основу комплекса составляет видеоайтрекер SMI HiSpeed, работающий на базе настольного компьютера (сборка производителя айтрекера). Технология -- темный зрачок-роговичный блик; ошибка детекции позиции взора < 0,5°; частота монокулярной регистрации 1250 Гц; временная задержка < 2 мс; АЦП-ЦАП; вывод (протокол UDP) цифровых данных о позиции взора. 2. Фотодиодный датчик для синхронизации моментов смены стимула с записью движений глаз (Барабанщиков, Жегалло, 2013). 3. Стандартный настольный компьютер для исполнения контролирующей программы; ЦП Intel Core2 2,13 ГГц; 2 ГБ ОЗУ; видеоплата nVidia GeForce 7300 LE, 512 МБ ОЗУ; цветной ЭЛТ-монитор ViewSonic G90fB, частота вертикальной развертки 144 Гц при разрешающей способности 800Ч600 px ( 56 dpi), длительность кадра 7 мс. 4. Кабельная сеть соединяет оба компьютера; скорость передачи данных 100 Mbps.

Программная часть включает: 1. ОС Microsoft Windows XP SP3. 2. Штатное ПО iView X 2.8 от производителя айтрекера. 3. Оригинальную компьютерную программу для смены стимула во время саккады на языке программирования ActionScript 3. 4. Среду исполнения Adobe Interactive Runtime 3.6 (AIR). 5. Среду исполнения Adobe Flash Player 9.0.45.

Основной компонент комплекса -- айтрекер -- обрабатывает высокочастотный сигнал с видеокамеры, ведущей съемку глаза в инфракрасном диапазоне; далее, производя вычисления координат взора на основании позиций центра зрачка и первого образа Пуркинье, айтрекер передает их по компьютерной сети в контролирующую программу.

Используемая детекция позиции взора по признаку (в отличие от модельной) и низкое пространственное разрешение видеопотока влияют на шумовые характеристики выходного сигнала. Поскольку ПО айтрекера использует в обработке только этот сигнал, но не физическую и не статистическую модель движения глаза, то выходные данные полностью определяются информацией, содержащейся в каждом кадре сигнала с видеокамеры.

По этой причине надежная детекция саккады в реальном времени исключена. В нашем эксперименте угловое расстояние до стимула в каждой пробе равно 10°. Процедура эксперимента предполагала смещение позиции взора испытуемого от центра экрана только 1 раз в каждой пробе, поэтому удаление ее на указанное расстояние является признаком начавшейся саккады. Детекция такой потенциальной саккады происходила при смещении взора от центра экрана по горизонтали на заданное угловое расстояние 1,6° (эмпирически подобранная оптимальная величина). Если детекция возможной саккады состоялась, контролирующая программа посылает новое стимульное изображение в видеосистему компьютера. Однако поскольку в проводимом нами эксперименте стимул имеет угловые размеры 1,8 Ч 3°, в то время как размеры экрана составляют 35,1Ч26,7°, необходимо учитывать, что для прохождения электронного луча монитора к месту отображения стимула и начала его физического построения потребуется время в пределах длительности 1 кадра вертикальной развертки.

Наличие компьютерного монитора в этом комплексе дает возможность предъявлять сложный зрительный стимул. К таким стимулам относится фотоизображение лица человека. Цветной монитор калибруется по яркости и цветовой температуре с учетом внешнего освещения. Неинвазивный айтрекер обеспечивает массовость экспериментальных исследований, поскольку не требуется закрепление на глазу или лице испытуемого сенсоров. В среднем при использовании данного комплекса из-за шума в сигнале (рис. 1) приходится исключать из анализа 5 % всех проб. Кроме того, еще в 15 % проб проекция стимула успевает достигнуть области фовеа до того, как стимул исчезает с экрана, что нежелательно для нашего эксперимента. Длительность эксперимента составила в среднем 30 мин -- время, достаточное для выполнения 200 проб. После отсеивания невалидных проб анализу подлежали около 160 экспериментальных ситуаций (ЭС). Наличие служебных меток в данных обеспечивало машинную подготовку сводных таблиц длиной в тысячи ЭС для дальнейшей статистической обработки. Включение компьютера в линию эксперимента изначально придает анализу количественный характер.

Рис. 1. Временная развертка типичной пробы записи движений глаз во время саккады с низким уровнем шума: тонкие серые линии -- выходные данные с айтрекера; толстые черные линии -- сглаженные в процессе постобработки; начало координат на временных шкалах выбрано произвольно. Из левого графика следует, что детекция саккад на основе пороговой дисперсии ненадежна, из правого - мгновенная скорость движения глаза искажена шумами в сигнале айтрекера

Использованная в эксперименте программная платформа не позволяет синхронизировать программу с аппаратной частью видеосистемы для определения момента начала нового кадра вертикальной развертки монитора (см. Gofen, Mackeben, 1997). По этой причине требуется устройство, синхронизирующее изменения изображения на экране с потоком данных айтрекера -- фотодиодный датчик, подключенный к плате АЦП в рабочей станции айтрекера. Датчик посылает сигнал в момент, когда в области экрана, на которой он находится, началось отображение белого или черного поля. Для этого на краю экрана на одном вертикальном уровне со стимульными изображениями осуществляется отображение черного квадрата со стороной ~ 2 см, который далее сменяется либо на белый квадрат в случае вывода стимула на экран, либо на черный -- в случае удаления стимула с экрана.

Схема работы комплекса приведена на рис. 2. Латентность передачи координат взора из айтрекера в контролирующую программу складывается из времени, затрачиваемого на детекцию позиции взора, и задержки при передаче по сети. Первый временной интервал замеряет выполняющее детекцию ПО при присоединении его к светодиоду, включение которого позволяет получить в потоке данных синхронизирующий сигнал (например, сбой детекции) (см. Holmqvist et al., 2011, p. 43). Обычно такого рода данные приводятся в технической документации к айтрекеру (< 2 мс для данного айтрекера). Сетевую задержку можно косвенно оценить, передав в обе стороны сообщение, содержащее временную метку. Так, 1 строка данных с порядковым номером n с временной меткой передается в контролирующую программу и обратно в поток данных айтрекера на позицию n+2 (не более 2 отсчетов айтрекера на частоте 1250 Гц). Вероятно, передача в одну сторону занимает < 1 мс. Аналогичным образом замеряется латентность вызова функций внутри контролирующей программы, которая в нашем случае составила < 2 мс.

Рис. 2. Схема взаимодействия функциональных частей данного комплекса для смены стимула в ответ на заданное глазодвигательное событие

Числами обозначены латентности этапов работы. Неточность интервалов обуславливается многозадачностью операционной системы, использующей разделение ресурсов между системными процессами во времени

Время, затрачиваемое на обновление изображения на экране, складывается из латентности записи в видеобуфер и длительности кадра вертикальной развертки монитора. Первая была оценена приблизительно на основании зарегистрированных при помощи высокочастотной видеозаписи смены выводимого на экран изображения -- от 4 до 7 раз за время 1 кадра развертки. Такого рода данные свидетельствуют о том, что между циклами записи в видеобуфер проходит не более 2 мс. Длительность кадра развертки составляет 7 мс, поскольку известна частота смены изображения в мониторе.

Латентность срабатывания фотодиодного датчика близка к нулевой. Данный параметр можно проверить с помощью настройки фотодиодного датчика на включение яркого светодиода, нарушающего нормальную детекцию взора айтрекером, одновременно с передачей сигнала в АЦП (Барабанщиков, Жегалло, 2013, с. 175). Проведенная оценка показала, что обработка сигнала с видеокамеры и сигнала с платы АЦП происходит с одинаковыми латентностями: между синхронизирующим ТТЛ-импульсом с датчика и участком нарушенной детекции взора не более 2 отсчетов записи.

Контролирующая программа для обновления стимула. Для написания программы использовался объектно-ориентированный язык сценариев ActionScript 3, диалект языка JavaScript. Выбор данного языка программирования был обусловлен простотой изучения и возможностью быстро вести прототипирование новых процедур при необходимости использования мультимедийных цифровых технологий, таких как растровая и векторная анимированная графика (Жердев, Ананьева, Харитонов, 2012), синхронное предъявление стимула на нескольких компьютерах (парный эксперимент), видеосвязь между удаленными компьютерами по сети (в том числе через интернет), предъявление трехмерных интерактивных изображений (в том числе стереографических при помощи анаглифных очков), использование в процедуре эксперимента устройств ввода, встроенных в мобильные устройства (акселерометра, пальцевых жестов и т. д. Программы на этом языке исполняются средами AIR и Flash Player.

В программе реализовано ожидание взора на фиксационном кресте перед началом пробы (что повышает долю валидных проб в записи на ~ 20 %) и перекалибровка айтрекера (см. Жегалло, 2009) в случае превышения ошибки позиционирования взора, а также детекция события, которое может быть саккадой.

Программа создана для конкретной программной платформы и не претендует на универсальность. Использование предполагается на аналогичной аппаратной базе. Есть как минимум два способа воспользоваться данной платформой для написания программ: 1. AIR SDK с сайта разработчика, где также находится справочник по языку ActionScript 3 и платформе AIR; бесплатные среды разработки, например, FlashDevelop или пакет расширения FDT для IDE Eclipse. 2. Проприетарные среды разработки, например, Adobe Flash Builder или Adobe Flash CS3 Professional - последняя версия, в которой встроен интерпретатор ActionScript 3 для версии Flash Player 9.

Данный аппаратно-программный комплекс, обеспечивающий возможность предъявления зрительного стимула во время саккады на 1 кадр вертикальной развертки монитора, показал свою пригодность в эксперименте с обратной зрительной связью. Сложность стимула может быть расширена до многопольной тахистоскопической стимуляции; кроме того, предусматривается возможность выполнения смены стимула в каждом кадре развертки монитора для предъявления движущихся сложных объектов.

Используемая программа не предоставляет возможности синхронизировать вывод стимула с вертикальной разверткой монитора. Точность и постоянство временных интервалов зависит от многих условий (см. Reimers, Stewart, 2007). По этой причине изображение стимула намеренно находится в буфере видеосистемы дольше требуемой длительности экспозиции, что позволяет снизить вероятность неполного вывода стимульного изображения на экран, но увеличивает вероятность превышенного (по сравнению с отсчитанным датчиком) времени экспозиции.

Рис . 3. Схема экспериментальной ситуации, в которой стимульное изображение в текущем кадре вертикальной развертки монитора предъявилось не полностью: а) с одним сенсором (кружок в левой части схематичного изображения экрана): 1-- электронный луч находится на уровне предъявления стимула; 2 -- в момент срабатывания детекции саккады луч частично находится в пределах стимула, но ниже датчика; 3 -- пауза в предъявлении стимула, луч внизу экрана; 4 -- новый цикл вертикальной развертки: отображение стимула продолжается, датчик подает сигнал с запозданием в 1 кадр; 5 -- отображение стимула завершено, датчик подает сигнал об исчезновении стимула; б) схема аналогичной экспериментальной ситуации с двумя сенсорами: 1 -- то же; 2 -- в момент срабатывания детекции саккады луч частично находится в пределах стимула, по сигналу нижнего сенсора возможно фиксировать появление неполного стимульного изображения в текущем кадре развертки; 3 -- то же; 4 -- по сигналу верхнего сенсора возможно фиксировать время завершения полного стимульного изображения; 5 -- то же. Для ясности в пустых областях экрана изображен постоянно серый фон. Фактически после прохода луча яркость изображения в них снижается до черного

Теоретическая вероятность этого события при оптимально подобранном стимульном интервале равна соотношению высот стимула и экрана. В нашем эксперименте данная величина была равна . В остальных случаях предъявление стимула начинается сверху и заканчивается выводом полного стимульного изображения в текущем кадре развертки монитора. Пример ЭС, возникающей в том случае, если в момент готовности контролирующей программы к смене стимула электронный луч монитора уже находится в месте его предъявления, приведен на рис. 3.

При соблюдении ключевых требований к контролирующей программе в ходе визуального покадрового анализа десятков высокочастотных видеозаписей процедуры эксперимента не было зарегистрировано случая неполного вывода изображения стимула на экран за 1 полный цикл вертикальной развертки монитора. Поэтому полученный от фотодиодного датчика с одним сенсором сигнал о наличии стимула на экране с высокой вероятностью означает, что фактически он присутствовал на экране как минимум в течение одного полного цикла развертки монитора. Совпадение стимула с саккадой по времени проверяется в ходе постобработки данных на основании сигнала с фотодиодного датчика и латентностей этапов работы комплекса. Мы рекомендуем использовать фотодиодный датчик с двумя разнесенными сенсорами -- выше и ниже стимульного изображения, поскольку его применение позволяет фиксировать точное время появления изображения; пробы, в которых моменты появления и удаления стимула с экрана совпали с нужной фазой развертки монитора; полноту выведения изображения за текущий кадр развертки; количество кадров целого изображения стимула, предъявленных на экране.

В случае проведения тахистоскопической процедуры исследования при предъявлении изображения человеческого лица как сложного зрительного стимула, обладающего большой эмоциональной выразительностью, может возникать увеличение эффекта маскировки. Поэтому с целью осуществления одновременного предъявления первого и последующего стимулов во время саккады целесообразно разделить их в пространстве. Использование изображений слабо выраженных экспрессий лица исключит привязку к визуальным характеристикам стимула. Эта процедура позволит исключить влияние зрительной маскировки на восприятие во время саккад.

Итак, программная платформа Adobe Flash пригодна для тахистоскопии в ОС семейства Microsoft Windows при условии использования среды исполнения Flash Player версии 9.0 и для взаимодействия с аппаратурой через сетевой интерфейс при условии совместного ее использования вместе со средой AIR. В данной конфигурации для абсолютной синхронизации момента подачи стимулами записывающей аппаратурой требуется фотодиодный датчик с двумя сенсорами.

зрительный восприятие саккадический

Литература

1. Барабанщиков В. А., Белопольский В. И. Стабильность видимого мира. М.: Когито-центр, 2008. 304 с. Барабанщиков В. А., Жегалло А. В. Регистрация и анализ направленности взора человека. М.: Институт психологии РАН, 2013. 316 с.

2. Жегалло А. В. Система регистрации движений глаз SMI High Speed: особенности использования // Экспериментальная психология. 2009. Т. 2. № 4. С. 111-117.

3. Жердев И. Ю., Ананьева К. И., Харитонов А. Н. Метод обработки данных парного эксперимента с регистрацией движений глаз // Экспериментальный метод в структуре психологического знания / Отв. ред. В. А. Барабанщиков. М.: Институт психологии РАН, 2012. С. 174-181.

4. Зинченко В. П., Вергилес Н. Ю. Формирование зрительного образа (исследование деятельности зрительной системы). М.: МГУ, 1969. 106 с.

5. Луук А. Г., Романюта В. Г. Саккадическое подавление: Факты, теории и гипотезы // Эргономика. Тр. ВНИИТЭ. 1972. Т. 4. С. 143-195.

6. Demeyer M. et al. Object form discontinuity facilitates displacement discrimination across saccades // Journ. Vis. 2010. V. 10. № 17.

7. Diepen P. M. J. van, Graef P. de, d'Ydewalle G. Chronometry of foveal information extraction during scene perception // Eye Movement Research: Mechanisms, processes and applications. V. 6 / Eds. J. M. Findlay, R. Walker, R. W. Kentridge. N.Y.: Elsevier, 1995. P. 349-362.

8. Gofen A., Mackeben M. An introduction to accurate display timing for PCs under «Windows» // Spat. Vis. 1997. V. 10. P. 4-36.

9. Henderson J. M., Hollingworth A. Global transsaccadic change blindness during scene perception // Psychological Science. 2003. V. 14. № 5. P. 493-497.

10. Holmqvist K. et al. Eye Tracking: A comprehensive guide to methods and measures. Oxford Univ. Pr., 2011. 537 p.

11. Ibbotson M., Krekelberg B. Visual perception and saccadic eye movements // Curr. Opinion in Neurobiol. 2011. V. 21. № 4. P. 553-558.

12. Latour P. L. Visual threshold during eye movements // Vision Res. 1962. V. 2. P. 261-262.

13. Reimers S., Stewart N. Adobe Flash as a medium for online experimentation: A test of reaction time measurement capabilities // Behav. Res. Methods. 2007. V. 39. № 3. P. 365-370.

14. Volkmann F., Schick A., Riggs L. Time course of visual inhibition during voluntary saccades // Journ. Opt. Soc. Am. 1968. V. 58. № 4. P. 562-569.

15. Wittenberg M., Bremmer F., Wachtler T. Perceptual evidence for saccadic updating of color stimuli // Journ. Vis. 2008. V. 8. № 14. P. 1-9.

References

1. Barabanschikov V. A., Belopolskiy V. I. Stabilnost vidimogo mira [Constancy of Visual Environment]. Moscow, Cogito-centre Publ., 2008, 304 p.

2. Barabanschikov V. A., Zhegallo A. V. Registratsiya i analiz napravlennosti vzora cheloveka [Human Gaze Direction Registration and Analysis]. Moscow, Institute of Psychology RAS Publ., 2013, 316 p.

3. Zhegallo A. V. Sistema registratsii dvizheniy glaz SMI High Speed: osobennosti ispolzovaniya [The SMI High Speed system of registration of eye movements: particular qualities of use]. Eksperimentalnaya psikhologiya [Experimental Psychology (Russia)], 2009, vol. 2. no. 4, pp. 111-117.

4. Zherdev I. Y., Ananeva K. I., Kharitonov A. N. Metod obrabotki dannykh parnogo eksperimenta s registratsiey dvizheniy glaz [Data processing method for paired experiment with eye movement record]. Eksperimentalnyy metod v strukture psikhologicheskogo znaniya [Experimental Method in Structure of Psychological Knowledge] (ed. V. A. Barabanshchikov). Moscow, Institute of Psychology RAS Publ., 2012, pp. 174-181. Zinchenko V. P., Vergiles N. Y. Formirovanie zritelnogo obraza (issledovanie deyatelnosti zritelnoy sistemy) [Visual Image Formation (Visual system activity research)]. Moscow, MSU Publ., 1969, 106 p.

5. Luuk A. G., Romanyuta V. G. Sakkadicheskoe podavlenie: Fakty, teorii i gipotezy [Saccadic suppression: facts, theories and hypotheses]. Ergonomika. Proc. of VNIITE [Ergonomics. Proc. of VNIITE], 1972, vol. 4, pp. 143-195.

6. Demeyer M. et al. Object form discontinuity facilitates displacement discrimination across saccades. J. Vis., 2010, vol. 10, no. 17.

7. Diepen P. M. J. van, Graef P. de, d'Ydewalle G. Chronometry of foveal information extraction during scene perception. In Eye Movement Research: Mechanisms, processes and applications. Vol. 6. (eds. J. M. Findlay, R. Walker, R. W. Kentridge). N. Y.: Elsevier, 1995, pp. 349-362.

8. Gofen A., Mackeben M. An introduction to accurate display timing for PCs under «Windows». Spat. Vis., 1997, vol. 10, pp. 4-36.

9. Henderson J. M., Hollingworth A. Global transsaccadic change blindness during scene perception. Psychological Science, 2003, vol. 14, no. 5, pp. 493-497.

10. Holmqvist K. et al. Eye Tracking: A comprehensive guide to methods and measures. Oxford Univ. Pr., 2011, 537 p.

11. Ibbotson M., Krekelberg B. Visual perception and saccadic eye movements. Curr. Opinion in Neurobiol., 2011, vol. 21, no. 4, pp. 553-558.

12. Latour P. L. Visual threshold during eye movements. Vision Res., 1962, vol. 2, pp. 261-262.

13. Reimers S., Stewart N. Adobe Flash as a medium for online experimentation: A test of reaction time measurement capabilities. Behav. Res. Methods, 2007, vol. 39, no. 3, pp. 365-370.

14. Volkmann F., Schick A., Riggs L. Time course of visual inhibition during voluntary saccades. J. Opt. Soc. Am., 1968, vol. 58, no. 4, pp. 562-569.

15. Wittenberg M., Bremmer F., Wachtler T. Perceptual evidence for saccadic updating of color stimuli. Journ. Vis., 2008, vol. 8, no. 14, pp 1-9.

Размещено на Allbest.ru