Размещено на http://www.allbest.ru/

Система регистрации движений глаз SMI High Speed: особенности использования

Аннотация

СИСТЕМА РЕГИСТРАЦИИ ДВИЖЕНИЙ ГЛАЗ SMI HIGH SPEED: ОСОБЕННОСТИ ИСПОЛЬЗОВАНИЯ Исследование выполнено при поддержке РФФИ, проект№08-06-00316а, №09-06-12003 офи-м, РГНФ, проект № 09-06-01108а.

ЖЕГАЛЛО А.В., Учреждение Российской академии наук Институт психологии РАН, Центр экспериментальной психологии МГППУ, Москва.

Статья посвящена описанию предлагаемой авторами методики обработки экспериментальных данных, получаемых на установке для регистрации движений глаз SMI High Speed. Особенное внимание уделено рекомендациям по выбору алгоритма детекции фиксаций, расчету статистики для выделенных зон интереса, а также рассмотрению особенностей регистрации величины раскрытия зрачка.

Ключевые слова: регистрация движений глаз, фиксация, саккада, алгоритмы детекции фиксаций и саккад, калибровка, тахистоскопия, область интереса.

Annotation

THE SMI HIGH SPEED SYSTEM OF REGISTRATION OF EYE MOVEMENTS: PARTICULAR QUALITIES OF USE

ZHEGALLO A.V., Institute of Psychology RAS, Center of Experimental Psychology, MCUPE, Moscow.

This article is dedicated to the description of the author's proposed method of processing the experimental data obtained on SMI High Speed equipment for the registration of eye movements. Particular attention is paid to the recommendations on the choice of the algorithm of fixations, the calculation of statistics for selected zones of interest, as well as consideration of the features of registering of pupil dilation.

Keywords: registration of eye movements, fixation, saccade, detection algorithms of fixations and saccades, calibration, tachistoscope, region of interest.

Характеристики системы SMI High Speed

Система SMI High Speed (Демидов, Жегалло, 2008) использует принцип видеорегистрации движений глаз, при которой направление взгляда определяется на основе вектора смещения между позициями центра зрачка и роговичного блика (Pupil-CR метод); частота регистрации в монокулярном режиме составляет 1250 или 500 Гц; в бинокулярном режиме - 500 Гц; разрешающая способность 0,01^о; типичная точность определения направления взгляда - 0,25-0,5^о; диапазон линейности ±30^опо горизонтали, 30^о вверх, 45^овниз. В состав системы входит программное обеспечение, предназначенное для предъявления стимульного материала (Experiment Center), регистрации данных (iView X) и анализа результатов эксперимента (BeGaze). В настоящее время большой опыт практической работы с системой позволяет сформулировать ряд дополнительных рекомендаций.

Предъявление стимульного материала

Для организации предъявления стимульного материала в состав системы входит программное обеспечение Experiment Center. С его помощью можно последовательно показывать текст, статические изображения и видеофрагменты. Поскольку минимальное время экспозиции статического изображения составляет 500 мс, предъявление изображений с более коротким временем экспозиции возможно лишь в случае использования дополнительного программного обеспечения. При необходимости предъявления сложных стимульных последовательностей с коротким временем экспозиции отдельных изображений система SMI рекомендует использовать ПО Presentation фирмы Neurobehavioral Systems (http://www.neurobs.com/). Однако следует отметить, что наши попытки использовать указанное выше программное обеспечение для проведения тахистоскопических исследований (Жегалло, 2006; Барабанщиков, Демидов, 2008) выявили ряд проблем: крайне непривычный (по сравнению с Pascal и С) язык программирования сценариев, низкая (для коммерческой программы) точность экспозиции - плюс-минус кадр развертки, отсутствие поддержки русских шрифтов. Таким образом, использование ПО Presentation не представляется нам целесообразным. Информационный поиск показал, что в Cognition and Brain Sciences Unit (CBU) (Кембридж) совместно с системами видеорегистрации движений глаз SMI используют ПО E-Prime фирмы Psychology Software Tools (http://www.pstnet.com/). Предварительное знакомство с E-Prime показало, что программа характеризуется высокой стабильностью времени экспозиции (на последовательности из 100 предъявлений по 50 мс отклонений от заданного времени экспозиции не обнаружено). На сайте CBU (http:// imaging.mrc-cbu.cam.ac.uk/meg/EyeTrackingWithEprime) достаточно подробно описаны принципы коммуникации между E-Prime и ПО iView X, обеспечивающим сбор данных на системах SMI. Коммуникация осуществляется с использованием системы команд iView X Remote Commands. В настоящее время мы видим два пути решения проблемы предъявления стимульного материала: либо приобретение лицензионной версии программы E-Prime (эксперимент в этом случае представляет собой программу на внутреннем языке E-Prime), либо разработка собственного программного обеспечения. Основная проблема в обоих случаях связана с необходимостью использования системы команд iView X Remote Commands.

Моргания и детекция фиксаций

К сожалению, алгоритм детекции морганий, используемый программным обеспечением, входящим в состав системы SMI High Speed, не документирован. Сопоставление исходных данных и их дешифровки, выполненной средствами штатного ПО, позволяет сделать следующие выводы.

В состав моргания включаются непосредственно предшествующие ему, а также непосредственно следующие за ним временные интервалы с корректными данными продолжительностью около 10 мс. Данный прием позволяет исключить из обработки переходные процессы, в ходе которых направление взгляда определяется корректно, но величина раскрытия зрачка оказывается несколько меньше нормальной. Таким образом, система позволяет получать корректную информацию о средней величине раскрытия зрачка.

Относительно продолжительный интервал, в ходе которого регистрируется практически непрерывное отсутствие данных, при обработке может быть разделен на несколько отдельных событий "моргание". Так, например, непрерывный интервал в 854 мс, в ходе которого корректные данные о направлении взгляда отсутствовали, система обработки разделила на 11 событий "моргание" продолжительностью от 23 до 218 мс.

Пример. Фрагмент последовательности событий, выделенных ПО SMI High Speed, включающий две группы последовательных событий Blink (моргание)

Для событий Fixation включена следующая информация: глаз, с которого производится регистрация (всегда L), номер пробы (всегда 1); номер события; абсолютное время начала события (микросекунды); абсолютное время конца события (микросекунды); продолжительность события (микросекунды); X-координата (пиксели экрана); Y-координата (пиксели экрана); дисперсия по X (пиксели экрана); дисперсия по Y (пиксели экрана).

Для событий Blink включена следующая информация: глаз, с которого производится регистрация (всегда L), номер пробы (всегда 1); номер события; абсолютное время начала события (микросекунды); абсолютное время конца события (микросекунды); продолжительность события (микросекунды).

Таким образом, система позволяет получить корректную информацию об общей продолжительности морганий (периодов отсутствия корректных данных), но не об их числе и продолжительности отдельных событий.

Кратковременная (2-4 мс) частичная окклюзия зрачка, при которой определение центра зрачка и позиции роговичного блика остается возможным, не рассматривается системой как моргание. При этом, однако, происходит резкое изменение Y-координаты центра зрачка. В случае использования алгоритма детекции Velocity Threshold Identification (Salvucci, Goldberg, 2000), выделяющего саккады как фрагменты трассы, характеризующиеся высокой угловой скоростью перемещения, такая частичная окклюзия приводит к искусственному разбиению продолжительной фиксации на несколько более коротких. При этом минимальная продолжительность таких искусственно выделенных фиксаций при частоте регистрации 500 Гц составляет 3 мс. Данная проблема обсуждалась в ходе семинара, проводившегося ООО "Нейроботикс" (дилером фирмы SMI) 28 октября в Институте проблем передачи информации им. А. А. Харкевича, где представитель фирмы SMI Кристиан Лаппе признал факт ее наличия и добавил, что в ближайшее время SMI предполагает перейти к использованию нового адаптивного алгоритма детекции саккад и фиксаций, предложенного Marcus Nystrom и Kenneth Holmqvist, сотрудниками Lund Humanities Lab (Nystrom, Holmqvist, 2009). В настоящее время на сайте Lund Humanities Lab доступна предварительная версия публикации, описывающей данный алгоритм, а также реализующая его программа для пакета Mathlab.

В качестве временной меры (до перехода к использованию нового адаптивного алгоритма) мы предлагаем отказаться от использования алгоритма Velocity Threshold Identification и использовать более стабильно работающий Dispersion Threshold Identification алгоритм (однако необходимо отметить, что основным его недостатком является невозможность получения детальной информации о динамике саккад).

Следует обозначить еще одну проблему, особенно актуальную при относительно коротком времени экспозиции стимульного материала, - при выполнении детекции фиксаций не используется информация о предъявляемых изображениях. Таким образом, возникает вопрос, как поступить с фиксацией, которая началась при рассматривании изображения 1, а завершилась при рассматривании сменившего его изображения 2. Исключение таких фиксаций из анализа при коротком времени экспозиции привело бы к потере существенной части экспериментальных данных, а отнесение ее к одному из двух изображений - к внесению искажений (в частности, при этом может сложиться ситуация, когда суммарная продолжительность фиксаций превышает время предъявления изображения). На наш взгляд, наиболее правильным решением в данном случае было бы искусственное разделение таких фиксаций на две: одну - относящуюся к изображению 1, вторую - к изображению 2.

Процедура калибровки

Процедура калибровки представляет собой последовательное предъявление на экране точек калибровки. При этом испытуемый должен фиксировать взгляд на предъявляемой точке калибровки. Таким образом, система получает информацию, как соотносить положение зрачка на изображении, регистрируемом видеокамерой, с направлением взгляда испытуемого. Необходимым условием успешной калибровки является отсутствие окклюзий зрачка в случае, когда взгляд направлен на края рабочей области (экрана). Экспериментатор должен визуально (по видеоизображению глаза) контролировать отсутствие окклюзий при проведении процедуры калибровки.

Первоначально система SMI High Speed работала с программным обеспечением iView X 2.0 и Experiment Center 2.0. Недостаток этой версии ПО заключался в том, что система выдавала только среднюю точность калибровки по всему набору калибровочных точек, а информация о точности калибровки для каждой из точек по отдельности была недоступна, в результате чего возникают значительные отклонения направления взгляда от центральной фиксационной точки (согласно данным проводившихся нами экспериментов).

По нашей просьбе ООО "Нейроботикс" выполнило замену ПО iView X и Experiment Center на версию 2.2, позволяющую, в частности, осуществлять визуальный контроль качества калибровки по отдельности для каждой из калибровочных точек.

К сожалению, в документации к iView Remote Commands отсутствует описание, каким образом можно получить детальную информацию о качестве калибровки. Выполненный нами анализ протокола взаимодействия между ПО iView X и Experiment Center показал, что для этой цели используется недокументированная команда ET_CAQ.

Следует отметить, что помимо калибровки направления взгляда система предусматривает также проведение калибровки по диаметру зрачка. Для этой цели необходимо использовать круглый тест-объект известного диаметра, находящийся в позиции, соответствующей глазу испытуемого. По-видимому, оптимальным решением в данном случае было бы крепление тест-объекта к искусственной голове.

Обработка экспериментальных данных

После проведения экспериментальных исследований встает проблема обработки экспериментальных данных. Одним из способов такой обработки является расчет статистики по зонам интереса. На рассматриваемом испытуемым статическом изображении исследователь выделяет зоны интереса в соответствии с имеющимися у него гипотезами исследования, а затем для каждой экспериментальной ситуации выполняет расчет интересующих его показателей (общее время рассматривания, число фиксаций, средняя продолжительность фиксаций, средняя величина раскрытия зрачка и т. д.) для каждой из выделенных зон интереса.

ПО BeGaze, поставляемое с системой SMI High Speed, в целом позволяет решить данную задачу, однако при попытке обработки экспериментальных данных мы столкнулись с рядом проблем:

Во-первых, производительность BeGaze 2.2 при обработке относительно большого объема экспериментальных данных (выборка из 31 человека, время записи для каждого из испытуемых около 7 мин, суммарный объем первичных файлов данных - 450 Mb) оказалась крайне низкой, продолжительность отдельных операций доступа к данным составляла несколько минут. Поскольку мы располагаем единственной лицензией на BeGaze и не можем перенести ее на другой компьютер без нарушения функциональности системы (один и тот же ключ защиты используется BeGaze и Experiment Center), одновременное проведение экспериментов и обработка ранее полученных результатов становятся невозможными.

Во-вторых, BeGaze 2.2 не позволяет при нанесении зон интереса использовать увеличение изображения более 1:1, что делает весьма затруднительным обеспечение точного нанесения относительно небольших зон интереса. регистрация движение глаз зрачок

В-третьих, включение в анализ отдельных экспериментальных ситуаций возможно только вручную в интерактивном режиме, что при большом объеме выборки (31 испытуемый, по 63 экспериментальных ситуации для каждого) оказывается крайне неудобно.

В-четвертых, окончательная статистическая обработка предполагает экспорт данных из BeGaze и последующее использование стандартных статистических пакетов (SPSS, Statistica и т. п.). Для выполнения этой операции необходимо перенести экспортированные данные на другой компьютер, поскольку установка дополнительного программного обеспечения на компьютер, работающий в составе установки SMI High Speed, нежелательна.

С целью оптимизации процедуры обработки нами была разработана следующая методика:

1. Первичные экспериментальные данные конвертируются из формата iView Data File в текстовый формат с помощью утилиты IDF Converter, входящей в состав ПО, поставляемого с системой SMI High Speed.

2. Сквозная детекция фиксаций в массиве полученных файлов выполняется с помощью написанной нами программы, использующей алгоритм детекции Dispersion Threshold Identification (при создании программы был использован исходный код референсной реализации алгоритма, входящий в состав системы регистрации движений глаз Eye gaze Analyzing System фирмы Interactive Minds). Параметры работы алгоритма: минимальная продолжительность фиксации - 50 мс, максимальная дисперсия - 20 пикселей. Из анализа предварительно исключаются периоды отсутствия корректных данных. Фиксации, относящиеся к двум соседним изображениям, искусственно разделяются на две части (фрагменты фиксаций продолжительностью менее 50 мс отбрасываются). Результатом работы является сводный файл, включающий в себя информацию о всех фиксациях (позиция, продолжительность, средняя величина раскрытия зрачка, номер испытуемого, номер предъявленного изображения). Размер сводного файла составляет 2 Mb.

3. Определение координат выделяемых прямоугольных зон интереса выполняется в графическом редакторе с 4-кратным увеличением.

4. Расчет показателей по зонам интереса для каждой из экспериментальных ситуаций производится в системе статистической обработки R (R Development Core Team, 2008) с помощью специально написанной программы на языке R. Следует отметить, что поскольку данная программа включает процедуру расчета статистики для произвольной прямоугольной зоны интереса и произвольного набора данных, она может быть легко адаптирована для последующих исследований. Результатом работы является сводный файл, включающий в себя информацию по всем выделенным зонам интереса для каждой из интересующих нас экспериментальных ситуаций.

5. Окончательная статистическая обработка и построение иллюстраций проводится в той же системе статистической обработки R. Также возможен импорт файла, полученного на предыдущем шаге, в стандартные статистические пакеты.

Выводы

Для обеспечения эффективного использования установки SMI High Speed необходимо решение следующих задач:

1. Совершенствование методики предъявления стимульного материала с помощью дополнительных компьютерных программ, обеспечивающих возможность предъявления сигнала с коротким (до 10 мс) временем экспозиции. Наиболее быстрый путь решения данной задачи состоит, по-видимому, в использовании стандартных систем, предназначенных для проведения компьютеризованных экспериментов (E-Prime и др.). В некоторых случаях, однако, может оказаться необходимой разработка собственных оригинальных программ.

2. Совершенствование методики калибровки диаметра зрачка.

3. Совершенствование методики обработки экспериментальных данных. Наиболее эффективный путь использования установки состоит в использовании ее исключительно для проведения экспериментальных исследований. Всю обработку полученных результатов начиная с детекции саккад и фиксаций целесообразно проводить на других компьютерах с использованием дополнительного программного обеспечения (по крайней мере, до выпуска SMI новой версии ПО, реализующей новый алгоритм детекции саккад и фиксаций).

Литература

1. Барабанщиков В.А., Демидов А.А. Динамика восприятия индивидуально-психологических особенностей человека по выражению его лица в микроинтервалах времени // Психология. Высшая школа экономики. 2008. Т. 5. № 2. С. 109-116.

2. Демидов А.А. Жегалло А.В. Оборудование SMI для регистрации движений глаз: тест-драйв // Экспериментальная психология. 2008. № 1. С. 149-159.

3. Жегалло А.В. Динамика восприятия экспрессий лица: к верификации модели восприятия сложных изображений Г. Хакена // Образ российской психологии в регионах страны и в мире: Материалы Международного форума и Школы молодых ученых ИП РАН, 24-28 сентября 2006 г. М.: ИП РАН. С. 216-220.

4. Nystrom M., Holmqvist K. An Adaptive Algorithm for Fixation, Saccade, and Glissade Detection in EyeTracking Data // Behavior Research Methods. 2009. V. 8-12.

5. R Development Core Team (2008). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria, ISBN 3-900051-07-0, URL http://www.R-project.org.

6. Salvucci D., Goldberg J. Identifying fixations and saccades in eye-tracking protocols // Proceedings of the Eye Tracking Research and Applications Symposium, New York: ACM Press, 2000. P. 71-81.

Transliteration of the Russian references:

1. Barabanschikov V.A., Demidov A.A. Dinamika vospriyatiya individual'no-psihologicheskih osobennostei cheloveka po vyrazheniyu ego litsa v mikrointervalah vremeni // Psihologiya. VyUSAya shkola ekonomiki, 2008. T. 5. № 2.S. 109-116.

2. Demidov A.A., Zhegallo A.V. Oborudovanie SMI dlya registratsii dvizhenij glaz: test-drive // Eksperimental'naya psihologiya. 2008. № 1. S 149-159.

3. Zhegallo A.V. Dinamika vospriyatiya ekspressij litsa: k verifikatsii modeli vospriyatiya slozhnyh izobrazhenij G. Hakena // Obraz rossijskoi psihologii v regionah strany i v mire: Materialy mezhdunarodnogo Foruma i Shkoly molodyh uchenyh IP RAN, 24-28 sentyabrya 2006 g. M.: IP RAN, S. 216-220.

Размещено на Allbest.ru