Барабанщиков В. А., Королькова О. А., Лободинская Е. А. Восприятие эмоциональных экспрессий лица при его маскировке и кажущемся движении Экспериментальная психология. 2015. T. 8. № 1

Размещено на http://www.allbest.ru/

16

© Московский городской психолого-педагогический университет © PsyJournals.ru, 2015

Барабанщиков В. А., Королькова О. А., Лободинская Е. А. Восприятие эмоциональных экспрессий лица при его маскировке и кажущемся движении Экспериментальная психология. 2015. T. 8. № 1

8

© Московский городской психолого-педагогический университет © PsyJournals.ru, 2015

ВОСПРИЯТИЕ ЭМОЦИОНАЛЬНЫХ ЭКСПРЕССИЙ ЛИЦА ПРИ ЕГО МАСКИРОВКЕ И КАЖУЩЕМСЯ ДВИЖЕНИИ

БАРАБАНЩИКОВ В.А., Московский городской психолого-педагогический университет, Институт психологии РАН, Московский институт психоанализа, Москва, Россия, e-mail: vladimir.barabanschikov@gmail.com

КОРОЛЬКОВА О.А., Московский городской психолого-педагогический университет, Московский институт психоанализа, Москва, Россия,e-mail: olga.kurakova@gmail.com

ЛОБОДИНСКАЯ Е.А., Московский институт психоанализа, Москва, Россия, e-mail: elena.lobodinskaya@gmail.com

В условиях стробоскопической экспозиции оценивалось влияние кажущегося движения и маскировки на точность распознавания базовых эмоциональных экспрессий. В эксперименте 1 наблюдатели оценивали состояние натурщиков, выполняя задачу альтернативного выбора одной из категорий базовых эмоций. В эксперименте 2 использовалось свободное описание экспрессии. Изображения экспрессий демонстрировались на микроинтервалах времени (50, 100 и 200 мс) в контексте нейтрального лица (серия 1), предъявляемого в этом же месте до и после экспрессии; в контексте рандомизированного паттерна (серия 2); в отсутствие содержательного контекста (серия 3). Последовательность изображений различных состояний одного и того же лица в серии 1 вызывала впечатление непрерывного изменения экспрессий, сопровождаемого поворотом головы. Изображения экспрессий в сериях 2 и 3 воспринимались статичными. Результаты показали, что тип контекста, модальность экспрессии и время ее экспозиции взаимоопосредованно влияют на распознавание мимических выражений и структуру категориального поля воспринимаемых эмоций. По сравнению с контрольной экспозицией (серия 3) кажущееся движение и маскировка снижают точность распознавания, однако их воздействие носит различный характер. Эксперимент 2 позволил уточнить природу механизмов, обеспечивающих снижение эффективности распознавания экспрессий в условиях кажущегося движения и зрительной маскировки.

Ключевые слова: восприятие лица, эмоциональные экспрессии, зрительная маскировка, стробоскопическое (кажущееся) движение, перцептогенез выражения лица.

Perception of facial expressions during masking and apparent motion

Barabanschikov V., Korolkova О., Lobodinskaya Е.

We studied the impact of apparent motion and masking on basic facial expressions recognition during stroboscopic movement. In Experiment 1, observers (N=53) recognized facial expressions using alternative forced choice of basic emotion labels, in Experiment 2 subjects (N=7) provided free description of facial expressions. Facial expressions were presented for 50, 100 or 200 milliseconds, sandwich-masked by neutral face (series 1), scrambled face (series 2), or without masking (series 3). In series 1, the images sequence of the same identity with different expressions appeared as continual expression change, accompanied by head movements. In series 2 and 3, the face images appeared static. The study showed that context type, expression type and presentation time influence facial expressions recognition and change their categorical structure. Compared to no-mask presentation (series 3), masking and apparent motion reduce the recognition rate, but their influence is based on different mechanisms. Experiment 2 revealed the mechanisms of reduced facial expression recognition in conditions of masking and apparent motion.

Keywords: face perception, emotional expression, visual masking, stroboscopic movement, apparent motion, perceptual genesis.

Хотя эмоции человека всегда развернуты во времени, то есть имеют начало, кульминацию и конец, их восприятие сторонним наблюдателем традиционно изучается на материале дискретных экспозиций, фиксирующих состояния людей в определенный момент времени (фотографий, портретов, рисунков). Изображенные позы, жесты, выражения лица, действительно характеризуют модальность и интенсивность переживаний личности, но вне динамики являются скорее символами соответствующих эмоций. Подобный подход оправдывается скоротечностью экспрессий и категориальностью самого восприятия (Ананьева, Барабанщиков, Демидов, 2015; Барабанщиков, Демидов, Дивеев, 2012; Calder, Rhodes, Johnson, Haxby, 2011; Ekman, Rosenberg, 2005).

Немногочисленные работы по восприятию динамики выражений лица опираются на идеи экологической оптики (Gibson, 1966; McArthur, Baron, 1983) и вытекающие из них исследования восприятия биологического движения (Johansson, 1973). Ключевой факт состоит в том, что в отсутствие структурированных поверхностей кинематические паттерны, сопровождающие любое естественное поведение, способны нести уникальную информацию о содержании воспринимаемого объекта. В частности, в темноте движение 10-12 светящихся точек, установленных на основных сочленениях тела натурщика, вызывает впечатление локомоций определенного человека, позволяет определить их тип (прогулка, бег, прыжки) и гендерную стилистику. При остановке движения перцептивный эффект исчезает, а с началом движения - проявляется через 100 мс (Cutting, Kozlowski, 1977; Runeson, Frykholm, 1983). Использование метода световых точек при изучении восприятия выражений лица показало, что во время их движения наблюдатели точно определяют модальность экспрессии невидимого натурщика, но идентифицировать статичный набор точек в качестве лица человека и/или его эмоции они не в состоянии (Bassili, 1978). При перемещении световых точек существует высокая вероятность опознавания лиц известных наблюдателю людей и определения их пола (Bruce, Valentine, 1988). Важность информации о динамике лица была продемонстрирована и в других исследованиях. Например, Б. Найт и Х. Джонстон нашли, что известные лица лучше идентифицируются на фотонегативах, если последние экспонируются не статично, а в движении (Knight, Johnston, 1997). Об эффектах движения постоянно напоминает и кинематограф.

Использование методов компьютерной анимации, получивших распространение в последние годы, подтвердило влияние динамики лица на точность распознавания эмоциональных экспрессий (Wallraven, Breidt, Cunningham, Bьlthoff, 2008; Wehrle, Kaiser, Schmidt, Scherer, 2000), особенно в условиях ограничения статической информации - при исключении из экспозиции текстуры и контура лица, его схематизации, отсутствии содержательного контекста и т. п. Так, при постепенном уменьшении информации о текстуре или строении лица в условиях компьютерносгенерированных статических экспрессий точность их распознавания резко снижается, тогда как даже при значительной потере информации и «смазывании» изображений динамических экспрессий они распознаются достаточно эффективно (Wallraven, Breidt, Cunningham, Bьlthoff, 2008). Снижая уровень детализации (количество опорных точек) либо уменьшая размер изображений анимированных экспрессий, можно добиться большего эффекта динамики по сравнению со статикой, независимо от наличия текстуры (Cunningham, Wallraven, 2009).

С усилением экологической валидности условий восприятия, в том числе при экспозиции естественных изображений лица, эффект движения уменьшается либо не проявляется вовсе (Cunningham, Wallraven, 2009; Fiorentini, Viviani, 2011; Fiorentini, Schmidt, Viviani, 2012; Kдtsyri, Sams, 2008). Экспонируя динамические последовательности, полученные путем покадрового компьютерного морфинга пар видеофрагментов «нейтральное лицо - сильно выраженная экспрессия», К. Фиорентини и П. Вивиани не выявили систематических различий при категоризации статических либо динамических переходных экспрессий (Fiorentini, Viviani, 2011). Уменьшение угловых размеров видеоизображений экспрессий вплоть до 2° также не приводит к сильному ухудшению их различения (Cunningham et al., 2004). При сопоставлении результатов распознавания базовых динамических экспрессий по их видеоизображениям на лице натурщика и компьютерным реконструкциям высокой степени детализации и реалистичности (в частности, 3D- и 4D-сканирование лица) наблюдаются сходные уровни точности идентификации (Cunningham et al., 2004; Wallraven, Breidt, Cunningham, Bьlthoff, 2008). Однако при сравнении динамических экспрессий, выраженных натурщиком, и компьютерной 3D-анимации более низкого качества, которая не полностью передает детали реального лица и затрудняет распознавание статических экспрессий, динамика обеспечивает более высокую эффективность (Kдtsyri, Sams, 2008).

Важными для понимания эффекта движения лица представляются следующие обстоятельства. Во-первых, динамика мимических проявлений несет функционально иной тип информации по сравнению со статичными признаками эмоции. Во всяком случае, ее влияние нельзя полностью объяснить множественным суммированием статичных образов. В частности, в условиях динамической экспозиции слабо выраженные экспрессии распознаются более точно, чем дискретные «срезы» этих же экспрессий, разделенные масками, исключающими появление кажущегося (стробоскопического) движения и порождающими эффект «слепоты к изменению» (Ambadar, Schooler, Cohn, 2005). Преимущество динамических экспозиций не исчезает и при пространственной инверсии лица, разрушающей восприятие его целостной структуры, по крайней мере, для части экспрессий (Ambadar, Schooler, Cohn, 2005; Bould, Morris, Wink, 2008).

Во-вторых, эффект движения лица зависит от интенсивности экспрессий. Чем слабее выражена эмоция, тем больший вклад в ее распознавание вносит динамическая составляющая (Bould, Morris, 2008; Bould, Morris, Wink, 2008). При сильных мимических проявлениях информация, достаточная для точной идентификации модальности эмоций, содержится уже в статичных экспозициях лица, а эффект динамики (более слабый) наблюдается только для экспрессий гнева, отвращения, радости и удивления.

В-третьих, влияние непрерывных мимических изменений на восприятие выражения лица вызвано не самим фактом движения, а его временной структурой. При ее разрушении или инверсии точность распознавания модальности слабых динамических экспрессий падает (Cunningham, Wallraven, 2009). Изменение характерной скорости проявления слабо выраженных экспрессий ведет к ухудшению их распознавания (Bould, Morris, Wink, 2008). Установление механизмов, чувствительных к временной структуре экспрессий, составляет одну из наиболее важных перспектив исследования восприятия естественных выражений лица в экологически валидных условиях.

Работа, предлагаемая вашему вниманию, посвящена анализу роли кажущегося (стробоскопического) движения лица в восприятии базовых эмоций. Под кажущимся движением понимается быстрая смена экспозиций статических срезов экспрессий, вызывающая при определенном временном режиме впечатление непрерывного изменения эмоционального состояния натурщика. Целесообразность обращения к ситуации кажущегося движения при изучении восприятия экспрессий лица состоит в том, что здесь реализуется простейшая временная структура динамической экспозиции и моделируется преобразование одного статичного состояния в другое, подобное линейному пространственному морфингу лица (Барабанщиков, 2009; Calder et al., 1996). В рамках сформулированной проблемы возникают следующие вопросы. Как влияет стробоскопическая экспозиция экспрессий на точность их распознавания? Зависит ли результат распознавания от модальности экспрессий? Каков механизм влияния стробоскопической экспозиции на оценку экспрессий?

Для ответа на поставленные вопросы были проведены два эксперимента: в первом в качестве испытуемых выступили неопытные наблюдатели, во втором - профессиональные эксперты. В обоих экспериментах точность распознавания эмоций оценивалась в ситуациях: 1) стробоскопического движения, 2) маскировки и 3) статической экспозиции фотоизображений экспрессий на пустом экране. В условиях стробоскопического движения на короткое время экспонировалась статичная экспрессия, до и после которой в этой же позиции предъявлялись изображения спокойного лица. В условиях маскировки спокойное лицо заменялось «маской», созданной путем случайного перемешивания частей нейтрального изображения; возникновения эффекта движения в этом случае не ожидалось. Наконец, в контрольной серии фотографии эмоционального лица предъявлялись без каких-либо дополнительных изображений.

Эксперимент 1

Метод исследования.

Гипотеза. При быстром предъявлении наблюдателям последовательности статичных изображений «нейтральное лицо - экспрессия - нейтральное лицо» возникает впечатление динамической микроэкспрессии, длящейся доли секунды. По сравнению со статичными «срезами» лица и/или с изображениями, подверженными маскировке, распознавание эмоций в условиях кажущегося движения может быть более эффективным.

Стимульный материал. Стимульным материалом служили цветные фотографии лиц натурщиков (трех мужчин и трех женщин) анфас, выражающих шесть базовых эмоциональных экспрессий (радость, удивление, страх, печаль, отвращение, гнев) и спокойное состояние (нейтральное лицо). Изображения отобраны из валидизированной базы RaFD (Langner et al., 2010). Их размер и угол поворота были скорректированы так, чтобы глаза натурщиков на всех изображениях располагались на одном уровне, расстояние между зрачками было одинаковым, а лица на каждой фотографии занимали равную площадь. Изображения кадрировались до размера 450 Ч564 пикселей (рис. 1).

При маскировке использовались рандомизированные лица, которые получали следующим образом. Изображения нейтральных лиц разрезали на 13 частей по вертикали и 15 частей по горизонтали, затем полученные прямоугольники (размером 35Ч38 пикселей) в случайном порядке меняли местами. Благодаря этой процедуре распределения цветов и яркости на изображениях сохранялись, но целостная структура лица разрушалась.

а б в г

Рис. 1. Примеры фотоизображений экспрессий лица из базы RaFD (Langner et al., 2010): а - спокойное (нейтральное), б - радость, в - отвращение, г - удивление

Оборудование. Стимульные изображения предъявлялись на экране ЭЛТ-монитора (ViewSonic G90f, частота 100 Гц), подключенного к ПК, в условиях нормальной освещенности. Испытуемые располагались на расстоянии около 60 см от экрана и смотрели на изображения бинокулярно. Угловые размеры изображений составляли около 16Ч20°.

Испытуемые. В исследовании участвовали 53 человека (37 женщин, 16 мужчин; возраст 17-53 года, медиана - 19 лет) с нормальным или скорректированным до нормального зрением.

Процедура. Исследование включало три экспериментальные серии, отличавшиеся друг от друга содержанием контекста - изображениями, которые предшествовали и следовали за тестовым. В первой серии в качестве контекста использовались изображения нейтрального лица того же натурщика, экспрессия которого демонстрировалась в данной пробе. Во второй серии контекстом служили рандомизированные лица, в третьей - светлосерый фон пустого экрана. Каждый испытуемый участвовал во всех трех сериях, выполняя их в разные дни.

В каждой серии испытуемому предлагалось внимательно рассмотреть тестовые изображения лица и выбрать из предъявленного списка название той эмоции, которая максимально соответствует увиденной экспрессии.

На рис. 2 представлена схема предъявления стимульного материала и время экспозиции каждого изображения. В каждой пробе в центре экрана на светло-сером фоне последовательно экспонировались: 1) черный фиксационный крест (угловые размеры 1,4Ч1,4°); 2) пустой экран; 3) первое контекстное изображение; 4) пустой экран; 5) тестовое изображение лица; 6) второе контекстное изображение, аналогичное первому; 7) пустой экран; 8) вопрос «Какие эмоции присутствовали на изображении?» с вариантами ответа «радость», «гнев», «страх», «удивление», «отвращение», «печаль», «спокойное лицо». Испытуемый при помощи «мышки» отмечал один из вариантов. Ответ, выбранный в каждой пробе, а также время ответа регистрировались путем нажатия клавиши «пробел», которое позволяло перейти к следующей пробе. Для сохранения эффекта движения в пробах, где в качестве тестового предъявлялось спокойное лицо, оно смещалось на 5 пикселей вверх.

Рис. 2. Структура стимульной ситуации

восприятие эмоциональный экспрессия маскировка

Временная организация стимульного материала подбиралась опытным путем на основе данных, полученных в других исследованиях (Braddick, 1980; Kolers, 1972; Michaels, Turvey, 1979; Turvey, 1973). Тестовые изображения предъявлялись на время, равное 50, 100 либо 200 мс. Длительность первого контекстного изображения составляла 300 мс, второго - 100 мс.

В течение одной серии каждая из семи экспрессий, выраженная каждым из шести натурщиков, предъявлялась по 7 раз. Таким образом, серия включала: 3 времени экспозиции Ч 7 экспрессий Ч 6 натурщиков Ч 7 повторов = 882 пробы. Все пробы были разбиты на 4 блока, между которыми испытуемые могли делать паузы. Порядок предъявления стимульного материала в каждом блоке был случайным.

Перед началом основного эксперимента проводилась тренировочная серия. Она состояла из 7 проб, в каждой из которых экспонировалась одна из 7 экспрессий, выраженная одним из 6 натурщиков. Длительность тестового изображения составляла 300 мс.

Экспонируемые экспрессии в тренировочных пробах не повторялись.

Обработка данных. Статистическая обработка проводилась при помощи пакета R 3.0.3. Анализировалось влияние изучаемых факторов на точность распознавания экспрессий. Верными ответами считали совпадение выбранной в каждой пробе категории эмоции с тем состоянием, которое изображал натурщик. Методом дисперсионного анализа с внутригрупповыми факторами Время предъявления (3 градации), Содержание контекста (3 градации),Экспрессия натурщика (7 градаций) рассчитывались отношения F-Фишера для каждого из факторов и их взаимодействий. Значимость критерия оценивалась с помощью рандомизационного теста, эффективного даже при нарушении условий использования дисперсионного анализа. Рандомизация проводилась для каждого испытуемого в отдельности, количество итераций - 1000.

С помощью точного теста Фишера частоты верных ответов в трех сериях сопоставлялись попарно: а) средние по всем экспрессиям и всем длительностям экспозиции;

б) средние по всем длительностям экспозиции для каждой экспрессии; в) средние по всем экспрессиям для каждой длительности экспозиции; г) для каждой экспрессии и каждой длительности экспозиции в отдельности.

Частоты выборов семи категорий - названий базовых эмоций - сопоставлялись при помощи ч2 Пирсона для каждой экспрессии: сравнивались распределения частот в трех сериях (кажущееся движение; маскировка; изолированное лицо) и при разном времени экспозиции (50, 100, 200 мс). Уровни значимости во всех случаях рассчитывались методом Монте-Карло (количество итераций - 2000) с коррекцией Бенджамини-Хохберга на множественные сравнения.

Результаты исследования. Феноменология восприятия. Несмотря на идентичность временной организации стимульных паттернов в трех сериях, их восприятие зависит от содержания контекста, в который включалось тестовое фотоизображение. Если оно просто демонстрируется на светлосером фоне экрана, наблюдатели воспринимают неподвижное экспрессивное лицо само по себе. Если фотографии экспрессии лица предшествует и следует за ней изображение этого же натурщика в спокойном состоянии, то воспринимается кажущееся движение - быстрое непрерывное изменение выражения лица, сопровождаемое движением головы. Наконец, в тех случаях, когда появление тест-объекта ограничивается рандомизированными изображениями, наблюдатель видит статичное изображение экспрессии с наложенными на него масками.

Рис. 3. Точность идентификации экспрессий (доля «верных» ответов) в зависимости от модальности эмоции, времени экспозиции (мс) и содержания контекста

Три содержательно различные стимульные ситуации, реализованные в соответствующих экспериментальных сериях, обозначим как «кажущееся движение» (серия 1), «маскировка» (серия 2) и «изолированное лицо» (серия 3).

Точность распознавания экспрессий лица. В ходе анализа мы пытались установить, зависит ли относительная частота проб, в которых выбранная испытуемым эмоция совпадала с экспрессией, выраженной натурщиком («верные ответы»), от условий восприятия и модальности экспрессии. Ответы, не совпадающие с экспрессией натурщика, в данном случае считались «ошибочными». Факторы Время, Экспрессия, Контекст, а также их взаимодействия оказались значимыми (p = 0,001). Средние значения эффективности распознавания в зависимости от времени экспозиции, модальности экспрессии и содержания контекста приведены на рис. 3 и в табл. 1 и 2.

Таблица 1 Доли «верных» ответов в зависимости от содержания контекста и времени экспозиции

Таблица 2 Доли «верных» ответов в каждом из экспериментальных условий

Согласно полученным данным, средние по всем экспрессиям и длительностям экспозиции частоты верных ответов в сериях 1 и 2 значимо не различаются (доля «верных» ответов в обеих сериях составляет 0,74; скорректированный уровень значимости точного теста Фишера при сопоставлении частот ответов в этих двух сериях p=0,423). Ответы в серии 3 (изолированное предъявление лица, точность распознавания 0,81) значимо отличны от соответствующих ответов в сериях 1 и 2 (кажущееся движение и маскировка) (p<0,001). При анализе отдельно по каждой экспрессии все различия между сериями значимы (p<0,008) за исключением экспрессии удивления (p=0,489) и нейтрального лица(p=0,481), для которых результаты оценки в условиях кажущегося движения и изолированного лица не отличаются. Средняя по всем экспрессиям точность ответов в разных сериях значимо различается в зависимости от времени экспозиции, кроме серий с кажущимся движением и маскировкой при 100 мс (p=0,374).

Сопоставление различий отдельно по каждой экспрессии и каждому времени экспозиции дает следующие результаты. Для экспрессий гнева и печали все различия между сериями значимы (p<0,021), для «страха» и «отвращения» различия значимы (p<0,008) за исключением серий с кажущимся движением и маскировкой, предъявленных на 200 мс (для «страха» p=0,877; для «отвращения» p=0,068). Для экспрессии удивления отсутствуют различия между всеми условиями при экспозиции на 200 мс (p>0,115) и между кажущимся движением и изолированным лицом, экспонируемым на 100 мс (p=0,897). Для «радости» значимы все различия при 50 мс (p<0,028) и между кажущимся движением и изолированным лицом - при 100 мс (p=0,017). Нейтральное лицо, экспонируемое на 50 и 100 мс в качестве тест-объекта, распознавалось наименее эффективно в условиях маскировки (p<0,002).

Профили оценок. Влияние независимых переменных распространяется не только на адекватные, но и на неадекватные оценки, ошибочность которых весьма условна (Барабанщиков, 2012). Выполненные оценки разделяются на три группы: 1) «верные» ответы, совпадающие с демонстрируемой эмоцией; 2) редкие (случайные) ответы, не совпадающие с демонстрируемой эмоцией; 3) «ошибочные» ответы выше случайного уровня (рис. 4). Последние могут быть как регулярными, т.е. присутствовать при всех условиях эксперимента (восприятие гнева при экспозиции «отвращения», печали - при экспозиции «гнева»), так и временными - наблюдаться в условиях маскировки и кажущегося движения (восприятие удивления при экспозиции «страха» на 50 и 100 мс; спокойного состояния - при экспозиции «гнева» или «печали» на 50 мс). За исключением экспрессии гнева (50 мс, ситуация кажущегося движения), «верные» оценки преобладают над «ошибочными». В ситуациях кажущегося движения и маскировки «ошибки» восприятия зависят от времени экспозиции для всех экспрессий (p<0,001) кроме нейтрального лица при кажущемся движении (p=0,6932). В ситуации изолированного лица различия значимы также только для нейтрального лица (p=0,0102). При 50 и 100 мс все различия между условиями значимы (p<0,034), при 200 мс - значимы только для экспрессий страха, отвращения, гнева и печали (p<0,001). Существует тенденция реципрокности в отношении «верных» и «ошибочных» ответов: снижение долей «верных» оценок ведет к избирательному повышению долей неверных распознаваний этих же экспрессий, особенно на самых коротких экспозициях.

Рис. 4. Профили оценок экспрессий в зависимости от их модальности, времени экспозиции и содержания контекста. По оси абсцисс - время экспозиции (50, 100, 200 мс) и содержание контекста (1 - кажущееся движение; 2 - маскировка; 3 - изолированное лицо); по оси ординат - доля ответов. Горизонтальной пунктирной линией отмечен случайный уровень

Обсуждение результатов. Анализ показывает, что все три экспериментальных условия и их сочетания значимо влияют на оценку экспрессий лица. Организация стимульной информации, модальность экспрессии и продолжительность ее экспозиции действительно определяют распознавание мимических выражений; влияние каждой из детерминант носит сложный, взаимоопосредованный характер.

Базовый уровень эффективности распознавания экспрессий в микроинтервалах времени зафиксирован при экспозиции изолированного лица и зависит от модальности эмоции. Точнее всего распознается экспрессия радости (0,97), а также спокойное (0,92) и удивленное (0,91) лицо, менее точно - печаль (0,88), сравнительно плохо - экспрессии отвращения (0,75), страха (0,65) и гнева (0,61). Разная степень аттрактивности (броскости) базовых экспрессий согласуется с ранее полученными данными в условиях затрудненного восприятия эмоциональных выражений: при их зашумлении, повороте относительно наблюдателя или ограничении времени экспозиции (Барабанщиков, 2009, 2012). С введением содержательного контекста перцептогенез растягивается во времени, требуя более продолжительных экспозиций в 100 мс («радость», «удивление», «отвращение») и 200 мс («печаль», «страх», «гнев»); экспозиции в 50 мс соответствуют лишь начальные стадии перцептогенеза. Влияние стробоскопической экспозиции на точность распознавания эмоций носит избирательный характер, охватывая преимущественно экспрессии, имеющие низкую аттрактивность («гнев», «страх», «печаль»).

В отсутствие содержательного контекста длительность экспозиции лица (50, 100 или 200 мс) на эффективность распознавания не влияет (0,80-0,82). При маскировке экспрессии и кажущемся движении лица с уменьшением времени экспозиции уровень распознавания снижается до 0,74. Влияние контекста связано с модальностью экспрессии: маскировка оказывает более сильное влияние на восприятие экспрессий удивления (0,88), отвращения (0,66) и спокойствия (0,87), кажущееся движение - на восприятие «радости» (0,95), «печали» (0,80), «страха» (0,53) и «гнева» (0,48).

Сказанное означает, что для завершения перцептогенеза базовых экспрессий в контрольной серии экспозиция в 50 мс вполне достаточна. Сходный результат получен на экспрессиях большого числа натурщиков из базы KDEF (Calvo, Lundqvist, 2008). Ограничение времени экспозиции (в отсутствие маскировки) вело к снижению точности распознавания базовых эмоций, однако для выражений радости и спокойного состояния эти различия невелики (при длительности экспозиции 50 мс «радость» распознается на максимально высоком уровне), тогда как для других экспрессий выражены значительно.

Результаты анализа «ошибочных» ответов позволяют описать обнаруженные феномены в терминах категориальных полей экспрессий - систематических идентификаций той или иной экспрессии с рядом других эмоций (Барабанщиков, 2009), проявляющихся в данных условиях. Каждое категориальное поле включает ядро («верные» ответы), периферию, представленную регулярными «ошибками», и фон (случайные ответы). Соотношение между компонентами динамично и зависит от модальности экспрессии, ее длительности и содержания контекста. Так, с уменьшением времени экспозиции использование кажущегося движения либо маскировки экспрессий значимо меняет структуру категориальных полей, причем, в разных контекстах поразному. Экспрессия страха чаще воспринимается как «удивление»; «печаль» и «гнев» - как спокойное лицо. Роль мимических признаков экспрессий в формировании целостного образа эмоционального лица меняется. По существу, условия маскировки и кажущегося движения моделируют тот этап перцептогенеза, на котором признаки экспрессий лишь начинают дифференцироваться, создавая предпосылки конкретизации актуализируемого прототипа (схемы) выражения лица (Барабанщиков, 2012).

Основной результат нашего исследования заключается в том, что по сравнению со статической экспозицией кажущееся движение не приводит к увеличению точности распознавания сильных базовых эмоций. В зависимости от модальности экспрессии его влияние на эффективность восприятия оказывается различным. Для «радости», «печали», «гнева» и «страха» кажущаяся динамика лица не только не повышает точность распознавания, как предполагалось изначально, но и ведет к более низкому результату, чем условия рандомизированного контекста, особенно при минимальном времени экспозиции. Негативное влияние маскировки отчетливо проявилось при экспозиции «удивления», «отвращения» и спокойного выражения лица. В итоге средние значения точности распознавания экспрессий в условиях кажущегося движения и маскировки практически совпадают, указывая на функциональное сходство стимульных ситуаций.

Соответственно, кажущееся движение включает момент маскировки, а прямая и обратная зрительная маскировка - возможность кажущихся изменений. С увеличением длительности экспозиции экспрессии до 200 мс негативное влияние и маскировки, и кажущегося изменения лица снижается.

Пытаясь разобраться в механизме влияния стробоскопической стимуляции на восприятие эмоциональных выражений лица, мы провели пилотный эксперимент на группе экспертов - опытных специалистов в области восприятия лица. Нас интересовали способы ориентировки наблюдателя в рассмотренных ситуациях и характер его ответов. Основной метод исследования - вербальные описания видимых сцен (Барабанщиков, 2012).

Эксперимент 2

Метод исследования.

Гипотеза. Несмотря на сходство пространственно-временной организации, влияние содержательных контекстов на оценку эмоциональных экспрессий лица обеспечивается разными механизмами.

Стимульный материал. В качестве стимульного материала использованы те же цветные фотоизображения, что и в первом эксперименте: лица шести натурщиков анфас, выражающих шесть базовых эмоций и спокойное состояние.

Оборудование в экспериментах 1 и 2 полностью совпадало.

Испытуемые. Во втором эксперименте приняли участие 7 человек (5 женщин, 2 мужчины; возраст 27-54 года, медиана - 47 лет) с нормальным или скорректированным до нормального зрением, специалисты в области восприятия лица.

Процедура. Исследование включало три экспериментальные серии с тем же содержанием контекста, что и в эксперименте 1. Отличия от процедуры первого эксперимента заключались в следующем. Тестовые изображения всегда предъявлялись на 50 мс; каждая из семи экспрессий, выраженная каждым из шести натурщиков, предъявлялась по одному разу (всего 42 пробы); порядок предъявления был случайным. Вариантов ответа не предлагалось. От испытуемых требовалось в каждой отдельной пробе словами описать выражение лица натурщика, а также любые другие замеченные особенности изображения. Ответы испытуемых записывались на диктофон. Тренировочная сессия не проводилась.

Обработка данных. Полученные аудиозаписи расшифровывались и соотносились с каждым из экспериментальных условий. В вербальных описаниях, данных участниками исследования, выделялись следующие классы: 1) называние конкретной эмоции (например, «гнев», «горе» и др.) или общая оценка модальности («негативная эмоция»); 2) описание мимики в отдельных зонах лица - лба/бровей, глаз, носа, рта (например, «нахмуренные брови», «открытые глаза», «наморщенный нос», «растянутый рот»); 3) указания на движения головы (например, «кивок», «поворот головы слева направо»); 4) недифференцированное восприятие движения/изменения изображения в целом («мимолетное движение», «сдвиг изображения», «что-то изменилось»); 5) значительные затруднения в определении эмоции, приводящие к отказу давать ответ («не понятно, какая эмоция»). Помимо основных дескрипторов часто отмечался пол натурщика и особенности его внешности (например, «девушка, блондинка»).

Точность распознавания экспрессий оценивалась на основании содержания эмоциональных дескрипторов. Верными считались те описания, в которых эмоция была названа однозначно и совпадала с состоянием, изображенным натурщиком. К этой же категории относились и синонимичные описания; так, для экспрессии «гнева» адекватными ответами считались описания «гнев», «злость» и однокоренные слова; для «страха» - «страх» и «испуг»; для «радости» - «радость» и «улыбка»; для «нейтрального лица» - «нейтральное», «спокойное», «без эмоции»; для «печали» - «печаль», «грусть» и «горе»; для «удивления» и «отвращения» синонимы в категорию верных ответов не включались. Частично верными ответами считались неоднозначные описания, включавшие верный дескриптор - например, «либо гнев, либо горе» для экспрессии «гнева». «Ошибочными» ответами считались все иные описания эмоциональных состояний, а «отказами» - ответы, в которых называние эмоции отсутствовало.

Доминантность мимических признаков оценивалась по предпочтениям, отдаваемым в описаниях верхней (брови-лоб), средней (глаза-веки-основание носа) и нижней (рот- подбородок) частей лица либо его отдельных элементов. Примеры подобных высказываний: «поднятые брови», «наморщенный лоб», «увеличились глаза», «широко открытый рот», «напряжение вокруг носа».

Влияние кажущегося движения головы устанавливалось путем соотнесения предметных описаний воспринятого изменения расположения лица в целом с точностью распознавания экспрессий либо с их доминантными признаками («наклон головы вперед, кажется, это был гнев»; «движение назад небольшое, изменение в области рта, даже зубы видел, вероятно, это отвращение»). В подобном ключе рассматривались описания изменений изображения при невозможности (затруднениях) описать его содержание («было движение не понятно, какое; эмоции не было вообще»).

Анализ результатов включал сопоставление долей соответствующих дескрипторов в зависимости от модальности экспрессии и содержания контекста. Статистическая оценка значимости различий анализируемых параметров ввиду небольшого объема выборки не проводилась.

Результаты исследования. Точность распознавания экспрессий. Согласно полученным данным, доля верных ответов зависит как от модальности экспрессии натурщика, так и от содержания контекста, в котором она экспонировалась (рис. 5). Наибольшая доля адекватных описаний выявлена в контрольной серии - экспозиции лица на фоне чистого экрана (0,78). С введением рандомизированной маски точность распознавания снижается (0,59), а при использовании стробоскопической стимуляции становится предельно низкой (0,45). Уменьшение доли верных ответов происходит за счет увеличения количества отказов от описания эмоции (от их отсутствия в контрольной серии до 0,10 и 0,30 в условиях рандомизированной маски и кажущегося движения, соответственно). Доли ошибочных (0,18) и частично верных (0,07) ответов в трех экспериментальных сериях находятся на одном уровне.

Наибольшая средняя точность распознавания получена при экспозиции «радости» (0,80), нейтрального лица (0,77), «удивления» (0,68) и «отвращения» (0,61). Для экспрессий «страха» (0,48), «печали» (0,48) и «гнева» (0,40) она снижается на фоне увеличения доли ошибочных ответов. Соотношение уровней точности распознавания тестируемых эмоций в каждой из трех серий в целом сохраняется. Доли отказов и частично верных ответов с модальностью эмоции систематически не связаны. Соотношение верных, частично верных, ошибочных ответов и отказов при распознавании эмоций на лицах разных натурщиков практически не менялось.

«Ошибки» идентификации. При анализе «ошибочных» и частично верных распознаваний экспрессий выявлены следующие особенности. Экспрессия радости (0,09) и нейтральное лицо (0,10) в отдельных случаях смешиваются с «гневом», «отвращением» или «страхом». Экспрессия удивления ошибочно распознавалась как «страх», независимо от содержания контекста (0,13). Экспрессия отвращения при любом содержании контекста смешивается прежде всего с «гневом» (0,18). Для экспрессии гнева структура «ошибок» трансформируется: при кажущемся движении или изолированном лице «гнев» воспринимается как «печаль» (0,11) либо «отвращение» (0,09); при маскировке рандомизированным паттерном он смешивается с нейтральным лицом (0,24) и «отвращением» (0,12). «Страх», экспонируемый при кажущемся движении либо на изолированном лице, смешивается с «удивлением» (0,17), реже - с «гневом» (0,08) и «отвращением» (0,06); при введении маскировки среди «ошибочных» ответов доминируют «печаль» (0,14) и «удивление» (0,12). «Печаль» отождествляется с нейтральным лицом (0,19), причем при маскировке доля смешений возрастает до 0,36.

Рис. 5. Точность распознавания экспрессий в зависимости от их модальности и содержания контекста: серия 1 - кажущееся движение; серия 2 - маскировка; серия 3 - изолированное лицо

Таким образом, при экспозиции лица на фоне чистого экрана и кажущегося движения структура «ошибочных» идентификаций экспрессий гнева, страха, печали сохраняется, в то время как маскировка лица ведет к ее трансформации.

Описание признаков экспрессий и движений головы. В процессе распознавания эмоциональных экспрессий наблюдатели указывали на отдельные доминантные особенности лица, характерные для демонстрируемой эмоции. Чаще всего описывалась зона губ и зубы (0,23). Различия в частоте упоминания рта зависели от модальности эмоции и содержания контекста. Например, для «радости» и «удивления» в условиях кажущегося движения область рта упоминалась с частотой 0,6; в условиях изолированного лица - 0,45 и 0,38, соответственно; при маскировке частота снижалась до 0,19 и 0,17. При распознавании «страха» и «отвращения» рот натурщика описывался как в условиях кажущегося движения (0,14 и 0,40, соответственно), так и изолированного лица (0,33 и 0,21); для «гнева» и «печали» рот упоминался только в условиях изолированного лица (0,29 и 0,17).

Реже описывалась зона глаз. Для «удивления» и «страха» в условиях кажущегося движения - 0,12 для обеих экспрессий; в отсутствие контекста - 0,26 и 0,31, соответственно. Для «радости» и «отвращения» область глаз упоминалась только при экспозиции изолированного лица (0,12). При распознавании «гнева» и «печали» глаза не упоминались; внимание наблюдателей при демонстрации изолированного лица направлялось в область лба/бровей (0,21 и 0,14, соответственно), смещаясь в условиях кажущегося движения на движения головы натурщика. Мимические признаки в области носа систематически упоминались только при экспозиции «отвращения» в отсутствие контекста (0,21).

«Жесты», или движения головы, а также пространственные смещения лица описывались только в условиях стробоскопической стимуляции и только для экспрессий гнева (0,48 - для «жестов», 0,14 - для движения), страха (0,12 для обоих типов дескрипторов) и печали (0,36 и 0,14, соответственно). Для «гнева» характерным жестом было «движение головы вперед», «наклон вперед» или «кивок». Для «страха» - «движение назад», «напряжение в шее». При экспозиции «печали» наблюдатели описывали «поворот головы», «движение назад» или «кивок вперед». Распознавание всех трех экспрессий при описании жестов и движения было существенно затруднено.

При экспозиции спокойного лица мимика не описывалась. Сдвиг изображения, используемый во время стробоскопической экспозиции, замечался наблюдателями (0,43).

Трудности в категоризацииэкспрессий, приводившие к отказу от описания эмоции, наблюдались в сериях с маскировкой и кажущимся движением. При маскировке рандомизированным паттерном отказ не сопровождался описанием мимических признаков, за исключением отдельных упоминаний области рта для экспрессий «удивления», «радости», «гнева». При экспозиции в условиях кажущегося движения, прежде всего, давались описания изменений в области рта: для «удивления» это «открытый рот», для «радости» и «отвращения» - «оскал», «показал зубы», «что-то сказал», для «страха» - «открытый рот», «что-то сказал». Глаза описывались только при экспозиции «гнева» («моргнул», «подмигнул»), «страха» и «удивления» («выпученные глаза»). Остальные зоны лица практически не описывались. Описания движения и «жестов» головы сопровождали большинство отказов от распознавания экспрессий «гнева» («кивок головой») и «печали» («кивок», «поворот головы»).

В зависимости от содержания контекста описания признаков экспрессий меняются. При изолированной экспозиции лица внимание обращается на область рта, а для отдельных экспрессий - дополнительно на зоны глаз («отвращение», «страх», «радость», «удивление»), лба/бровей («гнев», «печаль», «удивление») или носа («отвращение»). В условиях стробоскопической стимуляции описание движений головы сопровождается снижением упоминаний о мимических изменениях (экспрессии «гнева», «страха», «печали»). Так, при оценке экспрессий, которые характеризуются закрытым ртом («гнев», «печаль»), мимические признаки перестают замечаться вообще, а при оценке «страха» обе ключевые зоны (рот и глаза) описываются в два раза реже. Хотя для «отвращения», «радости» и «удивления» описания «жестов» и движений головы не характерны, внимание наблюдателя концентрируется в области рта; частота описания других зон: глаз - для всех трех экспрессий, носа - для «отвращения» и лба/бровей - для «удивления», снижается. В условиях маскировки ни движение лица в целом, ни мимические изменения не упоминаются, за исключением области рта при экспозиции «радости» и «удивления».

Обсуждение результатов. Результаты второго эксперимента подтверждают выводы, сделанные в первой части исследования. Наибольшая точность распознавания экспрессии достигается в условиях сверхкороткой экспозиции изолированного лица. Данная организация стимульного материала позволяет полностью реализовать перцептогенез эмоциональной экспрессии, либо завершить его на относительно поздних стадиях. Как и в эксперименте 1, лучше всего распознаются «радость» (1,0 - полное отсутствие ошибок), «удивление» (0,88) и «спокойствие» (0,81), тогда как экспрессии отвращения (0,75), печали (0,74), страха (0,64) и гнева (0,60) оцениваются менее точно. Структура систематических «ошибок» распознавания, составляющих категориальное поле эмоций, также сохраняется: экспрессия «отвращения» воспринимается как гнев, «гнев» - как спокойствие и печаль, «страх» - как удивление, а «печаль» - как нейтральное лицо. Таким образом, в целом способы оценки лица - альтернативный выбор из предзаданных категорий или свободное описание выражения эмоции - на эффективность опознания не влияют.

Введение содержательного контекста и во втором эксперименте снижает точность опознания всех эмоций, однако влияния маскировки и кажущегося движения выступают здесь более выпукло. У опытных наблюдателей стробоскопическая экспозиция экспрессий приводит к более выраженному падению точности распознавания, а число отказов назвать эмоцию по сравнению с прямой и обратной маскировкой увеличивается в три раза. Ключевые признаки эмоций лаконично упоминаются в контрольных пробах - при демонстрации изолированного лица. В условиях стробоскопической экспозиции число подобных высказываний сокращается, уступая место сообщениям о «жестах» головы, тесно связанных с проявлениями гнева, страха и печали, то есть с экспрессиями, оценки которых в эксперименте 1 внесли решающий вклад в величину негативного влияния кажущегося движения. В условиях маскировки особенности локальной мимики замечаются редко, а о движениях головы ничего не говорится. Неслучайно структуры категориальных полей демонстрируемых эмоций в первой и третьей сериях обоих экспериментов совпадают, а во вторых сериях - принимают иной характер.

Полученные данные позволяют заключить, что при определенном сходстве временной структуры влияние стробоскопической экспозиции экспрессии и рандомизированных масок на точность опознания имеет разную природу. Если в условиях рандомизированного контекста основным фактором неадекватного восприятия является прерывание естественного хода перцептогенеза, то в условиях кажущегося движения эту роль выполняет усложнение информационного содержания: проявление в фотоизображении дополнительного качества, выраженного в смещениях элементов лица и головы. Распознавание эмоционального состояния натурщика опосредуется «жестом» (кивком, поворотом, наклоном, и т.д.), переключающим внимание наблюдателя. Структура и продолжительность перцептогенеза лица в этих условиях меняются.

Совсем недавно влияние длительности экспозиции тест-объекта в условиях обратной маскировки, а также типа маски на эффективность распознавания экспрессий радости, гнева и спокойного лица были описаны в работе Л. Агуадо (Aguado et al., 2014). В отсутствие маски средняя точность идентификации эмоций достигает максимального уровня (близкого к 100%) при экспозиции тест-объекта всего на 17 мс. Рандомизированная маска снижает эффективность только на этом времени, а начиная с 34 мс - не ухудшает распознавание эмоций. Если же в качестве маски используется изображение спокойного лица, то с уменьшением времени предъявления целевой экспрессии эффективность ее различения монотонно снижается (до 60%-й эффективности распознавания при 17 мс, что также намного превышает случайный уровень).

При экспозиции тест-объекта на 85 и 119 мс тип маскировки не влияет на точность распознавания, которая во всех трех условиях была близка к 100%. С уменьшением пространственного разрешения маскирующего изображения нейтрального лица эффект маскировки постепенно снижается. По существу, маскирующий эффект имеет место на самых ранних этапах перцептогенеза и возрастает с увеличением информации о лице-маске (рандомизированная маска < изображение лица с низким пространственным разрешением < изображение лица с высоким разрешением). Близость стимульных ситуаций, вызывающих эффекты маскировки и кажущегося движения, продемонстрированные в нашем исследовании, позволяет полагать, что в условиях стробоскопической экспозиции выражений лица описанные тенденции не только сохранятся, но и усилятся.

Заключение

Проведенное исследование позволяет дать аргументированные ответы на вопросы, поставленные в начале статьи. Стробоскопическая экспозиция действительно влияет на эффективность распознавания экспрессий лица, но не так, как ожидалось. При экспозиции экспрессии в течение 200 мс (время, близкое к средней зрительной фиксации) точность распознавания мимических паттернов в условиях кажущегося движения не превышает точности распознавания отдельных неподвижных изображений, а при более коротких экспозициях - 100 мс и, особенно, 50 мс - она значимо снижена. В коротком диапазоне длительностей стробоскопическая стимуляция сдерживает развитие перцептогенеза и, по существу, маскирует эмоциональные экспрессии.

Несмотря на то, что средние тенденции динамики точности восприятия в условиях кажущегося движения и маскировки рандомизированными паттернами совпадают, на уровне отдельных экспрессий их различия, как правило, значимы и носят разнонаправленный характер. Оценки экспрессий в условиях кажущейся динамики отличаются от распознавания отдельных срезов экспрессивных состояний и тогда, когда они находятся под воздействием рандомизированных паттернов. Как и реальное, кажущееся движение обладает особым качеством, порождаемым собственной временной структурой.

Экспозиция экспрессий в контексте стробоскопической стимуляции моделирует начальный этап перцептогенеза, когда образ лица плохо дифференцирован, нестабилен и легко подвержен разрушению. Проявляясь на ранних фазах этого процесса, жесты головы, сдвиги изображения либо смещения элементов лица становятся предметом внимания и «загораживают» признаки экспрессии (гнева, печали, страха). В отсутствие этих движений доминантные признаки, особенно, в области рта, распознаются более эффективно. В отличие от стробоскопической экспозиции прямая и обратная маскировка прерывает перцептогенез выражения лица: оно воспринимается в обобщенной форме, а выделение частных мимических признаков затруднено. При изолированной экспозиции лица естественный ход перцептогенеза не меняется; он совершается оптимальным путем, позволяя наблюдателю мгновенно ориентироваться как на общее впечатление об экспрессии, так и на изменения мимики в отдельных зонах лица; точность распознавания эмоционального выражения достигает апогея.

Полученные результаты подтвердили факт достаточности для эффективного восприятия статической информации о сильных мимических проявлениях, распространив его на микроэкспрессии лица. Это позволяет надеяться, что в условиях ограничения статической информации (слабой экспрессии, отсутствия деталей или контура лица, нечеткости его изображения, повороте и т. п.) положительное влияние стробоскопического движения на точность распознавания эмоциональных состояний будет заметно.

Несомненный интерес вызывает временная структура кажущегося изменения экспрессий и ее роль в восприятии эмоций. В данном исследовании использовался простейший линейный вариант этой структуры, подобный компьютерному морфингу лица. Сохранятся ли результаты описанного эксперимента в тех случаях, когда в качестве опорных изображений будут использованы не только крайние состояния, например, «спокойствие-радость», но и промежуточные «срезы» эмоциональных выражений? Целесообразно сравнить две ситуации: в одной промежуточные «срезы» соответствуют переходным изображениям, сгенерированным компьютером, в другой - естественному переходу выражения лица от эмоции к эмоции. Трансформация, в частности, инверсия временной структуры экспрессий, может привести к неожиданной феноменологии восприятия.