Размещено на http://www.allbest.ru/

Современные технологии трансформации изображений в изучении восприятия человека по выражению его лица

Дивеев Д.А., Центр экспериментальной психологии МГППУ, Москва ХОЗЕ Е. Г., Центр экспериментальной психологии МГППУ, Москва

MODERN TECHNOLOGICAL IMAGE TRANSFORMATION IN THE STUDY OF PERCEPTION OF FACIAL EXPRESSION OF A PERSON

DIVEEV D.A., Center of Experimental Psychology, MCUPE, Moscow

KHOZE E.G., Center of Experimental Psychology, MCUPE, Moscow

In this article we take into consideration the application of modern computer graphics technology of transformations of images in psychological research. The paper presents the description of various methods of computer graphics: morphing, warping, prototyping, caricaturing, model of morphing synthesis of 3D images used for the transformation of attributes and the construction of various facial expressions, as well as the description of psychological studies that demonstrate the creation and further use of simulated human facial expressions.

Keywords: perception, computer graphics, morphing images, warping images, prototyping, caricaturing.

В данной работе рассматриваются вопросы применения современных компьютерных графических технологий преобразования изображений в психологических исследованиях, приводится описание различных методов компьютерной графики: морфинга, варпинга, прототипирования, карикатурирования, модели морфируемого синтеза 3D изображений, использующихся для трансформации признаков и конструирования различных выражений лица человека, а также психологических исследований, демонстрирующих создание и дальнейшее использование синтетических (искусственно созданных) выражений лица человека.

Ключевые слова: восприятие, компьютерная графика, морфинг изображений, варпинг изображений, прототипирование, карикатурирование.

В настоящее время при изучении психологических особенностей человека по выражению его лица все чаще используются, особенно в экспериментальной психологии, компьютерные графические технологии, программы для работы с изображениями. На наш взгляд, это обусловлено несколькими причинами. С одной стороны, компьютерные программы позволяют оперировать исходным фотоизображением и создавать его новые модификации, давая возможность экспериментатору синтезировать оригинальные выражения лица человека. Использование синтетических фотоизображений при изучении восприятия психологических особенностей человека по выражению его лица открывает широкие возможности перед исследователями. Например, изучение категориальности восприятия экспрессий осуществляется путем создания с помощью техники морфинга переходного ряда фотоизображений лица человека между двумя исходными, выраженными базовыми эмоциями (Жегалло, 2007; Etcoff, Magee,1992; Calder et al., 1996). Для изучения привлекательности человека часто используется техника прототипирования (Вгаun еt аl, 2001; Thornhill, Gangestad, 1993). В современных исследованиях также довольно часто применяется процедура инверсии лица, как, впрочем, и создание композитного лица - лица, сконструированного из различных частей, когда верхняя половина принадлежит одному человеку, а нижняя - другому (Penton-Voak at al., 2006). С другой стороны, создание стимульного материала становится более доступным, открывает возможности для самостоятельного конструирования при помощи специальных программ необходимых для исследований изображений.

Целью данной статьи является обзор методов применяемой в современных психологических экспериментальных исследованиях компьютерной графики, на основе которых разрабатываются оригинальные методики, позволяющие точнее и глубже изучать индивидуально-психологические особенности личности (Болдырев, 2006; Дивеев, 2009), эмоциональные состояния человека (Жегалло, 2007; Хозе, 2008), его привлекательность и т. д.

По способам задания изображений компьютерную графику можно разделить на две категории: 1) двухмерную компьютерную графику (2D), которая классифицируется по типу представления графической информации и следующими из этого алгоритмами обработки изображений; обычно ее разделяют на векторную, растровую и фрактальную (Петров, Молочков, 2003); 2) трехмерную компьютерную графику (ЗD), которая оперирует с объектами в трехмерном пространстве; в этом случае результаты представляют собой объемную картинку. Этот вид графики широко используется в создании кинофильмов и компьютерных игр и представляет собой перспективное методическое направление, в особенности в изучении восприятия выражений лица человека.

Морфинг изображений

Морфинг (morphing) - технология компьютерной графики, создающая плавный переходный ряд изображений от одного объекта к другому. Сам термин происходит от слова metamorphosing - проведение преобразования, в котором один образ постепенно преобразуется в другой. Данный метод впервые был использован в 1990 году для создания спецэффектов в киноиндустрии. С тех пор морфирование изображений получило широкое применение в различных областях деятельности человека. Существует несколько разновидностей морфинга, в том числе линейный, сегментный и взвешенный (Флеминг, Доббс, 2002).

Линейный морфинг. Процедура линейного морфинга позволяет из пары исходных 2D изображений А и В построить третье, обладающее в заданной степени свойствами каждого из исходных изображений. Для решения этой задачи на исходных изображениях определяется набор взаимно соответствующих ключевых точек, образующих триангуляционную сетку. В случае когда исходные изображения представляют собой лица, ключевые точки расставляются в соответствии с их анатомическим устройством, например, в соответствии с расположением глаз, бровей, рта, носа, ушей и т. д. (рис. 1).

Размещено на http://www.allbest.ru/

Рис.1. Морфинг фотоизображений лица

На основе построенной сетки рассчитывается отображение, трансформирующее каждую ячейку сетки изображения А в соответствующую ячейку сетки изображения В и таким образом перестраивающее изображение А в изображение В, т. е. каждой точке изображения А (х1,у1) можно поставить в соответствие точку изображения В (х2,y2). С помощью уравнений, описывающих процесс трансформации, рассчитывается позиция и яркость точек промежуточного изображения, соответствующих той или иной степени завершенности процесса. Если, например, процесс трансформации произведен на 30 %, то промежуточное

изображение будет представлять собой морф, состоящий из 70 % А и 30 % В. В результате при достаточно подробном наборе ключевых точек процедура морфинга позволяет построить плавный переходный ряд заданной длины между А и В, характеризующийся постоянной степенью визуального различия между соседними изображениями.

Современные исследования восприятия экспрессии лица (Жегалло, 2007; Calder et al., 1996) используют описанную выше базовую технику морфинга. В то же время данная процедура обладает целым рядом дополнительных, представляющих определенный интерес возможностей, как, например, применение техники нелинейных сеток, когда ключевые точки вместо отрезков прямых соединяются кривыми Безье, что в результате позволит существенно улучшить качество морфинга при одновременном сокращении числа необходимых ключевых точек.

Размещено на http://www.allbest.ru/

Взвешенный морфинг позволяет трансформировать одну базовую модель сразу в две морфинг-мишени. Главное достоинство этой технологии состоит в возможности осуществления синхронизации движения губ натурщика как с его речью, так и с мимикой лица в целом. Рассмотрим принципиальное отличие взвешенного морфинга от других его видов. При морфинге базового объекта А на 50 % с помощью целевого объекта - плачущий рот (с взвешенным коэффициентом 20 %) получается верхняя модель колонки В (рис. 2). При обработке этого же базового объекта еще на 50 %, но с другим целевым объектом - смеющийся рот (с коэффициентом 70 %) - получается нижняя модель столбца В.

Инструментарий взвешенного морфинга позволяет для каждого целевого объекта устанавливать свои весовые коэффициенты или процент морфинга, создавая таким образом множество вариантов мишеней на основе нескольких целевых объектов. Результат совмещения обоих «портретов» представлен в колонке С.

Если требуется создание каких-либо иных вариантов изображения того же лица, необходимо лишь изменить процентное соотношение «вкладов» разных морфинг-мишеней в окончаРис. 2. Взвешенный морфинг тельное изображение: 20/80, 60/40 и т. д. Сумма процентов не должна превышать 100, хотя во многих программах данное условие можно нарушить и получить весьма интересные результаты. Таким образом, взвешенный морфинг позволяет создавать из одного базового объекта несколько измененных с последующим созданием необходимого выражения лица.

Варпинг изображений

Варпинг (warping) - технология варпинга аналогична сегментному морфингу и в каком-то смысле тождественна последнему, но отличается тем, что не связана жестко с набором целевых объектов (рот, глаза, нос и т. д.). При использовании варпинга, так же как и при морфинге, оператор (исследователь) формирует лишь опорные фигуры или задает ключевые точки, которые позволяют компьютеру выполнить правильный переход. Используя варпинг (вaрп-морфинг), можно заданным образом изменить исходное изображение, например, наложить на лицо не только прямую (сегментный морфинг), но и кривую

улыбку, расширить или сузить глаза, изменить внутреннюю структуру частей лица непривычным способом и т. д. Технология варпинга дает возможность создавать оригинальный стимульный материал, не прибегая к кропотливым поискам подходящих моделей, например, моделировать лица с определенными признаками или конструировать химерические лица или необычные композитные лица.

В методике, направленной на изучение восприятия эмоциональных состояний человека (рис. 3), с использованием технологии варпинга трансформировались энцефалометрические индексы внутренней структуры лица: ширина глаз, высота глаз или величина лба, длина носа, высота рта или величина подбородка, которые и выступили в роли основных варьируемых переменных (Хозе, 2008). Трансформации лиц обеспечивались согласно правилам преобразований схематических изображений в экспериментах Э. Брунсвика (Brunswik, 1956; Brunswik, Reiter, 1937). Согласно его исследованиям, графическая схема, максимально соответствующая экспрессии радости -F3, характеризуется высоким лбом, широким расположением глаз, средним расположением верхнего края носа и укороченным его кончиком, верхним расположением рта (см. рис. 3,a). Графическая схема, максимально соответствующая экспрессии грусти - T7, характеризуется низким лбом, узким расположением глаз, удлиненным кончиком носа и низким расположением рта (см. рис. 3,b).

Размещено на http://www.allbest.ru/

Рис. 3. Схематические лица, используемые в экспериментах Э. Брунсвика: радость - F3, грусть - T7.

Путем соответствующей трансформации базового фотоизображения нейтрального лица 041h из базы фотоэталонов (POFA) П. Экмана (рис. 4,a) были построены изображения псевдорадости (см. рис. 4,b) и псевдогрусти (см. рис. 4,c). При построении изображений решено было ограничиться 70 % варпингом в силу того, что дальнейшие модификации придавали бы лицам неестественные с конституциональной точки зрения соотношения частей.

Размещено на http://www.allbest.ru/

нейтральное псевдорадость псевдогрусть a b c

Рис. 4. Стимульный материал метода исследования восприятия эмоциональных состояний человека. Варпинг внутренней структуры лица (a - исходное изображение, b - трансформация, порождающая впечатление радости, c - трансформация, порождающая впечатление грусти)

Полученный стимульный материал позволил решить ряд задач, в число которых входит определение роли структуры лица в порождении впечатлений об экспрессиях и об индивидуально-психологических особенностях их носителя (Барабанщиков, Жегалло, Хозе, 2009).

Прототипирование изображений

Прототипирование (prototyping) - технология компьютерной графики, создающая изображение с усредненными характеристиками из множества заданных объектов. Итоговое изображение общего или усредненного типа лица выступает в качестве прототипа той или иной группы. Такими группами могут быть, например, все мужчины, или мужчины одной семьи, или представители разных этносов, или прототип одного человека, выделенный из разных снимков его лица, сделанных еще и в разные годы. Одним из первых, кто разрабатывал идею прототипа, был Френсис Гальтон. Во второй половине XIX столетия он делал фотоснимки и накладывал их друг на друга, чтобы получить усредненный тип лица (рис. 5,а). Сейчас мы можем достичь лучшего результата, используя компьютерную графику (см. рис. 5,б). На рис. 5,в и 5,г изображены прототипы красоты мужского и женского лица, специально созданные из фотоизображений лиц тех натурщиков, которым испытуемые поставили высокий балл по шкале привлекательности (Вгаun еt аl., 2001).

Использование разных видов прототипов позволяет изучать различия средних характеристик общих групп, например, чем именно отличаются друг от друга лица мужчин и женщин.

Размещено на http://www.allbest.ru/

а б в г

Рис. 5. Прототипы лица: а - Гальтона, б - компьютерный, в - красоты мужской, г - красоты женской

Возможности компьютерной графики также позволяют, сохраняя индивидуальные свойства лица натурщика, изменять различные его характеристики, такие, как возраст, привлекательность, маскулинность-феминность, «детскость лица» и многие другие. На рис. 6 изображено изменение этнической принадлежности натурщика с сохранением его индивидуальных отличий.

Карикатурирование изображений

Карикатурирование (caricaturing)- это вид преобразования, в котором преувеличиваются идиосинкразические черты лица, чтобы подчеркнуть характерные для этого человека отличительные признаки и таким образом сделать его лицо полностью не похожим

Размещено на http://www.allbest.ru/

1 2 3 4 5

Рис. 6. Изменение этнической принадлежности с сохранением индивидуальных отличий, где 1 - южноазиатский прототип лица, 3 - изначальное лицо, 2 и 4 - созданное лицо, 5 - афроамериканский прототип лица на другие.

Впервые компьютерную технологию создания карикатур применила Сьюзан Бреннан (Вrеnnan, 1985). Та же технология применяется и для создания прототипических лиц. На фотоизображение наносится набор ключевых точек, прорисовывающих основные структуры лица. Эти точки соединяют, и образуется форма лица, состоящая из линий. Если снять такой же набор точек с других лиц, а потом все их соединить, получится линейная форма усредненного типа лица. Чтобы создать карикатуру, необходимо исказить и преувеличить расположение нетипичных структур лица. Эксперименты с карикатурными лицами кинозвезд показали, что карикатуры распознаются быстрее, чем нормальные лица. Кроме того, карикатурному лицу отдается предпочтение как наиболее похожему на его обладателя при выборе из двух альтернатив - карикатурного и естественного (Веnson, Perrett, 1991).

Если карикатуры легко распознаются, то антикарикатуры, наоборот, менее узнаваемы (Rhode еt аl.,1987). Создавая антикарикатуры лица, исследователь приближает точки, отвечающие за его особенность, к точкам прототипического лица. Возможно создание изображений антилица, т. е. лица, имеющего противоположные особенности по отношению к изначальному. Толстые губы преобразуются в тонкие, маленькие глаза - в большие и т. д. Так же можно конструировать «лунное» лицо и делать многие другие преобразования.

Трехмерная графика

Модель морфируемого синтеза 3D изображений. В последние 15 лет наблюдается существенный прогресс в создании интерактивных 3D изображений. В современной компьютерной графике трехмерное изображение рассматривается как комбинация объемной полигональной сетки и натянутой на нее текстуры, описывающей цвет изображения. Это означает, что техники морфинга и в особенности варпинга естественным образом применимы для создания трехмерных изображений. Использование достижений в разработках трехмерной графики представляет собой перспективное направление в психологических исследованиях человека по выражению его лица.

На рис. 7 показана процедура трехмерного варпинга лица голливудской кинозвезды Тома Хэнкса с помощью компьютерной модели морфируемого синтеза 3D изображений лица (Вlаnz, Vetter, 1999). Она позволяет из простого 2D изображения лица (1) создать его 3D форму (2) и текстуру (3). Форма и текстура прорисовываются на базе данных 3D лиц, созданной путем трехмерного лазерного сканирования, которое осуществляется следующим образом: человек, лицо которого будет сканироваться, садится на вращающийся стул, который находится перед пучком лазерного света. В лазерном световом потоке отражаются все подробности формы и текстуры лица человека и записываются таким образом, что лицо предстает в виде большого числа лазерных слепков-профилей. Опорные точки соседних профилей соединяют вместе с образованием каркасной модели с полигональной сеткой, которая графически представляет собой объемные криволинейные поверхности головы и лица человека. Каждой точке присваивается коэффициент, величина которого определяет степень ее влияния на часть поверхности, проходящей вблизи точки. От взаимного расположения точек и величины коэффициентов зависит форма и «гладкость» поверхности в целом. Конструируемое лицо содержит набор таких модельных коэффициентов, на основе которых путем поточечного сопоставления в векторном пространстве проб форм и текстур создаются новые естественно воспринимаемые лица. Модель лица, экстрагированную из 2D изображения, можно вращать или преобразовывать в необходимом ракурсе. Так, лицо Т. Хэнкса трансформировалось в полное (4) и худое (5), а также приобретало нахмуренное выражение (6) и веселое (7).

компьютерный психологический варпинг

Рис. 7. Процедура варпинга в модели морфируемого синтеза 3D изображений лица, где 1 - исходное изображение, 2 - 3D форма лица, 3 - текстура лица, 4-7 - преобразованное лицо (4 - полное, 5 - худое, 6 - нахмуренное, 7 - улыбающееся)

Программное обеспечение

Основную долю рынка программных средств обработки трехмерной графики занимают три пакета: ЗD Studio Мах (компании Кinetiх), Softimage ЗD (компании Microsoft) и Мауа (консорциум известных компаний Аlias, Wavefront, ТD1). На сегодняшний день Мауа является наиболее передовым пакетом в классе средств создания и обработки трехмерной графики для персональных компьютеров. Что касается программ для работы с 2D изображениями, то их представлено немногим более десятка. Самые известные из них: Abrosoft Fantamorph, FunMorph, MorphMan, WinMorph, Morph Buster, Magic Morph, Morpheus, Morpher и др.

Использование трехмерных изображений головы человека в психологических исследованиях крайне перспективно, но сдерживается рядом факторов. Техника, позволяющая осуществлять непосредственное ЗD сканирование, крайне дорога, а процедуры реконструкции ЗD моделей головы по фотоизображениям анфас и в профиль не позволяют достичь портретного сходства с моделью. Апробированные ЗD модели головы человека с базовыми экспрессиями на сегодняшний день отсутствуют, в то время как процедуры наложения экспрессии на имеющуюся ЗD модель, реализованные в современных компьютерных программах (Роser, ЗD Ме Now), приводят к видимым анатомическим искажениям. Можно предположить, что дальнейший прогресс в области изучения восприятия выражений лица будет связан с использованием анатомически корректных ЗD моделей головы человека, включающих описание висцерального черепа, облегающих его мышечных и кожных покровов.

Заключение

Рассмотренные методы компьютерной графики значительно облегчают изучение психологических особенностей и состояний человека по выражению его лица. Моделирование необходимых выражений лица позволяет выявлять новые закономерности процесса межличностного восприятия. С практической точки зрения развитие компьютерной графики стимулирует появление более адекватных и удобных методов реконструкции лица, используемых, например, в криминалистике, а также обладающих возможностью манипуляций его частями, изменений соотношений между ними, масштабных уточнений с целью создания более реалистичного изображения лица.

Литература