Размещено на http://www.allbest.ru/

О СОЗДАНИИ ПРОГРАММНОГО КОМПЛЕКСА ДЛЯ РАСПОЗНАВАНИЯ ЭМОЦИЙ С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ

Пак Гу Вон

В статье кратко описывается анализ систем распознавания эмоций с применением методов машинного обучения, находящихся в открытом доступе, в рамках курсового проекта по дисциплине Обучающие Технические Системы "Machine Learning". Научный руководитель: к.т.н., доц. Воронов В.И..

В текущее время определение эмоционального состояния человека обрело высокую важность и может использоваться для решения следующих задач:

- Определение агрессивно настроенных людей;

- Проведение психологической диагностики;

- Тестирование и оценка рекламных роликов или нового продукта по эмоциональной реакции фокус-группы.

Эффективным решением данных задач является использование автоматизированных программных средств распознавания эмоций.

Целью данной статьи является анализ работы приложений по распознаванию эмоций с использованием методов машинного обучения на примере Neurobotics EmoDetect и Emotion API Microsoft Cognitive Services.

Распознавание эмоций

машинный обучение распознавание эмоция

Эмоция - психический процесс средней продолжительности, отражающий субъективное оценочное отношение к существующим или возможным ситуациям.

Все эмоции характеризуются валентностью (тоном), т. е. могут быть положительными или отрицательными, интенсивностью, стеничностью (побуждать к действию или расслаблять), а также содержанием. Различают семь основных видов эмоций: презрение, отвращение, гнев, печаль, счастье, удивление, страх и нейтральное состояние[1].

Для выделения признаков лица исследователи обычно используют так называемые "двигательные единицы лица" (Action Units, AU). Все AU объединены в систему кодирования лицевых движений (Facial Action Coding System, FACS), разработанную американским психологом, специалистом в области психологии эмоций Полом Экманом[2]. Некоторые коды AU представлены в таблице 1.

Таблица 1 Система кодирования лицевых движений (FACS)[2]

В таблице 2 представлена эмоциональная система кодирования лицевых движений (англ. Emotion Facial Action Coding System (EmFACS)) по П. Экману[2]. В данной таблице отображены прототипы эмоций и коды двигательных единиц лица (ДЕ), соответствующих им. Для обозначения интенсивности задействования ДЕ к номеру ДЕ добавляют латинские буквы от A до E, в зависимости от минимальной - максимальной интенсивности движения.

• А Слабо различимое

• B Незначительное

• С Заметное или ярко выраженное

• D Сильное или крайне заметное

• E Предельное

Таблица 2 Эмоциональная система кодирования лицевых движений[2]

Neurobotics EmoDetect

Программный комплекс Neurobotics EmoDetect, основанный на анализе двигательных единиц лица, был разработан с использованием мультиклассификатора, состоящего из вероятностного классификатора, нейронной сети и набора логических правил[3].

При разработке системы распознавания проводилась нормировка признаков двух видов: относительно опорного кадра и по диапазону значений. При нормировке относительно опорного кадра за признаки принимаются усредненные значения признаков для нескольких имеющихся в базе изображений нейтрального выражения лица субъекта. Нормировку по диапазону значений выполняют для приведения признаков к единой шкале[4]. После нормировки признаков на вход вероятностного классификатора и нейронной сети подаются 20 признаков-маркеров, представленных в таблице 3.

Таблица 3 Признаки лица и связанные с ними AU[4]

В том случае, когда полученные результаты двух классификаторов не однозначны, набор логических правил разрешает спорную ситуацию.

Выходными данными приложения являются шесть показателей

эмоций: страх, радость, удивление, гнев, отвращение, грусть и нейтральное состояние.

Cognitive Emotion

Cognitive Emotion - когнитивный сервис распознавания эмоций от Microsoft. Данная программа принимает изображение в качестве входных данных и возвращает набор эмоций для каждого лица на изображении, ограничивающую рамку лица от Cognitive Face. Результатом работы программы являются показатели для каждого вида эмоции, сумма которых равна 1[5].

Тестирование работы программ для распознавания эмоций

Автором статьи протестированы рассматриваемые приложения на примере изображения мужчины.

Neurobotics EmoDetect.

Рассмотрим работу программы Neurobotics EmoDetect, предварительно подав на вход изображение для калибровки.

Размещено на http://www.allbest.ru/

Рисунок 1. Вводное изображение (а); изображение для распознавания эмоции (б); результаты распознавания EmoDetect.

На рисунке 1а отображено вводное изображение, предназначенное для определения нейтрального состояния. После его анализа получен результат выбранного изображения (рисунок 1б). Доля каждой эмоции представлена на рисунке 1 в. Microsoft Cognitive Emotion

На рисунке 2 отображены результаты программы, разработанной Microsoft, Cognitive Emotion.

Рисунок 2. Результаты распознавания Cognitive Emotion.

В правой части представлены данные о квадратной области, обозначающей положение лица (координаты левого верхнего угла, ширина и высота рамки). В следующем блоке отображены показатели для семи видов эмоций и нейтрального состояния. Для более наглядного вида результирующие данные представлены графически на самом изображении.

Аналитический вывод

На рассматриваемом изображении автор статьи проанализировал «действующие единицы лица» и получил следующие результаты:

• Односторонняя приподнятая верхняя губа (Код AU: 10C)

• Приподнят уголок губы (Код AU: 12D)

• Ямочка на щеке (Код AU: 14D)

Таким образом, в соответствии с таблицей 2 сделан вывод, что превалирующая эмоция - презрение.

Анализ результатов

Результаты работы программ и аналитический вывод вынесены в таблицу 4.

Таблица 4 Результаты распознавания эмоций на тренировочном примере

Оба приложения показали, что нейтральное состояние преобладает над остальными эмоциями. Вторым по величине показателем являются страх (EmoDetect) и презрение (Cognitive Emotion). Опираясь на аналитический вывод автора статьи можно сказать, что программный комплекс от Microsoft обладает более точным прогнозированием в отличие от EmoDetect, но преобладающая эмоция была выбрано неверно. В связи с этим было принято решение о разработке собственного программного комплекса для распознавания эмоций.

Список литературы

1. https://ru.wikipedia.org/wiki/Эмоция

2. Ekman P., Friesen W.V., Hager J.C. - Facial Acton Coding System. The Manual. Research Nexus division of Network Information Research Corporation Publ., 2002.

3. http://neurobotics.ru/phychophysiology/emodetect - официальный сайт Neurobotics EmoDetect

4. Бобе А.С., Конышев Д.В., Воротников С.А. Система распознавания базовых эмоций на основе анализа двигательных единиц лица. Инженерный журнал: наука и инновации, 2016, вып. 9.

5. https://www.microsoft.com/cognitive-services - официальный сайт когнитивных сервисов компании Microsoft.

6. Заболеева-Зотова А.В. Развитие системы автоматизированного определения эмоций и возможные сферы применения. Открытое образование, 2011, № 2, с. 59-62

7. Князев Б.А., Гапанюк Ю.Е. Распознавание аномального поведения человека по его эмоциональному состоянию и уровню напряженности с использованием экспертных правил. Инженерный Вестник, 2013, с. 509-524.

8. Tariq U., Lin K., Li Z., Zhou Z., Wang Z., Le V., Huang T.S., Lv X., Han T.X. Emotion Recognition from an Ensemble of Features. Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions, 2012, vol. 42 (4), pp. 1017- 1026.

9. https://www.microsoft.com/cognitive-services/en-us/Emotionapi/documentation - документация о программах распознавания эмоций на официальном сайте Microsoft.

Размещено на Allbest.ru