Применение нейронных сетей в распознавании эмоционального состояния человека
Эмоции как физиологический ответ организма на воздействия раздражителей. Анализ инноваций по распознаванию эмоций с применением нейронных сетей, находящихся в открытом доступе (на примере на примере Microsoft Cognitive Emotion и eMotion Software).
| Рубрика | Психология |
| Вид | статья |
| Язык | русский |
| Дата добавления | 25.02.2019 |
| Размер файла | 719,8 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Московский Технический Университет Связи и Информатики
Применение нейронных сетей в распознавании эмоционального состояния человека
Фролов А.Ю.
Основное содержание исследования
В статье проведен анализ существующих разработок и инноваций по распознаванию эмоций с применением нейронных сетей, находящихся в открытом доступе, в рамках курсового проекта по дисциплине "ML. ОТС". Эмоции играют очень большую роль в повседневной жизни и определение выражения лица или эмоционального состояния человека обретает все более высокую важность и может использоваться при решении множества задач:
• Проведение психологической диагностики;
• Обнаружение обмана;
• В средствах принятия решений;
• Оценка и тестирование рекламных роликов или нового продукта по эмоциональной реакции фокус-группы;
• Мониторинг стресса и усталости;
• Определение агрессивно и негативно настроенных людей.
Таким образом машинное понимание мимики и эмоций было бы очень полезно для совершенно разных областей.
Использование автоматизированных программных средств для распознавания эмоций является эффективным решением данных задач.
Целью данной статьи является анализ работы приложений по распознаванию эмоций с использованием нейронных сетей на примере на примере Microsoft Cognitive Emotion и eMotion Software.
СКЛиД и распознавание эмоций
Эмоции - естественный физиологический ответ человеческого организма на воздействия внутренних и внешних раздражителей, связанные с удовлетворением или неудовлетворением потребностей.
Выделяют семь базовых видов эмоций: радость, печаль, презрение, отвращение, удивление, страх, злость, а также нейтральное состояние [1].
Существует система кодирования лицевых движений (СКЛиД, Facial Action Coding System, FACS), которая представляет собой систему для классификации выражений лица человека, разработанную специалистом в области психологии эмоций Полом Экманом [2].
Исследователи добились определённых успехов в использовании компьютеров для автоматической идентификации кодов СКЛиД, и тем самым быстрого определения типов эмоций [2].
Для выделения признаков лица используют двигательные единицы (ДЕ, Action Units, AU), которые представляют собой основные движения, совершаемые отдельными мышцами или группой мышц [2]. Коды ДЕ представлены ниже [3]:
1 - Приподнята внутренняя бровь; ? 15 - Опущен уголок губы;
2 - Приподнята внешняя бровь; ? 16 - Опущена нижняя губа;
4 - Опущена бровь; ? 17 - Приподнят подбородок;
5 - Приподнято верхнее веко; ? 18 - Сморщены губы;
6 - Приподнята щека; ? 20 - Растянуты губы;
7 - Натянуты веки; ? 22 - Губы воронкой;
8 - Губы навстречу друг другу; ? 23 - Натянуты губы;
9 - Сморщен нос; ? 24 - Губы сжаты;
10 - Приподнята верхняя губа; ? 25 - Губы разведены;
11 - Углублена носогубная складка; ? 26 - Опущена челюсть;
12 - Приподнят уголок губы; ? 27 - Широко открыт рот;
13 - Остро приподнят уголок губы; ? 54 - Голова вниз;
14 - Ямочка на щеке; ? 64 - Глаза вниз;
Далее все ДЕ объединяются в СКЛиД. В таблице 1 представлена эмоциональная СКЛиД, в которой отображены коды ДЕ и прототипы лица соответствующих эмоций. Для обозначения интенсивности задействования ДЕ к номеру ДЕ добавляют латинские буквы от A до E, в зависимости от минимальной - максимальной интенсивности движения [2, 4].
• А - Слабо различимое;
• B - Незначительное;
• С - Заметное или ярко выраженное;
• D - Сильное или крайне заметное;
• E - Предельное;
Таблица 1 Эмоциональная система кодирования лицевых движений [2, 4]
|
Эмоция |
Прототип |
|
|
Удивление |
1+2+5B+26; 1+2+5B+27; |
|
|
Страх |
1+2+4+5*+20*+25, 26, или 27; 1+2+4+5*+25, 26, или 27; |
|
|
Радость |
6+12*; 12C/D; |
|
|
Печаль |
1+4+11+15B с/без 54+64; 1+4+15* с/без 54+64; 6+15* с/без 54+64; |
|
|
Отвращение |
9; 9+16+15+26; 9+17; 10*; 10*+16+25, 26; 10+17; |
|
|
Презрение |
9 или одностороннее 10; 12; 14; |
|
|
Злость |
4+5*+7+10*+22+23+25, 26; 4+5*+7+10*+23+25, 26; 4+5*+7+23+25, 26; 4+5*+7+17+23, 24; 4+5*+7+23, 24; |
Программа eMotion Software
Компьютерная программная система, способная автоматически анализировать в режиме реального времени выражения лиц людей в видеороликах. Распознаются эмоциональные категории, такие как радость, удивление, грусть, страх, гнев и отвращение. Система работает в режиме реального времени на ПК и веб-камере. Кроме того, она нечувствительна к изменениям освещения, движениям головы, частичной окклюзии лица (например, временно перемещая руку перед лицом) [5].
Программа Microsoft Cognitive Emotion
Microsoft Cognitive Emotion - приложение для распознавания эмоций от одной из ведущих IT-компаний в мире. Имеет возможность подачи на вход, как фото, так и видео материалов. Данный продукт использует возможности Microsoft Cognitive Face для распознавания человеческого лица, который на выходе отображает рамку вокруг лица. Также присутствуют показатели семи основных эмоций и нейтрального состояния. Сумма всех коэффициентов равна единице [6].
Тестирование работы программ для распознавания эмоций
Протестируем рассматриваемые приложения на примере собственных изображений и видеопотока с Web - камеры.
Microsoft Cognitive Emotion
Рассмотрим работу программы Microsoft Cognitive Emotion, на вход подав изображения.
нейронная сеть распознавание эмоция
Рис.1. Результат распознавания эмоции "Печаль"
Рис.2. Результат распознавания эмоции "Радость"
На рисунке 1 и 2 показаны изображения, которые были поданы на вход. После анализа был получен результат данных изображений, представляющий собой показатели для каждого вида эмоции, сумма которых в итоге равна 1. Поле, находящееся справа предоставляет пользователю информацию, содержащуюся в области, обведенную квадратом, о положении лица, т.е. координаты, и о показателях для всех видов эмоций.
eMotion Software
Рассмотрим работу следующей программы eMotion Software, снимая видео с Web - камеры в режиме реального времени.
Рис.3. Результат распознавания эмоции "Печаль"
Рис.4. Результат распознавания эмоции "Радость"
На рисунке 3 и 4 изображены результаты программы. Справа от изображения выведены 6 видов эмоций и нейтральное состояние, которые в процессе меняются в реальном времени, шкала заполнения показывает тот или иной вид эмоции. Ниже строится график изменения положительных и отрицательных эмоций.
Результаты
Результаты работы программ вынесены в таблицу 2.
Таблица 2 Результаты распознавания эмоций на рассматриваемых примерах
|
Эмоция |
Microsoft Cognitive Emotion [6] |
eMotion Software [5] |
|||
|
Номер рисунка |
Рис.1 |
Рис.2 |
Рис.3 |
Рис.4 |
|
|
Нейтральное состояние |
0,00011 |
0,02174 |
0,00 |
0,00 |
|
|
Радость |
0,00001 |
0,97657 |
0,00 |
0,87 |
|
|
Удивление |
0,00008 |
0,00008 |
1,00 |
0,00 |
|
|
Злость |
0,00011 |
0,00000 |
0,00 |
0,00 |
|
|
Отвращение |
0,00090 |
0,00001 |
0,00 |
0,13 |
|
|
Страх |
0,00008 |
0,00000 |
0,00 |
0,00 |
|
|
Грусть |
0,90267 |
0,00045 |
0,00 |
0,00 |
|
|
Презрение |
0,02928 |
0,00114 |
- |
- |
Приложение eMotion Software на рис.3 определило эмоцию "Удивление" в то время, как по таблице 1, когда опущены уголки губ, и приподнята внутренняя часть брови - это "Печаль". К тому же данное приложение не умеет распознавать эмоцию "Презрение". Приложение от Microsoft лучше справилось с данной задачей, но, к сожалению, данное приложение работает только с изображениями и записанными видео.
Таким образом было принято решение о разработке своего программного обеспечения по распознаванию эмоционального состояния человека на микрокомпьютере Ruspberry Pi 3 с подключенной к нему камерой, которая будет считывать изображение в режиме реального времени.
Список литературы
1. https: // ru. wikipedia.org/wiki/Эмоция.
2. https: // ru-m. wiki. ng/wiki/Система_кодирования_лицевых_движений.
3. http://web. cs. wpi.edu/~matt/courses/cs563/talks/face_anim/ekman.html - Эмоциональная система кодирования лицевых движений.
4. Ekman P., Friesen W. V., Hager J. C. - Facial Acton Coding System. The Manual. Research Nexus division of Network Information Research Corporation Publ., 2002.
5. http://www.visual-recognition. nl/eMotion.html - программа eMotion Software.
6. https: // azure. microsoft.com/en-us/services/cognitive-services/emotion/ - программа Microsoft Cognitive Emotion.
7. Бобе А.С., Конышев Д.В., Воротников С.А. Система распознавания базовых эмоций на основе анализа двигательных единиц лица. Инженерный журнал: наука и инновации, 2016, вып.9.
8. https: // www.microsoft.com/cognitive-services - официальный сайт сервисов компании Microsoft.
Размещено на Allbest.ru
...Подобные документы
Характеристика и функции эмоций. Эмоции и деятельность как взаимосвязанные и взаимообусловленные психические процессы. Влияние эмоций на познавательную деятельность человека. Оценка эмоционального состояния как важный аспект в изучении эмоций личности.
курсовая работа [51,4 K], добавлен 13.08.2010Эмоции, их сущность и характеристика. Акт возникновения эмоции с позиции теории Джемса-Ланге. Характеристика положительных и отрицательных эмоций. Взаимосвязь чувств и эмоции в личности человека. Цели и задачи эмоционального воспитания человека.
реферат [36,6 K], добавлен 19.11.2015Сущность эмоций. Понятие и классификация эмоций. Теории эмоций. Анатомические и физиологические основы эмоций. Функции эмоций. Эмоции человека и эмоции животного. Происхождение эмоций - от животного к человеку. Мотивация человека и животного.
реферат [46,7 K], добавлен 04.10.2004Общая характеристика эмоциональной сферы человека. Определение эмоционального состояния. Основные виды эмоций, их роль в развитии человека. Характеристика факторов, вызывающих эмоции. Положительное и отрицательное влияние эмоций и чувств на человека.
контрольная работа [61,6 K], добавлен 26.10.2014Характеристика и феноменология эмоций. Уильям Джемс – автор одной из первых физиологических теории эмоции. Центральные нейронные механизмы эмоций. Два класса эмоционального состояния: собственно эмоции и эмоциональные чувства. Составления айсбрейкера.
контрольная работа [799,3 K], добавлен 04.02.2011Виды и роль эмоций в жизни человека. Классификация эмоций по силе длительности и качественным параметрам. Теории эмоций и их содержание. Самооценка эмоциональных состояний. Положительные и отрицательные эмоции. Составляющие компоненты эмоций человека.
презентация [4,3 M], добавлен 23.12.2013Субъективные реакции человека на воздействия внешних и внутренних раздражителей. Эмоциональные зоны человека. Биологическая теория эмоций Анохина. Универсальная природа происхождения эмоций и жестов. Схожесть эмоционально-поведенческих паттернов.
презентация [1,4 M], добавлен 29.11.2015Влияние эмоций на человека и его деятельность. Характеристики эмоционального процесса. Информационная теория эмоций. Павловское направление в изучении высшей нервной деятельности мозга. Возникновение эмоционального напряжения. Мотивирующая роль эмоций.
реферат [36,6 K], добавлен 27.11.2010Эмоции - психологический процесс средней интенсивности. Отличительные черты и формулы эмоций. Особенности и характеристики эмоциональных переживаний. Мимические проявления эмоций. Психологические теории эмоций. Критерии оценки эмоционального отклика.
презентация [2,3 M], добавлен 16.01.2012Эмоции - свойственные каждому из нас психологические реакции. Они обеспечивают нам способность к переживанию и сопереживанию, поддерживают интерес к жизни, к окружающему миру. Физиологические теории эмоций. Когнитивная и мотивационная теории эмоций.
реферат [35,1 K], добавлен 21.06.2010Основные виды и функции эмоций и чувств. Отношение человека к отдельным качествам и свойствам окружающих объектов. Объективная и субъективная действительность. Субъективные реакции человека и животных на воздействие внутренних и внешних раздражителей.
реферат [17,9 K], добавлен 24.02.2012Значение эмоций в жизни человека. Психологические теории эмоций. Теория эмоции как организмического возбуждения. Эволюционная теория Ч. Дарвина. Виды и внутренние компоненты эмоций. Теория когнитивного диссонанса. Информационная теория П.В. Симонова.
курсовая работа [63,0 K], добавлен 10.06.2012Теоретические аспекты нейроинформатики. Этапы проектирования сети. Анализ применения персептрона для прогнозирования поведения человека в конфликтной ситуации. Определение входных и выходных параметров сети. Расчет оптимального количества нейронов.
презентация [4,5 M], добавлен 21.08.2013Роль эмоций, их отличие от чувств и аффектов. Внутренние компоненты эмоций. Теория эмоции как организмического возбуждения. Информационная теория П.В. Симонова. Психологические эмоции в концепции Л.С. Выготского. Альтернатива к теории Джеймса-Ланге.
курсовая работа [41,6 K], добавлен 08.04.2011Что такое эмоции. Развитие эмоций как неотъемлемая часть эволюции. Эмоции и чувства как личностные образования. Чувства как значимый фактор в формировании мотивационной части личности. Психологические теории эмоций. Связь здоровья с эмоциями и чувствами.
реферат [29,2 K], добавлен 07.06.2010Функциональная организация нейронных ансамблей мозга, анализ представлений D. Hebb и А.Б. Когана о механизмах их формирования и функционирования. Осцилляторная активность и функциональное объединение нейронов. Низкочастотные осцилляции в нейронных сетях.
курсовая работа [161,7 K], добавлен 24.08.2015Психические состояния, отражающие в форме переживания позитивное или негативное отношение человека к окружающему миру. Первичные и вторичные эмоции. Расстройства в эмоциональной сфере, патологические состояния. Исследование эмоций в норме и патологии.
презентация [239,6 K], добавлен 06.04.2014Эмоции - свойственные личности психологические состояния. Происхождение эмоций. Функции эмоций и их классификация. Система психологической защиты как условие внутреннего равновесия и как барьер в общении. Формы защиты и характеристика их проявления.
контрольная работа [79,0 K], добавлен 10.11.2008Изучение некоторых существующих теорий эмоций, функции и формы проявления эмоциональных явлений. Анализ классификационной схемы, выделяющей аффекты, эмоции, чувства, настроения. Влияние настроения на организм человека и роль эмоций в нашей жизни.
контрольная работа [42,0 K], добавлен 10.06.2010История возникновения понятия "эмоция" и его значение в наши дни. Врожденные и приобретенные эмоции. Отражательно-оценочная, побудительная, синтезирующая и экспрессивная функции эмоций. Анализ воздействия эмоциональной сферы на коммуникацию человека.
реферат [165,1 K], добавлен 10.11.2014
