Дослідження та розробка програмного блоку розпізнавання емоцій людини

Размещено на http://allbest.ru

Дослідження та розробка програмного блоку розпізнавання емоцій людини

Арсенюк І.Р. Арсенюк Ігор Ростиславович кандидат технічних наук, доцент, доцент кафедри комп'ютерних наук, Вінницький національний технічний університет, м. Вінниця, Денисюк В.О. Денисюк Валерій Олександрович кандидат технічних наук, доцент, доцент кафедри комп'ютерних наук, Вінницький національний технічний університет, м. Вінниця, Зінов'єв Є.В. Зінов'єв Євгеній Вікторович розробник, Товариство з обмеженою відповідальністю "МЕД-СЕРВІС", м. Дніпро



Анотація

Актуальність розробки полягає у тісному зв'язку аналізу та розпізнавання емоцій людини із важливими науковими та практичними завданнями на сучасному етапі розвитку людства. Розробка подібного продукту є важливою у багатьох сферах сучасного суспільства - психологія, відеонагляд, освіта тощо. Аналіз емоцій людей на громадських чи публічних заходах, у громадському транспорту, в умовах надзвичайних ситуацій допоможе визначати підозрілу або панічну поведінку з метою запобігання терористичним загрозам або зменшення негативних наслідків. Також розпізнавання емоцій має прикладне значення під час співбесід, дізнань, опитувань, маркетингових досліджень (наприклад, дослідження раціонального розміщення товарів).

Розпізнавання емоцій під час різноманітних опитувань дає можливість визначити питання (чи частину рекламного ролику), що добре працюють і викликають емоційний відгук людей. Також, розпізнавання емоцій можна ефективно використати у медичній сфері та у сфері освіти, в тому числі і під час дистанційного навчання, яке набуло особливої актуальності в умовах карантину чи військових дій. У дослідженні проаналізовано основні варіанти архітектур згорткових нейронних мереж та доведено доцільність використання глибокої згорткової нейронної мережі для розв'язання задачі розпізнання емоцій.

На відміну від існуючих архітектурних рішень згорткових нейронних мереж для розпізнавання емоцій запропоновано застосувати додатковий проміжний згортковий шар, який дозволяє знизити вимоги до потужності обчислювальних ресурсів без вагомих втрат точності розпізнавання емоцій.

На основі запропонованого рішення розроблено програмний продукт для розпізнавання емоцій людини, що продемонстрував точність 90% на відформатованому наборі даних, та близько 64 % точності у складних випадках (невідформатовані зображення довільної роздільної здатності).

Ключові слова: емоція, розпізнавання емоцій, обличчя людини, нейронна мережа, згорткова нейронна мережа. глибока нейронна мережа.



Abstract

Research and development of software unit for recognition of human emotions

Arseniuk Ihor Rostyslavovich PhD, assistant professor of Computer Sciences Department, Vinnytsia National Technical University, Vinnytsia,

Denysiuk Valerii Olexandrovich PhD, assistant professor of Computer Sciences Department, Vinnytsia National Technical University, Vinnytsia,

Zinoviev Yevgeny Viktorovich developer, "MED-SERVICE" Limited Liability Company, Dnipro

The relevance of the development lies in the close connection of the analysis and recognition of human emotions with important scientific and practical tasks at the current stage of human development. The development of such a product is important in many areas of modern society - psychology, video surveillance, education, etc. The analysis of people's emotions at public or public events, in public transport, in emergency situations will help to identify suspicious or panicky behavior in order to prevent terrorist threats or reduce negative consequences.

Also, recognizing emotions has practical value in interviews, inquiries, surveys, marketing research (for example, research on the rational placement of goods). Recognizing emotions in various surveys makes it possible to determine which questions (or which part of a commercial) work well and evoke an emotional response from people. Also, recognition of emotions can be effectively used in the medical field and in the field of education, including during distance learning, which has become relevant in the conditions of quarantine or military operations.

The study analyzed the main variants of convolutional neural network architectures and proved the feasibility of using a deep convolutional neural network to solve the problem of emotion recognition. In contrast to the existing architectural solutions of convolutional neural networks for emotion recognition, it is proposed to apply an additional intermediate convolutional layer, which allows to reduce the requirements for the power of computing resources without significant losses in the accuracy of emotion recognition. Based on the proposed solution, a software product for recognizing human emotions was developed, which demonstrated 90% accuracy on a formatted dataset, and about 64% accuracy in complex cases (unformatted images of arbitrary resolution).

Keywords: emotion, emotion recognition, human face, neural network, convolutional neural network, deep neural network



Вступ

Постановка проблеми. Актуальність розробки полягає у тісному зв'язку аналізу та розпізнавання емоцій людини із важливими науковими та практичними завданнями на сучасному етапі розвитку людства. Розробка подібного продукту є важливою у багатьох сферах сучасного суспільства - психологія, відеонагляд, освіта тощо.

Аналіз емоцій людей під час громадських чи публічних заходів, у громадському транспорті, в умовах надзвичайних ситуацій допоможе визначати підозрілу або панічну поведінку з метою запобігання терористичним загрозам або зменшення негативних наслідків.

Також розпізнавання емоцій має прикладне значення під час співбесід, дізнань, опитувань, маркетингових досліджень (наприклад, дослідження раціонального розміщення товарів).

Приховування різноманітних емоцій (сумнів, злість, радість, байдужість тощо) під маскою інших емоцій і контрастує з тим, що говорить людина, і можливе для викриття.

Розпізнавання емоцій під час різноманітних опитувань дає можливість визначити питання (чи частину рекламного ролику) які добре працюють і викликають емоційний відгук людей. Також, розпізнавання емоцій можна ефективно використати у медичній сфері та у сфері освіти, у тому числі і під час дистанційного навчання, яке отримало актуальності в умовах карантину чи військових дій.

Метою статті є аналіз та обґрунтування вибору архітектури згорткової нейронної мережі для розпізнавання емоцій людини у неперервному відеопотоці із підвищенням точності без збільшення навантаження на комп'ютер та створення відповідного програмного продукту.

Для цього доцільно: розглянути та проаналізувати існуючі програмні реалізації розв'язання задачі розпізнавання емоцій людини; розробити математичну модель для інформаційної технології розпізнавання емоцій людини; дослідити структуру та алгоритм роботи програмного засобу; реалізувати програмний додаток запропонованої інформаційної технології розпізнавання емоцій людини; здійснити тестування програмного додатку та виконати аналіз отриманих результатів.



Огляд основних методів розв'язання задачі розпізнавання емоцій людини

Можливість якісного аналізу та інтерпретації зображень з'явилась завдяки швидкому зростанню обчислювальної потужності сучасних комп'ютерів. В області розпізнавання зображень вченими окреслено основний підхід - виділення заздалегідь відомих ознак шуканого об'єкту за допомогою розбиття його зображення. Даний підхід реалізовано за допомогою нейронних мереж із можливістю їх навчання та самонавчання. Вже при навчанні на тестовому наборі даних (зображеннях) система виділяє певні ознаки, на базі яких розробляє власні правила класифікації об'єктів. Натепер існує велика кількість наборів даних та достатні обчислювальні потужності для реалізації якісних моделей, що передбачають застосування нейронних мереж [1].

Перед визначенням емоції слід спочатку виділити (розпізнати на зображенні) обличчя людини, а далі розпізнавати контури його складових. Отже, першим і основним кроком у розв'язанні задачі розпізнавання стану обличчя або розпізнавання емоційного стану людини по зображенню його обличчя, спочатку виявляємо розташування обличчя на зображенні зі складною фоновою структурою [1].

Розпізнавання емоцій - процес, що виконується за допомогою нейронних мереж із особливою архітектурою. Найпомітнішою особливістю мережі є концепція ієрархічного парсингу обличчя [2]. Зображення передається через мережу кілька разів, щоб спершу виявити загальний контур обличчя, а після цього його основні ознаки: очі, рот та ніс і, нарешті, належну емоцію.

Інший напрямок розпізнання емоцій використовує фільтрацію Габора (Gabor) для обробки зображень та підтримку векторної машини (support vector machine, SVM) для класифікації [3]. Фільтр Габора особливо підходить для розпізнавання емоцій у зображеннях і, як стверджується, імітує функцію зорової системи людини. Точність розпізнавання образів досить висока, коливаючись від 88% у випадку гніву до майже 100% у випадку здивованості людини.

Недоліком такого підходу є досить жорсткі вимоги на вхідне зображення (обов'язкова відповідність його строгому формату), що вимагає додаткових затрат на попередню обробку даного зображення.

Сучасні засоби, які здатні розпізнавати расу, вік, стать та емоції використовує нейронну мережу. Використаний набір даних походить із задач розпізнавання виразів обличчя (FERC-2013) [4].

Особливістю є використання чітко організованої глибокої нейронної мережі, що складається з трьох згорткових шарів (одного повністю зв'язного шару та кількох невеликих шарів між ними). Це дозволило досягти середньої точності 67% за класифікацією емоцій, що еквівалентно результатам, отриманим у попередніх засобах на тому ж наборі даних [2, 3].

Натепер досить перспективною концепцією аналізу виразів обличчя є використання глибоких згорткових нейронних мереж [5].

Отже, для розв'язання задач розпізнавання емоцій у дослідженні варто детальніше зупинитися на глибоких архітектурах.

Математична модель для інформаційної технології розпізнавання емоцій людини. Згорткові нейронні мережі використовують математичну операцію згортки (особливий вид лінійної операції). Згорткові мережі - це нейронні мережі, де замість спільної операції множення на матрицю, хоча б в одному шарі, використовується згортка. У загальному вигляді згортка - операція над двома функціями дійсного аргументу. Функцію згортки можна подати у вигляді [7]:



де х - функція входу; w - функція ядра; S(t) - картка ознак.

Оскільки під час розпізнавання емоцій на вхід буде подано зображення, представлене у вигляді двовимірної матриці, то (1) набуде вигляду:

де I - вхідне зображення; K - ядро; i, j - координати елементів вхідного зображення; m, n - координати елементів ядра.

Структура та алгоритм роботи програмного засобу. Відомі три основні архітектури згорткових нейронних мереж, які найчастіше використовуються для розпізнання емоцій людини [4, 7 - 9].

Перша мережа є найпростішою серед трьох мереж. Вона потребує найменших обчислювальних вимог [7]. Слід зазначити, що оскільки розроблювальний додаток має здійснювати розпізнавання емоцій у реальному часі у вбудованих системах, алгоритми швидкої роботи є дуже бажаними. Дана мережа складається з трьох згорткових шарів та двох повнозв'язних шарів, для зменшення розміру зображення, та шаром проріджування для зменшення ймовірності перенавчання. Гіперпараметри обираються такими, що кількість обчислень у кожному згортковому шарі залишається приблизно однаковою (забезпечує збереження інформації по всій мережі). Навчання здійснюється за допомогою різного числа згорткових фільтрів, щоб оцінити їх вплив на результативність.

Другою є згорткова мережа AlexNet. Для класифікації зображень, у більш ніж 1000 різних класах, вона використовує 1,2 мільйона зразкових зображень із набору даних ImageNet [8]. Модель AlexNet має розрізняти сім основних емоцій [9]. Завдяки обмеженим обчислювальним ресурсам розмір оригінальної мережі вважається занадто великим, що може негативно відобразитися на продуктивності обробки зображення, особливо в умовах відеопотоку.

Це привело до спроби зменшити кількість згорткових шарів з п'яти до трьох. В отриманих трьох повнозв'язних шарах кількість вузлів кожного повнозв'язного шару також було зменшено з 4096 до 1024. Хоча початкова мережа була оптимізована для паралельних тренувань, було з'ясовано, що це не було необхідно для простішої її версії. Мережа також використовує локальну нормалізацію для прискорення шарів тренувань та відсіву з метою зменшити ступінь перенавчання.

Третьою є архітектура заснована на мережі Гуді, яка дозволяє розпізнати сім емоцій за допомогою набору даних FERC-2013 [4]. Мережа починається з шару введення розмірністю 48*48, що відповідає розміру вхідних даних. За цим шаром розташований один згортковий шар. Узагалі дана мережа містить два згорткових шари та один повнозв'язний шар, з'єднаний з вихідним шаром. Метод проріджування застосовується до повністю пов'язаного шару, і весь шар містить блоки ReLu. Така архітектура є досить перспективною для подальшого використання у розробці.

У дослідженні пропонується застосувати другий проміжний згортковий шар для зменшення кількості параметрів. Це дозволить знизити вимоги до потужності обчислювальних ресурсів, здатних реалізувати дану мережу [3]. Крім того, покращується швидкість навчання без вагомих втрат точності розпізнавання емоцій.

Усі три вищевказані типи мережі пройшли навчання протягом 60 епох (рис. 1), де A - мережа першого типу, B - мережа другого типу, C - мережа третього типу [4].

Для мережі A, точність даних під час валідації становить близько 63%. Вже через 10 епох точність піднялася вище 60%, що свідчить про можливості швидкого навчання. Варто зазначити, що коригування розміру фільтра не мало великого впливу на точність, хоча це і не вплинуло на час обробки. Це означає, що швидкі моделі можна реалізувати з досить високою продуктивністю. Важливо зазначити, що значно складніша мережа В, також швидко вчиться, але з точністю до 54%.

Таким чином видно, що зменшення розміру мережі суттєво знизило показники точності оригінальної мережі B.

Рис. 1 Порівняння точності нейронних мереж A, B, C

Разом із значно вищими вимогами до потужності обчислювальних ресурсів, а отже, і повільнішими показниками роботи, модель B поступається архітектурам A та С. Мережа C показує дещо повільнішу криву навчання, але показники точності розпізнавання емоцій, під час тестування на наборі валідацій, аналогічні відповідним показникам мережі А. Вимоги до обробки вхідних зображень мережі C не такі жорсткі як у мережі B, але жорсткіші за мережу A. нейронний програмний терористичний розпізнавання емоція

Таким чином, мережа A є більш перспективною для даної розробки з розпізнавання емоцій. Однак, продуктивність мережі C на додатковому тестовому наборі RaFD суттєво краща (60%), ніж у мережі A (50%). Це свідчить про кращі узагальнюючі можливості мережі C, що дуже важливо для розробки на її основі програмного додатку. Отже, обираємо мережу C для практичного застосування.

Структура та алгоритм роботи програмного забезпечення. На рис. 2 наведена схема удосконаленої архітектури нейронної мережі.

Рис. 2 Схема удосконаленої архітектури нейронної мережі

Загальний алгоритм роботи системи розпізнавання емоцій наведено на рис. 3.

Рис. 3 Загальний алгоритм роботи системи розпізнавання емоцій людини



Структуру інформаційної технології розпізнавання емоцій людини наведено на рис. 4.

Рис. 4 Структура інформаційної технології розпізнавання емоцій людини

Програмний блок інформаційної технології системи розпізнавання емоцій складається з трьох основних модулів - навчання нейронної мережі, розпізнавання емоцій людини, тестування та валідації.

Модуль навчання нейронної мережі виконує функцію тренування нейронної мережі на заданому наборі даних - фотографій із зображеннями обличь людини. Оскільки для навчання використано метод навчання з учителем, набір даних містить інформацію про правильний результат розпізнавання. Нейронна мережа, яка на початку тренування заповнена випадковими значеннями ваг, корелює їх величини залежно від значень, які потрібні для досягнення правильного результату.

Другим модулем, який виконує основну функцію інформаційної системи є модуль розпізнавання емоцій людини. У модулі розпізнавання система передбачає використання веб-камери. В отриманому зображенні розпізнає обличчя людей та визначає їх кількість методом каскаду Хаара. Після цього виділяються ознаки емоції, на основі яких і класифікується емоція. Зображення з веб-камери виводиться на екран із окресленим контуром обличчя та назвою розпізнаної на ньому емоції. Розпізнавання виконується у неперервному відеопотоці.

Результат роботи другого модуля підтверджує практичну доцільність розробки інформаційної технології для розпізнавання емоцій людини.

Модуль тестування та валідації використовується для підтвердження наукової доцільності розробки інформаційної системи для розпізнавання емоцій людини. Для тестування використовується набір даних для навчання із відформатованими зображеннями. Програмний додаток розпізнає емоції, після чого результат порівнюється із набором даних, який містить інформацію про правильний результат розпізнавання. Результат порівняння зберігається як правильний, якщо емоцію розпізнано правильно, і помилковий, якщо емоцію розпізнано не правильно.

Для валідації використовується набір даних із невідформатованими зображеннями (це можуть бути зображення з довільним розширенням, із присутніми на них шумами та іншими завадами). Програмний додаток розпізнає емоції на невідформатованому зображенні, а також порівнює результат з набором даних, який містить інформацію про правильний результат розпізнавання. Далі отриманий результат порівняння, зберігається як правильний, або ні.

Після проведення тестування і валідації на основі збережених даних будується графік із порівнянням результатів даних операцій. Графік виводиться на екран і зберігається у відповідній папці із програмою.

Для проектування інформаційної системи було використано об'єктно- орієнтовану парадигму програмування. Розроблена архітектура класів відображає загальну архітектуру програми.

UML - діаграму класів програмного забезпечення наведено на рис. 5.

Рис. 5 UML-діаграма класів програмного засобу розпізнавання емоцій людини

Conv2D - клас, що використовується для роботи двовимірного згорткового шару. Останній описує ядро згортки, що спільно з входом шару створює тензор вихідних даних. Використовуючи цей шар як перший у моделі, вказується аргумент ключового слова input_shape (кортеж цілих чисел, не включає вісь зразка), наприклад input_shape = (128, 128, 3) для 128 х 128 RGB- зображень.

DropOut - клас, що застосовується для опису шару випадіння. Останній вирішує проблему перенавчання нейронної мережі. Рівень випадіння випадково встановлює вхідні значення ваг на 0 із частотою rate на кожному кроці під час навчання, що допомагає запобігти перенавчанню нейронної мережі. Входи, не встановлені у 0, масштабуються на 1/(1 --rate) таким чином, що сума по усіх входах залишається незмінною.

Dense - клас що описує повнозв'язний шар нейронної мережі. Він реалізує операцію: activation(dot(input, kernel)), де activation - це функція активації, передана як аргумент активації, kernel - це матриця ваг, створена шаром, а dot - функція добутку вхідної (input) матриці на kernel.

Flatten - клас, що описує шар для перетворення шару у плоский шар. Плоский шар - шар, де видалені усі виміри окрім одного.

MaxPooling2 - клас, що описує шар дискретизації на основі вибірки. Мета - зменшити вибірку вхідного представлення (зображення, вихідну матрицю прихованого шару тощо). Зменшивши його розмірність і зробивши припущення щодо властивостей які містяться в обраних субрегіонах зображення.

Працює на основі вибору максимального значення з підвибірки розміром pool_size. За замовчуванням підвибірка зсувається без перекриття.

Sequential - клас, що описує модель використовуваної згорткової нейронної мережі. Модель нейронної мережі описує архітектуру та конфігурацію, а також використовує алгоритми навчання. Метод add() додає до моделі один із шарів, описаних класом, що наведені вище.

Axes - клас осей для побудови графіку. Містить опис більшості елементів фігури: вісь, крапку, лінію, текст, багатокутник тощо та встановлює систему координат. А екземпляри Axes підтримують зворотні виклики через атрибут зворотних викликів. Метод plot() у модулі осей бібліотеки matplotlib викорис-товується для побудови графіків у по x як рядків та/або маркерів. Метод clean() очищує графік, step() продовжує лінію у точку з визначеними координатами, semilogx і semiology() задають властивості осей координат відповідно.

Figure - клас, що описує зовнішній контейнер для графіки matplotlib, що може містити кілька об'єктів Axes. Можна розглядати об'єкт Figure як такий, що схожий на ящик контейнера, який містить один або кілька об'єктів Axes. Під об'єктами Axes, у порядку ієрархії розташовані менші об'єкти, такі як індивідуальні лінії, позначки, легенди і текстові бокси. Практично кожен «елемент» діаграми - це власний маніпульований об'єкт Python (у т. ч. ярлики і познчки).

ImageDataGenerator - клас, що використовується з метою генерування зображень ознак емоції, для подальшого їх перетворення у ядро згротки. Властивість Directory: каталог, де знаходяться дані зображення label - назва зображення. Color_mod - один із «відтінків сірого», «rgb», «rgba». За замовчуванням: «rgb».batch_size: Розмір пакетів даних. За замовчуванням: 32.image_size - параметр для зменшення розміру зображень після їх зчитування з носія. За замовчуванням 256 х 256. Оскільки конвеєр обробляє партії зображень, які повинні мати однаковий розмір, це повинно бути передбачено. Метод load() завантажує зображення в об'єкт, метод img_to_array() перетворює його у масив даних для подальшого використання у програмі, зокрема в якості вхідного шару нейронної мережі.

GUIDesign - клас, що відповідає за відображення головного меню програми і взаємодію з користувачем. Містить інформацію про графічний інтерфейс, зокрема про його віджети: кнопки, панелі.

Розроблені схеми роботи модулів та UML-діаграма класів забезпечують необхідні знання та алгоритми для розробки програмного модуля. Реалізація програмного модуль інформаційної технології розпізнавання емоцій людини. На основі наведеної архітектури згорткової нейронної мережі типу C було розроблено програмний продукт на базі мови програмування Python, бібліотек NumPy, OpenCV, TensorFlow (Keras).

Python - інтерпретована об'єктно-орієнтована мова програмування високого рівня з динамічною семантикою є найбагатшою на бібліотеки нейронних мереж [10].

Keras - відкрита нейромережева бібліотека, написана мовою Python [11]. Вона здатна працювати поверх TensorFlow.

NumPy - бібліотека обчислень для Python із відкритим кодом [12].

OpenCV - бібліотека функцій та алгоритмів комп'ютерного зору, обробки зображень і чисельних алгоритмів загального призначення з відкритим кодом [13].

Основний модуль цієї прогами передбачає виконання таких етапів.

1. У кожному кадрі відеоптоку з веб-камери методом каскаду Хаара виділяється зображення людини [14].

2. Область зображення, що містить обличчя, зменшується до 48x48 і передається на вхід згорткової нейронної мережі.

3. На виході нейронної мережі формується список балів для семи емоцій.

4. Визначається назва емоції, що отримала максимальний бал.

Приклад скріншоту з результатами роботи розробленого програмного продукту наведено на рис. 6 [15, 16].

Рис. 6 Результат роботи програмного продукту

Тестування програмного продукту та аналіз отриманих результатів.

Для дослідження отриманих результатів, було розроблено модуль візуалізації історії тестування нейронної мережі у процесі навчання. У процесі навчання і автоматичного тестування після кожної епохи зберігається результат тестування. Таким чином, аби відобразити залежність кількості правильних результатів розпізнавання емоцій (точності, Accuracy) відносно до кількості епох (Epoch), які зменшують швидкодію побудовано графік Model Accuracy (рис. 7).

Рис. 7Результат тестування та валідації запропонованої нейронної мережі

Тестування здійснювалося на двох наборах даних: відформатований для навчання тестовий набір із приблизно 29000 зображень певного формату (train), а також набір із більше ніж 7000 фотографій довільного формату (val). На графіку Model Loss (рис. 7) наведено залежність помилкового розпізнання від кількості епох на тих самих наборах даних [15, 16].

За допомогою загорткової нейронної мережі типу C точність тестування у процесі навчання досягала близько 90%, а у процесі валідації на невідформа- тованих зображеннях різної роздільної здатності досягала приблизно 64% за 50 епох. Отже, результат розробки довів доцільність використання згорткової нейронної мережі типу C із застосуванням додаткового проміжного згорткового шару в процесі розпізнання емоцій людини.



Висновки

Проаналізовано основні варіанти архітектур згорткових нейронних мереж та доведено доцільність використання глибокої згорткової нейронної мережі для розв'язання задачі розпізнання емоцій людини. На відміну від існуючих архітектурних рішень згорткових нейронних мереж для розпізнавання емоцій запропоновано застосувати додатковий проміжний згортковий шар, який дозволяє знизити вимоги до потужності обчислювальних ресурсів без вагомих втрат точності розпізнавання. На основі запропонованого рішення розроблено програмне забезпечення для розпізнавання емоцій людини, що дозволило отримати точність розпізнавання близько 90% на відформатованому наборі даних, та близько 64% у складних випадках (невідформатовані зображення довільної роздільної здатності).



Література

1. Зінов'єв Є. В., Арсенюк І. Р. Дослідження методів розпізнавання емоцій за допомогою нейронних мереж. XIIX науково-технічної конференції факультету інформаційних технологій та комп'ютерної інженерії. Вінниця: ВНТУ, 2020. Режим доступу: https://conferences. vntu.edu.ua/index.php/all-fitki/all-fitki-2020/paper/view/8981/7750

2. Y. Lv, Z. Feng, and C. Xu. Facial expression recognition via deep learning. In Smart Computing (SMARTCOMP). IEEE, 2014. International Conference, P.303-308.

3. T. Ahsan, T. Jabid, and U.-P. Chong. Facial expression recognition using local transitional pattern on gabor filtered facial images. IETE Technical Review, 2013, 30(1). P. 47-52.

4. A. Gudi. Recognizing semantic features in faces using deep learning. University of Amsterdam, 2014. 68 p.

5. Яровий А. А. Розпізнавання мімічних мікровиразів обличчя людини на основі Time Delay Neural Network/ Яровий А. А., Кашубін С. Г., Кулик О. О., Липкань І. М. Вісник Хмельницького національного університету. Технічні науки. 2015. № 1. С. 122 - 126.

6. Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. The MIT Press. 2016. 800 p.

7. Krizhevsky and G. Hinton. Learning Multiple Layers of Features from Tiny Images, 2009. 60 p. Retrieved from https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf

8. Krizhevsky, I. Sutskever, and G. E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. In Advances in Neural Information Processing Systems 25 (NIPS 2012). P. 1097-1105.

9. Ekman, P., & Friesen, W. V. Constants Across Cultures in the Face and Emotion. Journal of Personality and Social Psychology, 1971, 17(2). P. 124-129.

10. Jake Vander Plas. Python Data Science Handbook: Essential Tools for Working with Data 1st Edition. O'Reilly. 2017. 548 p.

11. This Is What Makes Keras Different, According To Its Author. Retrieved from https:// www.forbes.com/sites/quora/2016/08/25/this-is-what-makes-keras-different-according-to-its- author/?sh=341957d566cf

12. NumPy Tutorial. Retrieved from https://www.tutorialspoint.com/numpy/index.htm

13. OpenCV - Open Computer Vision Library. Retrieved from https://opencv.org/

14. Karungaru, S. Human Face Detection In Visual Scenes Using Neural Networks/ S. Karungaru, M. Fukumi, N. Akamatsu. T. IEE Japan, Vol. 122-C, № 6, 2002. P. 995-1000. Retrieved from https://www.iee.or.jp/trans/pdf/2002/0206C_995.pdf

15. Зінов'єв Є. В., Арсенюк І. Р. Розпізнавання емоцій людини за допомогою згорткової нейронної мережі. Матеріали XIIМіжнародної науково-практичної конференції “Інтернет-Освіта-Наука” (ІОН-2020). Вінниця: ВНТУ, 2020. С. 202 - 206.

16. Арсенюк І. Р., Зінов'єв Є. В. Комп'ютерна програма «Нейромережевий модуль розпізнання емоцій людини»: свідоцтво про реєстрацію авторського права на твір № 100766 Україна/ І. Р. Арсенюк, Є. В. Зінов'єв; Міністерство освіти і науки України, Державний департамент інтелектуальної власності, дата реєстрації 20.11.2020. 1 с.



References

1. Zinoviev Ye. V., Arseniuk I. R. (2020). Doslidzhennia metodiv rozpiznavannia emotsii za dopomohoiu neironnykh merezh [Research of emotion recognition methods using neural networks]. XLIX naukovo-tekhnichnoi konferentsiyi fakul'tetu informatsiynykh tekhnolohiy ta komp'yuternoyi inzheneriyi - XLIX scientific and technical conference of the Faculty of Information Technologies and Computer Engineering. Vinnytsya: VNTU. Retr. from https:// conferences. vntu.edu.ua/index.php/all-fitki/all-fitki-2020/paper/view/8981/7750 [in Ukr.].

2. Y. Lv, Z. Feng, and C. Xu. (2014). Facial expression recognition via deep learning. In Smart Computing (SMARTCOMP). IEEE. International Conference on, 303-308.

3. T. Ahsan, T. Jabid, and U.-P. Chong. (2013). Facial expression recognition using local transitional pattern on gabor filtered facial images. IETE Technical Review, 30(1). 47-52.

4. Gudi. (2014). Recognizing semantic features in faces using deep learning. University of Amsterdam.

5. Yarovyi A. A., Kashubin S. H., Kulyk O. O., Lypkan I. M. (2015). Rozpiznavannia mimichnykh mikrovyraziv oblychchia liudyny na osnovi Time Delay Neural Network [Recognition of mimic microexpressions of the human face based on Time Delay Neural Network]. Visnyk Khmelnytskoho natsionalnoho universytetu. Tekhnichni nauky - Herald of Khmelnytskyi National University. Technical Sciences, 1, 122 - 126 [in Ukrainian].

6. Ian Goodfellow, Yoshua Bengio, Aaron Courville. (2016). Deep Learning. The MIT Press.

7. Krizhevsky and G. Hinton. (2009). Learning Multiple Layers of Features from Tiny Images. Retrieved from https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf

8. Krizhevsky, I. Sutskever, and G. E. Hinton. (NIPS 2012). ImageNet Classification with Deep Convolutional Neural Networks. In Advances in Neural Information Processing Systems. 1097-1105.

9. Ekman, P., & Friesen, W. V. (1971). Constants Across Cultures in the Face and Emotion. Journal of Personality and Social Psychology, 17(2), 124-129.

10. Jake Vander Plas. (2017) Python Data Science Handbook: Essential Tools for Working with Data 1st Edition. O'Reilly.

11. This Is What Makes Keras Different, According To Its Author. Retrieved from https:// www.forbes.com/sites/quora/2016/08/25/this-is-what-makes-keras-different -according -to-its- author/?sh=341957d566cf

12. NumPy Tutorial. Retrieved from https://www.tutorialspoint.com /numpy/ index.htm

13. OpenCV - Open Computer Vision Library. Retrieved from https://opencv.org/

14. S. Karungaru, M. Fukumi, N. Akamatsu. (2002). Human Face Detection In Visual Scenes Using Neural Networks. T. IEE Japan, 122-C, 6, 995-1000. Retrieved from https:// www.iee.or.jp/trans/pdf/2002/0206C_995.pdf

15. Zinoviev Ye. V., Arsenyuk I. R. (2020). Rozpiznavannya emotsiy lyudyny za dopomohoyu zhortkovoyi neyronnoyi merezhi [Recognition of human emotions using a convolutional neural network]. Zinoviev Ye. V. (Eds.), Internet-Osvita-Nauka - Internet-Education-Science: Proceedings of the XII International Scientific and Practical Conference. (pp. 202 - 206). Vinnytsya: VNTU [in Ukr.].

16. Arseniuk I. R., Zinov'iev Ye. V. Kompiuterna prohrama «Neiromerezhevyi modul rozpiznannia emotsii liudyny»: svidotstvo pro reiestratsiiu avtorskoho prava na tvir № 100766 Ukraina. Ministerstvo osvity i nauky Ukrainy, Derzhavnyi departament intelektualnoi vlasnosti, data reiestratsii 20.11.2020 [Computer Program "Neural Network Module for Recognition of Human Emotions": certificate of copyright registration for the work No. 100766 Ukraine; Ministry of Education and Science of Ukraine, State Department of Intellectual Property, registration date 11/20/2020], 1 [in Ukrainian].

Размещено на Allbest.ru

...