Деякі аспекти розпізнавання облич: моделі, алгоритми, методи, системи, застосування

Размещено на http://www.allbest.ru/

Національний авіаційний університет

Державний університет інфраструктури та технологій

Деякі аспекти розпізнавання облич: моделі, алгоритми, методи, системи, застосування

Ткаченко Олександр, кандидат фізико-математичних наук, доцент, доцент кафедри інженерії програмного забезпечення

Бойко Мирослав, магістрант, кафедра інформаційних технологій та дизайну

Київ, Україна



Анотація

Метою статті є дослідження, аналіз і розгляд загальних проблем і перспектив використання наявних підходів до розпізнавання облич (сфери їх застосування, особливості та відмінності).

Методами дослідження є методи семантичного аналізу основних понять цієї предметної сфери (теорії та практики розпізнавання образів, зокрема зображень облич). У статті розглянуто відомі підходи до розробки систем розпізнавання облич.

Новизною проведеного дослідження є розв'язання проблем розпізнавання облич для визначення прав доступу та аутентифікації.

Висновки. Проаналізовані наявні проблеми та перспективи застосування алгоритмів розпізнавання облич стають більш точними. Розпізнавання облич стало важливою частиною штучного інтелекту, тому що його використовують у соціальних медіа, цифрових камерах та в розумній автоматизації будинку.

Ключові слова: розпізнавання образів; простір ознак; технології розпізнавання; алгоритми розпізнавання.



Abstract

Tkachenko Oleksandr,

PhD in Physical and Mathematical Sciences,

Associate Professor, Department of Software Engineering,

National Aviation University,

Kyiv, Ukraine

Boiko Myroslav,

Master's Student, Department of Information Technologies and Design,

State University of Infrastructure and Technology,

Kyiv, Ukraine

SOME ASPECTS OF FACE RECOGNITION: MODELS, ALGORITHMS, METHODS, SYSTEMS, APPLICATIONS

The purpose of the article is to research, analyze and consider the general problems and prospects of using existing approaches to face recognition (areas of application, features and differences).

The research methodology consists of semantic analysis methods of the basic concepts in this subject area (theory and practice of pattern recognition, in particular, facial images). The article considers the existing approaches to the development of systems for face recognition.

The novelty of the research is the solution of facial recognition problems to determine access rights and authentication.

Conclusions. The existing problems analyzed and the prospects for using facial recognition algorithms are becoming more accurate. Facial recognition has become an important part of artificial intelligence because it is used in social media, digital cameras and smart home automation.

Keywords: pattern recognition; feature space; recognition technologies; recognition algorithms.



Аннотация

Ткаченко Александр, кандидат физико-математических наук, доцент,

доцент кафедры инженерии программного обеспечения,

Национальный авиационный университет,

Киев, Украина

Бойко Мирослав, магистрант, кафедра информационных технологий и дизайна,

Государственный университет инфраструктуры и технологий,

Киев, Украина

НЕКОТОРЫЕ АСПЕКТЫ РАСПОЗНАВАНИЯ ЛИЦ: МОДЕЛИ, АЛГОРИТМЫ, СПОСОБЫ, СИСТЕМЫ, ПРИМЕНЕНИЕ

Целью статьи является исследование, анализ и рассмотрение общих проблем и перспектив использования существующих подходов к распознаванию лиц (сферы их применения, особенности и различия).

Методами исследования являются методы семантического анализа основных понятий данной предметной области (теории и практики распознавания образов, в частности изображений лиц). В статье рассмотрены существующие подходы к разработке систем по распознаванию лиц.

Новизной проведенного исследования является решение проблем распознавания лиц для определения прав доступа и аутентификации.

Выводы. Проанализированные существующие проблемы и перспективы применения алгоритмов распознавания лиц становятся более точными. Распознавание лиц стало важной частью искусственного интеллекта, потому что оно используется в социальных медиа, цифровых камерах и разумной автоматизации дома.

Ключевые слова: распознавание образов; пространство признаков; технологии распознавания; алгоритмы распознавания.



Вступ. Розпізнавання обличчя - процес ідентифікації/перевірки особи за її обличчям, який фіксує, аналізує та порівнює моделі обличчя на основі деталей обличчя конкретної людини. Процес розпізнавання обличчя є важливим у процесі виявлення та визначення людських облич на зображеннях і відео. Під час розпізнавання обличчя перетворюється аналогова інформація (обличчя, рис обличчя конкретної людини) у цифрову інформацію. У процесі зіставлення (порівняння) облич перевіряється приналежність двох чи більше облич одній і тій же особі (Popirina, n.d).

Під час біометрії обличчя 2D- або BD-датчик «захоплює» конкретне обличчя. Потім відбувається перетворення «захопленого» обличчя в цифрові дані, згідно зі спеціальним алгоритмом, перш ніж можна буде порівнювати отримане зображення з тими, що зберігаються в базі даних (БД) (Face Recognition; Klosowski, 2020).

Наявні системи розпізнавання облич можуть бути використані для ідентифікації/перевірки особистості людей у реальному часі на основі особливостей конкретних облич: відстані між очима, форми носу, контуру губ, вух, підборіддя, пропорцій частин обличчя тощо. Такі системи можуть робити розпізнавання посеред натовпу та в динамічних і нестабільних середовищах. Сфери використання систем розпізнавання облич:

освіта (аутентифікація студентів чи абітурієнтів під час складання іспитів, захисту дипломів тощо);

медицина (аутентифікація та ідентифікація хворого для визначення його «справжньої» історії хвороби, для проведення діагностики захворювань тощо);

криміналістика (визначення особи, до якої застосовуються правові дії);

розваги та ігри (особливо під час проведення віртуальних online-турнірів і змагань).

Тому актуальність проблем, пов'язаних з розробкою сучасних систем розпізнавання облич не викликає сумнівів.

Виклад основного матеріалу. Для проведення дослідження та аналізу стану проблем розпізнавання облич розглянемо сучасні технології розпізнавання обличчя, що використовують, зокрема, у Google, Apple, Facebook, Amazon і Microsoft (GAFAM). Ці вебгіганти регулярно висвітлюють свої теоретичні відкриття в галузі штучного інтелекту (ШІ), розпізнавання зображень й аналізу обличчя, щоб якомога швидше донести до користувача можливості ідентифікації та аутентифікації користувачів. Усе частіше говорять про зменшення значення так званої анонімності користувачів у інтернеті та можливості зростання рівня безпеки в місцях, де перебуває багато людей (вулиці, стадіони, аеропорти, вокзали тощо).

Facebook та Google. У 2014 р. Facebook оголосив про свою програму DeepFace, яка може визначити, чи належать два сфотографованих обличчя одній людині (рівень точності 97,25 %). Якщо проводить таке порівняння людина, то правильність відповідей становить 97,53 %, тобто лише на 0,28 % краще, ніж програма Facebook.

У 2015 р. Google запропонував FaceNet. На широко використовуваному наборі даних «Помічені обличчя в дикій природі» (LFW) FaceNet досягнув нової рекордної точності 99,63 % (0,9963 ± 0,0009). Використовуючи штучну нейронну мережу та новий алгоритм розпізнавання, вдалося зв'язати обличчя зі своїм власником з майже ідеальними результатами. Ця технологія вбудована в Google Photos і використовується для сортування зображень й автоматичного зіставлення їх конкретній особі на основі зображень облич уже визнаних людей.

Microsoft, IBM та Megvii. Дослідження, проведене науковцями MIT у 2018 р., показало, що інструменти Megvii (FACE ++), які базуються на технологіях Microsoft та IBM, що використовували в Китаї, давали високий рівень помилок під час виявлення темношкірих жінок у порівнянні зі світлішими чоловіками.

У 2018 р. Ars Technica повідомила, що Amazon для правоохоронних органів просуває свою службу розпізнавання облич, яка базується на хмарі, під назвою Rekognition. Запропоноване компанією рішення може розпізнати до 100 людей на одному зображенні та може виконати зіставлення облич з БД, що містять десятки мільйонів облич.

Глибоке навчання (deep learning). Спільним для всіх цих технологій є ШІ (Sem, 2020), точніше, глибоке навчання, коли інформаційна інтелектуальна система розпізнавання облич може самостійно вчитися на своїх даних. Глибоке навчання - техніка машинного навчання, яка вчить комп'ютери робити те, що природно для людини: вчитися на прикладах (What Is Deep Learning?). Поглиблене навчання - основна технологія, що використовується в автомобілях без водія, дозволяючи розпізнати дорожні знаки (зупинки, повороти тощо) чи відрізняти пішохода від ліхтарного стовпа. Це ключ до голосового управління в побутових пристроях, таких як телефони, планшети, телевізори та гучномовці.

У процесі глибокого навчання комп'ютерна модель вчиться виконувати класифікаційні завдання безпосередньо із зображень, тексту чи звуку. Моделі глибокого навчання можуть досягти дуже високої точності, іноді перевищуючи показники, які встановлює людина. Моделі забезпечують навчання багатошарових нейронних мереж.

Глибоке навчання, досягаючи високої точності розпізнавання, допомагає побутовій електроніці відповідати очікуванням користувачів, що має вирішальне значення для систем, які мають гарантувати безпеку (наприклад, в автомобілях без водія, під час визначення кримінальних осіб тощо). Останні досягнення глибокого навчання забезпечують більш високу точність розпізнавання, ніж та, яку надає людина, зокрема під час класифікації об'єктів на зображеннях.

Хоча глибоке навчання вперше було теоретизовано у 1980-х рр., є дві основні причини, чому воно стало в наш час таким популярним:

глибоке навчання вимагає великих обсягів даних (наприклад, керування автомобілем без водія потребує мільйонів зображень і тисяч годин відео);

глибоке навчання вимагає значних обчислювальних потужностей. Сучасні графічні процесори мають архітектуру, що є ефективною для глибокого навчання. У поєднанні з кластерами та хмарними обчисленнями це сприяє суттєвому скороченню часу навчання для мережі глибокого навчання.

Кроки розпізнавання обличчя. Багато користувачів знайомі з технологією FacelD, яку використовують, зокрема, для розблокування Iphone. Розпізнавання обличчя в цьому разі не використовує велику БД фотографій для визначення особи, а ідентифікує та визнає лише одну людину єдиним власником пристрою, обмежуючи доступ інших.

Окрім розблокування телефонів, розпізнавання облич працює приєднуючи обличчя людей, що проходять повз камери, до зображень людей у списку спостереження. Ці списки можуть містити фотографії людей, яких не підозрюють у протиправних діях. Зображення можуть надходити навіть з акаунтів у соціальних мережах. Системи розпізнавання облич, як правило, працюють так:

Крок 1. Розпізнавання обличчя. Камера виявляє та визначає зображення обличчя (поодинці чи в натовпі). На зображенні може бути людина, яка дивиться прямо вперед або у профіль.

Крок 2. Аналіз обличчя. Зображення обличчя фіксується та аналізується. Більшість технологій розпізнавання облич спирається на 2D, бо зручніше поєднувати 20-зображення із загальнодоступними фотографіями або тими, що містяться в БД. Зчитується геометрія обличчя людини та визначаються місця на обличчі, які є ключовими для вирізнення обличчя конкретної людини.

Крок 3. Перетворення зображення в цифрові дані. Процес «захоплення» обличчя перетворює аналогову інформацію в цифрові дані (цифровий відбиток обличчя особи). Аналіз обличчя перетворюється у математичну формулу.

Крок 4. Пошук збігу. Цифровий відбиток обличчя особи порівнюється з БД інших відомих облич. Наприклад, ФБР має доступ до 650 мільйонів фотографій. Якщо цифровий відбиток обличчя відповідає зображенню у БД, то проводиться визначення особи.

Технології розпізнавання облич та їх застосування. До таких технологій належать:

Розблокування телефонів. Сучасні телефони, зокрема й iPhone, використовують розпізнавання обличчя, щоб розблокувати пристрій. Технологія пропонує спосіб захисту персональних даних і гарантує, що конфіденційні дані залишаться недоступними в разі викрадення телефона.

Правозастосування. Розпізнавання обличчя використовують правоохоронні органи (зокрема, згідно зі звітом NBC зростає серед правоохоронних органів у США). Після того як зроблено фотографію заарештованого, його знімок додається до БД, які використовують під час кримінального розшуку. Мобільне розпізнавання облич дає змогу використовувати смартфони, планшети чи інші портативні пристрої, щоб сфотографувати водія чи пішохода та порівняти це фото зі знімком у відповідних БД для ідентифікації особи в реальному часі.

Аеропорти та прикордонний контроль. Розпізнавання обличчя стало звичним у багатьох аеропортах світу. Збільшується кількість мандрівників, які мають біометричні паспорти, що дає змогу пропускати довгі черги та проходити через контроль ePassport. Розпізнавання обличчя сприяє покращенню безпеки в аеропортах.

Пошук зниклих осіб. Розпізнавання обличчя може бути використане для пошуку зниклих осіб і жертв торгівлі людьми. Правоохоронні органи можуть отримати попередження, як тільки їх розпізнають через ідентифікацію особи в аеропорту, у магазині чи в іншому громадському приміщенні.

Зменшення дрібної злочинності. Розпізнавання обличчя використовують для ідентифікації випадків, коли потрібно попередити торговця крамниці, що злочинці, шахраї заходять у магазини.

Покращення зручності торгівлі. Наприклад, кіоски в магазинах можуть розпізнавати покупців, робити пропозиції щодо товарів на основі історії покупок і спрямовувати їх у правильному напрямку. Технологія Face pay дає змогу покупцям пропускати довгі каси з більш повільними способами оплати.

Банківська справа. Біометричний онлайн-банкінг - одна з переваг розпізнавання обличчя. Замість використання одноразових паролів клієнти можуть санкціонувати транзакції, дивлячись на свій смартфон або комп'ютер. З розпізнаванням обличчя хакери не зможуть використовувати паролі для компрометації, а технологія виявлення «неживого» також заважає їм.

Охорона здоров'я. У лікарнях використовують розпізнавання обличчя, щоб доглядати за пацієнтом, мати доступ до записів про пацієнтів, упорядковувати реєстрацію пацієнтів, виявляти емоції та біль у пацієнтів і навіть допомагати у виявленні конкретних генетичних захворювань. AiCure розробив додаток, який використовує розпізнавання обличчя, щоб гарантувати, що люди приймають ліки, як це призначено. Біометричні технології стають менш дорогими, тому їх упровадження в охороні здоров'я зростатиме.

Переваги використання розпізнавання облич:

Підвищена безпека. На державному рівні розпізнавання обличчя може допомогти встановити особу терористів чи інших злочинців. На особистому рівні - це інструмент безпеки для блокування персональних пристроїв і персональних камер спостереження.

Більша зручність. Покупці зможуть платити в магазинах, використовуючи своє обличчя, а не витягуючи кредитні картки чи готівку. Для розпізнавання обличчя не потрібен контакт, тому у світі після COVID це швидка автоматична безперебійна перевірка.

Швидка обробка. Процес розпізнавання обличчя займає лише секунду чи долі секунди, що є перевагою для компаній, які його використовують. В епоху кібератак і вдосконалених інструментів злому компаніям потрібні безпечні та швидкі технології.

Інтеграція з іншими технологіями. Це зменшує суми додаткових інвестицій, необхідних для реалізації розпізнавання облич.

Недоліки розпізнавання облич:

Спостереження. Дехто стурбований тим, що використання розпізнавання обличчя разом із відеокамерами, ШІ й аналітикою даних створює потенціал для масового спостереження, яке може обмежити свободу людини. Хоча технологія розпізнавання облич дає змогу урядам відстежувати злочинців, а також простих і невинних людей.

Порушення конфіденційності. Питання етики та конфіденційності є спірним. У 2020 р. Європейська комісія заявила, що розглядає можливість заборони на використання розпізнавання облич у громадських приміщеннях на п'ять років, щоб розробити нормативну базу для запобігання порушень конфіденційності й етичних зловживань.

Масове зберігання даних. Програмне забезпечення для розпізнавання обличчя спирається на технологію машинного навчання, яка вимагає великих наборів даних, щоб «вчитися» для отримання точних результатів. Малі та середні компанії можуть не мати достатніх ресурсів для зберігання таких даних.

Біометричні технології пропонують дуже привабливі рішення щодо безпеки. Незважаючи на ризики, системи зручні та складні для копіювання. Алгоритмізація розпізнавання облич передбачає:

«Вилучення» облич зі сцен. Система позитивно ідентифікує певну частину зображення як обличчя. Процедура розпізнавання обличчя має багато додатків (відстеження обличчя, оцінка пози чи стиснення).

«Вилучення» особливостей - отримання особливостей обличчя (певні частини обличчя, варіації, відстань між очима). Тут можуть бути використані програми відстеження рис обличчя чи емоцій.

Безпосередньо «розпізнавання» обличчя. У процесі ідентифікації система використовує метод порівняння, алгоритм класифікації та вимірювання точності, а також звукову інженерію, аналіз даних та ін.

Розпізнавання образів і розпізнавання обличчя можна виконати в тандемі або перейти до аналізу виразу перед нормалізацією обличчя (Turk, 2001).

Розпізнавання обличчя має розв'язувати кілька проблем (Yang, Kriegman and Ahuja, 2002; Zhao, et al., 2003), що пов'язані зображеннями, зробленими під час відеоспостережень, зокрема:

Варіація пози. Ідеальним сценарієм для виявлення облич був би той, в якому є лише фронтальні зображення, що малоймовірно. Ефективність алгоритмів виявлення облич зменшується, коли багато варіацій поз, які обумовлені рухом об'єкта, кутом камери спостереження.

Приховання ознак. Наявність таких елементів, як борода, окуляри або капелюхи, вносить велику мінливість. Обличчя також можуть бути частково покриті предметами або іншими обличчями.

Вираз обличчя. Особливості обличчя також дуже відрізняються через різну міміку. розпізнавання обличчя аутентифікація автоматизація

Умови отримання зображення. Камери й умови зйомок впливають на якість зображення та вигляд обличчя.

Є проблеми, пов'язані з розпізнаванням обличчя. Наприклад, розташування обличчя - спрощений підхід до виявлення обличчя. Його мета - визначити місце розташування обличчя на зображенні, де лише одне обличчя. Такий метод, як визначення меж голови (Lam and Yan, 1994), спочатку використовували за цим сценарієм, а потім застосовували до складніших проблем.

За критеріями алгоритми виявлення можна поділяти на:

Контрольоване середовище - фотографії роблять під контрольованим освітленням, фоном тощо. Для виявлення граней можуть бути використані прийоми простого обрізання (Louban, 2009).

Кольорові зображення. Типові кольори шкіри можна використовувати для пошуку облич. Вони можуть бути слабкими, якщо змінюються умови освітлення (Yang, Kriegman and Ahuja, 2002). Непросто встановити зображення кольору шкіри людини. Однак є алгоритми виявлення обличчя на основі кольору шкіри (Singh, et al., 2003).

Зображення в русі. Відео в режимі реального часу дає змогу використовувати виявлення руху для локалізації облич. У наш час більшість комерційних систем має знаходити обличчя у відео (Nechyba, Brandy and Schneiderman, 2009). Іншим підходом, заснованим на русі, є виявлення кліпання очей, яке має безліч застосувань, крім виявлення обличчя (Divjak and Bischof, 2008; Kawato and Tetsutan, 2002).

Методи виявлення облич згідно з працею «Detecting faces in images» (Yang, Kriegman and Ahuja, 2002) поділяються на:

методи, засновані на знаннях (застосування правил, які кодують знання про людські обличчя);

функціонально-інваріантні методи (алгоритми знаходження незмінних рис обличчя, незважаючи на його кут чи положення);

методи узгодження шаблонів (алгоритми порівнюють вхідні зображення зі збереженими шаблонами граней або об'єктів);

методи, засновані на зовнішньому вигляді (метод узгодження шаблонів, БД якого наповнюється з набору навчальних зображень).

У методах, що засновані на знаннях, неважко вгадати деякі прості правила. Наприклад, обличчя має два симетричних ока, а ділянка очей темніша, ніж ділянка лоба. До особливостей обличчя зараховують відстань між очима або різницю інтенсивності кольорів між ділянкою очей та нижньою ділянкою. Проблемою цих методів є побудова правил. Якщо правила занадто загальні, то може бути багато помилок. Може бути багато помилкових висновків, якщо правила занадто детальні. Рішенням цієї проблеми є, зокрема, побудова ієрархічних методів, заснованих на знаннях. Однак цей підхід дуже обмежений. Неможливо знайти велику кількість облич на складному зображенні. Ідея знайти деякі незмінні риси для виявлення обличчя полягає в подоланні меж наших інстинктивних знань про обличчя (Han, et al., 1997). Метод передбачає:

знаходження аналогових пікселів для очей і видалення небажаних пікселів із зображення;

процес сегментації (кожен аналоговий сегмент ока розглядається як кандидатура одного з очей);

набір правил для визначення потенційної пари очей;

обчислення ділянки обличчя після вибору очей (у вигляді прямокутника, чотири вершини грані визначаються набором функцій, потенційні грані нормуються до фіксованого розміру й орієнтації);

перевірка ділянок обличчя за допомогою нейронної мережі зворотного розповсюдження;

застосування функції витрат, щоб зробити остаточний вибір обличчя (рівень успіху 94 % на простих вхідних даних).

Методи узгодження шаблонів визначають обличчя як функцію, намагаючись знайти стандартний шаблон усіх граней. Різні ознаки можна визначити самостійно. Наприклад, обличчя можна розділити на очі, контур обличчя, ніс і рот. Також модель обличчя може бути побудована по краях. Але ці методи обмежуються випадками, коли зображення є фронтальними та відкритими. Обличчя також можна сприймати як силует. Інші шаблони використовують співвідношення між ділянками обличчя з погляду яскравості та темряви. Ці стандартні шаблони порівнюються із вхідними зображеннями для виявлення облич. Цей підхід простий у реалізації, але він недостатній для виявлення обличчя в разі варіацій пози, масштабу та форми.

Шаблони методів, що базуються на зовнішньому вигляді, створюються з прикладів на зображеннях. Ці методи опираються на методи статистичного аналізу та машинного навчання. Деякі з цих методів працюють в імовірнісній мережі. Зображення або вектор об'єкта є випадковою величиною з певною ймовірністю належності до обличчя. Інший підхід полягає у визначенні дискримінаційної функції між класами обличчя та не обличчя. Найбільш відповідні методи (інструменти):

Eigenface-based. У роботі М. Кірбі та Л. Сіровича описано метод, що ефективно представляє обличчя за допомогою PCA (аналіз основних компонентів) як систему координат (Kirby and Sirovich, 1990). Вектори, що становлять цю систему координат, є власними зображеннями. Цей підхід було застосовано в алгоритмі розпізнавання, що ґрунтується на власній поверхні (Turk and Pentland, 1991).

Distribution based. Ідея цих систем полягає в тому, щоб зібрати достатньо велику кількість зразків для класу шаблону, який треба виявити, охоплюючи всі можливі джерела варіацій зображення, та вибрати відповідний простір об'єктів, який має представляти класи шаблонів як розподіл усіх його допустимих зображень. Перевіряється зображення кандидата на збіг з моделлю обличчя. Класифікатор ідентифікує представників класу цільових зразків за зразками фонових зображень на основі набору вимірювань відстані між вхідним зразком і представленням класу на основі розподілу у вибраному просторі ознак. PCA та Дискримінант Фішера використовуються для визначення підпростору, що представляє візерунки обличчя.

Нейронні мережі можуть використовувати для виявлення обличчя по-різному (Rowley, Baluja and Kanade, 1998). Вони визначили проблему виявлення як проблему двох класів. Проблемою було представити клас «зображення, що не містять обличчя». Інший підхід полягає у використанні нейронних мереж для пошуку дискримінантної функції для класифікації шаблонів за допомогою вимірювань відстані (Raphael, Olivier and Daniel, 1997). Є підходи, що знаходять оптимальну межу між зображеннями, що містять обличчя, та такими, що їх не містять, використовуючи генетичну модель.

Support Vector Machines (SVM) - лінійні класифікатори, які максимізують запас між гіперплощиною рішення та прикладами в навчальному наборі. Оптимальний гіперплан має мінімізувати помилку класифікації невідомих тестових зразків.

Naive Bayes Classifiers. У праці «Application of the Karhunen-Loeve procedure for the characterization of human faces» (Raphael, Olivier and Daniel, 1997) описано алгоритм розпізнавання об'єктів, який змоделював та оцінив класифікатор Баєса. Алгоритм обчислює ймовірність присутності обличчя на зображенні, підрахувавши частоту появи серії рисунків у навчальних зображеннях та враховуючи напруженість навколо очей. Класифікатор враховував спільну статистику локального вигляду і положення обличчя та статистику появи й положення в навколишньому світі. Цей алгоритм показав хороші результати щодо фронтального розпізнавання обличчя.

- Прихована модель Маркова (НММ). Ця статистична модель полягає у створенні належної HMM, щоб можна було довіряти імовірності виведення висновку. Станами моделі є риси обличчя, які визначаються як смужки пікселів. Імовірний перехід між станами є межею між піксельними смугами. HMM часто використовують разом з іншими методами для побудови алгоритмів виявлення облич.

У табл. 1 наведено основні алгоритми виявлення ознак у процесі розпізнавання облич та їх сутність.

Таблиця 1 Алгоритми визначення ознак

Назва алгоритму	Сутність та структура алгоритму
1	2
Аналіз основних компонентів (PCA)	На основі власних векторів, лінійне відображення.
Kernel PCA на основі власних векторів	Нелінійне відображення, метод ядра.
Зважений PCA	PCA використання зважених коефіцієнтів.
Дискримінантний аналіз (LDA)	На основі власних векторів, автоматичне лінійне відображення.
Kernel LDA	На основі LDA, метод ядра.
Напівавтоматичний дискримінантний аналіз	Напівавтоматичний LDA (SDA).
Незалежний аналіз компонент (ICA)	Лінійне відображення, відокремлює негауссові розподілені функції.
Алгоритми на основі нейронних мереж	Різноманітні нейронні мережі з використанням PCA.
Багатовимірне масштабування (MDS)	Нелінійне відображення, обсяг вибірки обмежений, чутливий до шуму.
Мапа самоорганізації (SOM)	Нелінійний, на основі сітки нейронів у ознаці.
Моделі активної форми (ASM)	Статистичний метод, пошук границь.
Моделі активного відображення (AAM)	Удосконалений ASM, використання форми й текстури.
Вейвлет-перетворення Гавора	Біологічно означений, лінійний фільтр.

Є три концепції, що створюють класифікатор, - подібність (табл. 2), ймовірність (табл. 3) та межі прийняття рішень (табл. 4).

Таблиця 2 Методи подібності

Метод	Особливості
Порівняння шаблонів	Призначити зразок до найбільш подібного шаблону. Шаблони мають бути нормалізовані.
Найкоротшої дистанції	Порівняння шаблону відповідно до найближчого класу.
Самоорганізовані мапи (SOM)	Призначає шаблон найближчому вузлу, а потім оновлює вузли, підтягуючи їх ближче до початкового шаблону.

Таблиця 3 Методи імовірності

Метод	Особливості
Метод Баєса	Призначити шаблон класу з найбільшою оціненою апостеріорною ймовірністю.
Логістичний класифікатор	Прогнозує ймовірність за допомогою методу логістич- ної кривої.
Класифікатор Парзена	Баєсівський класифікатор з оцінкою щільності Парзена.

Таблиця 4 Методи меж прийняття рішень

Метод	Особливості
Лінійний дискримінант Фішера (FLD)	Лінійний класифікатор. Може використовувати оптимі- зацію середньої квадратичної помилки.
Бінарне дерево рішень	Вузли - це ознаки. Можна використовувати FLD. Може знадобитися оптимізація.
Персептрон	Ітеративна оптимізація класифікатора, схожий до FLD.
Багаторівневий персептрон	Два й більше шарів. Використовує функції передачі сигмовидної форми.
Мережа радіальних основ	Оптимізація багатошарового персептрона. Принаймні один рівень використовує гауссові функції передачі.

Використання алгоритмів розпізнавання за допомогою OpenCV - популярного способу виявлення облич за допомогою Python. OpenCV використовує алгоритми машинного навчання для пошуку облич на зображенні. Обличчя дуже складні (з тисячею дрібних візерунків й особливостей). Обличчя може мати 5000 або більше класифікаторів, які мають збігатися для виявлення обличчя. OpenCV використовує каскади, які розділяють проблему виявлення облич на кілька етапів. Кожен каскад виконує детальний тест для кожного блоку. Алгоритм може мати 30-50 етапів (каскадів) і буде виявляти обличчя лише тоді, коли всі етапи будуть пройдені. OpenCV постачається з вбудованими каскадами для виявлення обличчя, очей, рук, ніг.

Гістограми локальних двійкових шаблонів (LBP) - простих, але дуже ефективних методів класифікації текстури, які позначають пікселі зображення, обмежуючи сусідство кожного пікселя і кодуючи результат як двійкове число (рис. 1) (Prado, 2017). Уперше він був описаний у 1994 р.

Як і в HOG (гістограми дескриптора орієнтованих градієнтів), використовуються гістограми для представлення та розміщення LBP. Це дає змогу представити зображення обличчя за допомогою простого вектора даних. Коли LBP поєднується з HOG, то це значно підвищує ефективність виявлення на деяких наборах даних. LBP є візуальним дескриптором, то його можна використовувати для розпізнавання облич.



Рис. 1. Процес перетворення зображення у двійковий формат

Розрахунок локальних двійкових шаблонів виконується так:

перетворення зображення обличчя у відтінки сірого;

вибірка вікна розміром 3x3 пікселів; це буде матриця 3x3, що містить інтенсивність кожного пікселя (0 ~ 255);

отримання центрального значення матриці та використання його як порогового для сусідніх пікселів;

для кожного сусіда центрального значення (порога) встановлюється нове двійкове значення: 1 - для значень, рівних або вищих за порогове значення, і 0 - для значень, нижчих за порогове;

тепер матриця містить лише двійкові значення (ігноруючи центральне значення); слід об'єднати кожне двійкове значення з кожної позиції з рядка матриці в нове двійкове значення;

двійкове значення перетворюється в десяткове та встановлюється центральне його значення матриці, яке є пікселем від вихідного зображення;

у кінці LBP буде отримано нове зображення, яке краще відображає характеристики вихідного зображення;

гістограма LBP розділяється на сітку;

зображення в градаціях сірого, тому кожна гістограма (з кожної сітки) буде містити 256 позицій, що є входженнями кожної інтенсивності пікселів;

слід об'єднати кожну гістограму, щоб створити нову та більшу гістограму; остаточна гістограма представляє характеристики вихідного зображення (рис. 2).

Зображення обличчя порівнюють, перетворюючи їх у вектори LBPH, а потім обчислюючи відстань між гістограмами, наприклад: евклідова відстань, хі-ква- драт, абсолютна величина тощо. Метрику відстані також можна обмежити, щоб забезпечити достатню точність відповідності.

Рис. 2. Отримання гістограми LBP

Характеристики LBPH:

він може представляти особливості на зображеннях;

отримати чудові результати можна в основному в контрольованому середовищі;

він стійкий до монотонних перетворень сірої шкали.

Eigenfaces - один з найпростіших алгоритмів розпізнавання облич. Він працює досить надійно в більшості контрольованих середовищ і з досить великими наборами даних (Acar, 2018).

В Eigenfaces проєктуються зображення обличчя в низькорозмірний простір, в якому їх можна ефективно порівнювати. Припускають, що внутрішньолицьові відстані (відстані між зображеннями однієї людини) є меншими, ніж міжлицьові відстані (відстані між зображеннями різних людей) у просторі зменшених розмірів. Після виділення ознак класифікацію можна виконати за допомогою, наприклад, класифікаторів першого найближчого сусіда - стандартного вибору для Eigenfaces.

Зменшений розмірний простір, що використовується Eigenfaces, засвоюється в процесі, який називається Principle Component Analysis (PCA). PCA знаходить набір ортогональних осей, які найкраще описують дисперсію даних, так що перша вісь орієнтована вздовж напрямку найбільшої дисперсії. Етапи алгоритму:

вибір набору зображень обличчя. Зображення мають бути фронтальними, вирівняними й обрізаними до ділянки обличчя. Вони мають зафіксувати достатні зміни освітлення для кожного обличчя;

перетворення в шкалу сірого та нормалізація через поділ кожного пікселя на 255;

розрахунок матриці коваріації для навчального набору;

обчислення власних значень і власних векторів матриці коваріації - власні вектори є ортонормованою основою - це основні компоненти, що визначають простір граней (рис. 3);

власні поверхні - це розміри, за якими слід обчислювати компоненти певного обличчя. Отримані компоненти - це витягнуті функції;

використання екстрактора ознак для визначення ознак з усіх зображень обличчя;

використання векторів ознак для порівняння (рис. 4);

- класифікація граней за допомогою евклідового розрахунку відстані або навчання лінійного класифікатора (як SVM, найближчий сусід тощо).

Рис. 3. Перетворення за допомогою матриці коваріантності

Eigenfaces недостатньо точний і потребує посилювальних методів для вдосконалення.

Fisherface - це алгоритм, схожий на Eigenfaces, він спрямований на покращення кластеризації класів (Wagner, 2012). Eigenfaces покладається на PCA, а Fisherface - на LDA (Linear Discriminant Analysis) (він же LDA Фішера) для зменшення розмірності (рис. 5).

Fisherface корисний, коли зображення обличчя мають великі варіації освітленості та виразу. Fisherface видаляє перші три основні компоненти, що відповідають за зміну інтенсивності світла. Fisherface складніше (ніж Eigenface) знаходить проєкцію простору обличчя.

Рис. 4. Вектори ознак

Розрахунок відношення розкиду між класами та розсіяння всередині класу вимагають багато часу. А через необхідність кращої класифікації розмір проєкції не такий компактний, як в Eigenface. Це призводить до збільшення ресурсів для зберігання обличчя та часу на розпізнавання.

Рис. 5. Fisherface LDA

Підхід Fisherfaces (Face Recognizer) має багато недоліків. Скажімо, зображення з різкими змінами (наприклад, змінами світла) можуть домінувати над іншими зображеннями. Зрештою, основні компоненти будуть відображати світлові зміни, а не фактичні риси обличчя. Крім того, Fisherfaces, замість того щоб витягти корисні функції, які представляють обличчя всіх людей, витягує корисні функції, які вирізняють одну людину серед інших. Таким чином риси однієї людини не домінують над іншими. Етапи Fisherfaces:

побудова матриці зображень X з кожним стовпцем, що представляє зображення; кожне зображення присвоюється класу у відповідному векторі класу C;

проєкція X в (N-С) - вимірний підпростір з оберненою матрицею, визначеною аналізом основних компонентів;

обчислення поширення проєкції між класами;

розрахунок поширення P-класів у межах самих класів;

застосування лінійного дискримінантного аналізу та максимізація відношення детермінанти розсіювання між класами та розсіяння всередині класу;

рішення є набором узагальнених власних векторів.

Fischerfaces дає кращі характеристики розпізнавання, ніж Eigenfaces. Однак він втрачає здатність реконструювати обличчя, бо втрачається власний простір. Крім того, Fisherfaces значно зменшує розмірність зображень, роблячи невеликі розміри шаблону.



Висновки

Алгоритми розпізнавання облич стають більш точними. Розпізнавання облич стало важливою частиною ШІ, бо використовується в соціальних медіа, цифрових камерах та розумній автоматизації будинку.

На сьогодні є можливість поєднувати різні класифікатори, щоб отримати найкращі показники. Відомо кілька методів збору візуальної інформації, яка забезпечується простими зображеннями. Приклади цього підходу охоплюють BD-ска- нування та безперервні спектральні зображення. Для розпізнавання обличчя успішно застосовують різні методи.



References

1. Acar, N., 2018. Eigenfaces: Recovering Humans from Ghosts. Towards Data Science. [online] 22 August 2018.

2. Divjak, M. and Bischof, H., 2008. Real-time video-based eye blink analysisfor detection of low blink-rate during computer use. In: 1st Interna-tional Workshop on Tracking Humans for the Evaluation of their Mo-tion in Image Secuences (THEMIS). Leeds, UK, pp.99-107.

3. Face Recognition. Electronic Frontier Foundation.

4. Han, C.-C., Liao, H.-Y.M., Chung, K. and Chen, Yu.L.-H., 1997. Fast face detection via morphology-based pre-processing. In: Lecture Notes in Computer Science, 1311, pp.469-476.

5. Kawato, S. and Tetsutan, N., 2002. Detection and tracking of eyes for gaze-camera control. In: Proceedings of the 15th international conference, pp.348-353.

6. Kirby, M. and Sirovich, L., 1990. Application of the Karhunen-Loeve procedure for the characterization of human faces. IEEE Transactions on Pattern Analysis and Machine Intelligence, 12(1), pp.103-108.

7. Klosowski, T., 2020. Facial Recognition Is Everywhere. Here's What We Can Do About It. Wirecutter. 15 July 2020.

8. Lam, K.-M. and Yan, H., 1994. Fast algorithm for locating head boundaries. Journal of Electronic Imaging, 3(4), pp.351-359.

9. Louban, R., 2009. Image Processing of Edge and Surface Defects Theoretical Basis of Adaptive Algorithms with Numerous Practical Applications, 123, pp.9-29.

10. Nechyba, M., Brandy, L. and Schneiderman, H., 2009. PittPatt Face Detection and Tracking for the CLEAR 2007 Evaluation. In: Lecture Notes in Computer Science, 4625, pp.126-137.

11. Popirina, O.O, n.d. Identification and authentication.

12. Pospielov, S., What is the Best Facial Recognition Software to Use in 2021? Towards Data Science.

13. Prado, K.S., 2017. Face Recognition: Understanding LBPH Algorithm. Towards Data Science. 10 November 2017.

14. Raphael, F., Olivier, B. and Daniel, C., 1997. Constrained Generative Model Applied to Face Detection. Neural Processing Letters, 5(2), pp.11-19.

15. Rowley, H.A., Baluja, S. and Kanade, T., 1998. Neural Network-Based Face Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(1), pp.23-38.

16. Sem, V., 2020. Під капотом штучного інтелекту. Альтернативна Наука Віталія Сема.

17. Singh, S., Chauhan, D., Vatsa, M. and Singh, R., 2003. A robust skincolor based face detection algorithm. Tamkang Journal of Science and Engineering, 6(4), pp.227-234.

18. Turk, M. and Pentland, A., 1991. Eigenfaces for recognition. Journal of Cognitive Neuroscience, 3(1), pp.71-86.

19. Turk, M., 2001. A random walk through eigenspace. IEICE Transactions on Information and Systems, E84-D(12), pp.1586-1595.

20. Wagner, P., 2012. Fisherfaces. 03 June 2012.

21. What Is Deep Learning? 3 things you need to know. MathWorks.

22. Yang, M.-H., Kriegman, D. and Ahuja, N., 2002. Detecting faces in images: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(1), pp.34-58.

23. Zhao, W., Chellappa, R., Rosenfeld, A. and Phillips, P., 2003. Face recognition: A literature survey. ACM Computing Surveys, 3(4), pp.399-458.

Размещено на Allbest.ru

...