Методи виявлення облич в системах комп’ютерного розпізнавання на основі комбінованого каскаду нейромережевих класифікаторів

Размещено на http://www.allbest.ru

ОДЕСЬКИЙ НАЦІОНАЛЬНИЙ ПОЛІТЕХНІЧНИЙ УНІВЕРСИТЕТ

ПАЛІЙ Ігор Орестович

УДК 004.93

МЕТОДИ ВИЯВЛЕННЯ ОБЛИЧ В СИСТЕМАХ КОМП'ЮТЕРНОГО РОЗПІЗНАВАННЯ НА ОСНОВІ КОМБІНОВАНОГО КАСКАДУ НЕЙРОМЕРЕЖЕВИХ КЛАСИФІКАТОРІВ

05.13.23 - Системи та засоби штучного інтелекту

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Одеса - 2009

Дисертацією є рукопис.

Робота виконана у Науково-дослідному інституті інтелектуальних комп'ютерних систем Тернопільського національного економічного університету Міністерства освіти і науки України та Інституту кібернетики ім. В.М. Глушкова НАН України.

Науковий керівник - доктор технічних наук, професор

Саченко Анатолій Олексійович

Тернопільський національний економічний університет,

завідувач кафедри інформаційно-обчислювальних систем та управління

Офіційні опоненти:

доктор технічних наук, професор

Русин Богдан Павлович

Фізико-механічний інститут ім. Г.В. Карпенка НАН України, завідувач відділу методів і систем обробки, аналізу й ідентифікації зображень

доктор технічних наук, професор

Антощук Світлана Григорівна

Одеський національний політехнічний університет, директор інституту комп'ютерних систем, завідувач кафедри інформаційних систем

З дисертацією можна ознайомитись у бібліотеці Одеського національного політехнічного університету за адресою: 65044, м. Одеса, проспект Шевченка, 1.

Вчений секретар

спеціалізованої вченої ради Савєльєва О.С.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Розвиток обчислювальної техніки та науки сприяв автоматизації не тільки рутинної людської діяльності, але й виконання задач, які раніше не могли успішно вирішуватися без участі людини, однією з яких є розпізнавання образів. У даний час широкого розповсюдження набули системи комп'ютерного розпізнавання для автоматичної ідентифікації людини, світовий ринок яких у 2009 році за прогнозами становитиме близько $3,5 млрд. Більшість таких систем базуються на використанні біометричних ознак людини, наприклад, обличчя. Системи комп'ютерного розпізнавання облич, як правило, складаються із двох основних частин: виявлення і розпізнавання обличчя. Ціллю процедури виявлення є знаходження координат усіх облич, присутніх на зображенні, а також максимальне відкидання фонових ділянок, що зменшує об'єм оброблюваної інформації для процедури розпізнавання. При цьому інформаційні технології виявлення облич (ВО) впроваджені з використанням різних за характеристиками апаратних засобів: від персональних комп'ютерів до портативних пристроїв. Тому основними вимогами до процедури ВО є достовірність і швидкодія в умовах обмежених обчислювальних ресурсів.

Незважаючи на те, що виявленню і розпізнаванню образів присвячено багато робіт як вітчизняних (С.Г. Антощук, В.М. Крилов, В.П. Машталір, К.В. Муригін, К.М. Нюнькін, Є.П. Путятін, Б.П. Русин, Л.І. Тимченко, М.І. Шлезінгер та ін.), так і зарубіжних вчених (Т. Веттер, В.П. Вєжнєвєц, П. Віола, К. Гарсіа, М. Джонс, Т. Кенейд, П.П. Кудряшов, Т. Поджіо, Р.Х. Садихов, В.В. Старовойтов, Г. Роулі, М. Янг та ін.), існуючі методи ВО мають ряд недоліків, так як забезпечують або високу достовірність, або високу швидкодію. Таким чином, відомі методи ВО не задовольняють висунутим вимогам, що робить актуальним розроблення нових або вдосконалення існуючих методів виявлення облич.

Зв'язок роботи з науковими програмами, планами, темами. Основний зміст дисертаційної роботи складають теоретичні та практичні результати досліджень, проведених автором у Науково-дослідному інституті інтелектуальних комп'ютерних систем Тернопільського національного економічного університету при виконанні двостороннього україно-білоруського науково-дослідного проекту Державного фонду фундаментальних досліджень України “Розробка методів та алгоритмів виявлення і розпізнавання обличчя для систем відеоспостереження реального часу” (№ ДР 0105U008183, відповідальний виконавець) і науково-дослідної роботи “Покращення виявлення облич на основі комбінованого каскаду класифікаторів” (№ ДР 0107U012236, відповідальний виконавець) тематичного плану науково-дослідних робіт Тернопільського національного економічного університету на 2008 рік.

Мета і завдання дослідження. Метою дисертаційного дослідження є розроблення методів виявлення облич в системах комп'ютерного розпізнавання на основі комбінованого каскаду нейромережевих класифікаторів для підвищення достовірності і швидкодії при обмежених обчислювальних ресурсах. Для досягнення даної мети необхідно вирішити наступні завдання: обличчя зображення комп'ютерний розпізнавання

- проаналізувати існуючі методи виявлення облич в системах комп'ютерного розпізнавання і розробити узагальнену інформаційну модель процесу виявлення облич;

- розробити та експериментально дослідити методи виявлення облич на основі комбінованого каскаду нейромережевих класифікаторів для обробки півтонових зображень;

- розробити та експериментально дослідити нейромережевий метод виявлення облич на кольорових зображеннях;

- розробити інформаційну технологію виявлення облич для систем комп'ютерного розпізнавання і провести аналіз її достовірності та швидкодії.

Об'єкт дослідження - системи комп'ютерного розпізнавання облич.

Предмет дослідження - нейромережеві методи виявлення облич на півтонових і кольорових цифрових зображеннях.

Методи дослідження - методи системного аналізу при розробленні узагальненої інформаційної моделі виявлення облич; методи обробки зображень і теорія штучних нейронних мереж для підвищення достовірності і швидкодії процесу виявлення облич; методи математичної статистики при дослідженні достовірності запропонованих нейромережевих методів виявлення облич; методи об'єктно-орієнтованого моделювання та програмування при розробленні інформаційної технології виявлення облич.

Наукова новизна отриманих результатів. У ході виконання дисертаційного дослідження були отримані наступні основні результати, які відбивають наукову новизну роботи:

- вперше розроблено узагальнену інформаційну модель процесу виявлення облич на основі багаторівневого комбінованого каскаду класифікаторів, що дозволило покращити методи виявлення облич на півтонових і кольорових зображеннях;

- вперше розроблено метод виявлення облич шляхом використання комбінованого каскаду нейромережевих класифікаторів, який містить додатковий рівень верифікації облич-кандидатів, представлений згортковою нейронною мережею, що дозволило підвищити достовірність виявлення;

- удосконалено метод верифікації облич-кандидатів за рахунок обробки зображення обличчя-кандидата згортковою нейронною мережею за один етап, що дозволило підвищити швидкодію комбінованого каскаду нейромережевих класифікаторів;

- удосконалено метод формування навчальної вибірки згорткової нейронної мережі шляхом врахування адаптивного співвідношення позитивних/негативних навчальних прикладів (зображень облич/необлич), що дозволило підвищити достовірність класифікації позитивних прикладів;

- одержав подальший розвиток метод виявлення облич на кольорових зображеннях шляхом використання комбінованого каскаду нейромережевих класифікаторів із рівнем виявлення облич-кандидатів на основі сегментації за кольором шкіри у двох кольорових просторах, що дозволило підвищити швидкодію та достовірність виявлення облич.

Практичне значення отриманих результатів. На основі запропонованих у дисертаційній роботі методів розроблено інформаційну технологію виявлення облич, яка програмно реалізована в середовищі Microsoft Visual Studio Team System 2008 на мові програмування С++ з використанням бібліотек Intel Open Computer Vision Library та Intel Integrated Performance Primitives. Теоретичні та практичні результати роботи використані:

- при розробленні програмних модулів підсистеми ВО для системи відеоспостереження в лабораторіях кафедри електронно-обчислювальних машин Білоруського державного університету інформатики та радіоелектроніки, Мінськ, Республіка Білорусь (акт про впровадження від 29.05.2008р.), що дозволило підвищити ймовірність правильного позитивного виявлення на 0,05 і знизити ймовірність хибного позитивного виявлення на 30%;

- при розробленні програмних модулів підсистеми ВО для системи контролю доступу в Науково-дослідному інституті інтелектуальних комп'ютерних систем Тернопільського національного економічного університету (акт про впровадження від 10.11.2008р.), що дозволило підвищити ймовірність правильного позитивного виявлення на 0,08 і знизити ймовірність хибного позитивного виявлення на 24%;

- у навчальному процесі при викладанні дисциплін “Комп'ютерні системи автоматичної ідентифікації”, “Теорія нейронних мереж” та “Людино-комп'ютерна взаємодія” на кафедрі інформаційно-обчислювальних систем та управління Тернопільського національного економічного університету (акт про впровадження від 20.10.2008р.).

Особистий внесок здобувача. Усі основні результати, що виносяться на захист, отримані здобувачем особисто [1, 2, 3, 8]. У роботах, опублікованих у співавторстві, здобувачу належать: у [13, 14] - проведення експериментальних досліджень різних кольорових просторів для сегментації за кольором шкіри і дослідження нейромережевого методу ВО; у [4, 10, 11, 12] - експериментальні дослідження каскадного підходу до створення класифікатора для ВО за допомогою комбінування каскаду на основі Хаар-подібних ознак і багатошарової нейронної мережі, дослідження методу формування навчальної вибірки багатошарової нейронної мережі, а також розроблення механізму прийняття облич-кандидатів; у [7, 9] - розроблення та експериментальні дослідження методу ВО шляхом застосування комбінованого каскаду класифікаторів, що складається із каскаду на основі Хаар-подібних ознак і згорткової нейронної мережі, удосконалення методу формування навчальної вибірки згорткової нейронної мережі; у [5] - удосконалення та експериментальні дослідження методу верифікації облич-кандидатів згортковою нейронною мережею; у [6] - удосконалення та експериментальні дослідження методу ВО на основі комбінованого каскаду класифікаторів для обробки кольорових зображень, розроблення інформаційної технології ВО.

Апробація результатів дисертації. Основні результати роботи були висвітлені та обговорені на міжнародній науковій конференції “International Joint Conference on Neural Networks”, Будапешт, Угорщина, 2004р.; на восьмій та дев'ятій міжнародних наукових конференціях “Сучасні проблеми радіоелектроніки, телекомунікацій та комп'ютерної інженерії”, Львів-Славсько, Україна, 2006 та 2008р.; на третьому міжнародному симпозіумі “Artificial Neural Networks and Intelligent Information Processing”, Анжерс, Франція, 2007р.; на дев'ятій міжнародній науковій конференції “Pattern Recognition and Information Processing”, Мінськ, Республіка Білорусь, 2007р.; на четвертому міжнародному симпозіумі “Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications”, Дортмунд, Німеччина, 2007р.; на міжнародних наукових конференціях “Комп'ютерні науки та інформаційні технології”, Львів, Україна, 2007 та 2008р.; на міжнародній конференції “Сучасні інформаційні та електронні технології”, Одеса, Україна, 2008р.; на міжнародній науково-технічній конференції “Штучний інтелект-2008”, Кацивелі, Україна, 2008р.; на восьмому науково-технічному семінарі Відділення IEEE Instrumentation & Measurement/Computational Intelligence Joint Societies секції “Україна”, Тернопіль, Україна, 2008р.

Публікації. Основні результати дисертаційної роботи знайшли повне відображення у 14 наукових роботах, які містять 4 статті (з них 3 одноосібні) у фахових виданнях зі списку спеціалізованих видань ВАК України, 1 стаття у закордонному фаховому виданні, 9 праць у збірниках міжнародних наукових конференцій.

Структура дисертації. Дисертація складається зі вступу, чотирьох розділів, висновків, викладених на 122 сторінках основного машинописного тексту, списку використаних джерел (153 найменування). Робота містить 58 рисунків, 10 таблиць та 11 додатків.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми, сформульовано мету та завдання дослідження, розкрито наукову і практичну цінність отриманих результатів, а також наведено відомості про особистий внесок здобувача, апробацію роботи і публікації.

У першому розділі проаналізовано ряд існуючих зарубіжних і вітчизняних систем комп'ютерного розпізнавання облич: FaceVACS (Німеччина), FaceFinder (США), BioID (Швейцарія), ORCHID (Франція), Face-Инспектор (Російська Федерація), REC2002 (Донецьк, Україна) та Vis@Net (Київ, Україна). Показано, що у даних системах першою інтелектуальною процедурою по обробці облич є їхнє виявлення, яка визначає результат роботи всієї системи, впливаючи на достовірність і швидкодію розпізнавання.

За результатами аналізу відомих методів ВО встановлено, що доцільно використати групу методів на основі моделювання зображення обличчя, які демонструють високу достовірність виявлення, що задається комплексом таких робочих характеристик як ймовірність правильного позитивного виявлення (ППВ) і ймовірність хибного позитивного виявлення (ХПВ). Обрані за базові методи ВО К. Гарсіа і М. Делакіс та П. Віоли і М. Джонса мають відповідно або високу достовірність, або високу швидкодію. Апаратна реалізація методів ВО для підвищення швидкодії виявлення призводить до зростання вартості системи комп'ютерного розпізнавання в цілому, а застосування для впровадження даних систем різних за функціональними характеристиками апаратних засобів накладає обмеження на обчислювальні ресурси.

Розроблено узагальнену інформаційну модель процесу ВО, яка використовує каскадний (багаторівневий) підхід до побудови класифікатора позитивних/негативних прикладів і комбінацію в одному каскаді декількох гетерогенних класифікаторів. За допомогою даної моделі визначено функції та сформовано критерії роботи складових компонентів комбінованого каскаду класифікаторів, що дозволило запропонувати шляхи підвищення достовірності та швидкодії методів виявлення облич на півтонових і кольорових зображеннях.

У другому розділі розроблено метод виявлення облич на півтонових зображеннях, який базується на комбінованому каскаді нейромережевих класифікаторів (ККНК). У якості першого рівня даного комбінованого каскаду, що відповідає за виявлення облич-кандидатів, запропоновано використати каскад слабких класифікаторів (КСК) на основі Хаар-подібних ознак, який характеризується високою швидкодією. Для другого рівня ККНК, що призначений для верифікації облич-кандидатів, запропоновано застосувати згорткову нейронну мережу (ЗНМ), яка в задачах класифікації володіє більшою стійкістю до деформацій вхідних образів, ніж інші відомі класифікатори, що дозволяє отримати високу достовірність виявлення.

Для спрощення реалізації каскаду слабких класифікаторів запропоновано використати нейромережеву технологію, коли КСК являє собою багатошаровий персептрон, що складається із рівнів (нейронних шарів), кожний з яких містить один і більше слабких класифікаторів (нейронів). Входом для слабкого класифікатора є Хаар-подібна ознака прямокутної форми, яка складається зі “світлих” і “темних” прямокутників, а її значення розраховується за формулою:

,

де - вхідне зображення, та - синаптичні ваги для всього прямокутника ознаки і для його темної частини відповідно, та - суми пікселів всього прямокутника ознаки і його темної частини відповідно. Вихідне значення слабкого класифікатора знаходиться наступним чином:

де - порогове значення слабкого класифікатора. У свою чергу вихідне значення КСК являє собою лінійну комбінацію слабких класифікаторів:

,

де - кількість слабких класифікаторів, - вага -слабкого класифікатора.

Для верифікації облич-кандидатів в рамках ККНК запропоновано використати згорткову нейронну мережу із площинами, які здійснюють і згортку, і підвибірку одночасно, що дозволило у 2,7 рази зменшити кількість елементарних операцій для обробки вхідного зображення у порівнянні із ЗНМ, використаною у методі ВО К. Гарсіа та М. Делакіс.

Враховуючи, що в ЗНМ використано біполярну сигмоїдну функцію активації, вихідне значення нейрона з координатами (m, n) p-площини l-шару знаходиться за формулою:

,

а зважена сума нейрона у свою чергу обчислюється згідно наступного виразу:

,

де - кількість вхідних площин, та - висота і ширина ядра згортки, - синаптична вага з координатами (r, c) у ядрі згортки між k-площиною (l-1)-шару і p-площиною l-шару, - порогове значення нейронів p-площини l-шару, - вихідне значення (l-1)-шару k-площини з координатами .

Для генерації структури ЗНМ розроблено алгоритм, який дозволив автоматизувати проектування несиметричної розрідженої структури ЗНМ на основі наступних параметрів: кількості площин вхідного шару, розміру навчального зображення, розміру та кроку ядра згортки, коефіцієнту площин (визначає кількість площин кожного наступного шару), коефіцієнту зв'язаності (визначає кількість зв'язків між площинами сусідніх шарів). Даний алгоритм працює у два етапи: формування шарів і площин та створення зв'язків між площинами. Розмір зображення для навчання ЗНМ, розмір та крок ядра згортки підібрано таким чином, щоб отримати цілі значення розмірів площини для кожного шару, а також отримати площину розміром 1х1 нейрон для передостаннього шару ЗНМ згідно наведених нижче виразів:

,

,

де та - висота та ширина площини l-шару, і - висота і ширина ядра згортки l-шару, та - кроки ядра згортки l-шару по вертикалі та горизонталі. Кількість площин l-шару обчислюється за формулою (для всіх шарів крім останнього, який містить тільки одну площину):

,

де PC - коефіцієнт площин. Кількість зв'язків для p-площини l-шару знаходиться за наступним співвідношенням (для всіх шарів крім останнього, площина якого зв'язана зі всіма площинами попереднього шару):

,

де - функція генерації випадкових чисел в діапазоні [1; ] за рівномірним законом розподілу, CC - коефіцієнт зв'язаності.

Експериментальні дослідження достовірності розробленого методу ВО на основі ККНК, проведені на тестовому наборі півтонових зображень Carnegie Mellon University (CMU), показали, що даний метод за ймовірністю ППВ поступається лише методу К. Гарсіа та М. Делакіс приблизно на 0,02 при ймовірності ХПВ 10^-8, але при цьому демонструє у 8 разів більшу швидкодію.

Враховуючи недоліки відомих методів верифікації облич-кандидатів (П. Віоли та М. Джонса, К. Гарсіа та М. Делакіс), вдосконалено метод верифікації, який базується на властивості ЗНМ обробляти вхідне зображення будь-якого розміру за один етап.

В рамках вдосконаленого методу верифікації запропоновано механізм приймання облич, який передбачає занесення кандидата до масиву виявлених облич при досягненні порогового значення багатократних виявлень ЗНМ. Після прийняття кандидата як обличчя подальша його перевірка по масштабу припиняється і здійснюється верифікація наступного кандидата. Це дозволило зменшити кількість симуляцій ЗНМ, а отже, і підвищити швидкодію ККНК на 12% при ВО на тестовому наборі CMU. Крім того, даний механізм дозволяє уточнити координати облич по масштабу.

Експериментально встановлено, що вдосконалений метод дозволяє збільшити швидкість верифікації у 8,6 разів у порівнянні з методом К. Гарсіа та М. Делакіс, так як для кожного обличчя-кандидата зменшується кількість симуляцій ЗНМ , яка знаходиться за наступним виразом:

,

де - рівень масштабування зображення обличчя-кандидата. При цьому кількість симуляцій ЗНМ для обличчя-кандидата може бути меншою за завдяки використанню механізму приймання облич.

У результаті експериментальних досліджень достовірності вдосконаленого методу верифікації облич-кандидатів показано, що за рахунок його застосування у комбінованому каскаді нейромережевих класифікаторів ймовірність ППВ на тестовому наборі CMU при фіксованій ймовірності ХПВ, рівній 10^-8, підвищено на 0,18 у порівнянні із методом верифікації П. Віоли та М. Джонса, на 0,05 - у порівнянні із методом П. Віоли та М. Джонса з перевіркою всіх багатократних виявлень і на 0,004 - у порівнянні із методом К. Гарсіа та М. Делакіс.

Враховуючи, що ЗНМ використано не самостійно, а в рамках ККНК, на перших рівнях якого відкидається більшість фону, запропоновано забезпечити низьку похибку класифікації на позитивних прикладах. Відомий метод формування активної навчальної вибірки Г. Роулі позбавлений зворотнього зв'язку між процесом навчання і похибкою класифікації на позитивних прикладах оціночної вибірки. Тому даний метод вдосконалено, використавши параметричну адаптацію структури активної навчальної вибірки ЗНМ, яка визначається врахуванням адаптивного співвідношення позитивних/негативних прикладів , що додаються до активної навчальної вибірки на кожній епосі навчання:

де - абсолютна похибка класифікації на оціночній вибірці позитивних прикладів. Порогове значення для , як і крок зміни вибрано експериментально.

На кожній епосі активного навчання настройка синаптичних ваг та порогів ЗНМ здійснюється згідно наступних співвідношень алгоритму зворотнього розповсюдження помилки:

,

,

де адаптивний крок навчання для p-площини l-шару розраховується за формулою:

,

де M та N - висота і ширина p-площини l-шару, - помилка нейрону з координатами (m, n) на p-площині l-шару, F - функція активації.

Для формування розширеної навчальної вибірки ЗНМ вдосконалено алгоритм створення віртуальних прикладів, який на відміну від відомого алгоритму К. Сан і Т. Поджіо містить додаткові операції розмиття і вирівнювання гістограми пікселів, що дозволило підвищити інваріантність верифікації облич-кандидатів за допомогою ЗНМ.

Експериментальні дослідження показали, що при навчанні ЗНМ за допомогою методу формування активної навчальної вибірки Г. Роулі абсолютна похибка класифікації для позитивних прикладів оціночної вибірки становить 0,03-0,05, тоді як при використанні вдосконаленого методу - не перевищує 0,02. Удосконалений метод формування активної навчальної вибірки ЗНМ дозволив підвищити ймовірність ППВ комбінованого каскаду нейромережевих класифікаторів при фіксованій ймовірності ХПВ, рівній 10^-8, на 0,2-0,4 на тестовому наборі CMU у порівнянні із застосуванням методу Г. Роулі.

На основі експериментальних досліджень для запропонованих методів ВО знайдено раціональні значення для наступних параметрів: порогові значення багатократних виявлень облич-кандидатів і облич, коефіцієнти площин і зв'язаності ЗНМ, кількість епох навчання ЗНМ та інші, - що дозволило досягнути найвищих показників достовірності і швидкодії виявлення на основі ККНК.

У третьому розділі одержав подальший розвиток метод ВО на основі комбінованого каскаду нейромережевих класифікаторів для обробки кольорових зображень шляхом використання рівня виявлення облич-кандидатів на основі сегментації за кольором шкіри (КШ). Для визначення кольорового простору, який би забезпечував найвищі показники достовірності і швидкодії ККНК, на тестовому наборі кольорових зображень University College Dublin (UCD) експериментально досліджено піксельну сегментацію з явним визначенням границь кластеру КШ в одному та поєднанні двох наступних кольорових просторів: RGB, TSL, YCbCr і YIQ. За результатами даних досліджень (рис. 6) запропоновано застосувати кольоровий простір RGB з врахуванням додаткової інформації про T складову кольорового простору TSL, що дозволило підвищити ймовірність ППВ на 0,09 при фіксованій ймовірності ХПВ 10^-8 і зменшити час ВО на 26% у порівнянні з використаннях одного кольорового простору TSL. При цьому для поєднання кольорових просторів RGB+TSL запропоновано наступну модель КШ для сегментації кольорових зображень:

де R, G і B - канали кольорового простору RGB, T - канал кольорового простору TSL, max і min - функції знаходження максимального і мінімального значень, AND та OR - логічні “І” та “АБО”.

На вхід каскаду слабких класифікаторів (наступного рівня ККНК після рівня сегментації за кольором шкіри) запропоновано подавати вхідне зображення з накладеною бінарною маскою (1 - пікселі з КШ, а 0 - фон), відкидаючи області даного зображення, які містять менше 30% пікселів з кольором шкіри. Даний підхід дозволив на 20% збільшити швидкодію ККНК у порівнянні з обробкою кожного сегменту з КШ як окремого зображення.

Загалом, використання в ККНК рівня на основі сегментації за КШ дозволило на тестовому наборі UCD підвищити ймовірність ППВ на 0,04 при фіксованій ймовірності ХПВ 10^-8 і збільшити швидкодію на 29%.

У четвертому розділі за результатами аналізу інформаційних потоків процесу ВО побудовано структуру підсистеми виявлення облич, яка складається із двох складових: навчання ККНК і виявлення облич. Кожна із складових містить ряд програмних модулів, для яких описано структури вхідних і вихідних даних. Для реалізації ЗНМ, яка задіяна у ряді програмних модулів, розроблено її об'єктно-орієнтовану модель, що представлена у вигляді сукупності класів і зв'язків між ними.

На базі запропонованих методів створено інформаційну технологію виявлення облич, яку програмно реалізовано у середовищі Microsoft Visual Studio Team System 2008 на мові програмування С++ з використанням бібліотек Intel Open Computer Vision Library та Intel Integrated Performance Primitives. Дану технологію впроваджено у комп'ютерні системи відеоспостереження і контролю доступу.

При використанні відеокамери Toshiba Teli CS6910F інформаційна технологія ВО для системи відеоспостереження у режимі тестування дозволила підвищити ймовірність ППВ на 0,05 і знизити ймовірність ХПВ на 30% у порівнянні із методом П. Віоли та М. Джонса. Швидкість ВО на відеокадрах розміром 320х240 пікселів становила 15-20 кадрів за секунду на робочій станції Intel Core2Duo 1,8GHz в залежності від характеру фонового зображення та кількості облич у кадрі.

За допомогою інформаційної технології ВО для системи контролю доступу в режимі тестування підвищено ймовірність ППВ на 0,08 і знижено ймовірність ХПВ на 24% у порівнянні із методом П. Віоли та М. Джонса. При роботі з відеокамерами Logitech QuickCam Messenger і QuickCam Sphere швидкість виявлення облич на відеокадрах розміром 320х240 становила 10-12 кадрів за секунду на робочій станції Intel Pentium4 1,6GHz.

У додатках наведено тексти програмних модулів підсистеми ВО і структури вхідних та вихідних файлів, приклади роботи підсистеми ВО на тестових наборах, акти впровадження результатів дисертаційного дослідження.

ВИСНОВКИ

У дисертаційній роботі розроблено методи виявлення облич в системах комп'ютерного розпізнавання на основі комбінованого каскаду нейромережевих класифікаторів для підвищення достовірності і швидкодії при обмежених обчислювальних ресурсах. Під час проведення дисертаційного дослідження отримано такі основні результати:

1. Проаналізовано існуючі системи комп'ютерного розпізнавання облич і показано, що у даних системах першою інтелектуальною процедурою по обробці облич, яка визначає результат роботи всієї системи, є їх виявлення. Встановлено, що базові методи ВО, які базуються на моделюванні зображення обличчя, забезпечують або високу достовірність, або високу швидкодію. Розроблено узагальнену інформаційну модель процесу ВО на основі багаторівневого комбінованого каскаду класифікаторів, яка дозволила запропонувати шляхи підвищення достовірності та швидкодії методів виявлення облич на півтонових і кольорових зображеннях при обмежених обчислювальних ресурсах.

2. Розроблено метод ВО для обробки півтонових зображень на основі комбінованого каскаду нейромережевих класифікаторів, який складається із каскаду слабких класифікаторів для виявлення облич-кандидатів та згорткової нейронної мережі для їх верифікації. Даний метод ВО дозволив отримати один із найкращих показників достовірності на тестовому наборі CMU (ймовірність ППВ 0,88 при ймовірності ХПВ 10^-8), випередивши за ймовірністю ППВ метод П. Віоли та М. Джонса на 0,12, і збільшивши швидкодію більш ніж у 8 разів у порівнянні з методом К. Гарсіа та М. Делакіс. Також розроблено алгоритм генерації структури ЗНМ, який дозволив автоматизувати проектування розрідженої несиметричної структури згорткової нейронної мережі на основі декількох вхідних параметрів.

3. Удосконалено метод верифікації облич-кандидатів із механізмом приймання облич, який базується на властивості згорткової нейронної мережі обробляти вхідне зображення будь-якого розміру за один етап, що дозволило збільшити швидкодію ККНК у 8,6 разів у порівняні з методом К. Гарсіа та М. Делакіс. Експериментально встановлено, що за рахунок застосування вдосконаленого методу верифікації у комбінованому каскаді нейромережевих класифікаторів ймовірність ППВ на тестовому наборі CMU при фіксованій ймовірності ХПВ, рівній 10^-8, збільшується на 0,18 у порівнянні із методом верифікації П. Віоли та М. Джонса, на 0,05 - у порівнянні із методом П. Віоли та М. Джонса з перевіркою всіх багатократних виявлень і на 0,004 - у порівнянні із методом К. Гарсіа та М. Делакіс.

4. Удосконалено метод формування навчальної вибірки згорткової нейронної мережі для верифікації облич-кандидатів на основі параметричної адаптації структури активної навчальної вибірки, яка визначається врахуванням адаптивного співвідношення позитивних/негативних навчальних прикладів. Це дозволило знизити похибку класифікації ЗНМ на оціночній вибірці для позитивних прикладів приблизно у два рази і підвищити ймовірність ППВ комбінованого каскаду нейромережевих класифікаторів на тестовому наборі CMU при фіксованій ймовірності ХПВ 10^-8 на 0,2-0,4 у порівнянні із методом Г. Роулі. Вдосконалено алгоритм створення віртуальних прикладів для формування розширеної навчальної вибірки ЗНМ, який на відміну від алгоритму К. Сан і Т. Поджіо містить додаткові операції розмиття і вирівнювання гістограми пікселів, що дозволило підвищити інваріантність ЗНМ до деформацій облич-кандидатів при їхній верифікації.

5. Одержав подальший розвиток метод ВО для обробки кольорових зображень на основі ККНК шляхом використання рівня виявлення облич-кандидатів на основі сегментації за КШ. Експериментальні дослідження комбінованого каскаду нейромережевих класифікаторів на тестовому наборі UCD показали, що поєднання двох просторів RGB+TSL дозволило підвищити ймовірність ППВ на 0,09 при фіксованій ймовірності ХПВ 10^-8 і зменшити час ВО на 26% у порівнянні з використаннях одного кольорового простору TSL.

6. За результатами досліджень інформаційних потоків процесу виявлення облич розроблено структуру підсистеми ВО, яка складається з двох складових: навчання ККНК і виявлення облич. Розроблено і програмно реалізовано згорткову нейронну мережу на основі запропонованої об'єктно-орієнтованої моделі ЗНМ. На базі розроблених методів ВО створено інформаційну технологію виявлення облич, яку впроваджено у комп'ютерні системи відеоспостереження і контролю доступу, що дозволило підвищити ймовірність ППВ на 0,05-0,08 і зменшити ймовірність ХПВ на 24-30% у порівнянні з методом П. Віоли і М. Джонса.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Палій І.О. Метод і засіб виявлення обличчя для ефективної обробки кольорових зображень / І.О. Палій // Штучний інтелект. - 2008. - Т. 4. - С. 402-411.

2. Палій І.О. Методи виявлення обличчя людини на основі комбінованого каскаду класифікаторів / І.О. Палій // Комп'ютинг. - 2008. - Том 7, Вип. 1. - С. 114-125.

3. Палій І.О. Вдосконалений нейромережевий підхід для швидкого виявлення облич / І.О. Палій // Вісник Національного університету «Львівська політехніка» «Комп'ютерні науки та інформаційні технології». - 2007. - №604. - С. 214-219.

4. Палій І.О. Вдосконалений нейромережевий метод виявлення облич / І.О. Палій, Ю.О. Куриляк, А.О. Саченко // Вісник Хмельницького національного університету. - 2007. - №2, Т.1. - С. 145-148.

5. Палій І.О. Відслідковування обличчя людини у відеопотоці / І.О. Палій, Ю.О. Куриляк, А.І. Михайлюк, А.О. Саченко // Збірник праць 3-ї міжнародної науково-технічної конференції "Комп'ютерні науки та інформаційні технології" (CSIT-2008). - Львів (Україна), 2008. - С. 154-157.

6. Палій І.О. Виявлення обличчя людини на кольорових зображеннях із використанням комбінованого каскаду класифікаторів / І.О. Палій, А.О. Саченко // Збірник праць міжнародної науково-технічної конференції “Штучний інтелект-2008”. - Кацивелі (Україна), 2008. - Ч. 1. - С. 311-316.

7. Палий И.О. Надежное обнаружение лиц с помощью комбинированного каскада классификаторов / И.О. Палий, А.А. Саченко // Труды девятой международной научно-практической конференции “Современные информационные и электронные технологии” (СИЭТґ2008). - Одесса (Украина), 2008. - Т.1. - С. 25.

8. Paliy I. Face Detection Using Haar-like Features Cascade and Convolutional Neural Network / I. Paliy // Proceedings of the Ninth International Conference “Modern Problems of Radio Engineering, Telecommunications and Computer Science” (TCSET'2008). - Lviv-Slavsko (Ukraine), 2008. - P. 375-377.

9. Палий И.О. Обнаружение лиц с помощью комбинированного каскада классификаторов для видеонаблюдения / И.О. Палий, А.А. Саченко, В.А. Турченко, Ю.О. Куриляк, В.А. Капура // Вестник Брестского государственного технического университета: (Серия: физика, математика и информатика). - 2007. - №5. - С.5-8.

10. Paliy I. Improved Fast Neural Network-Based Face Detection Approach / I. Paliy, A. Sachenko, Y. Kurylyak // Proceedings of the International Conference on Computer Science and Information Technologies (CSIT'2007). - Lviv (Ukraine), 2007. - P. 40-41.

11. Paliy I. Combined Approach to Face Detection for Video-Surveillance / I. Paliy, A. Sachenko, Y. Kurylyak, V. Kapura, R. Sadykhov, D. Lamovsky // Proceedings of the IEEE Fourth International Workshop on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS'2007). - Dortmund (Germany), 2007. - P. 594-598.

12. Paliy I. Improved Neural Network-based Face Detection Method using Color Images / I. Paliy, Y. Kurylyak, A. Sachenko, K. Madani, A. Chohra // Proceedings of the Third International Workshop on Artificial Neural Networks and Intelligent Information Processing (ANNIIP 2007). - Angers (France), 2007. - P. 107-114.

13. Paliy I. Face Detection Algorithms for Video-Surveillance Systems / I. Paliy, A. Sachenko, Y. Kurylyak, V. Kapura, R. Sadykhov, D. Lamovsky // Proceedings of the Ninth International Scientific Conference «Pattern Recognition and Information Processing» (PRIP 2007). - Minsk (Belarus), 2007. - Vol.2. - P. 141-145.

14. Paliy I. Improved Method of Face Detection Using Color Images / I. Paliy, V. Koval, Y. Kurylyak, A. Sachenko // Proceedings of the International Conference “Modern Problems of Radio Engineering, Telecommunications and Computer Science” (TCSET'2006). - Lviv-Slavsko (Ukraine), 2006 - P. 186-188.

АНОТАЦІЇ

Палій І.О. Методи виявлення облич в системах комп'ютерного розпізнавання на основі комбінованого каскаду нейромережевих класифікаторів. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - Системи та засоби штучного інтелекту. - Одеський національний політехнічний університет, Одеса, 2009.

Дисертація присвячена розробленню методів виявлення облич (ВО) в системах комп'ютерного розпізнавання на основі комбінованого каскаду нейромережевих класифікаторів для підвищення достовірності і швидкодії при обмежених обчислювальних ресурсах.

У роботі розроблено узагальнену інформаційну модель процесу ВО, яка базується на багаторівневому комбінованому каскаді класифікаторів. На основі даної моделі розроблено методи виявлення облич для обробки півтонових і кольорових зображень, використовуючи комбінований каскад нейромережевих класифікаторів (ККНК), який складається із рівня сегментації за кольором шкіри та каскаду слабких класифікаторів для виявлення облич-кандидатів і згорткової нейронної мережі (ЗНМ) для верифікації кандидатів. Також удосконалено методи верифікації облич-кандидатів, який базується на властивості ЗНМ обробляти вхідне зображення за один етап, і формування навчальної вибірки ЗНМ, що використовує параметричну адаптацію структури активної навчальної вибірки. ККНК дозволив отримати один із найкращих показників достовірності на тестовому наборі півтонових зображень Carnegie Mellon University: ймовірність правильного позитивного виявлення (ППВ) 0,88 при ймовірності хибного позитивного виявлення ХПВ 10^-8.

На базі розроблених методів ВО створено інформаційну технологію виявлення облич, яку впроваджено у комп'ютерні системи відеоспостереження і контролю доступу, що дозволило підвищити ймовірність ППВ на 0,05-0,08 і зменшити ймовірність ХПВ на 24-30%.

Ключові слова: виявлення облич, комбінований каскад нейромережевих класифікаторів, згорткова нейронна мережа, верифікація облич-кандидатів, сегментація за кольором шкіри.

Paliy I.O. Face detection methods in computer recognition systems based on the combined cascade of neural network classifiers. - Manuscript.

Thesis for obtaining the candidate of technical science degree on the specialty 05.13.23 - Systems and means of artificial intelligence. - Odessa National Polytechnic University, Odessa, 2009.

The goal of this thesis is to develop the face detection (FD) methods by using the combined cascade of neural network classifiers for the validity and speed increasing in the conditions of the limited computational resources.

It is developed the generalized informational FD model which uses the multilevel combined cascade of classifiers. There are also developed the face detection methods based on the abovementioned model for grayscale and color images' processing. They use the combined cascade of neural network classifiers (CCNNC) which consists of the skin color segmentation level and cascade of weak classifiers for the face candidates' detection and the convolutional neural network (CNN) for candidates' verification. The face candidates' verification method is improved by using the CNN's property to handle a whole input image at once. The method of CNN training set formation is also improved by the parametric adaptation of the active training set structure. The CCNNC allowed reaching one of the best validity values on the Carnegie Mellon University Grayscale Test Set with 0.88 true positive rate (TPR) at 10^-8 false positive rate (FPR).

Based on the developed methods, it is also created the FD informational technology which is used in the video surveillance and access control computer systems and allowed increasing the TPR on 0.05-0.08 and decreasing the FPR on 24-30%.

Keywords: face detection, combined cascade of neural network classifiers, convolutional neural network, face candidates' verification, skin color segmentation.

Палий И.О. Методы обнаружения лиц в системах компьютерного распознавания на основе комбинированного каскада нейросетевых классификаторов. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 - Системы и средства искусственного интеллекта. - Одесский национальный политехнический университет, Одесса, 2009.

Диссертация посвящена разработке методов обнаружения лиц (ОЛ) в системах компьютерного распознавания на основе комбинированного каскада нейросетевых классификаторов для повышения достоверности и быстродействия при ограниченных вычислительных ресурсах.

В диссертационной работе проанализированы существующие системы компьютерного распознавания лиц и показано, что в данных системах первой интеллектуальной процедурой по обработке лиц является их обнаружение. Даная процедура должна отвечать требованиям высокой достоверности и быстродействия в условиях ограниченных вычислительных ресурсов. Установлено, что базовые методы обнаружения лиц обеспечивают либо высокую достоверность, либо высокое быстродействие. Разработана обобщенная информационная модель ОЛ на основе многоуровневого комбинированного каскада классификаторов, которая позволила определить пути улучшения методов обнаружения лиц на полутоновых и цветных изображениях в соответствии с предъявленными требованиями.

Базируясь на разработанной модели процесса ОЛ, разработан метод обнаружения лиц на полутоновых изображениях, который использует комбинированный каскад нейросетевых классификаторов (ККНК), состоящий из каскада слабых классификаторов для обнаружения лиц-кандидатов и сверточной нейронной сети для их верификации. Данный метод позволил получить один из наилучших показателей достоверности на тестовом наборе Carnegie Mellon University (CMU): вероятность правильного позитивного обнаружения (ППО) 0,88 при вероятности ложного позитивного обнаружения (ЛПО) 10^-8.

С целью повышения быстродействия комбинированного каскада нейросетевых классификаторов усовершенствован метод верификации лиц-кандидатов с механизмом приема лиц, который базируется на свойстве СНС обрабатывать входное изображение любого размера за один этап, что позволило повысить быстродействие ККНК в 8,6 раз по сравнению с методом верификации К. Гарсиа и М. Делакис. В результате экспериментальных исследований на тестовом наборе CMU показано, что за счет использования усовершенствованного метода верификации лиц-кандидатов вероятность ППО комбинированного каскада нейросетевых классификаторов повышено на 0,004-0,18 при фиксированной вероятности ЛПО 10^-8 в сравнении с известными методами верификации.

Учитывая тот факт, что сверточная нейронная сеть использована не самостоятельно, а в рамках ККНК, первые уровни которого отбрасывают большинство фона, предложено обеспечить низкую ошибку классификации СНС для позитивных примеров (лиц). С этой целью усовершенствован метод формирования обучающей выборки СНС на основе параметрической адаптации структуры активной обучающей выборки с помощью учета адаптивного соотношения позитивных/негативных примеров. Применение данного метода при обучении СНС позволило повысить вероятность ППО комбинированного каскада нейросетевых классификаторов на тестовом наборе CMU на 0,2-0,4 при фиксированной вероятности ЛПО 10^-8 в сравнении с использованием известного метода формирования обучающей выборки Г. Роули.

Получил дальнейшее развитие метод ОЛ для обработки цветных изображений на основе ККНК путем использования уровня обнаружения лиц-кандидатов с помощью сегментации по цвету кожи. Экспериментальные исследования на тестовом наборе University College Dublin показали, что сочетание двух цветных пространств RGB+TSL позволило повысить вероятность ППО на 0,09 при фиксированной вероятности ЛПО 10^-8 и снизить время ОЛ на 26% в сравнении с использованием одного цветного пространства TSL.

За результатами исследований информационных потоков процесса обнаружения лиц разработана структура подсистемы ОЛ, которая состоит из двух составных: обучение комбинированного каскада нейросетевых классификаторов и обнаружение лиц. Разработана и программно реализована сверточная нейронная сеть на основе предложенной объектно-ориентированной модели СНС. На базе разработанных методов ОЛ создана информационная технология обнаружения лиц, которая внедрена в компьютерные системы видеонаблюдения и контроля доступа, что позволило повысить вероятность ППО на 0,05-0,08 и снизить вероятность ЛПО на 24-30% в сравнении с методом П. Виолы и М. Джонса.

Ключевые слова: обнаружение лиц, комбинированный каскад нейросетевых классификаторов, сверточная нейронная сеть, верификация лиц-кандидатов, сегментация по цвету кожи.

Размещено на Allbest.ru

...