Размещено на http://www.allbest.ru/

Міністерство освіти і науки України

Харківський національний університет радіоелектроніки

УДК 004.932.2:004.93'1

НЕЙРОМЕРЕЖЕВІ МЕТОДИ ТА ЗАСОБИ СТИСКАННЯ ЗОБРАЖЕНЬ

05.13.23 - Системи та засоби штучного інтелекту

БОБНЄВ РОМАН ВАЛЕРІЙОВИЧ

Дисертацією є рукопис.

Робота виконана в Харківському національному університеті радіоелектроніки Міністерства освіти і науки України.

Науковий керівник: доктор технічних наук, професор Руденко Олег Григорійович, Харківський національний університет радіоелектроніки, завідувач кафедри електронних обчислювальних машин.

Офіційні опоненти:

доктор технічних наук, професор Гороховатський Володимир Олексійович, Харківський інститут банківської справи Університету банківської справи Національного банку України, завідувач кафедри інформаційних технологій;

кандидат технічних наук, доцент Олійник Андрій Олександрович, Запорізький національний технічний університет, доцент кафедри програмних засобів

Захист відбудеться на засіданні спеціалізованої вченої ради Д 64.052.01 у Харківському національному університеті радіоелектроніки за адресою: Україна, 61166, м. Харків, просп. Леніна, 14).

З дисертацією можна ознайомитися у бібліотеці Харківського національного університету радіоелектроніки за адресою: Україна, 61166, м. Харків, пр. Леніна, 14).

Автореферат розісланий 2014 р.

Учений секретар спеціалізованої вченої ради О. А. Винокурова

АНОТАЦІЯ

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи та засоби штучного інтелекту. - Харківський національний університет радіоелектроніки, Міністерство освіти і науки України, Харків, 2014.

У роботі проведено аналіз проблеми стискання статичних зображень за допомогою штучних нейронних мереж (ШНМ). Запропоновано метод модифікації архітектури ШНМ Кохонена для усунення вимог до нормалізації вхідних даних, що дозволяє відкинути шар Гросберга у вирішенні задачі стискання зображень ШНМ зустрічного розповсюдження. Запропоновано модифікацію ГА на основі біологічного процесу апоптозу, що дозволяє уникнути проблеми попадання алгоритму у локальний екстремум у процесі багатокритеріальної оптимізації. Проведено аналіз можливих методів початкової ініціалізації базисних функцій (БФ) ШНМ радіально-базисних функцій (РБФ) за допомогою ШНМ Кохонена та Нейро-Газ а також алгоритмів «k-середніх» та «k-найближчих сусідів» для підвищення якості та швидкості навчання ШНМ РБФ.

Достовірність результатів підтверджується експериментальними дослідженнями та впровадженнями. У середовищі Microsoft Visual Studio 2010 Express Edition проведено імітаційне моделювання різних задач апроксимації, класифікації, кластеризації та стискання зображень за допомогою статичних ШНМ.

Ключові слова: штучна нейронна мережа, апроксимація, класифікація, кластеризація, стискання зображення, метод навчання, векторне квантування, мережа Кохонена, радіально-базисна функція, генетичний алгоритм, апоптоз, метод навчання.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 - системы и средства искусственного интеллекта.- Харьковский национальный университет радиоэлектроники, Министерство образования и науки Украины, Харьков, 2014. Диссертационная работа посвящена проблеме сжатия статических изображений при помощи статических искусственных нейронных сетей (ИНС).

В диссертации рассмотрены типы статических ИНС, получившие наибольшее распространение для решения задач кластеризации, классификации, векторного квантования, аппроксимации и сжатия изображений. В частности сделан акцент на такие нейронные сети как, сеть Кохонена и сеть радиально-базисных функций.

В работе предложен ряд методов и модификаций, устраняющих определенные проблемы, возникающие при работе с ИНС. Например, для решения проблемы нормализации входных данных и использования вектора весов сети непосредственно, как вектора опорного представителя кластера, предложен дополнительный «нормализующий» вход сети, использующий тот факт, что длины входных векторов могут быть выровнены до какого-либо общего числа и необязательно равного единице, за счет чего можно добиться нормализации всего вектора изменяя лишь одну из его компонент (в данном случае, изменяющейся компонентой является «нормализующий» вход сети). Сделано замечание, что данная модификация сети применима не только к моделируемым сетям (Кохонена, Нейро-Газ, РБФ), но и к широкому спектру других сетей имеющих схожий механизм обучения.

Предложен гибридный ГА, модифицирующий этап кроссинговера и естественного отбора классического ГА, используя логику, основанную на биологическом процессе апоптоза, заключающуюся в ведении статистики по количеству идентичных особей в популяции и устранении их либо на этапе кроссинговера (когда оба родителя идентичны), либо на этапе естественного отбора (когда число идентичных особей превысило заданный порог). Также введен показатель, вычисляемый на основе соотношения дубликатов особей популяции и общего числа популяции, целью которого является определение целесообразности применения введенной логики ГА на данном этапе процесса эволюции алгоритма, данный показатель получил название "порог насыщения".

Также в работе предложено использовать некоторую предобработку входных данных перед обучением ИНС РБФ для улучшения результатов при решении задач аппроксимации функций и сжатия изображений. Данная предобработка заключается в кластеризации и классификации входных данных для последующей инициализации БФ на основе полученных центров кластеров и их размеров. Для определения центров кластеров, а следовательно и центров БФ, предложено применение сетей Кохонена и Нейро-Газ, а для определения размеров кластеров, соответственно и отклонений БФ, предложено использование известных алгоритмов «k-средних» и «k-ближайших соседей».

Достоверность полученных результатов диссертационной работы подтверждается экспериментальными исследованиями и результатами внедрения. Проведено имитационное моделирование задач аппроксимации, классификации, кластеризации, векторного квантования, сжатия изображения, а также моделирования процесса эволюции модифицированного ГА в среде Microsoft Visual Studio 2010 Express Edition, с помощью статических ИНС (среди них: сеть Кохонена, Нейро-Газ, встречного распространения, РБФ). Разработанные в диссертации методы и процедуры используются в Научно-исследовательском комплексе «Ускоритель» ННЦ «ХФТИ» при управлении энергией электронов в односекционном сильноточном ускорителе КУТ.

Ключевые слова: искусственная нейронная сеть, аппроксимация, классификация, кластеризация, сжатие изображения, метод навчання, векторное квантование, сеть Кохонена, радиально-базисная функция, генетический алгоритм, апоптоз, метод обучения.

Thesis for the technical science candidate degree on the specialty 05.13.23 - systems and tools of artificial intelligence. - Kharkiv National University of Radio Electronics, Ministry for Education and Science of Ukraine, Kharkiv, 2014.

The thesis covers the analysis of the problem of image compression using artificial neural networks (ANN). The most frequently used static ANN architectures and learning algorithms are investigated for their application in solving the approximation, classification, clusterization, vector quantization and image compression problems. Several methods of Kohonen's and RBF ANN architecture modification are proposed with the purpose of improving usage flexibility and the efficiency of multidimensional data processing. Specifically, a Kohonen's ANN modification which eliminates requirement of input data normalization is developed. In addition, a method of initial initialization of centers and widths of basis functions for ANN RBF is proposed. Also hybrid genetic algorithm based on biological apoptosis which solves problem with hang in local extremums is discussed.

Simulation in the Microsoft Visual Studio 2010 Express Edition environment shows the high efficiency of using ANNs for solving various problems of approximation, classification, clusterization, vector quantization and image compression.

Keywords: artificial neural network, approximation, classification, clusterization, image compression, training algorithm, vector quantization, Kohonen's network, radial basis function, genetic algorithm, apoptosis, training method.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Протягом усього часу існування цифрових технологій задача компактної передачі інформації по каналу зв'язку була, є, та й скоріше за все, буде актуальною. Окремим прикладом такої інформації є візуальна інформація, до якої можна віднести статичні зображення. На сьогоднішній день найбільш популярним є відомий алгоритм стискання JPEG. З розвитком цифрової обробки даних зросли вимоги щодо розміру зображень, швидкості стискання та якості їх передачі по каналам зв'язку, але всі існуючі на сьогодні алгоритми у змозі задовольнити таку вимогу. Наприклад, як заміну алгоритму JPEG було запропоновано новий алгоритм JPEG-2000, який вже використовує інший підхід, який відрізняє його від попередників, а саме, штучні нейронні мережі (ШНМ). На сьогодні існує багато різноманітних ШНМ, які, зазвичай, вирішують певне коло задач. Деякі з них добре вирішують задачу векторного квантування, наприклад, нейронна мережа Кохонена, інші - дуже ефективно вирішують задачу апроксимації та дозволяють відновити із заданою точністю будь-яку як завгодно складну безперервну нелінійну функцію, наприклад, нейронна мережа радіально-базисних функцій (РБФ). Отже, існує певне поле дій щодо застосування ШНМ у задачі стискання зображень з урахуванням її, ШНМ, специфіки та ефективності вирішення того або іншого кола проблем.

Треба відзначити, що ШНМ не є панацею оскільки існує низка обмежень стосовно використання у задачах, що вирішуються. Більшість із них пов'язані з процесом навчання ШНМ, наприклад, це може бути попадання у локальний екстремум у процесі навчання (що істотно для більшості задач мінімізації квадратичного функціоналу), недостатня точність або надто тривалий процес навчання. Усі ці особливості вносять додатковий спектр досліджень стосовно використання ШНМ у вирішенні різноманітних задач, в тому числі й до задачі стискання зображень. Можна також додати, що для вирішення проблем, що постають у процесі навчання ШНМ, часто пропонуються методи, відмінні від класичних засобів навчання ШНМ. Найбільш відомим на сьогодні можна назвати засіб на основі генетичних алгоритмів (ГА). Хоч ГА й не позбавлені недоліків (додаткові параметри налаштування та сама ймовірність попадання в локальний екстремум, розмір пам'яті для забезпечення достатньої кількості популяції, швидкість роботи тощо) вони все ж дають певну свободу дій, оскільки відображають процес навчання ШНМ у простішій формі порівняно з його класичною реалізацією. Звідси випливає гнучкість ГА щодо задачі, що вирішується, а також ймовірність простіших модифікацій, які здатні поліпшити результат його роботи. Окрім ГА, часто пропонують підходи, коли у навчанні ШНМ для налаштування вагових коефіцієнтів використовують інші ШНМ, що дозволяють налаштувати ваги набагато швидше, задовольняючи задану точність, що може виявитися ефективнішим у порівнянні з класичними засобами.

Усі розглянуті вище особливості визначають неймовірно велику область досліджень для актуальної задачі стискання зображень, хоча роботи за цим напрямом проводяться не перший десяток років, все ж таки існує ряд прогалин у цьому напрямі, що говорить про необхідність, а отже й актуальність вивчення різноманітних засобів та модифікацій навчання ШНМ для вирішення задачі стискання зображень.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана в рамках держбюджетної НДР «Розробка теоретичних основ та математичного забезпечення нейро-фаззі систем ранньої діагностики, прогнозування та моделювання в умовах апріорної і поточної невизначеності» (№ ДР 0101U001762), що виконується у Харківському національному університеті радіоелектроніки, і в якій автор брав участь як виконавець.

Мета та завдання дослідження. Мета дисертаційної роботи полягає у розробленні ефективних ШНМ, що виконують процес стискання зображення шляхом синтезу нейромережевих структур, а також зміна процесу навчання ШНМ, що дозволить підвищити якість або швидкість отримання результату (стисненого зображення).

Для досягнення поставленої мети у роботі вирішуються такі основні задачі:

1. Дослідження популярних методів стискання зображень, таких як JPEG та JPEG-2000, та огляд існуючих штучних нейронних мереж, що застосовуються для вирішення задачі стискання зображень

2. Удосконалення підходу стискання зображень з використанням ШНМ Кохонена.

3. Розробка модифікації ГА, що дозволить усунути класичну проблему ГА, а саме, попадання у локальний екстремум при знаходженні рішень та дослідження можливості застосування цієї модифікації для навчання ШНМ у задачах стискання зображень.

4. Розробка методу навчання ШНМ РБФ на основі таких нейронних мереж, як мережа Кохонена та мережа Нейро-Газ, а також дослідження розробленого методу навчання ШНМ РБФ стосовно задачі стискання зображень.

5. Імітаційне моделювання роботи досліджуваних нейромережевих структур, ГА та вирішення практичних задач.

Об'єкт дослідження - процеси навчання штучних нейронних мереж в задачі стискання зображень, а також процеси взаємодії та формування популяцій генетичних алгоритмів.

Предмет дослідження - багатовимірні ШНМ, нейромережеві системи стискання зображень, апроксимації та генетичні алгоритми.

Методи дослідження базуються на теорії обчислювального інтелекту, а саме на методах теорії ШНМ та теорії генетичних алгоритмів, які дозволили синтезувати нейромережеві моделі та отримати процедури їх навчання; на теорії оптимальності, за допомогою якої синтезовані швидкісні процедури навчання. Експериментальні дослідження проведені в лабораторних умовах та на реальних об'єктах.

Наукова новизна результатів дисертаційної роботи.

1. Вперше запропоновано модифікацію топології мережі Кохонена, що базується на введенні додаткового входу мережі, яке дозволяє уникнути традиційної нормалізації вхідних даних, тобто, дозволяє безпосередньо використовувати ваги ШНМ як опорний зразок кластера представника, що дає можливість зменшити обсяг необхідних обчислень.

2. Вперше запропоновано гібридний генетичний алгоритм, що базується на логіці біологічного процесу апоптоза, в якому, на відмінність від класичного, виконуються додаткові дії на стадіях кросинговеру та природного відбору, що дозволяє знаходити практично більшу частину глобальних екстремумів цільової функції, а використання параметру «поріг насиченості» забезпечує задання чутливості ГА до локальних екстремумів, а отже визначення кількості виданих рішень.

3. Удосконалено процедуру навчання ШНМ РБФ, яка відрізніється від традиційних більш коректною ініціалізацією центрів та відхилень базисних функцій за допомогою аналізу вхідних даних нейронної мережі Нейро-Газ (для центрів БФ), а також алгоритму «k-найближчих сусідів» (для відхилень БФ), що дозволяє збільшити точність навчання мережі РБФ, а також зменшити час її навчання.

4. Отримав подальший розвиток метод стискання зображень на базі нейронної мережі зустрічного розповсюдження, запропонована модифікація якої дозволяє відкинути шар Гроссберга та використовувати лише шар Кохонена, що дозволило значно зменшити апаратні витрати та обсяг пам'яті для зберігання синаптичних коефіцієнтів нейронної мережі, а також зменшити необхідний на їх обробку час.

Практичне значення отриманих результатів. Наукові результати дисертаційної роботи є внеском у теорію штучних нейронних мереж та у теорію ідентифікації й апроксимації функцій. Практичне значення полягає в тому, що отримані результати теоретичних досліджень реалізовано за допомогою нових процедур, які забезпечують високу якість адаптивної обробки багатовимірної інформації. Отримані процедури дозволяють поширити спектр використання нейромережевих технологій, а також розробити нові різноманітні системи адаптивної обробки інформації. Розроблені та досліджені у дисертаційній роботі програмні моделі та алгоритми обробки зображень отримали застосування у науково-дослідному комплексі «Прискорювач» Національного Наукового Центру «Харківський фізико-технічний інститут» м. Харкова при розробці системи керування прискорювачем електронів КПТ. Також положення, висновки та рекомендації дисертаційної роботи використані в навчальному процесі на кафедрі ЕОМ Харківського національного університету радіоелектроніки при підготовці дисциплін «Нейронні обчислювальні структури», «Спеціалізовані процесори» та «Цифрова обробка інформації». Впровадження підтверджуються відповідними актами.

Особистий внесок здобувача. Всі основні результати отримані автором особисто. У роботах, написаних із співавторами, здобувачу належать: у [1] -модифікована нейронна мережа Кохонена, а також розрахунок вхідних значень нормалізуючого входу мережі; у [2] - використання мережі Нейро-Газ для визначення центрів базисних функцій мережі РБФ в процесі її навчання та проведення порівняльного аналізу процесів навчання різних модифікацій мережі РБФ; у [3] - ГА на підставі процесу біологічного апоптоза, а також введення «порогу насиченості», що визначає стан популяції ГА (з його простішим імовірнісним описом); у [4] - використання нормалізуючої компоненти при нейромережевому стисканні зображень; у [5] -дослідження властивостей модифікованого ГА, що базується на принципі біологічного апоптозу; в [6] - використання адаптивного масштабування параметрів вхідних сигналів з метою поліпшення властивостей РБФ; у [10] - проведення імітаційного моделювання; в [11] - дослідження властивостей алгоритму клонального відбору.

Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися й обговорювалися на 3-й Міжнародній науковій конференції «Информатика, математическое моделирование, экономика» (Росія, Смоленськ, 2013), на 1-й і 2-й Міжнародних науково-технічних конференціях «Інформаційні технології в навігації і управлінні: стан та перспективи розвитку» (Київ, 2010, 2011), на 1-й та 2-й Міжнародних науково-технічних конференціях «Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління» (Харків-Київ, 2010, Київ-Харків, 2011), на Міжнародній науково-технічній конференції «Автоматизація: проблеми, ідеї, рішення» (Севастополь, 2012).

Публікації. За темою дисертаційної роботи опубліковано 11 наукових праць, з них: 6 статей у наукових фахових виданнях, що входять до переліків наукових фахових видань України з технічних наук (з них 2 статті, що входять до наукометричних баз Scopus, Web of Science), 5 публікацій у збірниках матеріалів і тез доповідей на міжнародних науково-технічних конференціях і форумах (в тому числі 1 за кордоном).

Структура та обсяг роботи. Дисертація складається зі вступу, чотирьох розділів, висновків, списку використаних джерел та одного додатку. Повний обсяг дисертації становить 173 сторінки, що включає 65 рисунків, 4 таблиці (рисунки та таблиці, що займають окрему площу на 15 стор.), список використаних джерел, що включає 101 найменування, займає 15 сторінок, 1 додаток на 3 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

генетичний алгоритм нейронний мережа

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету та завдання досліджень, наведено відомості щодо зв'язку дисертації з планами організації, де виконана робота. Надано стислу анотацію отриманих у дисертації результатів, відзначено їх практичну цінність, наведено дані щодо використання результатів проведених досліджень, а також щодо публікацій та апробації роботи. У першому розділі проаналізовано стан проблеми обробки інформації у задачах стискання зображень. Розглянуто традиційні методи стискання зображень, серед яких детально описані методи стандартів JPEG та JPEG-2000. Проаналізовано недоліки стандарту JPEG, серед яких слід відзначити неможливість підтримувати якість стисненого зображення, якщо його геометричний розмір перевищує деякі умовні межі, також етап розбиття зображення на блоки у процесі стискання зображень, що додає суттєво очевидні артефакти у результуючому зображенні при великих геометричних розмірах. Стандарт JPEG-2000 позбавлений таких недоліків завдяки тому, що використовує дискретне вейвлет-перетворення, яке працює з блоками довільних розмірів. Також відзначено, що стандарт JPEG-2000 завдяки засобу використання дискретного вейвлет-перетворення часто відносять до нейромережевих методів. На цій підставі зроблено екскурс у теорію нейронних мереж, наведено біологічні основи нейронного моделювання, модель штучного нейрону, основні види штучних нейронних мереж.

Після попереднього екскурсу у теорію ШНМ та опису відомих алгоритмів стискання зображень приведено опис двох засобів використання ШНМ у задачах стискання зображень.

Перший засіб базується на методі векторного квантування, коли все зображення розбивається на деякі квадратні блоки пікселів, кожен такий блок є вектором, а все зображення - це множина таких векторів, що використовуються як вхідні дані для ШНМ. ШНМ у свою чергу вирішує задачу кластеризації наданих векторів і, як наслідок, має для кожного вектора видати номер кластеру. Саме цей номер кластеру і буде інформацією, яка має передаватися по каналу зв'язку замість реального блоку пікселів. Очевидно, що крім номера кластеру, треба передати таблицю відповідності номеру кластера та вектора представника кластера, для здійснення коректної операції декомпресії. Описаний процес стискання є процесом з втратами якості, тому що кожен унікальний вектор зображення буде замінено деяким найбільш схожим вектором, але не ідентичним. Другий засіб використання ШНМ у задачі стискання зображень має відому назву «вузьке місце» (bottleneck). Цей засіб базується на можливості ШНМ до апроксимації методом головних компонент, а також на тому, що у багатьох ШНМ вихідний шар має меншу розмірність ніж вхідний. У цьому засобі також рекомендується розбити зображення на деякі квадратні блоки та подавати їх до входу ШНМ. ШНМ, здійснюючи апроксимацію, формує спеціалізований вектор вихідних даних, який і треба передати по каналу зв'язку. Приймаюча сторона реалізує зворотне перетворення за допомогою ідентичної ШНМ, але тепер вхідний та вихідний шар міняються місцями. Очевидно, що описаний засіб стискання також має втрати якості, по-перше, тому що зображення було розбито на блоки, та по-друге, тому що апроксимація за визначенням не може дати гарантовано стовідсоткову точність результату.

Внаслідок проведеного аналізу сформульовано основні задачі наукового дослідження, викладеного у дисертаційній роботі.

Другий розділ присвячено дослідженню стискання зображення за допомогою ШНМ Кохонена, а також дослідженню самої мережі, її особливостей та можливості удосконалення. На початку розділу наведено опис нейронної мережі, її топологію та передумови початкової ініціалізації мережі. Звернено увагу на метод навчання ШНМ Кохонена, особливість якого полягає у принципі «переможець отримає все» та де «нейрон-переможець» визначається за значенням відстані:

, (1)

де j - номер нейрона вихідного шару, i - номер нейрона вхідного шару, wij - вага зв'язку між i-м та j-м нейронами, xi - значення входу i-го нейрону вхідного шару. Ваги «нейрона-переможця» коректуються згідно з правилом:

,(2)

де - параметр, що визначає швидкість навчання мережі, t - номер епохи, решта параметрів такі ж самі як і у виразі (1).

Далі у роботі наведено опис ШНМ зустрічного розповсюдження, бо саме ця мережа є дуже популярною у використанні для вирішення задач стискання зображень. Ця мережа складається з двох мереж, кожна з яких виступає як окремий шар, тому їх називають шар Кохонена та шар Гросберга. Наведено опис навчання ШНМ зустрічного розповсюдження, а також показано застосування даної мережі для вирішення задачі стискання зображень. Запропоновано формат зберігання даних на диску щодо стисненого зображення, якій дозволяє не тільки легко і дуже швидко виконати декомпресію зображення, а й вирахувати коефіцієнт стискання цього методу.

Неможливість коректного визначення відповідності між номером кластеру та вектором представником цього кластеру є головною причиною доцільності використання ШНМ в задачах стискання зображень, тому що таку операцію виконує шар Гросберга у цій мережі. Отже, якщо є можливість використати будь-які дані стосовно представника кластеру без участі шару Гросберга, то можна значно скоротити процес стискання та, можливо, підвищити якість. Оскільки у задачі векторного квантування ваги мережі Кохонена у процесі навчання прагнуть змінити свої значення у напрямку вхідних даних, це означає, що ваги цієї мережі для кожного вихідного нейрону є деяким представником кластеру, який відповідає цьому вихідному нейрону. Але мережа Кохонена не може класифікувати вхідні дані, якщо вони не нормалізовані, саме завдяки цій особливості використання ШНМ зустрічного розповсюдження є вимушеним кроком. Тому перед навчанням мережі всі вхідні образи нормалізують до одиничної гіперсфери. Така нормалізація гарантує, що процес навчання приведе до зв'язного розподілу простору даних, але у цьому випадку немає можливості використати ваги мережі, яка навчалася на нормалізованих даних. Саме тому було запропоновано модифікувати ШНМ Кохонена, що дозволило б, з одного боку, використовувати ваги мережі як вектор представник кластеру, а з іншого - отримати якісні результати класифікації за допомогою цієї мережі. Модифікація полягає у введенні додаткового входу мережі Кохонена, на який буде подаватися спеціалізований «нормалізуючий» сигнал. Значення цього сигналу компенсує інші вхідні сигнали таким чином, що результуючий вхідний вектор буде нормалізований. Схематичне зображення додаткового входу мережі зображено на рисунку 1, де Х0 … Xn - вхідний вектор сигналів; K0 … Kn - вихідні нейрони шару Кохонена; Xmod - додатковий вхід, на який буде надходити нормалізуючий сигнал.

Размещено на http://www.allbest.ru/

Рисунок 1 - Структура модифікованої мережі Кохонена

Зазвичай, для нормалізації значень у одиничну гіперсферу використовують вираз виду:

.(3)

де Xi - початкове значення компоненти вхідного вектору, Xi* - модифіковане значення, i - номер компоненти для якої виконується нормалізація, n - кількість компонент вхідного вектору.

Як відомо, нормалізація (3) проводиться з метою вирівняти усі довжини всіх вхідних векторів до загальної величини, у даному випадку до одиниці. Але, як показує практика, нормалізувати вхідний сигнал можна й до іншого значення, у тому числі й більшого, ніж одиниця. Суть запропонованої модифікації полягає у тому, що вхід Xmod має бути таким, щоб довжина вхідного вектору завжди залишалась ідентичною, але не обов'язково дорівнюючою одиниці. Тому запропоновано обчислювати додатковий вхід у такий спосіб:

,(4)

де n - кількість компонент вхідного вектору, А - параметр, що визначає довжину вектора після подачі даного сигналу разом з іншими вхідними сигналами, Xi - значення компоненти вхідного вектору.

Дуже важливим є визначення параметру А - він повинен дорівнювати максимальному значенню серед усіх значень всіх входів мережі. Однак знати заздалегідь максимальне значення серед усіх значень не є можливим, тому треба вибрати значення достатньо великим (наприклад, це може бути половина максимально допустимого числа для розрядності обчислювального пристрою або розрядність АЦП).

Така модифікація має певні переваги. Очевидно, що обчислення додаткового входу мережі буде забирати менше часу, ніж операція нормалізації усіх входів, тому що на кожному кроці навчання обчислення виконуються тільки для одного входу мережі (нормалізуючого), а не для кожного з входів, як у класичній нормалізації. Хоча додавання ще одного входу збільшує час обчислення всієї мережі, кількість додаткових входів завжди є постійною незалежно від кількості основних входів, тому ця різниця не є суттєвою для мереж з великою кількістю входів. Ще однією перевагою є те, що ця модифікація не спричиняє якихось змін у методі навчання мережі, тому вона може бути застосована до багатьох ШНМ, а не тільки ШНМ Кохонена. Але найголовніша перевага полягає у тому, що після навчання мережі можна використовувати її ваги як вектор-представник кластеру, ігноруючи останню компоненту. По суті, така модифікація дозволяє відкинути шар Гросберга у ШНМ зустрічного розповсюдження та використовувати лише мережу Кохонена, що має підвищити не лише якість, але й швидкість процесу стискання. Порівняння результатів роботи можна побачити на рис. 2, де сірим кольором позначений простір вхідних даних; чорним кольором - значення вхідних даних, що потрапили на вхідний шар мережі; білим кольором (невеликі кола) положення векторів синаптичних коефіцієнтів мережі.

а) б)

Рисунок 2 - Результати класифікації: а - модифікованою та б - класичною мережами Кохонена

Також у другому розділі була отримана порівняльна характеристика стосовно якості зображення після декомпресії між стисненим зображенням ШНМ Кохонена та ШНМ зустрічного розповсюдження. Результати такого порівняння наведені у таблиці 1, де PSNR (peak signal-to-noise ratio) - відношення максимально можливого рівня сигналу до рівня шуму, що його спотворює.

Третій розділ присвячено еволюційному методу навчання ШНМ, а саме генетичному алгоритму та його удосконаленню.

Таблиця 1 - Порівняння значень коефіцієнтів PSNR для красної, зеленої та синьої компоненти зображення відповідно, а також середнє значення за всіма компонентами

Спочатку наведено дуже стислий опис еволюційних методів навчання ШНМ, а саме метод оптимізації на базі поведінки колонії мурах, колонії бактерій, метод оптимізації на базі рою частинок та класичний ГА. Класичний ГА у цьому розділі розглянуто дуже детально, особливу увагу надано опису його операторів, вибору параметрів, а також переваг та недоліків. Наведено низку різноманітних, найбільш відомих модифікацій ГА, які використовують пропорційний відбір (метод «рулетки»), ранжирування, локальний відбір, відбір на базі усічення (елітарність), також наведено опис різних методів вибору пар для схрещування. Звернено особливу увагу на проблеми, які виникають при вирішенні за допомогою ГА мультимодальних задач. Головною проблемою у таких задачах є передчасна збіжність алгоритму до локальних екстремумів, що є недоліком майже усіх відомих модифікацій. Для усунення даного недоліку запропоновано модифікацію класичного ГА на базі біологічного апоптозу, який у дуже стислому розумінні є явищем програмованої клітинної смерті (частіше це явище виникає стосовно «непотрібних» ідентичних клітин). Цей процес програмує непотрібну клітину на смерть частіше за все за допомогою мутації її ДНК. Зважаючи на це в роботі запропоновано застосування процесу апоптозу у ГА.

Класичний ГА включає в себе таку необхідну стадію як кросинговер або іншими словами - схрещення. Логічно припустити, що якщо у процесі кросинговеру були обрані дві ідентичні особини, то незважаючи на метод обміну, нащадки цих особин будуть ідентичними і повністю успадкують гени батьків та їх властивості, що означає по суті зупинення процесу еволюції загалом. Очевидно, що єдиною можливістю введення різноманітності у генофонд є мутація. Але мутація, зазвичай, має дуже невелику ймовірність та, як правило, виконується лише для одного гена. Така мутація може привести лише до більш точного рішення, але вона не здатна вивести популяцію з локального екстремуму. Отже, треба ввести механізм кардинальної зміни генів, який може бути аналогічним біологічному апоптозу.

Для цього лише треба модифікувати метод вибору батьків та сам процес кросинговеру. Якщо після вибору батьків дві особини (батьки), виявилися ідентичними, то не має сенсу виконувати кросинговер, тому що нащадки будуть повністю відповідати батькам. У зв'язку з цим, для введення апоптозу необхідно додати деяку логіку: якщо після селекції обидві батьки ідентичні, то замість кросинговеру треба виконати одну реплікацію та дві мутації для двох нащадків та одного з батьків. Реплікація необхідна для підтримки чисельного співвідношення ймовірності кросинговеру (тобто кожна пара батьків повинна зробити нащадка, реалізація реплікації у реальності - це повернення одного з батьків назад до популяції без його зміни), а мутація одного з батьків - для зменшення числа ідентичних батьків, які можуть бути вибрані на цьому етапі функціонування ГА. Треба відзначити, що одну з мутацій треба виконати стандартним способом, а дві інші - більш «глобально», перша стандартна мутація необхідна для підвищення точності вже знайденого рішення (якщо популяція має багато ідентичних особин, то вона вже має якесь рішення або дуже близька до нього). Під «глобальною» мутацією будемо розуміти мутацію хоча б половини генів особини або генерування повністю нового генотипу, додаючи таким способом новий вид. На рис. 3 пунктиром позначена запропонована модифікація, звичайною лінією позначений класичний ГА.

Це обумовлюється тим, що у схрещенні беруть участь лише двоє батьків, лише дві особини. Тому було вирішено не тільки вводити нову особину, якщо батьки ідентичні, але й рахувати кількість знайдених ідентичних особин на цьому етапі роботи ГА та використовувати цю інформацію. Було запропоновано на етапі кросинговеру створити лічильник, коли обрана деяка кількість особин для схрещування, для кожної пари батьків лічильник підвищує своє значення на одиницю, якщо батьки ідентичні. Враховуючи те, що розмір популяції та кількість особин, взятих до кросинговеру, є відомими, можна зробити оцінку щодо кількості рішень, які на цьому етапі присутні у популяції, тобто кількість окремих «підпопуляцій», які мають ідентичні особини усередині, але відрізняються від інших особин інших підпопуляцій.

Таку оцінку можна зробити, якщо аналізувати відношення кількості знайдених ідентичних особин до загальної кількості особин у популяції, враховуючи імовірність операції кросинговеру. На цій підставі було введено параметр «насиченість» популяції та описано декілька варіантів використання цього параметру. Самий простий варіант - це аналізувати значення «насиченості» та робити оновлення популяції, якщо воно перевищує значення 0,25 (бо саме така імовірність випадково витягнути дві особини з однієї купи, якщо у купі присутні лише два види), а вже знайдені рішення (ті самі два види) зберегти як одні із знайдених рішень. Результати моделювання роботи такого модифікованого ГА та класичного ГА наведені на рис. 4, кулями зображені рішення, які було знайдено.

Для моделювання використовувалася така функція:

,(5)

де.

Рисунок 3 - Гібридний ГА на базі біологічного апоптозу

Рисунок 4 - Порівняння результатів роботи класичного ГА та гібридного ГА за механізмом апоптозу та параметром «насиченості»

У третьому розділі також наведено результати експериментів досліджень стосовно навчання ШНМ Кохонена такою модифікацією ГА, але хоча дана модифікація дуже гарно показала себе у порівнянні з класичними ГА, вона не змогла дати задовільних результатів стосовно навчання ШНМ Кохонена при вирішенні задачі стискання зображень у порівнянні з класичним методом навчання.

У четвертому розділі дисертації запропоновано підхід до покращення навчання мережі радіально-базисних функцій у задачах стискання зображень. Основу запропонованого методу покращення складає зміна ініціалізації центрів та відхилень базисних функцій ШНМ. Розглядається декілька способів вибору центрів та відхилень, всі вони базуються на аналізі вхідних даних додатковими методами. Наприклад, для визначення центрів БФ було запропоновано зробити кластеризацію вхідної вибірки даних додатковою ШНМ та призначити центрами базисних функцій центри кластерів, які були знайдені ШНМ. Для дослідження цього етапу було здійснено порівняння функціонування ШНМ Кохонена та ШНМ Нейро-Газ з застосуванням «нормалізуючої» компоненти, що була описана у другому розділі дисертаційної роботи. Вибір відхилень БФ запропоновано зробити, базуючись на вже знайдених центрах БФ, з використанням відомих алгоритмів «k-середніх» та «k-найближчих сусідів». Після ініціалізації центрів та відхилень БФ ШНМ навчається за алгоритмом градієнтного спуску.

Порівняння різних ШНМ та алгоритмів стосовно ініціалізації БФ та результату навчання ШНМ РБФ після такої ініціалізації було вирішено провести на низці тестових задач, зокрема, на задачі апроксимації функції. Поверхню, яку було вирішено апроксимувати, можна записати у такий спосіб:

,(6)

де ; - завада.

Для оцінки точності використовувалися евклідова відстань між еталонною поверхнею та результуючою

,(7)

де E - евклідова відстань, - очікуване значення еталонної поверхні, - фактичне значення поверхні, решта параметрів така ж сама як й у виразі(1).

Результати порівняння після моделювання можна побачити у таблиці 2. Результати свідчать, що найбільш вдалим є поєднання методу градієнтного спуску з ШНМ Нейро-Газ та алгоритму «k-найближчих сусідів».

Після того, як було знайдено комбінацію, що дозволяє підвищити якість навчання ШНМ РБФ, було вирішено спробувати її у задачі стискання зображень, а також додати «нормалізуючий» вхід, описаний у другому розділі для підвищення якості стисненого зображення. Порівняння результатів стискання зображення ШНМ РБФ з та без «нормалізуючого» входу дивись у таблиці 3.

Таблиця 2 - Результати моделювання

Таблиця 3 - Порівняння значень коефіцієнтів PSNR для красної, зеленої та синьої компоненти зображення відповідно, а також середнє значення за всіма компонентами

У висновках сформульовано основні наукові та практичні результати дисертаційної роботи.

У додатку наведено акти про впровадження результатів дисертаційної роботи.

ВИСНОВКИ

У дисертації наведені результати, котрі, відповідно до мети дослідження, у сукупності є розв'язанням актуальних науково-практичних задач, пов'язаних із методами навчання штучних нейронних мереж та задачею стискання зображень.

Внаслідок виконання роботи отримані такі результати:

1. Проведено дослідження популярних методів стискання зображень, таких як JPEG та JPEG-2000, та здійснено огляд існуючих штучних нейронних мереж, що застосовуються для вирішення задачі стискання зображень. Розглянуто основні типи підходів застосування ШНМ для рішення задачі стискання зображень, серед них стискання на базі векторного квантування та стискання за принципом «bottleneck». Показано, що не дивлячись на цілу низку проблем, нейромережевий підхід є досить перспективним для вирішення задачі стискання статичних зображень.

2. Розроблено найпростіший формат зберігання стисненого зображення за допомогою нейронної мережі Кохонена, який за своєю суттю містить параметри мережі, а також вихідні данні стисненого зображення. Відмінною особливістю формату є те, що декомпресія зображення відбувається з високою швидкістю та може бути реалізована відомим методом «довідника» (Look-up table, LUT). Таку особливість формат здобув завдяки способу декомпресії зображення, який використовує ШНМ Кохонена.

3. Запропоновано нову модифікацію класичного ГА на основі біологічного апоптозу, що дозволяє істотно знизити імовірність попадання алгоритму у локальний екстремум мультимодальних функцій. Така модифікація вводить певну логіку на стадії кросинговеру і таким способом регулює різноманітність популяції, варіюючи імовірністю мутації аж до 100% для кожного гену (при 100% відбувається введення нової випадкової особини). У ході дослідження було визначено параметр, що показує, наскільки однорідною є популяція генетичного алгоритму, а отже, наскільки алгоритм є близьким до попадання в локальний екстремум. Надана модифікація дає такі самі, а частіше навіть кращі результати, ніж алгоритм, заснований на імунній системі людини. Застосування цієї модифікації для навчання нейронної мережі Кохонена стосовно рішення задачі стискання зображень показало кращі результати у порівнянні з класичним ГА. Однак, у порівнянні з класичним підходом для навчання мережі Кохонена, надана модифікація виявилася значно гіршою, що є свідоцтвом недоцільності застосування такого для навчання мережі.

4. Запропоновано низку покращень класичного навчання мережі РБФ, яка містить такі способи: початковий вибір центрів БФ на основі мережі Нейро-Газ та мережі Кохонена, початковий вибір відхилень БФ на основі алгоритмів «k-середніх» та «k-найближчих сусідів» та подальше підстроювання всіх параметрів методом градієнтного спуску. Такі модифікації дозволяють істотно підвищити якість роботи мережі РБФ, за рахунок початкової ініціалізації ваг мережами Нейро-Газ та Кохонена, і зменшують часові витрати на навчання мережі РБФ, оскільки навчання мереж Нейро-Газ та Кохонена потребує менших обчислювальних ресурсів, ніж алгоритм градієнтного спуску. Незважаючи на наявність алгоритму градієнтного спуску для подальшого підстроювання ваг, часові витрати не збільшуються, оскільки ваги вже мають коректні початкові значення завдяки попередньому підстроюванню зазначеними раніше нейронними мережами. Проведено порівняльний аналіз запропонованих модифікацій, найбільш ефективним серед яких виявився спосіб, у якому початковий вибір центрів БФ виконується за допомогою мережі Нейро-Газ, а початкові відхилення обираються методом «k-найближчих сусідів». Ця модифікація показала кращі результати у задачі апроксимації поверхні, а також у задачі стискання зображень у порівнянні з класичними способами навчання мережі РБФ.

5. Запропоновано спосіб покращення ШНМ Кохонена, який дозволяє відкинути шар Гросберга, а отже і концепцію мережі зустрічного розповсюдження, для вирішення задачі стискання зображення. Слід зазначити, що така модифікація може бути застосована також до інших задач, які часто вирішуються засобами мережі Кохонена або подібної їй (наприклад, мережі Нейро-Газ). Незважаючи на те, що при цьому вводиться деяка надмірність (додатковий вхід мережі та обчислення його вхідного значення, на основі решти входів) у структуру мережі, запропонована модифікація дозволяє усунути проблему нормалізації вхідних даних перед їх подачею на входи мережі. Слід також відзначити, що хоча ця надмірність і потребує деяких додаткові обчислення, їх час виконання все ж менший у порівнянні з часом роботи шару Гросберга. За рахунок цього нейронна мережа Кохонена навчається дуже ефективно і автоматично реалізує стискання за методом «акредитації», на відміну від мережі зустрічного розповсюдження, котра реалізує стискання за методом «інтерполяції».

6. Розроблені та досліджені у дисертаційній роботі програмні моделі та алгоритми обробки зображень отримали застосування у науково-дослідному комплексі «Прискорювач» Національного Наукового Центру «Харківський фізико-технічний інститут» м. Харкова при розробці системи керування прискорювачем електронів КПТ.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Руденко, О.Г. Об одной модификации сети Кохонена / О.Г. Руденко, Р.В. Бобнев // Вестник Херсонского нац. техн. ун-та. - №2(38). - 2010. - С. 117-119.

2. Руденко, О.Г. О некоторых способах определения центров Базисных функций в радиально-базисных сетях. / О.Г. Руденко, Р.В. Бобнев // Вестник Херсонского нац. техн. ун-та. - №2(41). - 2011. - С. 44-47.

3. Руденко, О.Г. Использование механизма апоптоза в генетических алгоритмах. / О.Г. Руденко, Р.В. Бобнев // Вестник Херсонского нац. техн. ун-та. - №1(44). - 2012. - С. 96-102.

4. Руденко, О.Г. Использование нормализующей компоненты при нейросетевом сжатии изображений / О.Г. Руденко, Р.В. Бобнев, А.А. Бессонов // Управляющие системы и машины. - 2013. - №5. - С. 27-31 (входить до наукометричних баз Scopus).

5. Руденко, О.Г. Гибридный генетический алгоритм на основе биологического апоптоза / О.Г. Руденко, Р.В. Бобнев // Проблемы управления и информатики. - 2013. - №1. - С. 115-125 (входить до наукометричних баз Scopus, Web of Science).

6. Руденко, О.Г. Адаптивное масштабирование шага дискретизации входных данных при аппроксимации функций с помощью РБФ / О.Г. Руденко, Р.В. Бобнев, А.А. Бессонов // Информатика, математическое моделирование, экономика: сб. науч. статей. - Смоленск, 2013. - Том. 2. - С. 135-139.

7. Бобнев, Р.В. Выбор центров нейронов скрытого слоя сети РБФ при помощи сети Кохонена / Р.В. Бобнев // Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління: Перша наук.-техн. конф.;
13-14 груд. 2010 р.: матер. конф. - Харків-Київ, 2010. - С. 71.

8. Бобнев, Р.В. Сравнительный анализ чувствительности нейронной сети нейрогаз и сети Кохонена к помехам изображения / Р.В. Бобнев // Інформаційні технології в навігації і управлінні: стан та перспективи розвитку: Перша міжнар. наук.-техн. конф.; 5-6 лип. 2010 р. матер. конф. - К.:, 2010 - С. 56.

9. Бобнев, Р.В. Сравнительный анализ эффективности нахождения экстремумов мультимодальных функций гибридным генетическим алгоритмом и алгоритмом CLONALG / Р.В. Бобнев // Автоматизация: проблемы, идеи, решения: Междунар. науч.-техн. конф.; 3-7 сентября 2012 г.: матер. конф. - Севастополь, 2012. - С. 112-115.

10. Руденко, О.Г. Анализ эффективности работы генетического алгоритма с использованием механизмов на основе биологического апоптоза / О.Г. Руденко, Р.В. Бобнев // Інформаційні технології в навігації і управлінні: стан та перспективи розвитку: Друга міжнар. наук.-техн. конф.; 16-17 лип. 2011 р.: матер. конф. - К., 2011. - С. 45.

11. Руденко, О.Г. Сравнительный анализ модификации генетического алгоритма на основе апоптоза и искусственной иммунной системы на основе клонального отбора / О.Г. Руденко, Р.В. Бобнев // Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління: Друга наук.-техн. конф.; 15-16 груд. 2011 р.: матер. конф. - К., 2011. - С. 47-48.

Размещено на Allbest.ru