Т. О. Савчук, Є. О. Ярема

Размещено на http://www.allbest.ru/

84

Размещено на http://www.allbest.ru/

Використання нейронних мереж для розпізнавання символів

На сьогоднішній день існує багато підходів (алгоритмів) щодо вирішення проблеми розпізнавання символів, але більшість із них або вузько спрямовані на певну сферу розпізнавання (вони показують високі результати розпізнавання, але не є універсальними), або якість розпізнавання дуже низька, й алгоритм працює повільно. Тому для вирішення задач розпізнавання символів часто використовуються високоінтелектуальні системи на основі штучних нейронних мереж.

Однак штучні нейронні мережі не є інструментом для вирішення задач будь-якого типу. Вони не підходять для виконання таких задач як нарахування заробітної платні, але їм віддається перевага у великому класі задач розпізнавання символів, з якими погано або взагалі не справляються звичайні комп'ютери.

На сьогодні розроблено багато систем, що демонструють можливості штучних нейронних мереж: мережі здатні подавати текст фонетично, розпізнавати рукописні букви, стискувати зображення. Більшість потужних мереж, що здатні розпізнавати символи та звуки, використовують як основу принцип зворотного поширення [1], що є систематичним методом для навчання багатошарових мереж і, тим самим, переборює обмеження, зазначені Мінським [1]. Нейронні мережі, які працюють за вищевказаним принципом прийшли на зміну системам, що складались з одного шару штучних нейронів і використовувались для широкого класу завдань, у тому числі для організації штучного зору. Однак такі системи мають недоліки. Насамперед немає гарантії, що мережа може бути навчена за скінченний час.

Кожен із розроблених алгоритмів навчання мереж має свої специфічні переваги, але спільним недоліком є обмеження у своїх можливостях навчатися й згадувати.

При навчанні мережі кожна вхідна (або вихідна) множина сигналів розглядається як вектор. Навчання здійснюється шляхом послідовного пред'явлення вхідних векторів з одночасним налаштуванням ваг відповідно до певної процедури. У процесі навчання ваги мережі поступово стають такими, щоб кожний вхідний вектор відповідно виробляв вихідний. Навчальні алгоритми можуть бути класифіковані як алгоритми навчання без учителя й з учителем [1, 2].

У першому випадку, при пред'явленні вхідних символів мережа самоорганізується за допомогою настроювання своїх ваг у відповідності з визначеним алгоритмом. Унаслідок відсутності вказівки наперед визначеного виходу, у процесі навчання результати непередбачені з погляду визначення збудливих символів для конкретних нейронів. При цьому, мережа організується у формі, що відбиває істотні характеристики навчального набору. Наприклад, вхідні символи можуть бути класифіковані відповідно до ступеня їхньої подібності так, що символи одного класу активізують той самий вихідний нейрон.

Зазначенні методи навчання мережі передбачають, що відомі лише вхідні вектори, а на їхній основі мережа вчиться давати найкращі значення вихідної функції.

У другому випадку існує вчитель, що надає вхідні символи мережі, порівнює результуючі виходи з необхідними, а потім налаштовує ваги мережі таким чином, щоб зменшити розходження.

Методи навчання мережі з учителем передбачають, що існують пари «вхід-вихід», тобто відомі значення вхідних векторів, і значення вихідних векторів, що їм відповідають.

Таким чином, нейронна мережа, яка навчається з учителем, є більш надійною, оскільки при певному вхідному сигналі на виході формується відповідне вихідне значення.

Навчаючи мережу розпізнавати нові символи, дуже часто знищуються або змінюються результати попереднього навчання. Якщо існує тільки фіксований набір навчальних векторів, вони можуть пред'являтися при навчанні циклічно. У мережах зі зворотним поширенням, навчальні вектори подаються на вхід мережі послідовно, поки мережа не «навчиться» всьому вхідному набору. Проте цілком навчена мережа повинна запам'ятати новий навчальний вектор, і він може змінити ваги настільки, що буде потрібно повне перенавчання мережі.

Адаптивна резонансна теорія (APT) [1] є одним із рішень цієї проблеми. Мережі й алгоритми APT зберігають пластичність, необхідну для вивчення нових образів, у той же час, запобігаючи зміні раніше запам'ятованих образів, і тому вони можуть бути ефективними при розпізнаванні символів.

Мережа APT являє собою векторний класифікатор. Вхідний вектор класифікується в залежності від того, на який із множини раніше запам'ятованих образів він схожий. Своє класифікаційне рішення мережа APT виражає у формі збудження одного з нейронів розпізнавального шару. Якщо вхідний вектор не відповідає жодному із запам'ятованих образів, створюється нова категорія за допомогою запам'ятовування образа, ідентичного новому вхідному вектору. Якщо визначено, що вхідний вектор схожий на один із раніше запам'ятованих векторів із погляду визначеного критерію подібності, запам'ятований вектор буде змінюватися (навчатися) під впливом нового вхідного вектора, щоб стати більш схожим на цей вхідний вектор. Запам'ятований символ не буде змінюватися, якщо поточний вхідний вектор не виявиться досить схожим на нього.

Таким чином, вирішується проблема «стабільність-пластичність» роботи мережі при виконанні дій із розпізнавання символів. Новий образ може створювати додаткові класифікаційні категорії, однак новий вхідний образ не може змусити змінитися існуючу пам'ять.

Мережа АРТ навчається без учителя за допомогою зміни ваг таким чином, що пред'явлення мережі вхідного вектора змушує мережу активізувати нейрони в шарі розпізнавання, пов'язані з подібним запам'ятованим вектором. Крім цього, навчання проводиться у формі, що не руйнує запам'ятовані раніше образи, запобігаючи тимчасовій нестабільності, яка регулюється вибором критерію подібності. Новий вхідний образ (який мережа «не бачила» раніше) не буде відповідати запам'ятованим образам із погляду параметра подібності, тим самим формуючи новий образ, що запам'ятовується. Вхідний образ, у достатньому ступені відповідний одному із запам'ятованих образів, не буде формувати нового екземпляра, він просто буде модифікувати той, на який він схожий. Таким чином, при відповідному виборі критерію подібності запобігається запам'ятовування раніше вивчених образів і тимчасова нестабільність.

Для навчання нейронної мережі APT пропонується метод, за яким особа, що керує мережею, бере особисту участь у навчанні мережі, вона сама задає еталонні зображення всіх символів, а також перекручені зображення еталонів (зашумлені копії).

Раніше цей метод застосовувався до імовірнісних нейронних мереж, але використання цього методу для мереж багатошарових нейронів значно підвищить його продуктивність із розпізнавання символів.

В якості головного компонента системи виступає видозмінений (багатошаровий) перцептрон (рис. 1). Кількість нейронів перцептрона визначається кількістю вивчених ним образів (m), кількість синапсів (n) визначається розширенням рисунків, які розпізнаються.

Розглянемо алгоритм зворотного поширення для перцептрона. Символ подається рисунком, розміри якого 79,38Ч52,92 мм, тип - бітовий, розширення *.bmp. Мережею рисунок розбивається на 600 частин (по горизонталі на 20, по вертикалі на 30). Отже, кількість синапсів для одного нейрона буде незмінним числом і визначатися як:

.

Рис. 1. Структура видозміненого перцептрона

Навчання перцептрона з урахуванням запропонованого підходу можна подати наступним чином [1].

Ініціалізуються всі ваги мережі в малі ненульові величини.

На вхід мережі подається вхідний навчальний вектор вхідних символів і обчислюється сигнал вихідної функції від кожного нейрона, використовуючи формулу:

розпізнавання символ нейронний мережа

,

де - і-й елемент вхідного вектора ; - вага входу i нейрона j; - рівень збудження післясинаптичного нейрона.

Обчислюється значення граничної функції активації для сигналу від кожного нейрона в такий спосіб:

, якщо більше ніж поріг ;

- у противному випадку,

де являє собою поріг, що відповідає нейрону j (у найпростішому випадку всі нейрони мають той самий поріг).

Обчислюється помилка для кожного нейрона:

,

де error_j - помилка для j-го нейрона; target_j - необхідний вихід j-го нейрона; OUT_j - отриманий вихід j-го нейрона.

Кожна вага модифікується в такий спосіб:

,

де w_ij(t + 1) - вага входу i нейрона j в момент часу (t + 1); w_ij(t) - вага входу i нейрона j в момент часу t; - нормуючий коефіцієнт навчання, початкове значення якого 0,1, і який зменшується в процесі навчання.

Повторюються кроки з другого до п'ятого, доки помилка не стане досить малою.

Робота інтелектуального модуля з розпізнавання символів полягає в підрахуванні виходів перцептрона й, якщо два або більше нейронів на виході отримали максимальне значення, то переглядається який нейрон має більшу суму на виході його суматора, і вносяться зміни до результату.

Активаційна функція нейронів має вигляд лінійного порога:

при ;

при ,

де - значення активаційної функції; - аргумент активаційної функції; - величина порога.

Подальше навчання перцептрона здійснюється під час роботи інтелектуального модуля штучних нейронних мереж із розпізнавання символів. Ваги синапсів корегуються відповідно Дельта-правилу:

,

де - рівна різниці між необхідним або цільовим виходом D і реальним виходом Y.

Дельта-правило модифікує ваги відповідно до необхідного й дійсного значень виходу кожної полярності як для безперервних, так і для бінарних входів і виходів.

Алгоритм навчання зберігається якщо д збільшується на величину кожного входу х_i, і цей добуток додається до відповідної ваги. З метою організації управління середньою величиною зміни ваг уведемо коефіцієнт «швидкості навчання» з, що збільшується на при навчанні:

,

,

де - корекція, пов'язана з i-м входом ; з - коефіцієнт швидкості навчання; - i-е значення ваги після корекції; - і-е значення ваги до ко-рекції.

Дельта-правило модифікує ваги відповідно до і-го необхідного дійсного значення виходу. Таким чином, використання зворотного поширення для перцептрона, дозволяє досягти ефективного розпізнавання навіть зашумлених символів.

Розробка алгоритму функціонування інтелектуального модуля розпізнавання символів

Розпізнавання символів повинно проводитись за таким алгоритмом:

1) завантаження параметрів по замовчуванню під час запуску програми;

2) створення еталонних зображень (створивши еталони, користувач може перенавчити мережу так, щоб створений ним образ символу був еталоном);

3) завантаження чи створення зображення символу для розпізнавання;

4) розпізнавання символу (зашумленість якого може бути до 40%) системою;

5) виведення результату розпізнавання.

Зазначений алгоритм може бути реалізований у середовищі Вorland Delphi 7, на мові Object Pascal, яка дозволяє використовувати бібліотеки, що реалізують нейронні мережі. Схему алгоритму функціонування модуля розпізнавання символів з урахуванням обраної мови програмування наведено на рис. 2.

Рис. 2. Схема алгоритму нейронної мережі АРТ для розпізнавання

Результат реалізації приведеного алгоритму в середовищі програмування Вorland Delphi 7 надав можливість реалізувати інтелектуальний модуль штучних нейронних мереж із розпізнавання символів.

Результати роботи інтелектуального модуля можна відобразити на рисунку, на якому зображені еталони образів і зашумлені копії, при яких програмний комплекс може правильно визначити образ (рис. 3). Зображення поділяються за відсотком зашумленості.

а) б) в) г) д) е)

Рис. 3. Символи для роботи інтелектуального модуля штучних нейронних мереж із розпізнавання символів: а), б) - еталонні символи; в), г) - символи із зашумленістю до 30%; д), е) - символи із зашумленістю до 40%

У результаті реалізації інтелектуального модуля, що функціонує у відповідності із запропонованим алгоритмом, розпізнаються символи, які належать до будь-якого алфавіту, цифри й знаки в залежності від об'ємів пам'яті інтелектуальної системи, що містить відповідні еталони із зашумленістю до 40%.

Література

розпізнавання символ нейронний мережа

1. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика: Пер. на русский язык / Ю.А. Зуев, В.А. Точенов, 1992. - 184 с.

2. Месюра В.І., Ваховська Л.М. Основи проектування систем штучного інтелекту: Навчальній посібник. - Вінниця: ВДТУ, 2000. - 96 с. - укр. мовою.

Размещено на Allbest.ru