Размещено на http://www.allbest.ru/

Дніпропетровський національний університет імені О. Гончара

Кафедра автоматизованих систем обробки інформації

Курсовий проект

з дисципліни «Інтелектуальний аналіз даних»

на тему: Розпізнавання образів з використанням нейронної мережі Хопфілда

План

• Вступ
• 1. Аспекти розвитку штучних нейронних систем
• 2. Біологічний нейрон
• 3. Формальний нейрон
• 4. Штучні нейронні мережі
• 5. Рекурентні штучні нейронні мережі
• 6. Нейронна мережа Хопфілда
• 7. Алгоритм функціонування мережі
• 8. Практична частина
• Висновок
• Література



Вступ

Сьогодні є безперечним значний науковий та практичний інтерес до обчислювальних структур нового типу -- штучних нейронних мереж. Він спричинений низкою успішних застосувань цієї нової технології, яка дозволила розробити ефективні підходи до вирішення проблем, що вважалися складними для реалізації на традиційних комп'ютерах. На назву “нейронні мережі” зараз претендують усі обчислювальні структури, які в тій чи іншій мірі моделюють роботу мозку. Але таке моделювання, здебільшого, є дуже фрагментарним, і говорити про створення у найближчому майбутньому штучного мозку або навіть деякої його моделі, яка дублювала б роботу мозку найпримітивніших живих створінь, ще зарано. Такий висновок випливає з надзвичайної складності цього загадкового витвору природи.

При побудові моделі мозку розглядають локальні та глобальні аспекти пізнання його функціонування. Основною глобальною характеристикою, яка істотно утруднює моделювання, є надзвичайно велика кількість базових структурних елементів. Мозок людини містить близько сотні мільярдів нейронів, кожен з яких кількома тисячами зв'язків об'єднується з іншими нейронами. Використання навіть найпростішої моделі нейрона не дозволяє побудувати модель мозку, що наближалася б за своїми глобальними показниками до реального об'єкта моделювання. До локальних характеристик слід віднести власне принципи, за якими будують модель нейрона. Останнім часом нейробіологія досягла значних успіхів у вивченні нейрона як елементарної структурної одиниці мозку. Відкрито велику кількість закономірностей, що описують його функціонування та взаємодію з іншими нейронами.

Однак, як і раніше, залишаються без відповіді питання про те, яким чином реалізуються такі властиві мозку основні функції, як пам'ять та свідомість. Отже, залишається до кінця не з'ясованим зв'язок між локальними характеристиками нейрона та глобальними функціями мозку. Але саме такий зв'язок і є основою побудови штучних нейронних мереж, які моделюють функції мозку. Тому основною проблемою концептуального підходу до нейромережного моделювання є вертикальна стратифікація моделі, тобто з'ясування питання про взаємодію елементів на всіх рівнях знизу вгору. Лише шляхом вдалої координації дій великої кількості структурних елементів можливо досягти вияву якісно нової властивості всієї моделі.

Успішний розвиток теорії нейронних мереж за останнє десятиліття дозволив реалізувати ряд таких глобальних властивостей. Найвідомішими з них є навчання, узагальнення та абстрагування.

Властивість навчання проявляється у здатності нейронної мережі змінювати свою поведінку в залежності від стану навколишнього середовища. Завдяки саме цій властивості нейронні мережі привертають до себе значну увагу. Існує велике розмаїття алгоритмів навчання нейронних мереж, кожен з яких має свої сильні та слабкі сторони, але сьогодні ще не сформовано єдиної думки про те, чому можна навчити нейронну мережу і як таке навчання має проводитись.

Властивість узагальнення дає можливість нейронній мережі знижувати чутливість до незначних флуктуацій вхідних сигналів. Ця властивість дуже важлива для об'єктів, які існують у реальному середовищі. Особливістю нейромережного підходу в даному випадку є те, що узагальнення Ї це результат властивостей структури, а не роботи спеціальної програми на традиційному комп'ютері.

Властивість абстрагування дозволяє створювати на нейронній мережі нову сутність, виходячи з аналізу вхідної інформації. Особливо ця властивість проявляється для задач розпізнавання образів. Завдяки їй нейромережа може створювати деякий ідеальний образ, керуючись вхідною інформацією, яка має деякі властивості цього образу.



1. Аспекти розвитку штучних нейронних систем

Чи не найдивовижнішою властивістю людського мозку є здатність до самоаналізу. Природа думки цікавить вчених найрізноманітніших напрямків, починаючи з духовних основ буття і закінчуючи анатомією. Але ні висновки філософів, ні результати наукових експериментів не змогли до кінця вирішити цю проблему.

Проте за останні кілька десятиліть зусилля нейробіологів та нейроанатомів увінчалися значними успіхами, головним з яких можна вважати механізм навчання нейрона. Це досягнення дозволило в 1943 році Мак-Каллоку та Піттсу в піонерській роботі сформулювати основні принципи побудови моделі нейрона, яка включала в себе механізм навчання і отримала назву формального нейрона.

Наступним революційним кроком у напрямку розуміння механізму навчання стала робота Доналда Хебба, що вийшла в 1949 році. Базуючись на роботах Еудженіо Танці та іспанського нейроанатома Роман-і-Кахаля, Д.Хебб сформулював основні положення теорії, яка вказує, що глобальні механізми навчання визначаються набором правил модифікації синапсів. Згідно з цією теорією, міжнейронні синаптичні зв'язки безперервно змінюються в результаті реалізації процесу навчання. Завдяки “тренуванню” відповідних синапсів у ході навчання зростає також вплив одних нейронів на інші. Внаслідок процесів виникнення нових та інтенсифікації старих синапсів виникають нейронні ансамблі, у зв'язках яких закодована корисна інформація.

Незважаючи на те, що і досі не існує обґрунтованого підтвердження цієї теорії, вона відіграла дуже важливу роль у створенні алгоритмів навчання штучних нейронних мереж. В 1952 році опубліковано ще одну роботу, яку цитують і зараз. Це була книга Ешбі, в якій висловлювалась думка про те, що адаптивна поведінка живих створінь зумовлена процесами навчання.

Одержані теоретичні результати стали потужним поштовхом для дослідників штучних нейронних мереж в 50-х - 60-х роках минулого століття. На базі формального нейрона були створені перші штучні нейронні мережі спочатку у вигляді фізичних електронних моделей, а згодом побудовані і комп'ютерні моделі у вигляді алгоритмів. Уже в 1956 році було опубліковано роботи по створенню штучних нейронних мереж, навчання яких проводилось відповідно до теорії Хебба. У цих роботах для навчання нейронної мережі використовувались два протилежні процеси Ї активації та гальмування, які і визначали характер синаптичних зв'язків.

Найбільш вагомим досягненням того періоду було створення штучної нейронної мережі, що отримала назву персептрона. За допомогою цієї нейромережної структури вдалося вирішити велику кількість задач, серед яких передбачення погоди, обробка зображень та розпізнавання образів. Перші успіхи стали причиною значного інтересу до проблем моделювання штучних нейронних мереж. Оптимісти вважали, що єдиною перешкодою до створення штучного інтелекту залишаються лише технічні труднощі створення достатньо великої нейронної мережі.

У цей період також було запропоновано ряд нових активаційних функцій для моделі формального нейрона. Сигмоїдна функція, дозволила значно розширити коло задач, доступних для вирішення на персептроні. Проте невдовзі з'ясувалось, що одношаровий персептрон не є універсальним обчислювальним середовищем.

Цей факт був сформульований із математичною точністю за допомогою низки теорем і дуже негативно вплинув на подальший розвиток нейронних мереж. Незважаючи на те, що на той час уже були відомі проекти багатошарових персептронів, на які не розповсюджувалась дія обмежувальних теорем, більшість проектів була згорнута.

В 70-ті роки лише поодинокі ентузіасти, такі як Кохонен, Гроссберг, Андерсен, продовжували працювати в цій області. Переборюючи труднощі, пов'язані з поганим фінансуванням та відмовою від публікації робіт, вчені продовжили дослідження багатошарових персептронів. Виявилося, що обмеження, сформульовані Мінським, були надто песимістичними. Незабаром було знайдено просте розв'язання багатьох задач, які вважалися такими, що не мають розв'язку на одношаровому персептроні.

На початку 80-х років інтерес до штучних нейронних мереж почав стрімко зростати. Поштовхом до такого зростання були досягнення, серед яких слід згадати мережі Хопфілда зі спеціально розробленим для них алгоритмом формування вагових синаптичних коефіцієнтів та карти Кохонена, які мають властивість самоорганізації. Але чи не найбільшим досягненням, яке викликало великий практичний інтерес, стала публікація алгоритму зворотного розповсюдження, що проявив себе як один із найперспективніших при навчанні багатошарових персептронів. За всю історію розвитку штучних нейронних мереж цей алгоритм перевідкривався декілька разів, але зараз вважають, що пріоритет належить Вербосу, який вперше сформулював його в своїй докторській дисертації в 1974 році.

Як виявилося згодом, алгоритм зворотного розповсюдження також не вільний від проблем, основною з яких є відсутність гарантії того, що мережа може бути навчена за скінченну кількість кроків. При невдалій спробі навчання, як правило, роблять наступну спробу без впевненості в тому, що вона принесе кращі результати. Якщо результат навчання відповідає заданим умовам, то все одно це не гарантує того, що мережа навчена найкращим чином.

Однією з відомих альтернатив для багатошарових персептронів є РБФ-мережі, тобто мережі, які ґрунтуються на радіальних базисних функціях. Вони мають свої специфічні алгоритми навчання, які в окремих випадках працюють краще, ніж алгоритми зворотного розповсюдження.

Слід відмітити, що переважна більшість штучних нейронних мереж донедавна використовували модель нейрона, яка повністю відповідала або була частково модифікованою моделлю формального нейрона. Ця модель не змінювалась за останні роки настільки істотно, наскільки цього вимагали проблеми, які пов'язані з застосуванням штучних нейронних мереж.

Назріла необхідність підвищення адекватності моделі, оскільки процес синаптичної передачі інформації в біологічному нейроні виходить далеко за межі тієї тривіальної схеми, що використовується у формальному нейроні.

Спроби ускладнення внутрішньої структури моделі нейрона були відомі і раніше. В літературі описані моделі, що враховували біологічно важливі параметри нейрона, такі як період рефракції чи часові затримки. Використання цих моделей здебільшого призводило тільки до погіршення загальних параметрів нейромережі. Основною причиною невдач було те, що нейронну мережу з такими нейронами намагалися використати для реалізації уже відомих методів, тому нові властивості моделі були лише баластом, а не працювали на підвищення інтенсивності обробки інформації. Протягом останніх років значно активізувались дослідження, спрямовані на пошук більш ефективних моделей нейрона. Сучасний стан даної області свідчить про те, що вона вже цілком довела свою перспективність та інтенсивно розвивається. За допомогою штучних нейронних мереж успішно реалізовано ряд комерційних проектів, пов'язаних із розпізнаванням зображень та звукової інформації. Але для досягнення більш значних результатів потрібна розробка нових технологій та методів обробки інформації, які базувалися б на принципово нових теоретичних основах.

2. Біологічний нейрон

Нейрон, як і всі інші клітини, складається з ядра та цитоплазми зображенно на рис.1. Тіло клітини (сома) від навколишнього середовища відокремлене тонкою мембраною завтовшки 75 ангстрем, що складається з ліпідів (жироподібних речовин) та характеризується низькою провідністю.



Рис. 1 Біологічний нейрон

У мембрану вбудовані білкові молекули, які виконують функції рецепторів та іонних каналів. Для внутрішнього складу клітини характерною є висока концентрація іонів калію та низька концентрація іонів натрію. Таке співвідношення є результатом роботи натрій-калієвого насоса, на функціонування якого витрачається накопичена клітиною енергія. Спеціальні транспортні білкові молекули іонних каналів захоплюють іони натрію з внутрішньої сторони мембрани та переміщують на зовнішню сторону. Аналогічно іони калію захоплюються на зовнішній стороні мембрани та переміщуються на внутрішню. Результатом роботи такого механізму є різниця потенціалів (приблизно -60мВ) між внутрішньою частиною нейрона та зовнішнім середовищем.

Нейрони характеризуються також наявністю у них спеціальних відростків. По одних відростках нейрони одержують інформацію, а по других передають сигнали іншим нейронам. По деревовидних відростках (дендритах) нейрон отримує інформацію через спеціальні контакти (синапси). Передача інформації від одного нейрона до іншого відбувається шляхом розповсюдження нервового імпульсу вздовж нервового волокна-аксона. Кожен нейрон може мати велику кількість дендритів і тільки один аксон. Волокно аксона розгалужується і створює з'єднання з дендритами інших нейронів через відповідні синаптичні контакти.

Під дією сигналів з інших нейронів або рецепторів мембрана аксона змінює свою провідність. Це відбувається, коли внутрішній потенціал перевищує значення близько -50мВ. Механізм розповсюдження нервового імпульсу базується на роботі потенціалозалежних іонних каналів, які створюються за допомогою складних білкових молекул. При деполяризації, тобто зміщенні мембранного потенціалу у бік зменшення від'ємного заряду в середині клітини, відкриваються потенціалозалежні натрієві канали, і натрій по хімічному і електричному градієнту входить у клітину.

Тривалість цього стану складає близько 1-3 мс. Після цього натрієві канали починають закриватися і одночасно відкриваються потенціалозалежні калієві канали. Калій по хімічному градієнту виходить із клітини, внаслідок чого збільшується її від'ємний заряд. Процес деполяризації (спайк), який супроводжується потенціалом дії близько +40мВ, розповсюджується вздовж аксона майже без затухання зі швидкістю від 100 до 1000 сантиметрів у секунду. Після проходження спайка настає період рефрактерності, який характеризується повною пасивністю нейрона протягом 200мс. Таке розповсюдження спайка вздовж аксона часто порівнюють із розповсюдженням зони горіння у бікфордовому шнурі. Відповідно до цієї аналогії зона горіння відповідає спайку, а область згорілої порохової суміші це стан рефрактерності. Частина аксона, що лежить попереду, відповідає ще не активованим натрієвим каналам.

Як уже згадувалось, взаємодія нейронів відбувається через спеціальні контакти Ї синапси. Синапси бувають електричні та хімічні. Електричний синапс Ї це ділянка з'єднання двох нейронів, яка характеризується високою провідністю. Внаслідок цього електричний струм, що протікає в одному нейроні, може протікати і в другому. Такий зв'язок менш інформативний, ніж хімічний, але характеризується високою швидкістю взаємодії.

Тому основним його призначенням є синхронізація пула нейронів. Хімічний синапс значно складніший у порівнянні з електричним і складається з пресинаптичної частини однієї клітини та постсинаптичної частини другої клітини, які розділені між собою синаптичною щілиною. Пресинаптична частина складається з декількох бутонів, якими закінчується аксон. На кожному з бутонів розташовані ділянки викиду трансмітера, який знаходиться в бульбашках. Кожна така бульбашка містить один квант трансмітера. Постсинаптична частина Ї це ділянка мембрани постсинаптичної клітини, яка містить білки, що є рецепторами трансмітера. Характерною особливістю пресинаптичної частини є наявність потенціалозалежних кальцієвих каналів.

Спайк, досягаючи кінця аксона, відкриває кальцієві канали, в результаті чого кальцій з навколишнього середовища входить в аксон і запускає низку кальцій залежних біохімічних реакцій. Результатом цих реакцій є вилив у синаптичну частину певної кількості квантів трансмітера з певних ділянок бутона. Кожен квант трансмітера містить білок ацетилхолін (AcChoR), який використовується нейроном власне для передачі інформації. Нікотиновий рецептор ацетилхоліна Ї це молекула, що складається з п'яти гомологічних пептидів. Потрібно відмітити надзвичайно високу стійкість цього білка та механізму його дії в ході еволюції. На думку багатьох дослідників, основою розподіленої асоціативної пам'яті Ї характерної властивості біологічних нейронних мереж, є саме ці механізми.

Ще одна важлива властивість нейрона Ї пластичність. Під пластичністю розуміють зміни в нейронних мережах та окремих нейронах, тривалість яких значно перевищує час передачі інформації. Найважливішими формами пластичності є звикання (негативне навчання) та класичний умовний рефлекс (асоціативне навчання). Механізм звикання для нейронів- детекторів зумовлений тим, що, крім сигналів від специфічних для них подразників, вони сприймають також сигнали неспецифічного збудження від нейронів новизни. Компонента неспецифічного збудження з часом згасає, що призводить до зменшення збудження детектора.

Цей ефект отримав назву часткового звикання. Він проявляється на нейронних мережах у безлічі різновидів завдяки різній спеціалізації нейронів. Пресинаптичний механізм пластичності при звиканні пов'язаний зі зниженням активності викиду трансмітера з бутонів аксона. Причиною зниження цієї активності є зменшення кількості працюючих кальцієвих каналів. В результаті зменшується кальцієвий струм, що входить у пресинаптичну частину синапса. Зменшення щільності іонів кальцію в пресинаптичній зоні призводить до того, що хімічний синапс перестає реагувати на спайки.

Ще однією формою пластичності нейрона є асоціативне навчання, що проявляється через умовний рефлекс. Виникнення умовного рефлексу зумовлене встановленням зв'язку між умовним та безумовним подразником. Він базується на внутрішньоклітинному асоціативному процесі, який модифікує ділянки постсинаптичної мембрани нейрона таким чином, що вона стає селективно більш чутливою до відповідного типу “парасинаптичної передачі інформації”. У цьому випадку нейрон реалізує взаємодію з іншими нейронами шляхом послідовного викиду в міжклітинне середовище або русло крові короткої послідовності амінокислот-нейропептидів. При цьому взаємодія відбувається без участі синаптичних зв'язків. Переданий таким чином сигнал сприймається тими нейронами, які мають відповідні рецепторні білки.

3. Формальний нейрон

Історично першою публікацією, що заклала підвалини для створення штучних нейронів та нейронних мереж, вважають роботу Уоррена С. Мак-Каллока та Вальтера Піттса . У цій роботі було започатковано теорію, в основі якої лежав той факт, що всі аспекти нервової діяльності можна моделювати за допомогою мережі елементів, які мають два стійкі стани. Модель такого елемента, яка показана на рис.2, отримала назву формального нейрона.

Рис. 2 Формальний нейрон

4. Штучні нейронні мережі

Що ж являє собою штучна нейронна мережа? На жаль, сьогодні не існує такого загальновизнаного означення, яке б задовольняло всіх. Причиною є той факт, що проблемою нейронних мереж займаються спеціалісти в різних галузях науки, і взаємному розумінню заважають методологічні та термінологічні бар'єри. Якщо розглядати штучну нейронну мережу як деяке середовище для обробки інформації, тоді її можна задати шляхом визначення елементів даного середовища та правил їх взаємодії.

В цьому випадку говорять, що штучна нейронна мережа є структурою, яка складається з великої кількості процесорних елементів, кожен з яких має локальну пам'ять і може взаємодіяти з іншими процесорними елементами за допомогою комунікаційних каналів з метою передачі даних, що можуть бути інтерпретовані довільним чином. Процесорні елементи незалежно в часі обробляють локальні дані, що поступають до них через вхідні канали. Зміна параметрів алгоритмів такої обробки залежить тільки від характеристик даних.

Іншими словами, штучні нейронні мережі - це обчислювальні парадигми, які реалізують спрощені моделі біологічних нейронних мереж. Під біологічними нейронними мережами будемо розуміти локальні ансамблі нейронів, які об'єднані синаптичними зв'язками. Сукупність таких ансамблів формує мозок із його різноманітними функціональних можливостями.

Штучний нейрон є базовим модулем нейронних мереж. Він моделює основні функції природного нейрона зображенні на рис. 3.

При функціонуванні нейрон одночасно отримує багато вхідних сигналів. Кожен вхід має свою власну синаптичну вагу, яка надає входу вплив, необхідний для функції суматора елемента обробки. Ваги є мірою сили вхідних зв'язків і моделюють різноманітні синаптичні сили біологічних нейронів. Ваги суттєвого входу підсилюються і, навпаки, вага несуттєвого входу примусово зменшується, що визначає інтенсивність вхідного сигналу. Ваги можуть змінюватись відповідно до навчальних прикладів, топології мережі та навчальних правил. Вхідні сигнали xn зважені ваговими коефіцієнтами з'єднання wn додаються, проходять через передатну функцію, генерують результат і виводяться.

Рис. 3 Базовий штучний нейрон



Сьогодні відома велика кількість нейронних структур та їх модифікацій, що орієнтовані на вирішення конкретного типу задач. Найбільш відомі типи таких структур показані на рис.4

Рис. 4 Нейронні структури

Основні властивості штучних нейронних мереж:

– локальна обробка інформації в штучному нейроні, який є базовою структурною одиницею мережі;

– паралелізм, результатом якого є вирішення глобальної задачі шляхом представлення її у вигляді множини локальних задач, що тісно взаємодіють між собою;

– здатність до навчання, яке підвищує ефективність роботи мережі;

– здатність до розподіленого зберігання знань, які були одержані в ході навчання.

На основі нейронних мереж створюють системи для розпізнавання складних об'єктів. Вони можуть мати топологію, орієнтовану на розв'язання конкретної задачі із врахуванням властивостей об'єкта - просторово-часову орієнтацію, масштаб, геометричні параметри об'єкта, включаючи координати, кутове положення, лінійний розмір, відстань, тощо. У той же час істотним недоліком типових нейронних мереж є відсутність ефективних засобів для розв'язання задач розпізнавання динамічних образів.

Основною проблемою інтерпретації динамічних візуальних сцен є висока розмірність простору ознак, наявність геометричних перетворень над об'єктом. Оскільки нейронна мережа складається з нейронів, кожен нейрон приймає набір сигналів, що надходять на його входи від одної групи таких же нейронів, обробляє сигнали з врахуванням попередніх сигналів і адаптації до них на основі процедур навчання і передає результати обробки другій групі нейронів. Зв'язки між нейронами кодуються вагами, що відображають важливість їх інформації для визначення загального результату.

Основний принцип настроювання нейронної мережі полягає в застосуванні процедур оптимізації та адаптації на основі певних критеріїв, здатності до перенавчання. Однією з переваг нейронних мереж є те, що всі елементи можуть функціонувати паралельно, тим самим істотно підвищуючи ефективність розв'язання задач, особливо при обробці зображень в реальному часі. Системи розпізнавання об'єктів зображення, що засновані на нейронних мережах, використовують ієрархічну архітектуру. Спочатку вектор ознак обробляється грубою з високим рівнем похибок, але швидкою, мережею, далі, якщо вектор не був класифікований як не об'єкт, алгоритм розв'язання коректується більш точною і більш повільною мережею.

5. Рекурентні штучні нейронні мережі

нейронна мережа хопфілд рекурентний

Рекурентними називають штучні нейронні мережі, в яких, поряд із прямими зв'язками, направленими від входів (рецепторів) мережі до її виходів (ефекторів), є зворотні, що мають протилежний напрямок. На відміну від штучних нейромереж прямого поширення, які здійснюють статичну проекцію поданих на входи векторів даних (стимулів) у вихідні вектори (реакції), рекурентні нейромережі є динамічними системами, що оперують з послідовностями вхідних даних, перетворюючи їх на послідовності реакцій. Поведінка рекурентних нейромереж віддзеркалює набуті при навчанні стереотипи, що робить їх близькими до цілеспрямованих адаптивних динамічних систем, запрограмованих на досягнення заздалегідь визначених цілей. Але на відміну від останніх програмування поведінки рекурентних нейромереж здійснюється шляхом навчання на прикладах, що не потребує формального визначення цілей. Вони здатні ефективно діяти в умовах невизначеності, зокрема, вирішувати задачі адаптивного керування поведінкою складних систем у нестаціонарному оточенні, приймати оперативні рішення в системах ситуаційного управління тощо. За архітектурою та здатністю адаптуватись до умов оточення рекурентні нейромережі нагадують нервову систему живих організмів. Вивчення нейронних мереж із зворотними зв'язками почалось ще в 60-ті роки минулого століття. В перших дослідженнях з моделювання нервової системи вивчались в основному статистичні властивості потоків нервової активності, тому функції зворотних зв'язків часто залишались поза увагою. Вперше рекурентну організацію було застосовано Д. Хопфілдом.



6. Нейронна мережа Хопфілда

Американському біофізику Джону Хопфілду у 1982 році, вдалося залучити до аналізу нейронних мереж потужний, апарат статистичної фізики на основі аналогій між нейронними мережами та особливими фізичними системами - спіновими стеклами.

Спінові стекла - це ансамблі електромагнітних часток, що перебувають на переході фаз, наприклад, на нижній точці плавлення скла. Кожна частка має власний момент кількості руху, що називається спіном. Спін може мати тільки дві орієнтації S1, S2 щодо зовнішнього магнітного поля, спрямованого по деякій осі x. Одна з них збігається з напрямком поля (S1 = 1), а інша - йому протилежна (S2 = -1). Спінові стекла мають структуру атракторів (стійких станів) у своєму фазовому просторі.

Кожний атрактор можна розглядати як запис певної інформації, яку можна зчитати за певних умов. Пізніше з'ясувалося, що не тільки спінові стекла, але й інші фізичні системи мають у своїх фазових просторах підходящі для нейронних мереж множини атракторів.

Мережа Хопфілда використовує три прошарки: вхідний, прошарок Хопфілда та вихідний прошарок. Кожен прошарок має однакову кількість нейронів. Виходи нейронів вхідного прошарку надходять до входів відповідних нейронів прошарку Хопфілда. Тут, зв'язки мають фіксовані вагові коефіцієнти. Виходи прошарку Хопфілда під'єднуються до входів всіх нейронів прошарку Хопфілда, за винятком самого себе, а також до відповідних елементів у вихідному прошарку.

Під час навчання, мережа скеровує дані з вхідного прошарку до прошарку Хопфілда. Прошарок Хопфілда коливається, поки не буде завершена певна кількість циклів, і біжучий стан сигналів нейронів прошарку передається на вихідний прошарок. Цей стан відповідає образу, який буде запам'ятовано в мережі.

Навчання мережі Хопфілда вимагає, щоб навчальний образ був представлений на вхідному та вихідному прошарках одночасно. Рекурсивний характер прошарку Хопфілда забезпечує засоби корекції всіх ваг з'єднань. Для правильного навчання мережі відповідні пари "вхід-вихід" мають відрізнятися між собою.

Якщо мережа Хопфілда використовується як пам'ять, що адресується за змістом вона має два головних обмеження.

1. Число образів, що можна зберегти та точно відтворити є строго обмеженим. Якщо зберігається занадто багато образів, мережа може збігтись до нового неіснуючого образу, відмінному від всіх запрограмованих образів, або не збігтись взагалі. Межа ємності пам'яті для мережі приблизно 15% від числа нейронів у прошарку Хопфілда.

2. Якщо навчальні приклади є занадто подібними, прошарок Хопфілда може стати нестабільним. Зразок образу вважається нестабільним, якщо він застосовується за нульовий час і мережа збігається до деякого іншого образу з навчальної множини. Ця проблема може бути вирішена вибором навчальних прикладів більш ортогональних між собою.

Структурна схема мережі Хопфілда приведена на рис.5

Рис. 5 Структрурна схема мережі Хопфілда



Для вирішення завдання асоціативної пам'яті є деякий набір двійкових сигналів (зображень, звукових оцифровок, інших даних, що описують об'єкти або характеристики процесів), який вважається зразковим. Мережа повинна вміти з зашумленого сигналу, поданого на її вхід, виділити ("пригадати" за частковою інформацією) відповідний зразок або "дати висновок" про те, що вхідні дані не відповідають жодному із зразків.

В загальному випадку, будь-який сигнал може бути описаний вектором x1, хі, хn..., n - число нейронів у мережі і величина вхідних і вихідних векторів. Кожний елемент xi дорівнює або +1, або -1. Позначимо вектор, що описує k-ий зразок, через Xk, а його компоненти, відповідно, - xik, k=0, ..., m-1, m - число зразків. Якщо мережа розпізнає (або "пригадує") якийсь зразок на основі пред'явлених їй даних, її виходи будуть містити саме його, тобто Y = Xk, де Y - вектор вихідних значень мережі: y1, yi, yn. У противному випадку, вихідний вектор не збігається з жодний зразковим.

Якщо, наприклад, сигнали є певним образом зображення, то, відобразивши у графічному виді дані з виходу мережі, можна буде побачити картинку, що цілком збігається з однієї зі зразкових (у випадку успіху) або ж "вільну імпровізацію" мережі (у випадку невдачі).

7. Алгоритм функціонування мережі

1. На стадії ініціалізації мережі вагові коефіцієнти синапсів встановлюються таким чином:



Тут i і j - індекси, відповідно, предсинаптичного і постсинаптичного нейронів; xik, xjk - i-ий і j-ий елементи вектора k-ого зразка.

2. На входи мережі подається невідомий сигнал (t - номер ітерації). Його поширення безпосередньо встановлює значення виходів:

yi(0) = xi , i = 0...n-1,

тому позначення на схемі мережі вхідних сигналів у явному виді носить чисто умовний характер. Нуль у скобці справа від yi означає нульову ітерацію в циклі роботи мережі.

3. Обчислюється новий стан нейронів

, j=0...n-1

і нові значення виходів

де f - передатна функція у виді порогової, приведена на рис.6

Рис. 6 f - передатна функція у виді порогової



4. Перевіряємо чи змінилися вихідні значення виходів за останню ітерацію. Якщо так - перехід до пункту 2, інакше (якщо виходи стабілізувались) - кінець. При цьому вихідний вектор являє собою зразок, що найкраще відповідає вхідним даним.

Іноді мережа не може провести розпізнавання і видає на виході неіснуючий образ. Це пов'язано з проблемою обмеженості можливостей мережі. Для мережі Хопфилда число збережених образів m не повинно перевищувати 0.15*n (n - кількість нейронів вихідного прошарку) Крім того, якщо два образи А и Б сильно схожі, вони, можливо, будуть викликати в мережі перехресні асоціації, тобто пред'явлення на входи мережі вектора А призведе до появи на її виходах вектори Б и навпаки.

8. Практична частина

Розпізнавання образів з використанням нейронної мережі Хопфілда. Розглянемо можливості дискретної мережі Хопфілда з дев'ятьма біполярними нейронами щодо розпізнавання неідеальних зображень букв Н и Т. Еталонні зображення S1 та S2 цих букв наведено на рис. 7, там же дана нумерація елементів зображень, що відповідає їхньому векторному поданню:

Рис. 7 Зображення S1, S 2, S 3



Відповідно до вихідних даних вира для розглянутого прикладу набуває вигляду

У силу загальної рівності також одержимо, що Аналогічно розраховуються й інші елементи

матриці W ваг зв'язків. Елементи головної діагоналі

матриці W визначаються виразом при i = j: w11 = w22 = ... = w99 = 0.

Результати розрахунків матриці W наведено в табл. 1.

Пороги біполярних нейронів мережі Хопфілда розраховуються за допомогою співвідношення та даних табл.1:

Пред'явимо мережі Хопфілда зображення S 1 букви Н та розрахуємо вихідні сигнали мережі після його зняття при двох значеннях порогів :

. Результати розрахунків наведено у табл. 2.

Таблиця 1 Матриця ваг зв'язків

Номери нейронів	Номери нейронів
	1	2	3	4	5	6	7	8	9
1	0	0	2	0	2	0	0	0	0
2	0	0	0	-2	0	-2	-2	2	-2
3	2	0	0	0	2	0	0	0	0
4	0	-2	0	0	0	2	2	-2	2
5	2	0	2	0	0	0	0	0	0
6	0	-2	0	2	0	0	2	-2	2
7	0	-2	0	2	0	2	0	-2	2
8	0	2	0	-2	0	-2	-2	0	-2
9	0	-2	0	2	0	2	2	-2	0

Таблиця 2 Результати розрахунків вихідних сигналів мережі Хопфілда після пред'явлення зображення S 1 букви Н

Номери нейронів	Компоненти зображення S 1	Вхідні сигнали нейронів	Пороги нейронів	Вихідні сигнали нейронів
1	1	4	-4 або 4	1
2	-1	-10	-4 або 4	-1
3	1	4	-4 або 4	1
4	1	10	-4 або 4	1
5	1	4	-4 або 4	1
6	1	10	-4 або 4	1
7	1	10	-4 або 4	1
8	-1	-10	-4 або 4	-1
9	1	10	-4 або 4	1

З аналізу даних табл. 2 випливає, що вектор вихідного зображення мережі повторює зображення S 1 у широкому діапазоні значень порогів. Аналогічна ситуація виходить й при пред'явленні зображення S 2 букви Т (табл. 3), тобто розрахована дискретна мережа Хопфілда, як їй і треба, повторює на своєму виході ідеальні вхідні зображення.

Пред'явимо тепер мережі зображення S 3і інверсне зображенню S 3 . Зображення S 3і можна розглядати як перекручене подання букви Н, у якого загубленні два компнонети. Рузультати розрахунків для цього випадку при иk -4 наведено у табл.4. Зіставлення п'ятих стовпців таблиць 4 та 2 показує, що мережа відновила еталонне зображення букви Н.



Таблиця 3 Результати розрахунків вихідних сигналів мережі Хопфілда після пред'явлення зображення S 2 букви Т

Номери нейронів	Компоненти зображення S 2	Вхідні сигнали нейронів	Пороги нейронів	Вихідні сигнали нейронів
1	1	4	-4 або 4	1
2	1	10	-4 або 4	1
3	1	4	-4 або 4	1
4	-1	-10	-4 або 4	-1
5	1	4	-4 або 4	1
6	-1	-10	-4 або 4	-1
7	-1	-10	-4 або 4	-1
8	1	10	-4 або 4	1
9	-1	-10	-4 або 4	-1

Таблиця 4 Результати розрахунків вихідних сигналів мережі Хопфілда після пред'явлення зображення S 3

Номери нейронів	Компоненти зображення S 3і	Вхідні сигнали нейронів	Пороги нейронів	Вихідні сигнали нейронів
1	1	4	-4	1
2	1	-6	-4	-1
3	1	4	-4	1
4	1	2	-4	1
5	1	4	-4	1
6	1	2	-4	1
7	1	2	-4	1
8	1	-6	-4	-1
9	1	2	-4	1

При пред'явленні зображень S 1, S 2, S 3і мережа попадала в стаціонарну точку за один такт часу при синхронному спрацьовуванні всіх її елементів. Однак таке ідеально швидке досягнення стійкого стану можливе далеко не завжди. Пред'явимо мережі S 4 яке можна розглядати як сильно еталон букви Н, у якого п'ять компонентів замінені на протилежні "-1".



Рис. 8 Зображення S4, S 5

Для досягнення стаціонарної точки, що відповідає зображенню S 1 букви Н, у цьому випадку при иk -4 необхідно два такти часу. При цьому мережа проходить через стани S 5 (рис.8.)

Вхідні й вихідні сигнали нейронів під час цього динамічного процесу наведено в табл. 5.

Таблиця 5 Результати розрахунків вихідних сигналів мережі Хопфілда після пред'явлення зображення S 4

Номери нейронів	Компоненти зображення S 4(t = 0)	Вхідні сигнали нейронів	Вихідні сигнали нейронів
		t = 1	t = 2	t = 1	t = 2
1	1	0	4	1	1
2	-1	6	-6	1	-1
3	-1	4	4	1	1
4	-1	-2	2	1	1
5	1	0	4	1	1
6	-1	-2	2	1	1
7	-1	-2	2	1	1
8	-1	6	-6	1	-1
9	-1	-2	2	1	1



Висновок

Штучні нейромережі є моделями нейронної структури мозку, який здатен сприймати, обробляти, зберігати та продукувати інформацію. Особливістю мозку також є навчання та самонавчання на власному досвіді. Адаптивні системи на основі штучних нейронних мереж дозволяють з успіхом вирішувати проблеми розпізнавання образів, виконання прогнозів, оптимізації, асоціативної пам'яті і керування.

Механізм природного мислення базується на збереженні інформації у вигляді образів. Штучні нейронні мережі дозволяють створення паралельних мереж, їх навчання та вирішення інтелектуальних завдань, не використовуючи традиційного програмування. В лексиконі розробників та користувачів нейромереж присутні слова "поводити себе", "реагувати", "самоорганізовувати", "навчати", "узагальнювати" та "забувати".

Штучні нейромережі конструюються з базового блоку - штучного нейрону. Іншою властивістю нейромереж є величезна кількість зв'язків, які пов'язують окремі нейрони. Групування нейронів у мозку людини забезпечує обробку інформації динамічним, інтерактивним та самоорганізуючим шляхом.

Біологічні нейронні мережі з мікроскопічних компонентів існують у тривимірному просторі і здатні до різноманітних з'єднань. Але для реалізації штучних мереж присутні фізичні обмеження.

Об'єднуючись у мережі, штучні нейрони утворюють систему обробки інформації, яка забезпечує ефективну адаптацію моделі до постійних змін з боку зовнішнього середовища. В процесі функціонування мережі відбувається перетворення вхідного вектора сигналів у вихідний. Конкретний вид перетворення визначається архітектурою нейромережі, характеристиками нейронних елементів, засобами керування та синхронізації інформаційних потоків між нейронами.

Важливим фактором ефективності мережі є встановлення оптимальної кількості нейронів та типів зв'язків між ними.

Завдання, які вирішують за допомогою нейромоделювання.

Класифікація образів. Визначення належності вхідного образа (наприклад, мовного сигналу чи рукописного символу), який представлено вектором ознак, до одного чи кількох попередньо визначених класів. До відомих застосувань відносяться розпізнавання букв, розпізнавання мови, класифікація сигналу електрокардіограми.

Кластеризація/категоризація. При вирішенні задачі кластеризації, що відома також як класифікація образів "без вчителя", навчальна множина з визначеними класами відсутня. Алгоритм кластеризації засновано на подобі образів і розміщення близьких образів в один кластер. Застосовують кластеризацію для видобутку знань, стиснення даних і дослідження властивостей даних.

Апроксимація функцій. Припустимо, що є навчальна вибірка ((x1,y1), (x2,y2)..., (xn,yn)) (пари даних вхід-вихід), яка генерується невідомою функцією F, яка спотворена шумом. Завдання апроксимації полягає в знаходженні невідомої функції F. Апроксимація функцій необхідна при рішенні численних інженерних і наукових задач моделювання.

Передбачення/прогноз. Нехай задані n дискретних відліків {y(t1), y(t2), ..., y(tn)} у послідовні моменти часу t1, t2,..., tn . Завдання полягає в передбаченні значення y(tn+1) у деякий майбутній момент часу tn+1. Передбачення/прогноз мають значний вплив на прийняття рішень у бізнесі, науці й техніці (передбачення цін на фондовій біржі, прогноз погоди).

Оптимізація. Численні проблеми в математиці, статистиці, техніці, науці, медицині й економіці можуть розглядатися як проблеми оптимізації. Задачею алгоритму оптимізації є знаходження такого рішення, яке задовольняє системі обмежень і максимізує чи мінімізує цільову функцію.

Пам'ять, що адресується за змістом. В традиційних комп'ютерах звертання до пам'яті доступно лише за допомогою адреси, що не залежить від змісту пам'яті. Більш того, якщо допущено помилку в обчисленні адреси, то може бути знайдена зовсім інша інформація. Асоціативна пам'ять, чи пам'ять, що адресується за змістом, буде доступною за вказівкою заданого змісту. Вміст пам'яті може бути викликано навіть за частковим фрагментом або спотвореним змістом. Асоціативна пам'ять є потрібною при створенні мультимедійних інформаційних баз даних.

Керування. Розглянемо динамічну систему, задану сукупністю {u(t), y(t)}, де u(t) є вхідним керуючим впливом, а y(t) - виходом системи в момент часу t. В системах керування з еталонною моделлю метою керування є розрахунок такого вхідного впливу u(t), при якому система діє за бажаною траєкторією, яка задана еталонною моделлю. Прикладом є оптимальне керування двигуном.

Незважаючи на переваги нейронних мереж в певних областях над традиційними обчисленнями, існуючі нейромережі не є досконалими рішеннями. Вони навчаються і можуть робити "помилки". Окрім того, не можна гарантувати, що розроблена мережа є оптимальною мережею.

Мережа Хопфілда використовує три прошарки: вхідний, прошарок Хопфілда та вихідний прошарок. Кожен прошарок має однакову кількість нейронів. Виходи нейронів вхідного прошарку надходять до входів відповідних нейронів прошарку Хопфілда. Тут, зв'язки мають фіксовані вагові коефіцієнти. Виходи прошарку Хопфілда під'єднуються до входів всіх нейронів прошарку Хопфілда, за винятком самого себе, а також до відповідних елементів у вихідному прошарку. Під час навчання, мережа скеровує дані з вхідного прошарку до прошарку Хопфілда. Прошарок Хопфілда коливається, поки не буде завершена певна кількість циклів, і біжучий стан сигналів нейронів прошарку передається на вихідний прошарок. Цей стан відповідає образу, який буде запам'ятовано в мережі.

Навчання мережі Хопфілда вимагає, щоб навчальний образ був представлений на вхідному та вихідному прошарках одночасно. Рекурсивний характер прошарку Хопфілда забезпечує засоби корекції всіх ваг з'єднань. Для правильного навчання мережі відповідні пари "вхід-вихід" мають відрізнятися між собою.

Іноді мережа не може провести розпізнавання і видає на виході неіснуючий образ. Це пов'язано з проблемою обмеженості можливостей мережі. Для мережі Хопфілда число збережених образів m не повинно перевищувати 0.15*n (n - кількість нейронів вихідного прошарку) Крім того, якщо два образи А і Б сильно схожі, вони, можливо, будуть викликати в мережі перехресні асоціації, тобто пред'явлення на входи мережі вектора А призведе до появи на її виходах вектори Б і навпаки.



Література

1. Руденко О.Г., Бодянський Є.В. Штучні нейронні мережі: Навч. посібник. - Харків: ТОВ “Компанія СМІТ”, 2006. - 404 с.

2. Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев С.А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности.-Харьков: Основа, 1997.- 112 с.

3. Горбань А.Н. Обучение нейронных сетей.-М.: СП "Пара-Граф", 1990.- 159 с.

4. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере.-Новосибирск: Наука, 1996.- 276 с.

5. Дли М.И. Нечеткая логика и искусственные нейронные сети.-М.: Физматлит, 2001.- 225 с.

6. Дубровін В.І., Субботін С.О. Методи оптимізації та їх застосування в задачах навчання нейронних мереж: Навчальний посібник.-Запоріжжя: ЗНТУ, 2003.- 136 с.

7. Мкртчан С.О. Нейроны и нейронные сети: Введение в теорию формальных нейронов и нейронных сетей.-М.: Энергия, 1971.- 232 с.

8. В. Д. Дмитрієнко.ОСНОВИ НЕЙРОКОМП'ЮТИНГУ. Лабораторний практикум для студентів денної та заочної форм навчання за напрямком «Комп'ютерна інженерія» та«Комп'ютерні науки», стр.53-68.

Размещено на Allbest.ru

...