Адаптивний метод навчання синаптичних ваг, активаційних функцій та архітектури радіально-базисних нейронних мереж
Широке розповсюдження штучних нейронних мереж, що застосовуються для вирішення різноманітних задач інтелектуального аналізу даних завдяки своїм універсальним властивостям та здатності до навчання. Складні моменти при синтезі радіально-базисних мереж.
| Рубрика | Коммуникации, связь, цифровые приборы и радиоэлектроника |
| Вид | статья |
| Язык | русский |
| Дата добавления | 19.06.2018 |
| Размер файла | 40,5 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Харківський національний університет радіоелектроніки
Адаптивний метод навчання синаптичних ваг, активаційних функцій та архітектури радіально-базисних нейронних мереж
Бодянський Є. В., Дейнеко А. О., Дейнеко Ж. В., Плісс І. П
На теперішній час штучні нейронні мережі (ШНМ) отримали широке розповсюдження для вирішення різноманітних задач інтелектуального аналізу даних, завдяки своїм універсальним апроксимуючим властивостям та здатності до навчання. При цьому, зазвичай, під навчанням розуміють процес оптимізації деякого заздалегідь заданого критерія навчання. Ситуація ускладнюється за умов короткої навчальної вибірки, коли на перший план виходить швидкість збіжності алгоритмів навчання, при цьому задача ще більш ускладнюєтся, якщо ця вибірка задана не в формі пакету, а коли дані надходять на вхід мережі послідовно у on-line режимі. Безсумнівно перевага у цьому випадку віддається ШНМ, чий вихідний сигнал лінійно залежить від синаптичних ваг. До таких мереж в першу чергу слід віднести радіально-базисні ШНМ, синаптичні ваги яких можуть налаштовуватися за допомогою оптимізованих за швидкодією ґаусівсько-н'ютонівських та ґрадієнтних процедур. В принципі нескладно ввести додаткові контури навчання і для налаштування активаційних функцій мережі - центрів та рецепторних полів. Найбільш складним моментом при синтезі радіально-базисних мереж є вибір кількості нейронів, оскільки недостатня їх кількість погіршує апроксимуючі властивості мережі, а їх надлишок веде до, так званого, «прокльону розмірності». Розв'язати цю проблему можна, скориставшись підходом, відомим як еволюційні системи обчислювального інтелекту [1-4]. Слід відзначити, що більшість алгоритмів, пов'язаних з цим підходом, орієнтовані на пакетне опрацювання інформації. Відомі також алгоритми орієнтовані суто на радіально-базисні мережі [5, 6], але вони також не пристосовані для роботи у on-line режимі. У зв'язку з цим нами пропонується адаптивний метод навчання всіх параметрів (включаючи кількість нейронів) радіально-базисних ШНМ, що здатні опрацьовувати інформацію, що послідовно надходить на вхід нейронної мережі.
Введемо до розгляду нелінійне перетворення, що реалізується ШНМ, вигляду
,
де - вимірний вхідний сигнал у поточний момент часу ; радіально-базисні функції аргумента відстані між вхідним образом та центром , - параметр ширини функції або у більш загальному випадку матриця рецепторного поля , , .
В якості активаційних зазвичай використовуються ядерні (дзвонуваті) функції, частіше за все функція Гауса, у нашому ж випадку була використана функція, пов'язана з розподілом Коші вигляду
,
чия похідна формується як квадрат цієї функції.
Використовуючи квадратичний критерій навчання, можна записати процедуру градієнтного налаштування параметрів мережі:
де , , параметри кроку ґрадієнтного пошуку, похибка навчання на му такті.
Процес налаштування кількості нейронів мережі полягає в тому, що спочатку задається максимально припустима кількість нейронів у мережі та поріг нероздільності центрів активаційних функцій , . На початкових етапах навчання відбувається за принципом «нейрони в точках даних» так, як це реалізовано в узагальнених регресійних нейронних мережах [7]. Коли кількість активаційних функцій досягає значення , починається налаштування центрів за допомогою другого співвідношення введеної вище ґрадиентної процедури, одночасно відбувається і уточнення ,
Якщо будь які два із існуючих центрів наблизяться один до одного так, що
нейронний мережа синтез інтелектуальний
, , ,
виключається з мережі, зменшуючи загальну кількість нейронів.
Таким чином, мережа в процесі еволюції може як розростатися (growing), так і скорочуватися (pruning), формуючи свою оптимальну архітектуру.
Список літератури
1. Angelov P. Evolving Rule-based Models: A Tool for Design of Flexible Adptive Systems / Angelov P. // Heidelberg - New York: Springer - Verlag, 2002 - 567 p.
2. Kasabov N. Evolving Connectionist Systems. / Kasabov N. // London: Springer - Verlag. - 2003 - 307p.
3. Angelov P. Evolving computational intelligence systems / Angelov P., Kasabov N. // Proc. 1st Int. Workshop on Genetic Fuzzy Systems - Granada, Spain, 2005 - P. 76-82.
4. Lughofer E. Evolving Fuzzy Systems - Metodologies, Advanced Concepts and Application / Lughofer E. // Berlin - Heidelberg: Springer - Verlag. - 2011 - 454p.
5. Paetz J. Reducing the number of neurons in radial basis function networks with dynamic decay adjustment. / Paetz, J. // Neurocomputing - 2004 - 62 - P. 79-91.
6. Platt J. A resource allocating network for function interpolation / Platt J. // Neural Comp. -1991 - 3- P. 213-225.
7. Specht D. F. A general regression neural network /Specht D. F. // IEEE Trans. on Neural Networks - 1991. - 2. - P. 568-576.
Размещено на Allbest.ru
...Подобные документы
Аналіз принципів і особливості захисту кабельних мереж агрокомбінату. Розрахунок максимального струму навантаження лінії. Обґрунтування вибору трансформатора напруги. Проведення структурного аналізу захисту кабельних мереж від міжфазних коротких замикань.
автореферат [3,4 M], добавлен 20.09.2014Аналіз організації передачі даних по каналах комп’ютерних мереж. Фізична сутність та порядок організації їх каналів. Сутність існуючих методів доступу до каналів комп’ютерних мереж. Місце процесів авторизації доступу при організації інформаційних систем.
дипломная работа [2,4 M], добавлен 12.09.2010Дослідження особливостей та призначення корпоративних мереж. Обґрунтування стандартизації функцій інформаційних мереж міжнародною спілкою електрозв’язку. Протоколи канального рівня. Функціональна схема роботи кінцевого та центрального вузлів мережі.
дипломная работа [1,3 M], добавлен 24.06.2015Поняття, сутність, призначення і класифікація комп’ютерних мереж, особливості передачі даних в них. Загальна характеристика локальних комп’ютерних мереж. Етапи формування та структура мережі Інтернет, а також рекомендації щодо збереження інформації у ній.
реферат [48,1 K], добавлен 05.12.2010Вимоги до транспортної мережі NGN. Порівняльний аналіз технологій транспортних мереж: принцип комутації, встановлення з'єднання, підтримка технології QoS, можливості масштабування мережі. Поняття про Traffic Engineering. Оптимізація характеристик мереж.
дипломная работа [4,6 M], добавлен 22.09.2011Оптимальний спосіб організації доступу до послуг IN міжміського та зонового рівня. IN із розподіленою та централізованою обробкою виклику. Класифікація та ідентифікація інтелектуальних мереж зв'язку. IN із зовнішньою та внутрішньою функцією взаємодії.
реферат [571,6 K], добавлен 16.01.2011Cтворення та конфігурація мережі. Розрахунок трафіку управління шлюзом доступу. Визначення параметрів інтерфейсу підключення до пакетної мереж. Налаштування QoS, вибір статистики. Модульна організація і масштабованість. Технічні характеристики комутатора.
курсовая работа [2,9 M], добавлен 22.01.2013Проектування телекомунікаційних та інформаційних мереж. Ознайомлення з початковим етапом проектування мереж зв’язку. Набуття практичних навичок укладання технічних завдань для складних інфокомунікаційних систем та об’єктів.
лабораторная работа [195,8 K], добавлен 22.01.2007Характеристика RadioEthernet IEEE 802.11 - першого промислового стандарту для бездротових локальних мереж. Застосування методу FHSS для зміни несучої частоти сигналу при передачі інформації. Схеми з'єднання комп'ютерів у мережі. Захист Wi-Fi покриття.
курсовая работа [3,5 M], добавлен 06.09.2011Аспекти формування інструментарію для рішення проблеми з підвищення ефективності сучасних транспортних мереж. Визначення концепції розбудови оптичних транспортних мереж. Формалізація моделі транспортної мережі. Інтеграція ланки в мережеву структуру.
реферат [4,8 M], добавлен 19.02.2011Особливості, властиві мережі рухомого зв’язку: контроль пересування мобільного абонента, специфіка радіодоступу, роумінг. Підходи до конвергенції інтелектуальних і мобільних мереж. Організації, що активно працюють в області конвергенції концепції IN.
контрольная работа [540,0 K], добавлен 10.01.2011Методи побудови мультисервісних локальних територіально розподілених мереж. Обґрунтування вибору технології побудови корпоративних мереж MPLS L2 VPN. Імітаційне моделювання у пакеті "OPNET modeler 14.5" та аналіз характеристики переданого трафіку.
дипломная работа [1,2 M], добавлен 20.09.2016Особливості планування мереж мобільного зв’язку. Презентативний вибір вимірювань реальних сигналів. Розрахунок напруженості поля за формулою ідеального радіозв’язку та на основі статистичної моделі. Врахування впливу перешкод на шляху поширення сигналу.
курсовая работа [1,2 M], добавлен 23.05.2013Структура системи електрозв'язку. Топологічна структура первинної мережі. Особливості взаємодії первинної і вторинної мереж. Магістральні, внутрішньозонові, місцеві вузли зв'язку. Класифікація мереж зв'язку, їх характеристика. Елементи кодових комбінацій.
реферат [230,8 K], добавлен 05.01.2011Етапи розвитку мереж і послуг зв'язку: телефонізація країни; цифровізація телефонної мережі; інтеграція послуг на базі цифрових мереж зв'язку. Управління багатократним координатним з'єднувачем. Ємності та діапазони номерів автоматичної телефонної станції.
курсовая работа [679,7 K], добавлен 05.02.2015Топологія та компоненти пасивних оптичних мереж доступу. Характеристики абонентських і магістральних волоконно-оптичних кабелів зовнішнього і внутрішнього прокладання. Властивості матеріалів їх конструктивних елементів. Термомеханічний розрахунок кабелю.
дипломная работа [4,8 M], добавлен 09.12.2014Характеристика обладнання для побудови мереж IN компанії Lucent Technologies. Система 5ESS-2000, що складається з концентраторів SM-2000, модуля зв'язку СМ і адміністративного модуля AM. Архітектура та програмне забезпечення всіх компонентів IN.
контрольная работа [350,6 K], добавлен 09.01.2011Поняття сигналу, їх види - аналогові і цифрові. Фізичні процеси передачі інформації. Смуга пропускання і пропускна здатність. Цифрове та логічне кодування бітових даних. Гальванічна розв’язка електричних кіл ліній передачі даних комп’ютерних мереж.
презентация [1,3 M], добавлен 18.10.2013Методи векторної та скалярної оптимізації широко використовуються при проектуванні систем і мереж зв’язку. Розгляд деяких прикладів, що іллюструють осбливості застосування методів оптимізації при отриманні оптимальної структури і параметрів даних систем.
реферат [125,2 K], добавлен 13.02.2011Можливості технології синхронної ієрархії SDH по створенню транспортних мереж даних і формуванню цифрових каналів в широкому діапазоні швидкостей. Техніка комутації каналів з двоточковою топологією між користувацькими пристроями, підключеними до мережі.
реферат [158,9 K], добавлен 05.02.2015
