Нейронні мережі прямого поширення з неітераційним навчанням

Характерною особливістю створених програмних нейромереж є простота користування ними при малій кількості операцій по налагодженню.

У восьмому розділі наведено результати застосування розроблених програмних нейромереж для розв'язування практичних завдань.

Проаналізовано можливі області застосування нейромереж ФТФ для вирішення функціональних задач автоматизованих систем управління для енергетики. Наведено інформацію щодо результатів практичного застосування для розв'язування завдань ВАТ “Львівобленерго”: оцінювання параметрів неоглядних фрагментів енергомереж (для випадку відсутності на певних об'єктах засобів телемеханіки), що підвищує якість диспетчерського керування енергомережею; структурування втрат енергокомпаній, виділення технологічної та комерційної складової втрат.

Описано приклади застосування програмних нейромереж в задачах дослідження складних природних явищ та передбачення надзвичайних ситуацій. Проаналізовано особливості використання програмної нейромережі для передбачення тривалостей стаціонарних ділянок мовного сигналу при зміні темпу відтворення мовних одиниць. Розв'язування задачі на основі застосування традиційних нейропарадигм не дає задовільних результатів внаслідок невеликої вимірності і одночасно складної форми гіперповерхні-моделі мовних перетворень. Застосування нейромереж ФТФ забезпечило високі прогностичні властивості, коли сумарна прогнозована тривалість різнилась від еталонної лише на 2,4% в приведенні до діапазону, а також проведення експериментів по встановленню зв'язків між параметрами перетворення.

Основні результати та висновки

В дисертації започатковано та розвинуто новий науковий напрям побудова, налаштування, розрахунок параметрів та застосування штучних нейромереж прямого поширення з неітераційним навчанням на основі просторового представлення моделі об'єкта, що відтворюється за допомогою нейромережі, в просторах його реалізацій та ознак. Просторово-подібні моделі навчання та функціонування забезпечили скорочення часу навчання та підвищення точності нейромереж прямого поширення, а також постановку і вирішення нових задач, що мають суттєве значення для практики, для яких раніше нейромережеві інформаційні технології не використовувались.

В рамках цього наукового напрямку отримано такі основні наукові результати:

запропоновано методологію неітераційного навчання нейромереж, метою якого є визначення синаптичних ваг і вихідних функцій НЕ, шляхом представлення матриці навчальних реалізацій, як таблиці результатів обчислення функції двох змінних числової характеристики реалізації та номера певного вузла мережі; наближення названої функції двох змінних комбінацією функцій однієї змінної забезпечує отримання аргументних функцій функціоналу моделі нейромережі і розрахунок шуканих параметрів останньої;

розроблено нейропарадигму, що включає сукупність архітектурних особливостей та загальну концепцію навчання для нейромереж з лише проективними зв`язками між шарами НЕ в основі якої метод попередньої лінійної апроксимації тіла об'єкта, що задається елементами навчальної множини в просторі реалізацій;

розроблено нейропарадигму мереж з проективними зв`язками та додатковими впорядкованими латеральними (бічними) зв`язками між НЕ прихованого шару без попередньої лінійної апроксимації тіла об'єкта.

Перелічені результати в цілому складають теоретичне підґрунтя побудови, аналізу та методик неітераційного навчання нейромереж прямого поширення на основі якого:

показано вплив розширення входів та збільшення числа шарів нейромереж з лише проективними зв`язками на підвищення точності відтворення залежностей; розроблено метод каскадної побудови нейромереж;

розроблено методологію побудови нейромереж з додатковими впорядкованими латеральними зв`язками, включаючи обґрунтування можливостей останніх здійснювати оцінки точності вихідних результатів;

дано геометричну інтерпретацію процедури неітераційного навчання, на базі якої розроблено метод нелінійних перетворень системи координат простору реалізацій, що використовується для підвищення точності, а також розробки нових методів навчання “без вчителя”;

розроблено методологію побудови нового засобу інтегрального відображення інформації ситуаційних карт особливостей, що можуть бути використані для вирішення задач глобальної оптимізації, ситуаційного прогнозування, адаптивного керування багатопараметричними процесами в інтерактивному режимі;

запропоновано методику віднесення реалізацій, що не входили до навчальної множини, до класу інтерполяційних точок, чи екстраполяційних, а також підходи до підвищення точності розв'язування екстраполяційних задач;

на основі створених нейропарадигм розроблено ряд структур нейромереж та методик і алгоритмів їх навчання, зокрема, з нелінійними передатними функціями НЕ та здійсненням почергової процедури ортогоналізації для елементів навчальної множини в просторі реалізацій і в просторі ознак, з нелінійними передатними функціями НЕ та нелінійними функціями ваг синаптичних зв`язків, з лінійними передатними функціями НЕ та нелінійними функціями ваг синаптичних зв`язків, для побудови дво-тривимірних карт особливостей, а також ситуаційних карт особливостей.

Розроблені структури нейромереж забезпечують розв'язування традиційних задач відображення даних з суттєвими перевагами в порівнянні з відомими нейромережами прямого поширення. Зокрема, швидкість навчання за рахунок неітераційності процедур може зростати на порядки, точність відтворення даних на навчальній множині принципово забезпечується як завгодно високою, в тому числі і з нульовою методичною похибкою, а за її межами за рахунок можливості налаштування, з оптимальною точністю для наявної навчальної вибірки в сенсі обраного зовнішнього критерію. Вимірність вирішуваних задач практично обмежується лише граничними об`ємами пам`яті засобів реалізації. Помітно краще вирішуються відомі задачі, що ґрунтуються на принципі стиснення даних, зокрема, побудови карт особливостей, в тому числі, тривимірних, для великих об`ємів даних, з малими часом навчання. Ситуаційні карти особливостей, основи побудови та застосування яких розроблено в дисертації, створено вперше.

На основі моделей і алгоритмів, розроблених в дисертації, створені програмні нейронні мережі, характеристики яких суттєво переважають за деякими показниками відповідники на основі відомих нейропарадигм. Проаналізовано можливі підходи до створення апаратних засобів для побудови апаратно-програмних нейрокомп`ютерів надвисокої швидкості навчання та функціонування для задач великих вимірностей.

Створені програмні нейрокомп`ютери, завдяки своїм високим показникам швидкості навчання та точності, продемонстрували здатність успішно розв'язувати важливі практичні завдання, зокрема, оцінки параметрів неоглядних фрагментів енергомереж електроенергетичних систем, структурування та планування втрат електричної енергії в енергомережах, моделювання та прогнозування фізичних явищ і складних природних процесів.

Перелік публікацій

1. Ткаченко Р.О. Модель нейронних мереж// Вісник Державного університету ”Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології. - 1998. - №349. - С. 83-86.

2. Ткаченко Р.А. О методе приближения программных траекторий полиномиальными сплайнами// Вестник Львовского политехнического института: Технические средства автоматизации измерений и управления научными исследованиями. - 1990. - № 248. - С. 135-137.

3. Ткаченко Р.О. Концепція застосування штучних нейронних мереж на основі моделі ФТФ// Український міжвідомчий науково-технічний збірник: Автоматизація виробничих процесів у машинобудуванні та приладобудуванні. - 1999. - № 34. - С. 3-7.

4. Ткаченко Р.О. Штучна нейронна мережа таблично-алгоритмічного типу// Вісник Державного університету ”Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології - 1998. - № 351. - С.91-93.

5. Ткаченко Р.О. Неітераційне навчання штучних нейронних мереж прямого поширення // Технічні вісті. - 1999. - № 1(8), 2(9). - С. 41-42.

6. Ткаченко Р.О. Нейронні мережі з нелінійними синаптичними зв'язками // Вісник Державного університету “Львівська політехніка”. Комп'ютерні системи проектування. Теорія і практика. - 1999. - №373. - С.20-22.

7. Ткаченко Р.О. Нова парадигма штучних нейронних мереж прямого поширення// Вісник Державного університету “Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології. - 1999. - №386. - С.43-54.

8. Кепич В.Т., Ткаченко Р.О. Метод сплайнів для пошуку оптимумів експериментальних залежностей // Вісник Львівського політехнічного інституту: Технічні засоби автоматизації, вимірів та керування науковими дослідженнями. - 1992. - № 267. - С. 57-60.

9. Грицик В.В., Войчишин К.С., Ткаченко Р.О., Юрчак І.Ю. Нейромережні технології прогнозування сонячної активності // Доповіді НАН України. - 1999. - №6. - С. 79-85.

10. Ткаченко Р.А., Кепич В.Т. О построении табличных множительно-делительных устройств // Контрольно-измерительная техника. - 1989. - вып. 46. - С. 80-82.

11. Кепич В.Т., Ткаченко Р.А. Локальные сплайны для задач экспериментальной оптимизации // Контрольно-измерительная техника. - 1990. - вып. 48. - С. 12-16.

12. HrytsykV., Aizenberg N., Bun R., Danyliuk O., Geche F., Kysil B., Oleksiv B., Opotiak Yu., Striamets S., Tkachenko R., Valkovski V., Voichyshyn K. The neural and neural-like networks: synthesis, realisation, application and future // Інформаційні технології і системи. - 1998. - № 1/2. - С. 15-55.

13. Кепич В.Т., Ткаченко Р.О. Про стиснення інформації в табличних функціональних перетворювачах // Вісник Львівського політехнічного інституту: Технічні засоби автоматизації, вимірів та керування науковими дослідженнями. - 1991. - № 257. - С. 49-51.

14. Ткаченко Р.О., Юрчак І.Ю., Ядловський В.С. Віртуальна нейромережа // Технічні вісті. - 1998. - 1(6), 2(7). - С. 21-23.

15. Ткаченко Р.О., Цмоць І.Г. Акселератор для реалізації штучних нейронних мереж на основі нейропарадигми “Функціонал на множині табличних функцій” // Збірник наукових праць ін-ту проблем моделювання в енергетиці НАН України. - Київ. - 1999. - Вип 7. - С.20-28.

16. Войчишин К.С., Довбуш Р.Т., Ткаченко Р.О., Юрчак І.Ю. Інформаційні нейромережеві технології виділення закономірностей просторової структури сонячної циклічності // Інформаційні технології і системи. - 1998. - №1/2. - С.85-99.

17. Данилюк О.В., Ткаченко Р.О., Батюк Н.Б., Юрчак І.Ю., Козовий А.Б. Застосування технологій штучних нейронних мереж для визначення втрат електричної енергії в електричних мережах енергопостачальних компаній // Вісник Державного університету “Львівська політехніка”: Проблеми економії енергії. - 1998. - №1. - С. 114-117.

18. Грицик В.В., Данилюк О.В., Батюк Н.Б., Ткаченко Р.О., Юрчак І.Ю. Оперативна ідентифікація режимів навантаження фрагментів електроенергетичних систем на основі технологій штучних нейронних мереж // Вісник Державного університету “Львівська політехніка”: Проблеми економії енергії. - 1999. - № 2. - С. 143-147.

19. Ткаченко Р.О., Юрчак І.Ю. Нейромережі для прогнозування циклічного типу // Вісник Державного університету ”Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології. - 1998. - №351. - С.88-90.

20. Ткаченко Р.О., Юрчак І.Ю., Цимбал Ю.В. Практичне застосування штучних нейронних мереж прямого поширення // Вісник Державного університету ”Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології. - 1999. - №370. - С.57-59.

21. Ткаченко Р.О., Юрчак І.Ю., Ковальчук А.М. Підходи до вирішення задач прогнозування // Вісник Державного університету ”Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології. - 1998. - №349. - С.53-62.

22. Ткаченко Р.О., Юрчак І.Ю., Цимбал Ю.В. Неітераційне навчання нейронних мереж прямого поширення // Вісник Державного університету “Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології. - 1999. - №380. - С.109-115.

23. Ткаченко Р.О., Юрчак І.Ю. Варіант побудови штучних нейронних мереж прямого поширення з неітераційним навчанням // Інформаційні технології і системи. - 1998. - № 1/2. - С. 81-84.

24. Гринец В.Д., Ткаченко Р.А. Измерительные преобразователи для работы с нелинейными термопреобразователями // Контрольно-измерительная техника. - 1987. - Вып. 41. - С.22-26.

25. Дронюк І.М., Ткаченко Р.О. Використання поліномів Чебишова для відтворення нелінійних синаптичних зв'язків штучних нейронних мереж // Вісник Державного університету “Львівська політехніка”: Прикладна математика. - 1999. - №364. - С.184-187.

26. Ткаченко Р.О., Юрчак І.Ю. Штучні нейронні мережі прямого поширення з неітераційним навчанням // Вісник Державного університету “Львівська політехніка”: Інформаційні системи та мережі. - 1999. - №383. - С.226-231.

27. А.с. 1396140 СССР МКИ G 06F 7/544. Интерполятор / Ткаченко Р.А. (СССР). - № 4152893/24-24; заявлено 28.11.86; опубл. 15.05.88, Бюл. № 18. - 3 с.

28. А.с. 1508234 СССР, МКИ G 06F 15/353. Функциональный преобразователь / Ткаченко Р.А. (СССР) - № 4380446/24-24; Заявлено 02.12.87; Опубл. 15.09.89, Бюл. № 34. - 3 с.

29. А.с. 1361587 СССР МКИ G 06G 7/26. Генератор функций времени / Ткаченко Р.А., Полищук О.А., Ризнык В.В. (СССР) - № 4099506/24-26; заявлено 28.07.86; опубл. 23.12.87, Бюл. № 47. - 3 с.

30. А.с. 1536404 СССР МКИ G 06G 7/26. Генератор функцій / Ткаченко Р.А., Полищук О.А., Лысый Б.Е. (СССР) - № 4380447/24-24; заявлено 02.12.87; опубл. 15.01.90, Бюл. № 2. - 3 с.

31. Tkachenko R. Accelerated learning of multilayered neural networks on the base of the new paradigma // Third Conference “Neural Networks and Their Applications”. - Kule, Poland. - 1997. - Р. 129-130.

32. Ткаченко Р.О. Нейронно-таблична модель розпізнавання образів // Матеріали міжн. наукової конференції “Друкотехн-96”. - Львів: Українська академія друкарства, 1996. - С. 155-156.

33. Ткаченко Р.О., Юрчак І.Ю. Геометричний метод розпізнавання образів // Матеріали міжн. наук. конф. “Друкотехн-96”. - Львів: Українська академія друкарства, 1996. - С. 156-157.

34. Батюк А.Є., Демида Б.А., Ткаченко Р.О., Цмоць І.Г., Юрчак І.Ю. Проблеми навчання та використання штучних нейронних мереж з таблично-алгоритмічним відтворенням функції активації // Матеріали міжн. наук. конф. “Сучасні проблеми механіки і математики”. - Львів: ІППММ НАН України, 1998. - С.296.

35. Грицик В., Майоров А., Ткаченко Р. Захист інформаційних ресурсів на основі технологій штучних нейронних мереж // Тези доп. 3-ї Міжнародної наук.-техн. конф. “Математичне моделювання в електротехніці, електроніці та електроенергетиці”. - Львів. - 1999. - С.62.

36. Рашкевич Ю.М., Ткаченко Р.О., Шпак З.Я. Часова трансформація мовних сигналів на основі нейронних мереж // Матеріали наук.-техн. конф. “Укробраз - 98”, Київ. - 1998. - С.75-76.

37. Бегота Р.В., Гаврилюк М.О., Гриниха Б.В., Мацелюх Я.І., Опир Ю.М., Пуйда В.Я., Ткаченко Р.О., Хомуляк М.О. Мікропроцесорні обчислювачі витрат та кількості газу // Тезисы докл. конф. “Энергосбережение и учет энергии”, Киев. - 1995. - С.25-26.

38. Батюк А.Є., Демида Б.А., Рашкевич Ю.М., Ткаченко Р.О., Цмоць І.Г., Паралельно-потокові системи з організацією зв'язків через багатопортову пам'ять для обробки інтенсивних потоків інформації // Матеріали міжн. наук.-техн. конф. “Сучасні технології в аерокосмічному комплексі”, м. Житомир. - 1997. - С. 59-61.

39. Рашкевич Ю., Ткаченко Р., Цмоць І., Демида Б., Батюк А. Особливості реалізації штучних нейронних мереж на базі паралельно-потокових систем з організацією зв'язків через багатопортову пам'ять // Матеріали конф. “Сучасні проблеми засобів телекомунікації, комп'ютерної інженерії та підготовки спеціалістів”, Львів. - 1998. - С. 68-69.

40. Данилюк О.В., Ткаченко Р.О. Технологии искусственных нейронных сетей в задачах оперативно-диспетчерского управления электроэнергетическими системами // Zbornik Prednasok z IX Vedeckej konference, Slovakia. - 1998. - С. 169-172.

41. Hgrytsyk V., Bilas O., Chinok V., Gusti M., Hgrytsyk V.(jun.), Kopylets I., Medykovskyi M., Opotiak Yu., Tkachenko O., Tkachenko R. Image processing in multimedia system “Beauty and wealth of Ukraine” // Proc. of Fifth Intern. Conf. “Pattern Recognition and Information Processing”, Minsk, Republic of Belarus. - 1999, Р. 368-371.

Особистий внесок здобувача. В роботах, написаних у співавторстві, авторові дисертації належать: [12, 14, 23, 38, 39, 41] базова модель нейромереж з неітераційним навчанням, нейропарадигми на основі базової моделі, включаючи архітектурні вирішення та неітераційні методики навчання; [15, 24-26, 29, 30, 34, 35, 37] постановка задач, архітектурні вирішення, методологія розв'язку проблем; [8, 10, 11, 13, 20, 22, 33] наукове керівництво, математична модель; [9, 16-19, 21, 36, 40] методика і засоби здійснення обчислювальних експериментів.

Анотація

Ткаченко Р.О. Нейронні мережі прямого поширення з неітераційним навчанням. Рукопис.

Дисертація на здобуття наукового ступеня доктора технічних наук по спеціальності 05.13.06 Автоматизовані системи управління та прогресивні інформаційні технології. Державний науково-дослідний інститут інформаційної інфраструктури Державного комітету зв'язку та інформатизації та Національної академії наук України, Львів, 2000.

Дисертацію присвячено питанням побудови, синтезу та застосування штучних нейронних мереж прямого поширення з неітераційним навчанням.

В основу методології неітераційного навчання покладена нова концептуальна модель штучних нейронних мереж. Модель “Функціонал на множині табличних функцій “ є функціоналом на множинах синаптичних функцій, вихідних функцій нейронних елементів і дискретних функцій вхідних наборів, відтворюваних мережами з використанням тільки проективних зв'язків, або ж з включенням додаткових латеральних. Ця модель покладена в основу ряду нових архітектур нейромереж та швидких неітераційних алгоритмів їх навчання.

Створені на основі запропонованих моделей та алгоритмів програмні нейромережі знайшли практичне впровадження в області енергетики, наукових дослідженнях, навчальному процесі.

Ключові слова: нейромережа прямого поширення, неітераційне навчання, розпізнавання, прогнозування, карта особливостей.

Аннотация

Ткаченко Р.А. Нейронные сети прямого распространения с неитерационным обучением. Рукопись.

Диссертация на соискание ученой степени доктора технических наук по специальности 05.13.06 автоматизированные системы управления и прогрессивные информационные технологии. Государственный научно-исследовательский институт информационной инфраструктуры Государственного комитета связи и информатизации и Национальной академии наук Украины, Львов, 2000.

Диссертация посвящена вопросам построения, настраивания, обучения и использования искусственных нейронных сетей прямого распространения с неитерационным обучением.

В первом разделе диссертации приведены основные понятия и определения, составляющие доктрину искусственных нейросетей. Выделены структуры нейросетей с обратными связями и без таковых (прямого распространения), а также три основные группы заданий, решаемых при помощи нейросетей кластеризации, моделирования ассоциативной памяти и отображения.

Во втором разделе описана концептуальная модель неитерационного обучения, функционирования и применения нейронных сетей прямого распространения. На базе предложенной модели “Функционал на множестве табличных функций” разработаны две новые нейропарадигмы сетей прямого распространения с неитерационным обучением:

с неявным заданием числовых характеристик реализаций;

с прямым вычислением характеристик реализаций.

Приведены основы методик обучения для обеих нейропарадигм.

Осуществлено сравнение нейросетей, базирующихся на каждой из парадигм, оценены ограничения на их обучение и применение.

В третьем разделе рассмотрены вопросы практического построения нейроархитектур с неявным заданием числовых характеристик реализаций, включая структурные методы улучшения точности, формирования передаточных функций входного, выходного и промежуточных слоев нейронных элементов, особенности использования нейросетей данного типа для моделирования функций ассоциативной памяти.

На основании анализа составляющих погрешности функционирования нейросети, разработаны и обоснованы некоторые способы повышения точности, простейший из которых заключается во введении дополнительного входа нейросети, на который подается постоянный сигнал. Проанализирован эффект повышения точности путем каскадирования.

Четвертый раздел посвящен разработке практических вариантов реализации нейросетей с прямым вычислением характеристик реализаций. Последним свойственны некоторые особенности, важные в плане их возможного применения, в частности, отсутствие теоретических ограничений на формирование матрицы обучающей выборки, отсутствие необходимости решения систем линейных алгебраических уравнений при обучении. Ценной, во многих случаях, является возможность воспроизводить элементы обучающего множества с нулевой методической погрешностью.

Приведена геометрическая модель процедуры обучения. Обоснована значимость линейных и нелинейных преобразований системы координат пространства реализации для повышения эффективности обучения, а также кластеризации реализаций. Описаны варианты нейросетей, использующие нелинейные синаптические связи.

В пятом разделе проанализированы подходы, обеспечивающие эффективное решение задач в режиме контролируемого обучения, как наиболее характерные для случая применения нейросетей прямого распространения. Задачи отображения разделены на основные типы, принимая за основу разделения способы получения и особенности входных данных. Отдельно рассмотрен случай аппроксимации сложных зависимостей одной переменной, задаваемых таблично. Введено понятие “экстраполяционных” задач для случая нейросетей. Показаны особенности использования нейросетей для прогнозирования временных рядов.

В шестом разделе описаны рекомендации по использованию разработанных нейросетей для решения задач в режиме неконтролируемого обучения. В основе разработанных подходов пространственно-подобное представление объектов, моделируемых при помощи нейросетей, а также соответствующие модели обучения.

Приведены методики реализации нейросетевого кластерного анализа в автоматическом и визуализированном режимах, осуществления нелинейного факторного анализа, построения и использования ситуационных карт особенностей, обработки изображений.

В седьмом разделе рассмотрены вопросы аппаратной, программной и комбинированной реализации нейросетей. Показаны пути к осуществлению аппаратной реализации, исходя из набора базовых операций, а также к построению нейроакселератора на базе сигнальных микропроцессоров. Описаны созданные програмные нейросети для реализации функций отображения и сжатия данных.

В восьмом разделе приведена информация, касающаяся применения разработанных программных нейросетей для решения практических заданий ОАО “Львовоблэнерго”:

оценивания параметров фрагментов энергосетей;

структурирования потерь энергокомпаний.

Проанализирован опыт использования нейросетей для моделирования сложных природных и физических явлений.

Ключевые слова: нейросеть прямого распространения, неитерационное обучение, распознавание, прогнозирование, карта особенностей.

Abstract

Tkachenko R.O. Feed forward neural networks with non-iteration learning. Manuscript.

Thesis for a doctor's degree in specialty 05.13.06 - Automatic Control Systems and Progressive Information Technologies. State Scientific and Research Institute of Information Infrastructure of the National Academy of Sciences of Ukraine, L'viv, 2000.

The thesis is devoted to problems of building, synthesis and application of feed forward artificial neural networks with non-iteration learning. The new conception model of the artificial neural networks have been placed in the methodology base of non-iteration learning. The model “Functional on the tabular functions set” is a functional on the sets of synaptic functions, output functions of neural elements and discrete functions of input sets. The input set is reflected both by network using only projective connections, or including additional lateral ones. This model became the base of a number of new architectures of networks and fast non-iteration algorithms of their learning.

Created on the basis of provided models and algorithms, program neural networks have found practical applications in the fields of power engineering, and scientific research, as well as in the educational process.

Keywords: feed forward neural network, non-iteration learning, recognition, prediction, feature map.

Размещено на Allbest.ru