Навчання нейронної мережі з використанням радіально базисної функції

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Вступ

Інтелектуальний аналіз даних (ІАД, Data Mining) ? термін, що застосовується для опису здобуття знань у базах даних, дослідження даних, обробки зразків даних, очищення і збору даних. Це процес виявлення кореляції, тенденцій, шаблонів, зв'язків і категорій.

Data Mining - предметна область що, виникла і розвивається на базі таких наук, як прикладна статистика, розпізнавання образів, штучний інтелект, теорія баз даних тощо.

Виникнення і розвиток Data Mining зумовлені різними факторами, серед яких вирізняємо основні:

· вдосконалення програмно-апаратного забезпечення;

· вдосконалення технологій зберігання і запису даних;

· накопичення великої кількості ретроспективних даних;

· вдосконалення алгоритмів обробки інформації.

Сутність і мету технології Data Mining можна описати так: це технологія, призначена для пошуку у великих інформаційних масивах даних неочевидних, об'єктивних, корисних на практиці закономірностей. ІАД здійснюється за допомогою використання технологій розпізнавання шаблонів, а також статистичних і математичних методів.

При інтелектуальному аналізі даних багаторазово виконуються операції і перетворення над "сирими" даними, що призначені для знаходження:

структур, які інтуїтивно зрозумілі для людей;

моделей, які можуть передбачити результат або значення певних ситуацій, використовуючи історичні або суб'єктивні дані.

Інтелектуальний аналіз даних ? процес автоматичного пошуку прихованих закономірностей або взаємозв'язків між змінними у великих масивах необроблених даних, що поділяється на задачі класифікації, моделювання і прогнозування.

В основу технології Data Mining покладено концепцію шаблонів (паттернів), що є закономірностями, які властиві вибіркам даних і можуть бути подані у формі, зрозумілій людині.

Класифікація ? виявлення ознак, які характеризують групи об'єктів досліджуваного набору даних. За цими ознаками новий об'єкт можна віднести до того або іншого класу.

Кластеризація ? результатом її є поділ об'єктів на групи.

Асоціація ? знаходять закономірності між пов'язаними подіями у наборі даних.

Прогнозування ? на основі особливостей історичних даних оцінюються майбутні значення показників. Застосовуються методи математичної статистики, нейронні мережі тощо.

Оцінювання ? зводиться до прогнозу безперервних значень ознак.

Візуалізація ? створюється графічний образ аналізованих даних. Для вирішення задач візуалізації використовуються графічні методи, що показують наявність закономірностей в даних.

За способами рішення задачі поділяють на такі, що вирішують за допомогою вчителя і без його допомоги. Категорія навчання з учителем представлена задачами: класифікації, оцінки, прогнозування; без учителя - задачею кластеризації.

У випадку рішення з допомогою вчителя задача аналізу даних розв'язується у кілька етапів. Спочатку за допомогою конкретного алгоритму будується модель аналізованих даних - класифікатор. Потім класифікатор піддається навчанню. Іншими словами, перевіряється якість його роботи і, якщо вона незадовільна, відбувається додаткове навчання класифікатора.

Так продовжується доти, доки не буде досягнуто необхідного рівня якості або не стане зрозуміло, що обраний алгоритм не працює коректно з даними, або дані не мають структури, здатної проявитися. До цього типу задач відносять задачі класифікації і регресії.

Рішення без допомоги вчителя об'єднує задачі, що виявляють описові моделі, наприклад, закономірності в часових рядах макропоказників. Перевагою цих задач є можливість їх рішення без будь-яких попередніх знань про дані аналізу. До них належать кластеризація і пошук асоціативних правил.

На даний час ведуться інтенсивні роботи по застосуванню нейронних мереж для інтелектуальної обробки даних. Такі мережі застосовуються в кліматології, медицині, психології і політології, діагностиці і оптимальному управлінні в технічних системах і т.д. Нейронні мережі дозволяють вирішувати різні неформалізовані задачі і моделювати ситуації, пред'являючи мережі різні дані і оцінювати відповідь, яку надає мережа. Нейронні мережі можуть застосовуватися і в ситуаціях, коли відомий порівнюваний по точності прогнозу метод рішення, але критичний, наприклад, час отримання результату.

Завданням курсової роботи є визначення роботи алгоритму навчання нейронної мережі з використанням радіально базисних функцій та реалізація цього алгоритму в програмі StatSoft STATISTICA 6.1.

1. Теоретична частина

Мережа радіально базисних функцій у математичному моделюванні -- це штучна нейронна мережа, яка використовує радіальні базисні функції у якості функції активації. Виходом мережі є лінійна комбінація радіальних базисних функцій входу та параметрів нейрона. Мережі радіальних базисних функцій мають багато застосувань, зокрема, такі як апроксимацію функції, прогнозування часових рядів, задачі класифікації та керування системою. Вони були вперше сформульовані у статті 1988 року Брумхедом і Лоу.

Мережі РБФ мають ряд переваг перед розглянутими багатошаровими мережами прямого поширення. По-перше, вони моделюють довільну нелінійну функцію за допомогою всього одного проміжного шару, тим самим, позбавляючи розробника від необхідності вирішувати питання про кількість шарів. По-друге, параметри лінійної комбінації в вихідному шарі можна повністю оптимізувати за допомогою добре відомих методів лінійної оптимізації, які працюють швидко і не відчувають труднощів з локальними мінімумами, так заважають при навчанні з використанням алгоритму зворотного поширення помилки. Тому мережа РБФ навчається дуже швидко - на порядок швидше, ніж з використанням алгоритму ОР (зворотного поширення).

Недоліки мереж РБФ: дані мережі володіють поганими екстраполюючих властивостями і виходять досить громіздкими при великій розмірності вектора входів.

Використання нейронної мережі з радіально базисною функцією базується на посиланні про те, що для підвищення ймовірності лінійного поділу образів на класи, необхідно розмістити ці образи в просторі високої розмірності деяким нелінійним чином. В найбільш простій формі радіально базисна функція являє собою нейронну мережу, що складається із трьох шарів: вхідного, схованого та вихідного. Спрощена схема РБФ з одним нейроном у вихідному шарі показана на Рис.1. В задачу вхідного шару входить розподіл вхідних даних по нейронам схованого шару НМ. В схованому шарі містяться нейрони з радіально-симетричною функцією активації. Кожен із схованих нейронів призначений для зберігання окремого еталонного образу, який відповідає окремому класу. Досить часто кількість нейронів в схованому шарі більша кількості вхідних нейронів.

Рис. 1

Для j-го нейрону в схованому шарі сумарний вхідний сигнал від деякого вхідного вектора x розраховується як евклідова норма:

де xi ? і-та компонента вхідного вектору х; wij ? ваговий коефіцієнт j-го схованого нейрону з і-тим вхідним нейроном; N ? кількість вхідних нейронів. В якості функції активації ? для нейронів в схованому шарі типовим є використання функції Гаусса:

нейронний базисний радіальний

де ?j(net) ? функція активації j-го нейрону проміжного шару;

net ? сумарний вхідний сигнал;

х ? вхідний вектор; с ? центр функції Гаусса; у ? радіус функції Гаусса

Після нелінійного перетворення сигнали від нейронів схованого шару потрапляють у вихідний шар нейронів, що мають лінійні функції активації. Розрахунок сумарного вхідного сигналу для будь-якого нейрону вихідного шару проводиться відповідно до евклідової норми. Зазначимо, що сукупність значень активностей всіх схованих нейронів визначає вектор, на який відображається вхідний вектор:

де х ? вхідний вектор;

?(х) ? вихідний вектор;

?і(х) ? компонента вихідного вектору, пов'язана з і-тим схованим нейроном;

m ? кількість схованих нейронів.

Оскільки функція активації нейронів схованого шару ? ?і(х) є нелінійною, то для моделювання будь-якої вхідної інформації достатньо одного проміжного шару з достатньо великою кількістю нейронів. Загальну кількість синаптичних зв'язків (ZУ) мережі РБФ можна розрахувати так:

де Z1 ? кількість синаптичних зв'язків схованих нейронів;

Z2 ? кількість синаптичних зв'язків вихідних нейронів.

Навчання РБФ проводиться поетапно. На першому етапі розраховують кількість нейронів в схованому шарі та коефіцієнти (центр і радіус функції Гаусса) для функцій активації нейронів схованого шару. Для розрахунку центра функції Гаусса рекомендується використовувати метод “Ксередніх” або метод навчання мережі Кохонена ? “переможець забирає все” . Наступним етапом навчання є розрахунок радіусів функцій Гаусса. Для цього можна використовувати метод “К найближчих сусідів”. Після розрахунку параметрів функції Гаусса, які за своєю суттю представляють вагові коефіцієнти нейронів схованого шару необхідно визначити вагові коефіцієнти нейронів вихідного шару.

Після навчання рекомендується перевірити якість розпізнавання РБФ на тестових прикладах, що не входять до навчальної вибірки. Якщо якість незадовільна, то проводиться корегування вагових коефіцієнтів, спочатку схованого, а потім вихідного шару нейронів.

2. Практична частина

Використовуючи нейронну мережу радіально базисної функції спрогнозуємо зростання середньої річної температури в Україні спираючись на результати за останні 198 років:

Табл. 1

Створюємо нейронну мережу в STATISTICA 6.1

Табл. 2

1. В розділі тип задачі обираємо пункт „ Временные ряды ” , та вказуємо у якості залежних та незалежних нашу змінніу.

Вказуємо „ Мастер решений ” як інструмент створення мережі.

Рис. 2

Рис. 3

2. Задаємо кількість створюваних нейронних мереж, та кількість мереж, яку буде збережено.

Рис. 4

3. Згідно завдання обираємо тип мережі для перевірки ? „ Радиальная базисная функция”.

Рис. 5

4. Вказуємо кількість спостережень які будуть використовуватися для навчальної, тестової та контрольної вибірок.

Рис. 6

5. Результат навчання мережі

Рис. 7

Як видно з результатів навчання, мережа під порядковим номером 1 дала найкращі результати, тому далі ми будемо працювати саме з нею.

6. Побудуємо гістограму мережі

Рис. 8

7. Графік залежності

Рис. 9

8. Проекція часового ряду

Рис. 10

9. Архітектура нейронної мережі

Рис. 11

10. Перегляд передбачення

Рис. 12

Висновок

При виконанні курсової роботи були розглянуті поняття інтелектуального аналізу даних, його класифікації та використання в нейронних мережах, а також спосіб навчання мережі з використанням алгоритму радіально базисних функцій.

В програмі STATSTICA 6.1 створено таблицю показників середніх річних температур в Україні та навчено мережу відповідного алгоритму для прогнозування подальшої їх зміни.

Література

1. Інтелектуальні технології [Електронний ресурс]: стаття. - Режим доступу:https://pidruchniki.com/1623021247786/informatika/intelektualni_tehnologiyi_data_mining_text_mining

2. Поняття про інтелектуальний аналізі даних [Електронний ресурс]: стаття. - Режим доступу: https://stud.com.ua/25070/menedzhment/ponyattya_intelektualniy_analizi_danih

3. Мережа радіальних базисних функцій [Електронний ресурс]: стаття. - Режим доступу: https://uk.wikipedia.org/wiki/%D0%9C%D0%B5%D1%80%D0%B5%D0%B6%D0%B0_%D1%80%D0%B0%D0%B4%D1%96%D0%B0%D0%BB%D1%8C%D0%BD%D0%B8%D1%85_%D0%B1%D0%B0%D0%B7%D0%B8%D1%81%D0%BD%D0%B8%D1%85_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D1%96%D0%B9

4. Нейронні мережі з радіальними базисними функціями [Електронний ресурс]: стаття. - Режим доступу: http://ua-referat.com/%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%96_%D0%BC%D0%B5%D1%80%D0%B5%D0%B6%D1%96_%D0%B7_%D1%80%D0%B0%D0%B4%D1%96%D0%B0%D0%BB%D1%8C%D0%BD%D0%B8%D0%BC%D0%B8_%D0%B1%D0%B0%D0%B7%D0%B8%D1%81%D0%BD%D0%B8%D0%BC%D0%B8_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D1%96%D1%8F%D0%BC%D0%B8

Размещено на Allbest.ru