Навчання без вчителя

Размещено на http://www.allbest.ru/

Міністерство освіти і науки України

Тернопільський національний технічний університет імені Івана Пулюя

Кафедра комп'ютерних систем та мереж

Реферат

з дисципліни «Штучний інтелект»

на тему: Навчання без вчителя

Тернопіль 2013

Зміст

Вступ

1. Біологічний нейрон

2. Штучний нейрон

3. Штучні нейронні мережі

4. Навчання штучної нейронної мережі

5. Навчання без вчителя

6. Метод «навчання Хеба»

Висновок

Список використаної літератури

Вступ

Сьогодні за рахунок досягнень в області штучного інтелекту створено велику кількість наукових розробок, яке істотно спрощує життя людей. Розпізнавання мовлення або від сканованого тексту, рішення обчислювально складних завдань за короткий час і багато іншого - все це стало доступно завдяки розвитку штучного інтелекту.

Заміна людини -спеціаліста на системи штучного інтелекту, зокрема на експертні системи, зрозуміло, там, де це припустимо, дозволяє істотно прискорити і здешевити процес виробництва. Системи штучного інтелекту завжди об'єктивні і результати їх роботи не залежать від моментного настрою і ряду інших суб'єктивних чинників, які притаманні людині. Але , незважаючи на все вищесказане, не варто плекати сумнівні ілюзії і сподіватися , що в найближчому майбутньому праця людини вдасться замінити роботою штучного інтелекту. Досвід показує , що на сьогоднішній день системи штучного інтелекту досягають найкращих результатів , функціонуючи спільно з людиною. Адже саме людина, на відміну від штучного інтелекту , вміє мислити нестандартно і творчо, що дозволяло йому розвиватися і йти вперед протягом усього його епохи.

1. Біологічний нейрон

Нейрон (нервова клітка) складається з тіла клітини - соми (soma), і двох типів зовнішніх деревоподібних відгалужень: аксона (axon) і дендритів (dendrites). Тіло клітини вміщує ядро (nucleus), що містить інформацію про властивості нейрона, і плазму, яка продукує необхідні для нейрона матеріали. Нейрон отримує сигнали (імпульси) від інших нейронів через дендрити (приймачі) і передає сигнали, згенеровані тілом клітки, вздовж аксона (передавач), що наприкінці розгалужується на волокна (strands). На закінченнях волокон знаходяться синапси (synapses).

2. Штучний нейрон

Базовий модуль нейронних мереж штучний нейрон моделює основні функції природного нейрона (рис. 1).

Рис. 1. Базовий штучний нейрон

Вхідні сигнали xn зважені ваговими коефіцієнтами з'єднання wn додаються, проходять через передатну функцію, генерують результат і виводяться. У наявних на цей час пакетах програм штучні нейрони називаються "елементами обробки" і мають набагато більше можливостей, ніж простий штучний нейрон, описаний вище. На рис. 2 зображена детальна схема спрощеного штучного нейрону.

Рис. 2. Модель "елементу обробки"

Модифіковані входи передаються на функцію сумування, яка переважно тільки сумує добутки. Проте можна обрати багато різних операцій, такі як середнє, найбільше, найменше, OR, AND, тощо, які могли б виробляти деяку кількість різних значень. Окрім того, більшість комерційних програм дозволяють інженерам-програмістам створювати власні функції суматора за допомогою підпрограм, закодованих на мові високого рівня (C, С++, TurboPascal). Інколи функція сумування ускладнюється додаванням функції активації, яка дозволяє функції сумування оперувати в часі.

В любому з цих випадків, вихід функції сумування надсилається у передатну функцію і скеровує весь ряд на дійсний вихід (0 або 1, -1 або 1, або яке-небудь інше число) за допомогою певного алгоритму. В існуючих нейромережах в якості передатних функцій можуть бути використані сигмоїда, синус, гіперболічний тангенс та ін. Приклад того, як працює передатна функція показаний на рис. 3.

Рис. 3. Сигмоїдна передаточна функція

Після обробки сигналу, нейрон на виході має результат передатної функції, який надходить на входи інших нейронів або до зовнішнього з'єднання, як це передбачається структурою нейромережі.

Всі штучні нейромережі конструюються з базового формуючого блоку - штучного нейрону. Існуючі різноманітності і фундаментальні відмінності, є підставою мистецтва талановитих розробників для реалізації ефективних нейромереж.

3. Штучні нейронні мережі

Інша частина створення і використання нейромереж стосується нескінченої кількості зв'язків, що пов'язують окремі нейрони. Групування у мозку людини відбувається так, що інформація обробляється динамічним, інтерактивним та самоорганізуючим шляхом.

Біологічні нейронні мережі створені у тривимірному просторі з мікроскопічних компонент і здатні до різноманітних з'єднань. Але для створеної людиною мережі існують фізичні обмеження.

Існуючі на даний час, нейромережі є групуванням штучних нейронів. Це групування обумовлено створенням з'єднанних між собою прошарків.

Рис. 4. Діаграма простої нейронної мережі

На рис. 4 показана типова структура штучних нейромереж. Хоча існують мережі, які містять лише один прошарок, або навіть один елемент, більшість застосувань вимагають мережі, які містять як мінімум три нормальних типи прошарків - вхідний, прихований та вихідний. Прошарок вхідних нейронів отримує дані або з вхідних файлів, або безпосередньо з електронних давачів. Вихідний прошарок пересилає інформацію безпосередньо до зовнішнього середовища, до вторинного комп'ютерного процесу, або до інших пристроїв. Між цими двома прошарками може бути багато прихованих прошарків, які містять багато нейронів у різноманітних зв'язаних структурах. Входи та виходи кожного з прихованих нейронів просто йдуть до інших нейронів.

Напрямок зв'язку від одного нейрону до іншого є важливим аспектом нейромереж. У більшості мереж кожен нейрон прихованого прошарку отримує сигнали від всіх нейронів попереднього прошарку та звичайно від нейронів вхідного прошарку. Після виконання операцій над сигналами, нейрон передає свій вихід до всіх нейронів наступних прошарків, забезпечуючи шлях передачі вперед (feedforward) на вихід.

При зворотньому зв'язку, вихід нейронів прошарку скеровується до нейронів попереднього прошарку (рис. 5).

Рис. 5

Шлях, яким нейрони з'єднуються між собою має значний вплив на роботу мережі. Більшість пакетів професіональної розробки програмного забезпечення дозволяють користувачу додавати, вилучати та керувати з'єднаннями як завгодно. Постійно коректуючі параметри, зв'язки можна робити як збуджуючими так і гальмуючими.

4. Навчання штучної нейронної мережі

Здатність до навчання є фундаментальною властивістю мозку. Процес навчання може розглядатися як визначення архітектури мережі і налаштування ваг зав'язків для ефективного виконання спеціальної задачі. Нейромережа налаштовує ваги зав'язків по наявній навчальній множині. Властивість мережі навчатися на прикладах робить їх більш привабливими в порівнянні із системами, які функціонують згідно визначеній системі правил, сформульованої експертами.

Для процесу навчання необхідно мати модель зовнішнього середовища, у якій функціонує нейронна мережа - потрібну для вирішення задачі інформацію. По-друге, необхідно визначити, як модифікувати вагові параметри мережі. Алгоритм навчання означає процедуру, в якій використовуються правила навчання для налаштування ваг.

Існують три загальні парадигми навчання: "з вчителем", "без вчителя" (самонавчання) і змішана. У першому випадку нейромережа має у своєму розпорядженні правильні відповіді (виходи мережі) на кожен вхідний приклад. Ваги налаштовуються так, щоб мережа виробляла відповіді як можна більш близькі до відомих правильних відповідей. Навчання без вчителя не вимагає знання правильних відповідей на кожен приклад навчальної вибірки. У цьому випадку розкривається внутрішня структура даних та кореляція між зразками в навчальній множині, що дозволяє розподілити зразки по категоріях. При змішаному навчанні частина ваг визначається за допомогою навчання зі вчителем, у той час як інша визначається за допомогою самонавчання.

5. Навчання без вчителя

Незважаючи на численні прикладні досягнення, навчання з учителем критикувалося за свою біологічну неправдоподібність. Важко уявити навчальний механізм в мозку , який би порівнював бажані і дійсні значення виходів , виконуючи корекцію за допомогою зворотного зв'язку. Якщо допустити подібний механізм в мозку , то звідки тоді виникають бажані виходи? Навчання без вчителя є набагато більш правдоподібною моделлю навчання в біологічній системі . Розвинена Кохоненом та багатьма іншими, вона не потребує цільовому векторі для виходів і , отже, не вимагає порівняння з зумовленими ідеальними відповідями. Навчальне безліч складається лише з вхідних векторів . Навчальний алгоритм підлаштовує ваги мережі так , щоб виходили узгоджені вихідні вектори, тобто щоб пред'явлення досить близьких вхідних векторів давало однакові виходи . Процес навчання, отже , виділяє статистичні властивості навчальної множини і групує подібні вектори в класи . Пред'явлення на вхід вектора з даного класу дасть певний вихідний вектор , але до навчання неможливо передбачити, який вихід буде вироблятися даним класом вхідних векторів. Отже , виходи подібної мережі повинні трансформуватися в деяку зрозумілу форму, зумовлену процесом навчання. Це не є серйозною проблемою. Зазвичай не складно ідентифікувати зв'язок між входом і виходом, встановлену мережею.

6. Метод «навчання Хеба»

Робота забезпечила основу для більшості алгоритмів навчання, які були розроблені після її виходу. У попередніх цій роботі працях в загальному вигляді визначалося , що навчання в біологічних системах відбувається за допомогою деяких фізичних змін в нейронах , проте були відсутні ідеї про те , яким чином це насправді може мати місце. Грунтуючись на фізіологічних і психологічних дослідження, Хебом було висунуто гіпотезу про те, яким чином може навчатися набір біологічних нейронів. Його теорія припускає тільки локальну взаємодію між нейронами за відсутності глобального вчителя; отже, навчання є некерованим , Незважаючи на те що його робота не включає математичного аналізу , ідеї , викладені в ній , настільки ясні і невимушені, що отримали статус універсальних припущень . Його книга стала класичною і широко вивчається фахівцями, що мають серйозний інтерес у цій області.

Розглянемо алгоритм навчання Хеба. По суті Хеб припустив, що синаптичне з'єднання двох нейронів посилюється, якщо обидва ці нейрона збуджені. Це можна уявити як посилення синапсу відповідно до кореляцією рівнів збуджених нейронів , що з'єднуються даними синапсом. З цієї причини алгоритм навчання Хеба іноді називається кореляційним алгоритмом .

Ідея алгоритму виражається наступним рівністю :

wij ( t +1 ) = wij ( t ) + NETi NETj ,

де wij ( t ) - сила синапсу від нейрона i до нейрона j у момент часу t ; NETi - рівень збудження предсинаптичного нейрона ; NETj - рівень збудження постсинаптичного нейрона.

Концепція Хеба відповідає на складне питання, яким чином навчання може проводитися без вчителя. У методі Хеба навчання є виключно локальною явищем, що охоплює тільки два нейрона і сполучає їх синапс ; не потрібно глобальної системи зворотного зв'язку для розвитку нейронних утворень.

Подальше використання методу Хеба для навчання нейронних мереж призвело до великих успіхів , але поряд з цим показало обмеженість методу; деякі образи просто не можуть використовуватися для навчання цим методом. У результаті з'явилася велика кількість розширень і нововведень , більшість з яких значною мірою базується на роботі Хеба.

Розглянемо метод сигнального навчання Хеба. Як ми бачили , вихід NET простого штучного нейрона є зваженою сумою його входів. Це може бути виражене таким чином:

навчання вчитель штучний нейрон

де NETj - вихід NET нейрона j ; OUTi - вихід нейрона i ; wij - вага зв'язку нейрона i з нейроном j .

Можна показати , що в цьому випадку лінійна багатошарова мережа не є потужнішою , ніж одношарова мережа ; представлені можливості мережі можуть бути поліпшені тільки введенням нелінійності в передавальну функцію нейрона. Кажуть , що мережа, що використовує сигмоїдальну функцію активації і метод навчання Хеба , навчається по сигнальному методу Хеба. У цьому випадку рівняння Хеба модифікується в такий спосіб:

wij ( t +1 ) = wij ( t ) + OUTi OUTj

де wij ( t ) - сила синапсу від нейрона i до нейрона j у момент часу t ; OUTi - вихідний рівень пресинаптичного нейрона рівний F ( NETi ) ; OUTj - вихідний рівень постсинаптичного нейрона рівний F ( NET ) .

Розглянемо метод диференціального навчання Хеба. Метод сигнального навчання Хеба передбачає обчислення згортки попередніх змін виходів для визначення зміни ваг . Справжній метод , званий методом диференційного навчання Хеба , використовує наступне рівність :

wij ( t +1 ) = wij ( t ) + [ OUTi ( t ) - OUTi ( t -1 )] [ OUTj ( t ) - OUTj ( t -1 )],

де wij (t) - сила синапсу від нейрона i до нейрона j у момент часу t; OUTi (t) - вихідний рівень пресинаптичного нейрона в момент часу t; OUTj (t) - вихідний рівень постсинаптичного нейрона в момент часу t .

Висновок

У процесі виконання даної роботи були вивчені методу і алгоритми побудови нейронних мереж. На прикладі розглянуто метод навчання нейронної мережі без вчителя.

Список використаної літератури

1. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика. -- М.: Мир, 2009

2. Sanger T.D. Optimal unsupervised learning in a single-layer linear feedforward neural network // Neural Networks. - 1989. - Vol. 12. - P. 459-473.

3. Хайкин С. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. - М.: ООО «И.Д. Вильямс», 2006. - 1104 с.

Размещено на Allbest.ru