Дослідження та обробка апаратної реалізації нейронної мережі

Размещено на http://www.allbest.ru/

Міністерство освіти і науки України

Запорізька державна інженерна академія

Кафедра мікроелектронних інформаційних систем

ЗВІТ

З ПЕРЕДДИПЛОМНОЇ ПРАКТИКИ

на тему:« Дослідження та обробка апаратної реалізації нейронної мережі»

Місце проведення практики: Кафедра МЕІС

Виконав: ст.гр.МН-17-1д

Кондратенко Б.С.

Керівник переддипломної практики: доц., к.т.н. Небеснюк О.Ю

Запоріжжя, 2017



ЗМІСТ

ВСТУП

1. НЕЙРОННІ МЕРЕЖІ

1.1 Біологічний прототип і штучний нейрон

1.2 Основні положення

1.3 Найпростіші нейронні мережі

1.4 Вибір структури нейронної мережі

1.5. Класифікація нейронних мереж

1.6 Задачі для вирішення нейронних мереж

ВИСНОВОК

СПИСОК ЛІТЕРАТУРИ



ВСТУП

Дослідження в області нейронних мереж почалися в 40-і роки XX століття. Перше систематичне вивчення штучних нейронних мереж було зроблено Маккалокком і Піттсом в 1943 році. Пізніше вони досліджували мережеві парадигми для розпізнавання зображень, що піддаються зсувам і поворотам.

Основні завдання, які ставляться перед нейронними мережами, відносяться до завдань розпізнавання образів. Вони полягають в тому, щоб класифікувати вхідний образ, тобто віднести його до якого-небудь відомого мережі класу. Спочатку мережі даються еталонні образи - такі образи, належність яких до певного класу відома. Потім на вхід мережі подається деякий невідомий образ, і мережа намагається за певним алгоритмом співвіднести його з будь-яким еталонним образом. Можна сказати, що нейронні мережі проводять кластеризацию образів. Так як кластерний аналіз застосовується дослідниками ринку цінних паперів, то нейронні мережі можуть бути використані і для прогнозування вартості акцій, що є актуальним завданням, при цьому суворо нерозв'язною на даний момент.

Так само нейронні мережі можуть застосовуватися в криміналістиці (аналіз відбитків пальців) або ж для полегшення роботи правоохоронних органів у затриманні злочинців, тому що зараз вже створені такі програми, які розпізнають обличчя.

Все вищенаведене свідчить про те, що проблеми дослідження можливостей нейронних мереж і їх розвитку є актуальною на даний момент часу.



1. НЕЙРОННІ МЕРЕЖІ

1.1 Біологічний прототип і штучний нейрон

Для дослідження нервової системи (НС) необхідно мати математичну модель нейрона та нервової системи. Центральна нервова система має клітинну будову. Одиниця - нервова клітина, нейрон. Нейрон має такі основні властивості:

1. Бере участь в обміні речовин і розсіює енергію. Змінює внутрішній стан з плином часу, реагує на вхідні сигнали і формує вихідні, тому є
активною динамічною системою.

2. Має безліч синапсів - контактів для передачі інформації.

3. Нейрон взаємодіє шляхом обміну електрохімічними сигналами двох видів: електротонічними (зі загасанням) і нервовими імпульсами (спайками), що поширюються без загасання, стихання.

Існують два підходи до моделювання нерва та нервової системи.

Інформаційний підхід: байдуже, які механізми лежать в основі роботи штучних нейронів, важливо лише, щоб під час розв'язання завдань інформаційні процеси в НС були подібні біологічним.

Біологічний: при моделюванні важливо повна біоподоба, і необхідно детально вивчати роботу біологічного нейрона.

Великі роботи в дослідженнях моделювання НС належать Ендрю Хакслі, Алану Ходжкіну, Бернарду Катцу, Джону Екклзу, Стівену Куфлеру.

У центральній нервовій системі людини налічується від 100 до 1000 типів нервових клітин, в залежності від обраного ступеня деталізації. Вони відрізняються картиною дендритів, наявністю і довжиною аксона і розподілом синапсів біля клітини. Клітини сильно пов'язані між собою. У нейрона може бути більше 1000 синапсів. Близькі за функціями клітини утворюють скупчення, кулясті або паралельні шаруваті. У мозку виділені сотні скупчень. Кора головного мозку - теж скупчення.

Товщина кори - 2мм, площа - близько квадратного метра (0.93 м2). Біологічний нейрон зображено на рисунку 1.1.

1 - тіло клітини, 2 - ядро, 3 - дендрити, 4 - аксонний горбок, 5 - синапс, 6 - швановські клітини, 7 - перехвати Ранв'є, 8 - аксон, 9 - м'язові волокна

Рисунок 1.1 - Біологічний нейрон

Біологічний нейрон містить такі структурні одиниці:

Тіло клітини (1) - сома: містить ядро (2), мітохондрії (забезпечують клітину енергією), інші органели, що підтримують життєдіяльність клітини.

Дендрити (3) - вхідні волокна, збирають інформацію від інших нейронів. Активність у дендритах змінюється плавно. Довжина їх зазвичай не більше 1мм.

Мембрана - підтримує постійний склад цитоплазми всередині клітини, забезпечує проведення нервових імпульсів.

Цитоплазма - внутрішнє середовище клітини. Відрізняється концентрацією іонів K, Na, Ca та інших речовин у порівнянні з позаклітинним середовищем.

Аксон (8), один або жодного в кожній клітини, - довге, іноді більше метра, вихідне нервове волокно клітини. Імпульс генерується в аксонному горбку (4).

Аксон забезпечує проведення імпульсу і передачу впливу на інші нейрони або м'язові волокна (9). Ближче до кінця аксон часто галузиться.

Синапс (5) - місце контакту нервових волокон - передає збудження від клітини до клітини. Передача через синапс майже завжди односпрямована. Розрізняють предсинаптичні та постсинаптичні клітини - по напрямку передачі імпульсу.

Шванівські клітини (6) - пецифічні клітини, майже повністю складаються з мієліну, органічної ізолюючої речовини. Щільно "обмотують" нервове волокно 250 шарами мієліну. Неізольовані місця нервового волокна між шванівськими клітинами називаються перехопленнями Ранв'є (7). За рахунок мієлінової ізоляції швидкість розповсюдження нервових імпульсів зростає в 5-10 разів і зменшуються витрати енергії на проведення імпульсів. Мієлінізовані волокна зустрічаються тільки у вищих тварин.

Розвиток штучних нейронних мереж надихається біологією. Тобто, розглядаючи мережеві конфігурації і алгоритми, дослідники застосовують терміни, запозичені з принципів організації мозкової діяльності. Але на цьому аналогія закінчується. Наші знання про роботу мозку настільки обмежені, що мало б знайшлося точно доведених закономірностей для тих, хто побажав би керуватися ними. Тому розробникам мереж доводиться виходити за межі сучасних біологічних знань в пошуках структур, здатних виконувати корисні функції. У багатьох випадках це призводить до необхідності відмови від біологічної правдоподібності, мозок стає просто метафорою, і створюються мережі, неможливі в живої матерії або можуть бути використані неправдоподібно великих припущень про анатомію і функціонуванні мозку.

Незважаючи на те, що зв'язок з біологією слабкий і часто несуттєвий, штучні нейронні мережі продовжують порівнювати з мозком. Їх функціонування часто має зовнішню схожість з людським пізнанням, тому важко уникнути цієї аналогії. На жаль, такі порівняння створюють невиправдані очікування, що неминуче ведуть до розчарування.

1.2 Основні положення

В останні десятиліття в світі бурхливо розвивається нова прикладна область математики, що спеціалізується на штучних нейронних мережах (НМ). Актуальність досліджень в цьому напрямку підтверджується масою різних застосувань НМ. Це автоматизація процесів розпізнавання образів, адаптивне управління, апроксимація функціоналів, прогнозування, створення експертних систем, організація асоціативної пам'яті і багато інших додатків. За допомогою НМ можна, наприклад, передбачати показники біржового ринку, виконувати розпізнавання оптичних або звукових сигналів, створювати саморозвинені системи, здатні керувати автомашиною при парковці або синтезувати мову по тексту. [1].

Широке коло завдань, що вирішується НМ, не дозволяє в даний час створювати універсальні, потужні мережі, змушуючи розробляти спеціалізовані НМ, що функціонують за різними алгоритмами.

По перше, основу кожної НМ складають відносно прості, в більшості випадків - однотипні, елементи (комірки), що імітують роботу нейронів мозку. Далі під нейроном буде матися на увазі штучний нейрон, тобто комірка НМ. Кожен нейрон характеризується своїм поточним станом за аналогією з нервовими клітинами головного мозку, які можуть бути порушені або загальмовані. Він володіє групою синапсів - односпрямованих вхідних зв'язків, з'єднаних з виходами інших нейронів, а також має аксон - вихідний зв'язок даного нейрона, з якого сигнал (збудження або гальмування) надходить до синапсу наступних нейронів. Загальний вигляд нейрона наведено на рис. 1.2 Кожен синапс характеризується величиною синаптичного зв'язку або її вагою (wi), який по фізичному змісту еквівалентний електричної провідності.

Рисунок 1.2 - Загальний вигляд нейрону

Поточний стан нейрона визначається, як зважена сума його входів:

(1.1)

Вихід нейрона є функція його стану:

y = f(s) (1.2)

Нелінійна функція f називається активаційною, може мати різний вигляд, як показано на рисунку1.3. Однією з найбільш поширених є нелінійна функція з насиченням, так звана логістична функція або сигмоід (тобто функція S-подібного виду) [2]:

(1.3)



При зменшенні сигмоід стає більш пологим, в межі при = 0 вироджуючись в горизонтальну лінію на рівні 0.5, при збільшенні сигмоид наближається за зовнішнім виглядом до функції одиничного стрибка з порогом T в точці x = 0. З виразу для сигмоіда очевидно, що вихідне значення нейрона лежить в діапазоні [0,1]. Одне з цінних властивостей сігмоідної функції - простий вислів для її похідної, застосування якого буде розглянуто в подальшому.

(1.4)

а) функція одиничного стрибка; б) лінійний поріг (гістерезис); в) сигмоід - гіперболічний тангенс; г) сигмоід - формула (3)

Рисунок 1.3- Функція активації

Слід зазначити, що сигмоідна функція диференційована на всій осі абсцис, що використовується в деяких алгоритмах навчання. Крім того вона має властивість підсилювати слабкі сигнали краще, ніж великі, і запобігає насиченню від великих сигналів, так як вони відповідають областям аргументів, де сигмоід має пологий нахил.

Повертаючись до загальних рис, властивим всім НМ, відзначимо принцип паралельної обробки сигналів, який досягається шляхом об'єднання великого числа нейронів в так звані шари і з'єднання певним чином нейронами різних шарів. В деяких конфігураціях нейронами одного шару між собою, причому обробка взаємодії всіх нейронів ведеться пошарово.

1.3 Найпростіші нейронні мережі

Як приклад найпростішої НМ розглянемо трьохнейронний перцептрон (рис.1.4), тобто таку мережу, нейрони якої мають активаційну функцію у вигляді одиничного стрибка. На n входів надходять деякі сигнали, що проходять по синапсах на 3 нейрона, що утворюють єдиний шар цієї НМ та видають три вихідних сигнали:

Рисункок 1.4 - Одношаровий перцептрон

, j=1...3 (1.5)

Очевидно, що всі вагові коефіцієнти синапсів одного шару нейронів можна звести в матрицю W, в якій кожен елемент Wij задає величину i-ї синаптичного зв'язку j-ого нейрона. Таким чином, процес, що відбувається в НМ, може бути записаний в матричної формі:



Y=F(XW) (1.6)

де X і Y - відповідно вхідний і вихідний сигнальні вектори, F (W) - активаційна функція, застосовувана поелементно до компонентів вектора W.

Теоретично число шарів і число нейронів в кожному шарі може бути довільним, однак фактично воно обмежене ресурсами комп'ютера або спеціалізованої мікросхеми, на яких зазвичай реалізується НМ. Чим складніше НМ, тим масштабніші завдання підвладні їй.

1.4 Вибір структури нейронної мережі

Вибір структури НМ здійснюється відповідно до особливостей і складності завдання. Для вирішення деяких окремих типів завдань вже існують оптимальні, на сьогоднішній день, конфігурації, описані, наприклад, в [2], [3], [4] та інших виданнях. Якщо ж завдання не може бути зведене до жодного з відомих типів, розробнику доводиться вирішувати складну проблему синтезу нової конфігурації. При цьому він керується кількома основними принципами: можливості мережі зростають зі збільшенням числа осередків мережі, щільності зв'язків між ними і числом виділених шарів; введення зворотних зв'язків поряд зі збільшенням можливостей мережі піднімає питання про динамічну стійкість мережі; складність алгоритмів функціонування мережі (в тому числі, наприклад, введення декількох типів синапсів - збудливих, припиняючих та ін.) також сприяє посиленню НМ. Питання про необхідні і достатні властивості мережі для вирішення того чи іншого роду завдань є цілий напрям нейрокомп'ютерної науки. Так як проблема синтезу НМ сильно залежить від розв'язуваної задачі, дати загальні докладні рекомендації важко. У більшості випадків оптимальний варіант виходить на основі інтуїтивного підбору.

Очевидно, що процес функціонування НМ, тобто сутність процесів, які вона здатна виконувати, залежить від величин синаптичних зв'язків, тому, задавшись певною структурою НМ, що відповідає будь-якій задачі, розробник мережі повинен знайти оптимальні значення всіх змінних вагових коефіцієнтів (деякі синаптичні зв'язки можуть бути постійними).

Цей етап називається навчанням НМ, і від того, наскільки якісно він буде виконаний, залежить здатність мережі вирішувати поставлені перед нею проблеми під час експлуатації. На етапі навчання крім параметра якості підбору вагових коефіцієнтів важливу роль відіграє час навчання. Як правило, ці два параметри пов'язані зворотною залежністю і їх доводиться вибирати на основі компромісу.

Навчання НМ може вестися з вчителем або без нього. У першому випадку мережі пред'являються значення як вхідних, так і бажаних вихідних сигналів, і вона по деякому внутрішньому алгоритмі підлаштовує ваги своїх синаптичних зв'язків. У другому випадку виходи НМ формуються самостійно, а ваги змінюються по алгоритму, що враховує тільки вхідні і похідні від них сигнали.

Існує безліч різних алгоритмів навчання, які діляться на два великі класи: детерміновані і стохастичні. У першому з них підстроювання вагових коефіцієнтів являє собою жорстку послідовність дій, у другому - вона виробляється на основі дій, що підкоряються деякого випадкового процесу.

1.5 Класифікація нейронних мереж

Розвиваючи далі питання про можливу класифікації НМ, важливо відзначити існування бінарних і аналогових мереж. Перші з них оперують з двійковими сигналами, і вихід кожного нейрона може приймати тільки два значення: логічний нуль ("загальмований" стан) і логічна одиниця ("збуджений" стан). До цього класу мереж відноситься і розглянутий вище перцептрон, так як виходи його нейронів, що формуються функцією одиничного стрибка, рівні або 0, або 1. В аналогових мережах вихідні значення нейронів здатні приймати безперервні значення, що могло б мати місце після заміни активаційної функції нейронів перцептрону на сигмоид.

Ще одна класифікація ділить НМ на синхронні і асинхронні [3]. У першому випадку в кожен момент часу свій стан змінює лише один нейрон. У другому - стан змінюється відразу у цілої групи нейронів, як правило, у всього шару. Алгоритмічно хід часу в НМ задається ітераційним виконанням однотипних дій над нейронами. Далі будуть розглядатися тільки синхронні НМ.

Мережі також можна класифікувати за кількістю шарів. На рисунку 1.5 представлений двошаровий перцептрон, отриманий з перцептрону з рисунка 1.4 шляхом додавання другого шару, що складається з двох нейронів.

Рисункок 1.5 - Двошаровий перцептрон

Тут доречно відзначити важливу роль нелінійності активаційної функції, так як, якщо б вона не володіла даними властивістю або не входила в алгоритм роботи кожного нейрона, результат функціонування будь-якої p-шарової НМ з ваговими матрицями W (i), i = 1,2,. ..p для кожного шару i зводився б до перемножування вхідного вектора сигналів X на матрицю

W()=W(1)W(2) ...W(p) (1.7)

тобто фактично така p-шарова НМ еквівалентна одношарової НМ з ваговою матрицею єдиного шару W():

Y=XW() (1.8)

Продовжуючи розмову про нелінійність, можна відзначити, що вона іноді вводиться і в синаптичні зв'язки. Більшість відомих на сьогоднішній день НМ використовують для знаходження зваженої суми входів нейрона формулу (1.1), але для деяких програм НМ корисно ввести інший запис, наприклад:

(1.9)

Або

(1.10)

Питання в тому, щоб розробник НМ чітко розумів, для чого він це робить, якими цінними властивостями він тим самим додатково наділяє нейрон, і яких позбавляє. Введення такого роду нелінійністі, збільшує обчислювальну потужність мережі, тобто дозволяє з меншого числа нейронів з "нелінійними" синапсами сконструювати НМ, що виконує роботу звичайної НМ з великим числом стандартних нейронів і більш складної конфігурації [4].

Різноманіття існуючих структур НМ дозволяє відшукати й інші критерії для їх класифікації.

З рисунку функції одиничного стрибка видно, що граничне значення T, в загальному випадку, може приймати довільне значення. Більш того, воно повинно приймати якесь довільне, невідоме заздалегідь значення, яке підбирається на стадії навчання разом з ваговими коефіцієнтами. Те ж саме відноситься і до центральної точки сигмоідної залежності, яка може зрушуватися вправо або вліво по осі X, а також і до всіх інших активаційних функцій. Це, однак, не відображено у формулі (1.1), яка повинна була б виглядати так:

(1.11)

Справа в тому, що таке зміщення зазвичай вводиться шляхом додавання до шару нейронів ще одного входу, що порушує додатковий синапс кожного з нейронів, значення якого завжди дорівнює 1. Присвоїмо цьому входу номер 0. Тоді:

(1.12)

де w0 = -T, x0 = 1.

Очевидно, що відмінність формул (1.1) і (1.12) складається лише в способі нумерації входів.

З усіх активаційних функцій, зображених на рисунку 1.3, одна виділяється особливо. Це гіперболічний тангенс, залежність якого симетрична щодо осі X і лежить в діапазоні [-1,1]. Забігаючи наперед, скажемо, що вибір області можливих значень виходів нейронів багато в чому залежить від конкретного типу НМ і є питанням реалізації, так як маніпуляції з нею впливають на різні показники ефективності мережі, часто не змінюючи загальну логіку її роботи.

1.6 Задачі для вирішення нейронних мереж

Робота всіх мереж зводиться до класифікації (узагальнення) вхідних сигналів, що належать n-мірному гіперпростору, по деякому числу класів. З математичної точки зору це відбувається шляхом розбиття гіперпростору гіперплоскостями (запис для випадку одношарового перцептрона)

Рисункок 1.6 - Однонейронний перцептрон

, k=1...m (1.13)

Кожна отримана область є областю визначення окремого класу. Число таких класів для однієї НМ перцептроном типу не перевищує 2m, де m - число виходів мережі. Однак не всі з них можуть бути нероздільні даної НМ.

Наприклад, одношаровий перцептрон, що складається з одного нейрона з двома входами, представлений на рисунку 1.4, не здатний розділити площину (двовимірне гіперпространоство) на дві півплощини так, щоб здійснити класифікацію вхідних сигналів по класах A і B (Табл. 1.1).

Таблиця 1.1- Класифікація вхідних сигналів по класах A і B

x1 x2	0	1
0	A	B
1	B	A

Якщо придивитися до таблиці 1.1, можна помітити, що дане розбиття на класи реалізує логічну функцію виключає АБО для вхідних сигналів. Неможливість реалізації одношаровим перцептроном цієї функції отримала назву проблеми виключає АБО.

Рівняння мережі для цього випадку:

(1.14)

нейронний мережа одношаровий штучний

Це рівняння прямої (одновимірної гиперплощини), яка ні за яких умов не може розділити площину так, щоб точки з множини вхідних сигналів, що належать різним класам, опинилися по різні боки від прямої (рис. 1.6).

Рисункок 1.7- Візуальне уявлення роботи НМ з рисунка 1.6

Функції, які не реалізуються одношаровою мережею, називаються лінійно нероздільними [2]. Рішення задач, які підпадають під це обмеження, полягає в застосуванні 2-х і більше шарових мереж або мереж з нелінійними синапсами, однак і тоді існує ймовірність, що коректний поділ деяких вхідних сигналів на класи неможливий.

Тепер ми можемо більш детально розглянути питання навчання НМ, для початку - на прикладі перцептрону з рисунка 1.4.

Розглянемо алгоритм навчання з учителем [2] [4].

1. Проініціалізувати елементи вагової матриці (зазвичай невеликими випадковими значеннями).

2. Подати на входи один з вхідних векторів, які мережа повинна навчитися розрізняти, і обчислити її вихід.

3. Якщо вихід правильний, перейти на крок 4.

Інакше обчислити різницю між ідеальним і отриманим значеннями виходу:

Модифікувати ваги відповідно до формули:

де t и t+1 - номери відповідно поточної та наступної ітерації; - коефіцієнт швидкості навчання, 0<Ј1; i - номер входу; j - номер нейрона в шарі.

Очевидно, що якщо YI > Y вагові коефіцієнти будуть збільшені і тим самим зменшать помилку. В іншому випадку вони будуть зменшені, і Y теж зменшиться, наближаючись до YI.

4. Цикл з кроку 2, поки мережа не перестане помилятися.

На другому кроці на різних ітераціях по черзі у випадковому порядку пред'являються всі можливі вхідні вектора. На жаль, не можна заздалегідь визначити число ітерацій, які потрібно виконати, а в деяких випадках і гарантувати повний успіх. Ці питання будуть опосередковано впливати у подальшому.



ВИСНОВОК

Штучні нейронні мережі є важливим розширенням поняття обчислення. Вони обіцяють створення автоматів, які виконують функції, що були раніше прерогативою людини. Машини можуть виконувати нудні, монотонні і небезпечні завдання, і з розвитком технології виникнуть абсолютно нові додатки.

Теорія штучних нейронних мереж стрімко розвивається, але в даний час вона недостатня, щоб бути опорою для найбільш оптимістичних проектів. У ретроспективі видно, що теорія розвивалася швидше, ніж песимісти передбачали, але повільніше, ніж сподівалися оптимісти, - типова ситуація. Сьогоднішній вибух інтересу залучив до нейронних мереж тисячі дослідників. Резонно очікувати швидкого зростання нашого розуміння штучних нейронних мереж, веде до більш досконалим мережевим парадигм і безлічі прикладних можливостей.



СПИСОК ЛЕТЕРАТУРИ

1. Тимощук П. В. Штучні нейронні мережі. Навчальний посібник. Львів: Видавництво «Львівська політехніка». 2011, 444с.

2. Лукін В.Є. Аналіз використання технології штучних нейронних мереж у якості нового підходу до обробки сигналів. Телекомунікаційні та інформаційні технології. - 2014. - №3.-с. 81-88

3. Підсумки науки і техніки: фізичні та математичні моделі нейронних мереж, том 1, М, вид. ВІНІТІ, 1990.

4. Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992.

5. Richard P. Lippmann, An Introduction to Computing withNeural Nets, IEEE Acoustics, Speech, and Signal ProcessingMagazine, April 1987.

Размещено на Allbest.ru

...