Аналіз інваріантних множин в динамічних об`єктах нейромережного типу

Размещено на http://www.allbest.ru/

Національна академія наук України

Національне космічне агентство України

Інститут космічних досліджень

УДК 515.126.4

Аналіз інваріантних множин в динамічних об`єктах нейромережного типу

01.05.04 -- "Системний аналіз і теорія оптимальних рішень"

Автореферат

дисертації на здобуття наукового ступеня кандидата фізико-математичних наук

Мнацаканян Міранда Робертовна

Київ 2002

Дисертацією є рукопис.

Робота виконана в Навчально-науковому комплексі "Інститут прикладного системного аналізу" Міністерства освіти і науки України та НАН України.

Науковий керівник

доктор фізико-математичних наук МАКАРЕНКО Олександр Сергійович професор кафедри Математичних методів системного аналізу Навчально науковий комплекс "Інститут прикладного системного аналізу" НАН та Міносвіти України

Офіційні опоненти:

доктор фізико-математичних наук, старший науковий співробітник ЛИЧАК Михайло Михайлович, завідувач відділу Інституту космічних досліджень НАН та НКА України

кандидат фізико-математичних наук ДУДНИКОВ Петр Йосипович, доцент кафедри Математичного моделювання економічних процесів НТУУ "КПІ"

Провідна установа:

Інститут кібернетики імені В.М. Глушкова, м. Київ, НАНУ

Захист відбудеться 13.03.2002 р. о 15 годині на засіданні спеціалізованої вченої ради Д 26.205.01 при Інституті космічних досліджень НАНУ та НКАУ, 03187, Київ-187, проспект Академіка Глушкова, 40.

З дисертацією можна ознайомитись у бібліотеці Інституту космічних досліджень НАНУ та НКАУ проспект Академіка Глушкова, 40.

Автореферат розісланий 13.02.2002р.

Вчений секретар спеціалізованої вченої ради Зєлик Я.І.

інваріантний множина багатозначність нейромережний

ЗАГАЛЬНА ХАРАКТЕРИСТИКА ДИСЕРТАЦІЙНОЇ РОБОТИ

Актуальність теми. Сучасний світ є складним об'єктом дослідження, оскільки процеси, що відбуваються в ньому, перетинаються і визначаються політичними, економічними, структурними змінами. Тому в останні роки активно розвиваються методи моделювання як локальних так і глобальних великих складних систем.

Одним із можливих підходів математичного моделювання великих систем є використання апарату штучних нейронних мереж.

Моделі Хопфілда й інші моделі нейромережного типу описують широкий клас великих систем, в тому числі суспільних та геополітичних. Як приклади можна навести роботи М.З. Згуровского, О.С. Макаренка, С.П. Левкова, А.В. Доброногова; імітаційна комп'ютерна модель “Europa”, модель "Геополітика" і та ін.

Під час аналізу процесів у великих керованих системах часто з'являється багатозначність у поводженні системи. Процес їхньої еволюції не описується однозначно. Наявність набору керуючих параметрів та вибір керуючого параметру задачі без фіксації конкретного значення призводить до того, що систему треба розглядати в класі багатозначних відображень.

Різними питаннями теорії багатозначного відображення, вивчення топологічних властивостей та їхніми застосуваннями в економічної теорії, теорії ігор, теорії оптимального керування й інших питань займалися багато математиків (Х. Никайдо, Ж.П. Обен, И. Экланд, Б.Д. Гельман, В.В. Обухівський, А.Д. Мишкіс, Немицький, В.С. Мельник, В.Л. Макаров і ін.). У багатьох сферах прикладної математики важливу роль грають нерухомі точки багатозначного відображення. Сформульована Какутані теорема про нерухомі точки багатозначних відображень відкрила можливість численних досліджень.

Крім питання існування нерухомих точок у випадку багатозначності, у сучасній теорії і застосуваннях важливо також дослідження й інших властивостей динамічних систем, зокрема, важливою характеристикою є наявність того чи іншого типу інваріантості (незмінності) у системі.

Проблемам стійкості і існування інваріантної (мінімально інваріантної) множини системи присвячуються роботи багатьох авторів, як Е.А. Барбашина, Ю.А. Алимова, Б.М. Пшеничного, В.М. Кунцевича, М.М. Личака, В.І. Зубова і ін.). Подібні задачі виникають і при роботі з нейромережевими моделями.

Оскільки нейронні мережі можна використовувати як математичний апарат для моделювання процесів у складних системах, на сучасному етапі актуальним є дослідження специфіки розв'язків нового класу задач з асоціативною пам'яттю в залежності від параметра та структури системи, розгляд варіантів появи характеристик поведінки, що зберігаються в динамічних моделях, які описують великі системи з багатозначністю; вивчення появи інваріантної множини для систем нейромережного типу.

Зв'язок роботи з науковими програмами, планами, темами. Робота виконувалась згідно з планом наукових досліджень ННК "ІПСА" в рамках держбюджетної теми 22.15 "Геоінформаційні і нейромережні методи в прямих та обернених задачах екологічного моніторингу", номер держ. реєстр. №0100U004494.

Мета і задачі дослідження. Метою роботи є дослідження інваріантної множини та нерухомих точок у випадку багатозначності для систем нейромережного типу.

При цьому розв'язуються наступні задачі:

1) дослідження моделей нелінійних систем спеціального вигляду, що відповідають великим соціальним системам;

2) дослідження динаміки дискретної нелінійної системи в умовах багатозначності, яка обумовлена керуванням;

3) доведення існування нерухомої точки багатозначного відображення для однорівневої нелінійної системи та для ієрархічно побудованих систем нейромережного типу;

4) дослідження існування інваріантної множини для динамічних систем з нелінійною правою частиною.

Наукова новизна одержаних результатів. В роботі розглядаються та досліджуються властивості, що характерні для нового класу моделей нелінійних керованих систем нейромережного типу з асоціативною пам'яттю, що еволюціонують в дискретному часі.

- Для цього класу динамічних моделей вперше розглядається багатозначний випадок, що обумовлений наявністю керуючого впливу без фіксації значення з заданої множини керуючих параметрів.

- У роботі вперше поставлено та розв'язано для таких систем задачу про існування нерухомих точок багатозначного відображення та доведені відповідні теореми.

- У роботи вперше досліджено питання існування інваріантності для нелінійних систем нейромережного типу

- Для систем з нейромережною динамікою вперше побудовано інваріантні множини, в тому числі множини спеціального типу (М-інваріантні множини).

Практична цінність результатів роботи полягає в можливості їх використання реальних соціальних систем нейромережного типу.

Досліджено властивості динаміки нового класу моделей, які описують процеси, що мають місце в суспільних системах і базовими для яких є моделі нейромережного типу.

Отримані результати дають можливість для конкретних прикладів, враховуючи багатозначність в поведінці систем, виявити, в яких умовах еволюція даної системи є незмінною під дією керуючого параметра; який аналітичний вигляд має інваріантна множина відповідного типу.

Отримані результати дають можливість розглядати питання керування економічними процесами на макрорівні. Наведені результати відкривають можливість подальшого дослідження інваріантних властивостей широкого класу моделей великих систем.

Особистий внесок здобувача. Основні результати дисертаційної роботи автор отримав самостійно. У роботах, що надруковані у співавторстві, здобувачем - в [1] побудовано багатозначне відображення; в [2] - побудоване багатозначне відображення для ієрархічних систем; в [3] - поставлена задача знаходження нерухомих точок багатозначного відображення та доведені відповідні теореми; в [4] - прийнято участь в постановці задач та інтерпретації результатів; в [6] - здобувачу належать теореми про нерухомі точки багатозначного відображення та побудова прикладів.

Апробація результатів дисертації. Основний матеріал роботи пройшов апробацію на семінарах, міжнародних конференціях та симпозіумах: науковий семінар ІПСА НАН України "Системний аналіз та інформаційні технології", 2001р.; семінар кафедри "Математичного моделювання економічних систем" (НТУУ "КПІ"), 2001р.; міжнародна конференція "Автоматика-99", Харків, 1999р.; міжнародна конференція "Автоматика-2000", Львів, 2000р.; міжнародна конференція "Моделювання та оптимізація складних систем" (МОСС-2001), Київ, 2001р.; третя міжнародна конференція студентів, аспірантів та молодих вчених "Системний аналіз та інформаційні технології", Київ, 2001р.; міжнародний симпозіум “Питання оптимізації обчислень”, Кацівелі, 2001р.; IFAC conference SWIIS 2000: "Instability resolution in regions of long confronted nations'', Ohrid, Republic of Macedonia, 2000y.

Публікації. Результати роботи опубліковані в 10 роботах, в тому числі в 6 статтях фахових виданнях та в 4 збірниках тез конференцій.

Структура та обсяг роботи. Дисертаційна робота складається із вступу, п'ятьох розділів, загальних висновків, списку використаної літератури та додатку. Обсяг основного змісту дисертації складає 137 сторінки та містить 18 малюнків. Список використаних джерел складається з 116 найменувань.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі дисертації обгрунтовано актуальність проблеми, сформульовано мету роботи. Охарактеризовано наукову новизну та практичну цінність отриманих результатів; показано зв'язок поставлених задач із плановими науковими дослідженнями.

У першому розділі проводиться огляд наукових праць, зв'язаних з темою дисертації і аналіз переваг обраного методу, з яким проводиться досягнення мети роботи.

У другому розділі поставлені задачі, які розв'язані в наступних розділах. Зокрема поставлено наступні задачі:

У третьому розділі розглянуто багатозначний випадок і доведені теореми існування нерухомих точок багатозначного відображення для одношарової системи і для системи ієрархічної структури; доведено теорему про існування М-інваріантної множини для дискретної динамічної системи з нелінійною правою частиною та нейромережи у випадку багатозначності. При доведенні використано підходи, викладені у роботах Ж.П. Обена, И. Экланда та В.М. Кунцевича, Б.Н. Пшеничного

У банаховому просторі розглядається рівняння

.,

де ;

- параметр;

а) - замкнена сфера з простору - спряженого до деякого банахового простору;

б) - неперервний за першим аргументом і підсилено неперервний за другим аргументом * - слабкої топології, нелінійний оператор;

в) - лінійний неперервний оператор.

Будується багатозначне відображення , визначене співвідношенням:

. (1)

Справедливі наступні теореми:

Теорема 1. Припустимо, що виконуються умови а) - в) та існує невід'ємна функція така, що:

. (2)

Тоді для всіх точок , де , існує рух який стартує з , та сходиться у граничній точці : та .

Точка є нерухомою точкою багатозначного відображення.

Теорема 2. Визначимо функцію наступним чином:

,

де є рух, який стартує з , тоді задовольняє властивості (2), тобто

.

Якщо - довільна функція, яка задовольняє (2), то

.

Теорема 3. Нехай багатозначне відображення визначається формулою (1) і функція задовольняє умові

, ,

- лінійний оператор і .

Тоді багатозначне відображення є стисненням.

Теорема 4. Нехай виконуються умови теореми 3. Тоді багатозначне відображення , що визначається співвідношенням (1), має нерухому точку.

Оскільки часто нейронні мережі мають ієрархічну структуру, розглядається задача існування нерухомих точок і для ієрархічно побудованих систем.

Зокрема, розглядається - елементна система, що має - рівневу ієрархічну структуру. Елементи системи зв'язані між собою і на кожному -ому рівні ієрархії ці зв'язки описуються за допомогою блокових матриць , , , .

Вираз

є нормою матриці . У просторі розглядається рівняння

, , ,

де - елемент з ;

- параметр з компакту ;

- нелінійна та неперервна функція;

Нехай функція задовольняє умові Ліпшица

, . (3)

- вище визначена матриця, яка, виражена елементами , , відповідає деякому лінійному відображенню, який діє з простору в ;

. (4)

Будується багатозначне відображення , визначене співвідношенням

, (5)

і розглядається пов'язане з ним включення .

Справедлива така теорема

Теорема 5. Якщо справедливі нерівності (3) та (4), тоді багатозначне відображення , визначене співвідношенням (5), має нерухому точку.

Досліджується властивість існування інваріантної множини динамічної нелінійної системи.

Розглядається в система з дискретною динамікою

, , (6)

де - елемент з у момент часу ;

- параметр із замкнутої кулі , ;

- матриця, власні числа якої задовольняють умові ;

- неперервний нелінійний функціонал, норма якого для кожного задовольняє умові

і початковій умові .

Розглянемо множину М, що має вид

. (7)

Теорема 6. Множина , визначена співвідношенням (7), обмежена, опукла і є поглинаючою.

Визначення. Множина називається М-інваріантною, для системи (6), якщо для будь-якого початкового стану і будь-якого значення параметру траєкторія системи залишається в множині , тобто , .

Теорема 7. Множина , визначена виразом (7), є М-інваріантною, для системи (6).

Теорема 8. Нехай . Тоді , знайдеться момент часу такий, що починаючи з цього моменту, траєкторія системи (6) буде знаходитися в множині .

Досліджується існування інваріантної множини для нейромережі у випадку багатозначності.

У четвертому розділі приведені конкретні застосування і приклади, що використовують розвинені підходи. Для систем, що еволюціонують як нейронні мережі, показано існування нерухомих точок в випадку багатозначності та побудовані інваріантні множини.

Розглянуто приклад доведення існування нерухомих точок у випадку оператора Немицького.

Розглядається дискретна нелінійна система з динамікою виду (6). Приведені конкретні приклади побудови М-інваріантної множини, коли у формулі (6) нелінійна функція є а) сигмоідна, б) кусочно-лінійна, в) функція гіперболічного тангенса.

Розглядається випадок, коли початкове значення не належить М-інваріантній множині і показано, що траєкторія системи прагне до цієї множини.

У п'ятому розділі розглядаються задачі побудови інваріантних множин для систем нейромережного типу.

Побудовано інваріантну множину для системи нейромережного типу з фіксованим керуючим параметром і отримані наочні картини еволюції системи.

Приведені конкретні приклади і побудовані графіки еволюції системи, що ілюструють вплив на динаміку системи багатозначності, що з'являється при допущенні, що керуючий параметр системи приймає деякі значення з деякої множини керувань.

ВИСНОВКИ

Робота присвячена дослідженню інваріантних множин в динамічних системах нейромережного типу у випадку багатозначності, що дає можливість вивчення еволюції дискретних нелінійних керованих систем.

1. Для нового класу об'єктів нейромережного типу запропоновані постановки задач з багатозначними рішеннями, обумовленими наявністю керуючих впливів і збурень.

2. Доведено теореми існування нерухомих точок багатозначного відображення, коли динаміка задається в повному метричному просторі, банаховому просторі і коли система має ієрархічну структуру. Отримані в теоремах результати дозволили проводити дослідження особливостей рішень нового класу задач з асоціативною пам'яттю в залежності від параметрів і структури системи.

3. Розглянуто варіанти появи інваріантних характеристик поведінки, у динамічних задачах, що описують великі системи з багатозначністю. Це дозволяє досліджувати еволюцію систем нейромережного типу.

4. Досліджено умови появи М-інваріантної множини для систем нейромережного типу.

5. Побудовано М-інваріантні множини для конкретних дискретних керуючих нейромережних систем з кусочно-лінійною та сигмоїдною динамікою та динамікою гіперболічного тангенса.

6. Побудовано інваріантні множини для систем нейромережного типу з фіксованим керуванням та багатозначностю.

ПЕРЕЛІК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Берадзе М.С., Макаренко А.С., Мнацаканян М.Р., Чикрий А.А. Задачи оптимального управления в региональной геополитике // Вестник Харьковского политехнического университета. -1999. -№72. -С.8-12.

2. Берадзе М.С., Макаренко А.С., Мнацаканян М.Р. Новые задачи в моделировании больших иерархически построенных систем // Труды Междунар. конф. "Автоматика -2000". -Том. 1. Львов. -2000. -С.58-61.

3. Берадзе М.С., Мнацаканян М.Р. Якісне дослідження одного класу математичних моделей регіональної геополітики // Наукові вісті НТУУ “КПІ”. -2000. -№1(9). -С.107-110.

4. Берадзе М.С., Мнацаканян М.Р. Керування в моделях нейромережного типу // Наукові вісті НТУУ “КПІ”. -2001. -№2. -С.25-30.

5. Мнацаканян М.Р. Нерухомі точки ієрархічно побудованих систем нейромережнего типу // Наукові вісті НТУУ “КПІ”. -2001. -№4. -С.56-59.

6. Берадзе М.С., Мнацаканян М.Р. Свойства управляемых систем с многозначностью, описываемых оператором типа Гаммерштейна // Проблемы управления и информатики. -2001. -№3. -С.76-85.

7. Мнацаканян М.Р. Неподвижные точки и В-притягивающее множество для систем нейросетевого типа с многозначностью // Комп'ютерна математика. Оптимізація обчислень. Збірник наукових праць НАН України. Інститут кібернетики ім. В.М.Глушкова, Київ, -2001. -Т.2. -С.273-282.

8. Берадзе М.С., Мнацаканян М.Р Некоторые задачи управления в моделях нейросетевого типа // Праці Міжнар.конф "Моделювання та оптимізація складних систем". -Київ, -2001. -Т.1. -С.147-148.

9. Макаренко А.С., Мнацаканян М.Р. Притягивающее множество и неподвижные точки для систем со свойством многозначности // Збірка тез доповідей учасників III міжнародної науково-практичної конференції студентів, аспірантів та молодих вчених - “Системний аналіз та інформаційні технології”. Київ. -2001. -С.79-81.

10. Beradze M., Laskovenko K., Levkov S., Makarenko A., Mnatsakaniani M., Samorodov E. Some approaches to instability consideration and resolutions in global and regional problems // Preprints IFAC International Workshop SWIIS 2000: "Instability resolution in regions of long confronted nations". Ohrid (Macedonia). -2000. -P.71-71.

АНОТАЦІЇ

Мнацаканян М.Р. Аналіз інваріантних множин в динамічних об'єктах нейросмережного типу. - Рукопис. Дисертація на здобуття наукового ступеня кандидата фізико-математичних наук за спеціальністю 01.05.04 -Системний аналіз та теорія оптимальних рішень. - Інститут космічних досліджень НАНУ та НКАУ, Київ, 2002р.

У дисертаційній роботі досліджується новий клас математичних моделей - це моделі нейромережного типу з асоціативною пам'яттю. Для таких дискретних нелінійних динамічних систем ставиться питання вивчення динаміки й аналізу інваріантної множини. Досліджується вплив керуючого впливу на еволюцію системи. Розглядається багатозначний випадок у функціонуванні системи, що з'являється наявністю керуючого параметра без фіксації конкретного значення з заданої множини. Вивчається існування нерухомих точок для одношарової системи нейромережного типу і системи з ієрархічною структурою та доведені відповідні теореми. Досліджуються питання існування і побудови інваріантної множини визначеного виду для систем нейромережного типу з кусочно-лінійною, сигмоїдною динамікою і динамікою гіперболічного тангенса. Для N-мірної нейронної мережі побудовані інваріантні множини. Проведено аналітичні і чисельні розрахунки та отримано наочні картинки.

Ключові слова: Нейронна мережа, нелінійна дискретна динамічна система, багатозначне відображення, нерухомі точки багатозначного відображення, інваріантна множина.

Mnatsakaniani Miranda R. Analysis of invariant sets in neuronal type dynamical objects.- Manuscript. Thesis for the Candidate degree by specialty 01.05.04 - The system analysis and theory of optimal decisions. - Space Research Institute of the National Space Agency of Ukraine and National Academy of sciences of Ukraine, Kyiv, 2002.

In the dissertation new class of mathematical models - neural models with associative memory is researched. The question of study of dynamic and analysis of invariant sets for such discrete nonlinear dynamical systems are stated. Influence of control parameter on the evolution of system is researched. The multilvalued case of functionality of systems is considered, with existence of controlling parameter without fixation of concrete value from given sets is considered. The existence of the fixed points for one-level and hierarchical neural systems are studied, and the respective theorems are proved. The existence of invariant sets for neuronal type systems with piecewise-linear, sigmoidal and hyperbolic tangent dynamics are studied. The invariant sets for -dimensional neuronal network is built. Analytical and numerical calculations have been made and illustrative pictures are given.

Keywords: Neural network, discrete nonlinear dynamical system, multivalued mapping, fixed point of multivalued mapping, invariant set.

Мнацаканян М.Р. Анализ инвариантных множеств в динамических объектах нейросетевого типа. - Рукопись. Диссертация на соискание учёной степени кандидата физико-математических наук по специальности 01.05.04 -Системный анализ и теория оптимальных решении. - Институт космических исследований НАНУ и НКАУ, Киев, 2002.

В диссертационной работе исследуется новый класс математических моделей - модели нейросетевого типа с ассоциативной памятью. Для таких дискретных нелинейных динамических систем ставится вопрос изучения динамики и анализа инвариантных множеств. Исследуется влияние управляющего воздействия на эволюцию системы. Рассматривается многозначный случай функционирования системы, который обусловлен наличием управляющего параметра без фиксации конкретного значения из заданного множества. Изучается существования неподвижных точек для однослойной системы нейросетевого типа и системы с иерархической структурой и доказаны соответствующие теоремы. Исследуется существование инвариантного множества определенного вида для систем нейросетевого типа с кусочно-линейной, сигмоидной динамикой и динамикой гиперболического тангенса. Для N-мерной нейронной сети построены инвариантные множества. Проведены аналитические и численные расчеты и получены наглядные картинки.

В первом разделе приведено анализ состояния проблемы; разъясняется нейросетевая природа больших систем; представлено литературный обзор по теме диссертационной работы.

Во втором разделе для дискретных динамических систем нейросетевого типа рассматривается многозначный случай в функционировании системы и поставлены вопросы существования неподвижных точек и инвариантных множеств.

В третьем разделе изучается вопрос существования неподвижных точек многозначного отображения для нелинейных динамических систем нейросетевого типа в полном метрическом пространстве, банаховом пространстве, для систем с иерархической структурой. Исследуется вопрос построения инвариантного множества определенного типа для динамической системы с нелинейной правой частью. Для нейронных сетей с сигмоидной динамикой и динамикой гиперболического тангенса построены соответствующие М-инвариантные множества.

В четвертом разделе приведены примеры, которые решаются на основе разработанного подхода. Исследуется поведение системы с нейросетевой динамикой; Применимость теорем, сформулированных во второй главе, иллюстрируется на практических примерах (в случае нелинейной динамики и оператора Немыцкого). В этом разделе приведены примеры построения М-инвариантного множества для системы с динамикой нейросетевого типа.

В пятом разделе для нейронных сетей, которые функционируют в случае многозначности и для конкретных систем нейросетевого типа с фиксированным управляющим параметром построены соответствующие инвариантные множества; представлены наглядные картины, иллюстрирующие эволюцию дискретной управляемой системы, когда параметр управления принимает несколько значений.

Ключевые слова: Нейронная сеть, дискретная динамическая система, многозначное отображения, неподвижные точки многозначного отображения, инвариантное множество.

Размещено на Allbest.ru

...