Рідкі неиронні мережі: принцип роботи та області застосування

Размещено на http://www.allbest.ru/

1 Харківський національний університет міського господарства імені О.М. Бекетова, Україна 2Харківський національний автомобільно-дорожній університет, Україна

Рідкі неиронні мережі: принцип роботи та області застосування

Шевцов Роман Сергійович

студент навчально-наукового інституту енергетичної, інформаційної та транспортної інфраструктури Харківський національний університет міського господарства імені О.М. Бекетова

БРЕДІХІН Володимир Михайлович

кандидат технічних наук, доцент, доцент кафедри

комп 'ютерних наук та інформаційних технологій

ХОРОШИЛОВА Ірина Олександрівна

кандидат економічних наук, доцент, доцент кафедри обліку і оподаткування



LIQUID NEURAL NETWORKS: PRINCIPLE OF WORK AND AREAS OF APPLICATION

R. Shevtsov1, V. Bredikhin1, I. Khoroshylova2

1O.M. Beketov National University of Urban Economy in Kharkiv, Ukraine 2Kharkiv National Automobile and Highway University, Ukraine

The article deals with the architecture of liquid neural networks (LNN) and their potential in modern technologies. Thanks to the constant development of algorithms and hardware, neural networks are becoming more and more powerful and efficient, which opens up new opportunities for their application. The authors describe the principle of operation of liquid neural networks, which includes the process of learning and inference, which allows effective use of the natural dynamics of the system to solve various tasks, including classification, prediction, and control. We note that the concept of LNNs arose as an attempt to overcome some of the limitations and problems faced by traditional neural networks. The study considers the basic concepts and principles of LNNs and their application potential in various fields, from robotics to medicine and industry. The study also determines the main advantages and disadvantages of LNNs compared to traditional models. It is possible to use them to process a large stream of data, such as video, audio, or sensory data from various sensor types, allowing robots to receive information about their environment and make decisions based on that data. In medical diagnostics and image processing, liquid neural networks can significantly contribute to the quality and efficiency of diagnostic procedures. LNNs can enable the implementation of automatic control systems that monitor and regulate parameters of production processes or adapt to changes in the environment and optimise parameters to achieve maximum productivity and product quality. The field of LNN lacks standards and is limited to using performance metrics. Establishing standards and objective metrics will allow researchers and engineers to understand and compare different LNN implementations. Although LNNs are relatively efficient in terms of power consumption, their implementation at the hardware level may require new technologies and architectures to optimise performance. As a result, the study outlines the prospects for the further development of this technology.

Keywords: liquid neural networks, artificial intelligence, adaptive control, learning efficiency, application potential.



У статті розглядається тема архітектури рідких нейронних мереж (LNN) та їх потенціал у сучасних технологіях. Досліджуються основні концепції та принципи роботи LNN-мереж, їх потенційні застосування в різних галузях: від робототехніки до медицини та промисловості. Як результат, визначено переваги та обмеження цієї технології, а також перспективи її подальшого розвитку.

Ключові слова: рідкі нейронні мережі, штучний інтелект, адаптивне управління, ефективність навчання, потенціал застосування.

рідка неиронна мережа



Постановка проблеми

Нейронні мережі (НМ) - це комп'ютерні системи, які моделюють роботу людського мозку, здатні до самонавчання та виконання складних завдань розпізнавання, класифікації та прогнозування на основі великої кількості даних [1]. Вони складаються зі зв'язаних штучних нейронів, які обробляють інформацію та передають сигнали через мережу.

Роль нейронних мереж у сучасних технологіях важлива та різноманітна. Вони застосовуються в багатьох сферах, включаючи комп'ютерний зір, розпізнавання мови, обробку природної мови, медичну діагностику, фінансовий аналіз, автоматизацію виробництва та багато іншого. Нейронні мережі дозволяють вирішувати складні задачі, які раніше було важко вирішувати за допомогою традиційних програмних алгоритмів. Вони можуть виявляти складні залежності та патерни в даних, а також адаптуватися до нової інформації.

Завдяки постійному розвитку алгоритмів та апаратного забезпечення нейронні мережі стають все більш потужними та ефективними, що відкриває нові можливості для їх застосування.

Традиційні нейронні мережі, незважаючи на свою ефективність у багатьох задачах, мають деякі обмеження і проблеми. Під час навчання глибоких нейронних мереж за допомогою алгоритмів зворотного поширення помилки може виникати проблема зникання або вибуху градієнта, коли градієнт занадто малий або занадто великий, що призводить до повільного навчання або навіть до збоїв роботи мережі. Деякі складні архітектури нейронних мереж вимагають значних обчислювальних ресурсів для навчання та інференсу, що робить їх непрактичними для використання на обмежених обчислювальних пристроях. У деяких випадках нейронні мережі можуть бути нестабільними або недостатньо надій- ними, особливо при обробці зашумлених або неповних даних [2].

Багато складних архітектур нейронних мереж є чорними ящиками, що ускладнює розуміння принципів їх роботи та пояснення прийнятих рішень. Деякі нейронні мережі вимагають великої кількості навчальних даних для досягнення високої ефективності, що може бути проблематичним у випадках обмеженого обсягу доступних даних.

Аналіз останніх досліджень і публікацій

Концепція рідких нейронних мереж (Liquid Neural Network - LNN) виникла як спроба подолати деякі обмеження та проблеми, з якими стикаються традиційні нейронні мережі.

Рідкі нейронні мережі базуються на принципах динамічних систем та засновані на використанні фізичних аналогій, як-от рідина, для обробки інформації. Вони відрізняються від традиційних нейрон- них мереж у тому, що їх структура та зв'язки можуть змінюватися та адаптуватися в процесі роботи.

Ідея рідких нейронних мереж виникла на початку 2000-х років, коли дослідники стали шукати нові підходи до створення машинного навчання, що були більш ефективними та адаптивними до змінних умов. Одними із визначних робіт в цьому напрямку були дослідження Хасані Р. [3], Холл П. [4], Че З. [5] з нейрокомп'ютерних систем, що виявило потенційні можливості використання фізичних аналогій з поведінкою рідини для обробки інформації.

З часом концепція рідких нейронних мереж стала досліджуватися та розвиватися в рамках різних наукових галузей, включаючи комп'ютерні науки, нейронауку, робототехніку та штучний інтелект. Вона привернула увагу вчених через свою потенційну здатність до ефективного вирішення складних завдань у реальному часі та адаптації до змін у навколишньому середовищі.

Мета статті

Мета статті полягає у визначенні принципів роботи та переваг використання LNN архітектури нейронних мереж у різних галузях, де традиційні НМ є досить складними в застосуванні.

Виклад основного матеріалу

Рідкі нейронні мережі мають здатність адаптуватися до змін у вхідних даних та умовах навколишнього середовища. Вони можуть змінювати свою структуру та зв'язки для оптимізації роботи в реальному часі. Завдяки своїй природній динамічності та паралельному обчисленню рідкі нейронні мережі можуть швидко реагувати на зміни вхідних даних і виконувати завдання в реальному часі. Вони здатні працювати на обмежених обчислювальних ресурсах, оскільки використовують прості розрахунки та апаратні рішення. Через свою здатність до адаптації та навчання в реальному часі рідкі нейронні мережі можуть працювати з невеликими об'ємами даних та навіть здатні використовувати здобуті знання з попередніх досліджень.

Ці мережі ідеально підходять для застосувань, де потрібна висока швидкість та можливість оперативної реакції, зокрема робототехніки, систем керування та автономних технологій. Вони можуть бути масштабовані для вирішення різноманітних завдань - від невеликих до складних систем - за рахунок їх адаптивної природи та простоти обчислень.

Загалом, рідкі нейронні мережі відкривають нові можливості для розробки ефективних та гнучких систем штучного інтелекту, які можуть працювати в реальному часі та адаптуватися до змін у навколишньому середовищі.

Рідкі нейронні мережі складаються з трьох основних компонентів [6]:

резервуару (reservoir);

сенсорів (sensors);

читачів (readouts).

Розглянемо кожен з них.

Резервуар (Reservoir) - це основний компонент рідкої нейронної мережі, який складається з великої кількості нейронів. Резервуар може бути організований у вигляді рекурентної штучної нейронної мережі або фізичної системи - електричної ланцюгової мережі або рідинного потоку. Властивості резервуару, зокрема динаміка та взаємозв'язки між нейронами, зазвичай випадкові або згенеровані з відомих фізичних принципів.

Сенсори (Sensors) - це вхідні канали, які отримують дані з навколишнього середовища або з інших джерел. Сенсори можуть бути датчиками, камерами, мікрофонами або будь-якими іншими засобами збору інформації. Інформація з сенсорів подається на вхід резервуара для обробки.

Читачі (Readouts) - це вихідні канали, через які відбувається аналіз та обробка інформації, що знаходиться в резервуарі. Читачі можуть бути реалізовані у вигляді нейронних шарів, які взаємодіють з резервуаром. Вихідні сигнали з читачів використовуються для вирішення конкретних завдань, серед яких класифікація, прогнозування та керування.

Загальна структура LNN-мережі представлена на рис. 1.

Рис. 1. Структура LNN нейронної мережі [7]

Структура рідкої нейронної мережі полягає в тому, що сенсорні вхідні дані збурюють динаміку резервуару, яка потім зчитується та аналізується за допомогою читачів. Такий підхід дозволяє здійснювати швидке та ефективне обчислення завдяки використанню природної динаміки системи.

Принцип роботи рідких нейронних мереж

(LNN) включає в себе процес навчання та інферен- су, які можуть бути узагальнені наступним чином:

Навчання:

- формування резервуару. Під час першого етапу навчання випадкові або фізично засновані нейронні мережі конфігуруються як резервуар. Це може включати в себе встановлення зв'язків між нейронами та налаштування їх параметрів;

збурення резервуару. Вхідні дані з сенсорів подаються на резервуар, збурюючи його динаміку. Це може бути зроблено шляхом введення поточних сигналів або шуму;

навчання читачів. Читачі (readouts) навчаються адаптуватися до динаміки резервуара і вивчають залежності між вхідними сигналами та вихідними відповідями.

Інференс:

використання навчених читачів. Після завершення навчання рідка нейронна мережа готова до інференсу. Вхідні сигнали з сенсорів подаються на резервуар, і змінена динаміка резервуара аналізується читачами для отримання вихідних прогнозів або рішень;

адаптивність до змін. Під час інференсу рідкі нейронні мережі можуть адаптуватися до змін у вхідних даних та умовах навколишнього середовища. Резервуар продовжує збурюватися новими вхідними сигналами, і читачі здійснюють аналіз цієї зміненої динаміки для надання актуальних відповідей.

Загалом, принцип роботи рідких нейронних мереж полягає в управлінні динамікою системи (резервуара) за допомогою збурення вхідними даними та аналізу цієї динаміки з використанням навчених читачів. Цей підхід дозволяє ефективно використовувати природну динаміку системи для вирішення різноманітних завдань, включаючи класифікацію, прогнозування та керування.

Напрямки використання.

LNN-мережі відкривають широкі можливості застосування у робототехніці та автономних системах. Вони можуть бути використані для обробки великого потоку даних, наприклад, відео-, аудіо- або сенсорних даних з різних типів датчиків. Це дозволяє роботам отримувати інформацію про навколишнє середовище та приймати рішення на основі цих даних. Ще LNN можуть бути залучені для адаптивного керування роботами. Їх можна навчити реагувати на зміни у навколишньому середовищі та змінювати свою поведінку відповідно до цих змін. Наприклад, робот може використовувати LNN для прогнозування майбутніх подій та прийняття рішень на основі цих прогнозів.

Також LNN можуть бути застосовані для самонавчання роботів виконувати складні завдання, спостерігаючи за своїм навколишнім середовищем та експериментуючи з різними стратегіями дій. LNN можуть бути використані для аналізу поведінки роботів та їх взаємодії з навколишнім середовищем. Вони можуть виявляти патерни поведінки, аномалії та прогнозувати майбутні події.

Особливо LNN мережі можуть бути ефективними з погляду енергоспоживання, оскільки вони використовують прості обчислення та апаратні рішення. Загалом рідкі нейронні мережі можуть значно покращити функціональність та ефективність робототехнічних систем, дозволяючи їм працювати більш ефективно в різних умовах та забезпечувати більш точне та адаптивне керування.

У сфері медичної діагностики та обробки зображень рідкі нейронні мережі можуть забезпечити значний внесок в покращення якості та ефективності діагностичних процедур. Вони мають змогу бути використані для обробки та аналізу медичних зображень: зображень з комп'ютерної томографії (КТ), магнітно-резонансної томографії (МРТ) та рентгенівських знімків. Вони можуть допомогти в ідентифікації патологічних змін, виявленні ознак хвороб та проведенні різноманітних аналізів для підтримки медичних діагнозів.

LNN-мережі застосовують для автоматичної сегментації зображень, тобто виділення окремих областей або структур на цих зображеннях, що може бути корисно для виявлення та аналізу певних областей інтересу на медичних зображеннях. LNN мають змогу бути навчені для класифікації медичних зображень за наявністю чи відсутністю певних захворювань або за їх типом. Наприклад, вони можуть виявляти пухлини, кістки чи органи на рентгенівських знімках. LNN можуть бути використані для прогнозування хвороб та оцінки ризику розвитку певних захворювань на основі медичних зображень та інших клінічних даних. У результаті цього LNN-мережі можуть надати підтримку медичному персоналу при прийнятті рішень, надаючи аналітичні дані та рекомендації на основі обробки медичних зображень.

Для прикладу, у професійних дерматологів точність виявлення меланоми за допомогою бібліотек TensorFlow, Scikit-Learn або Keras [8] становить від 65 % до 85 %. Натомість такі рішення з використанням LNN-мереж показують точність на рівні від 87 % до 95 % (рис. 2).

Рис. 2. Медична діагностика [9]

Отже, рідкі нейронні мережі мають великий потенціал для вдосконалення процесів медичної діагностики та обробки зображень, допомагаючи збільшити точність діагнозів, знизити час аналізу та покращити якість медичної допомоги.

Рідкі нейронні мережі можуть знайти застосування в промислових процесах та управлінні для оптимізації ефективності та автоматизації різноманітних завдань. LNN здатні аналізувати великі обсяги даних із сенсорів та машинного обладнання, щоб прогнозувати та оптимізувати виробничі процеси, а також виявляти закономірності в роботі обладнання, передбачати відмови та знижувати витрати на обслуговування та ремонт.

LNN можуть бути використані для реалізації систем автоматичного управління, які контролюють та регулюють параметри виробничих процесів, щоб адаптуватися до змін у середовищі та оптимізувати параметри для досягнення максимальної продуктивності та якості продукції. Рідкі мережі мають силу аналізувати дані з сенсорів та виробничого обладнання для моніторингу якості продукції, виявляти аномалії та дефекти у виробництві та надавати звіти та рекомендації для виправлення проблем.

Ці мережі уміють аналізувати дані про продажі та попит на продукцію, щоб прогнозувати майбутні вимоги та планувати виробництво. Вони можуть допомагати у визначенні оптимальних рівнів запасів та розподілі ресурсів для задоволення попиту. LNN здатні навчатися на льоту та адаптуватися до змін у виробничих процесах та вимогах ринку. Окрім цього вони забезпечують гнучке та ефективне управління виробництвом, що дозволяє компаніям швидко реагувати на зміни у середовищі та попиті.

Тож LNN можуть стати потужним інструментом для оптимізації та автоматизації промислових процесів та управління, що дозволяє підприємствам підвищити ефективність, знизити витрати та підвищити якість продукції [10, 11].

Переваги LNN порівняно з традиційними моделями включають:

адаптивність та пластичність. LNN мають здатність адаптуватися до змін у вхідних даних та умовах навколишнього середовища, що робить їх ефективними для роботи в реальному часі та адаптивного управління;

висока швидкість обробки. Завдяки паралельному обчисленню та природній динаміці системи LNN можуть швидко обробляти великі обсяги даних та реагувати на зміни в реальному часі;

ефективне використання обчислювальних ресурсів. LNN використовують прості обчислення та апаратні рішення, що робить їх ефективними з погляду енергоспоживання та ресурсів;

відсутність необхідності у великих об'ємах даних для навчання. LNN здатні працювати з невеликими обсягами даних та навіть без попереднього навчання, оскільки вони можуть адаптуватися до змін у реальному часі;

гнучкість та масштабованість. LNN можуть бути легко модифіковані та масштабовані для вирішення різноманітних завдань від невеликих до складних систем.

Потенційні обмеження рідких нейронних мереж включають:

складність налаштування параметрів. LNN вимагають налаштування параметрів, зокрема розміру резервуара та параметрів зв'язків між нейронами, що може бути складним завданням;

необхідність великої кількості даних для навчання. Хоча LNN можуть працювати з меншими обсягами даних порівняно з традиційними моделями, вони все ж вимагають деякої кількості даних для ефективного навчання та адаптації;

складність розуміння та інтерпретації результатів. У зв'язку зі складною природою динамічних систем, які лежать в основі LNN, інтерпретація результатів може бути складною;

обмеження в задачах, які вимагають точності до деталей. LNN можуть бути менш ефективними для завдань, які вимагають точності до деталей або високого рівня розрізнення.

Незважаючи на ці обмеження, LNN відкривають широкі можливості для розвитку ефективних та гнучких систем штучного інтелекту, які можуть працювати в реальному часі та адаптуватися до змін у навколишньому середовищі.



Висновки

На сьогоднішній день рідкі нейронні мережі вже демонструють свій потенціал у різних сферах, однак існують деякі виклики та напрямки розвитку, які можуть визначити їхню майбутню еволюцію. Налаштування параметрів LNN, таких як розмір резервуара та зв'язки між нейронами, залишається складним завданням. Розвиток ефективних методів навчання та автоматизованих процесів налаштування може значно полегшити використання LNN.

У сфері LNN відсутні стандарти та є обмежена кількість метрик ефективності. Створення стандартів та об'єктивних метрик дозволить дослідникам та інженерам зрозуміти та порівнювати різні реалізації LNN. Хоча LNN є відносно ефективними з погляду енергоспоживання, реалізація їх на апаратному рівні може вимагати нових технологій та архітектур для оптимізації продуктивності. Використання LNN в різних сферах штучного інтелекту, як-от обробка мови, розпізнавання обличчя та глибоке навчання, вимагає подальших досліджень та вдосконалення архітектур для досягнення високих результатів. Ефективне управління динамікою резервуара в умовах середовища, що змінюється, залишається важливим викликом. Розробка методів для забезпечення стабільності та контролю над роботою LNN у різних умовах може покращити їхню надійність. З впровадженням LNN у різні галузі виникає необхідність уважно враховувати етичні питання та забезпечувати безпеку особистих даних у відповідності з вимогами приватності.

Розробка методів інтеграції LNN з іншими технологіями, наприклад, класичними нейронними мережами чи символьним обчисленням, може стати ключовим напрямком для покращення взаємодії та розвитку комплексних систем. Загальною тенденцією є постійний розвиток та вдосконалення LNN для забезпечення їхньої ефективності та широкого застосування в різних галузях. У підсумку, рідкі нейронні мережі (LNN) представляють потужну технологію з великим потенціалом для розв'язання різноманітних завдань у багатьох галузях: від робототехніки та медичної діагностики до промислових процесів та управління. Вони відрізняються від традиційних нейронних мереж своєю здатністю працювати з природною динамікою систем та адаптуватися до змін у реальному часі.

Перспективи подальшого розвитку цієї технології включають розвиток нових методів навчання та налаштування, що дозволить полегшити процес створення та вдосконалення LNN, знижуючи необхідність у великих обсягах даних та забезпечуючи швидше навчання. Застосування LNN може розширитися на нові галузі: фінанси, освіту, аналітику даних та біологію - де вони можуть допомогти вирішувати складні завдання та робити нові відкриття. Розвиток нових апаратних рішень та методів інтеграції з іншими технологіями, як-от квантові обчислення або квантові мережі, може покращити продуктивність та ефективність LNN. З впровадженням LNN в широке використання стає все важливішою увага до етичних питань та захисту особистих даних, що потребує розвитку відповідних нормативних та правових механізмів. Активна співпраця між дослідниками, інженерами та промисловими партнерами може сприяти вирішенню викликів та прискорити розвиток цієї технології.

Отже, рідкі нейронні мережі мають великий потенціал для подальшого розвитку та використання у широкому спектрі напрямів. З поступом у дослідженнях та технологічному прогресі можна очікувати, що LNN стануть все більш ефективними та універсальними інструментами для вирішення реальних завдань у світі штучного інтелекту.



Література

Порівняння методів автоматичного розпізнавання автомобільних номерів / В. О. Шевченко, В. М. Бредіхін, Т. С. Сенчук, В. І. Вербицька // Комунальне господарство міст. Серія: Технічні науки та архітектура. - 2022. - № 4 (171). - С. 7-11. -DOI: 10.33042/2522-1809-2022-4-171-7-11.

Тищенко В. С. Аналіз методів навчання та інструментів нейромереж для виявлення фейків / В. С. Тищенко // Кібербезпека: освіта, наука, техніка. - 2023. - № 4 (20). - С. 20-34. - DOI: 10.28925/2663-4023.2023.20.2034.

Hasani R. Interpretable Recurrent Neural Networks in Continuous-time Control Environments : diss. ... Dr. Tech. Sc. / Hasani Ramin ; Technische Universitat Wien. - Vienna (Austria), 2020. - 167p. - DOI: 10.34726/hss.2020.78942.

Holl P. Learning to Control PDEs with Differentiable Physics / P. Holl, V. Koltun, N. Thuerey // Proceedings of the 8th International Conference on Learning Representations (ICLR 2020), Addis Ababa (Ethiopia), April 26-30, 2020 yr. - Red Hook, NY (USA) : Curran Associates, Inc.,

- Vol. 16. - P. 12216-12243. - Regime of access: httvs://ovenreview.net/vdf?id=HveSin4FPB. free (date of the application: 17.02.2024).

Recurrent Neural Networks for Multivariate Time Series with Missing Values / Z. Che, S. Purushotham, K. Cho, D. Sontag, Y. Liu // Scientific Reports. - 2018. - Vol. 8. - Article 6085. - DOI: 10.1038/s41598-018-24271-9.

Reservoir Computing for .NET (RCNet) [Electronic resource] / GitHub : website. - San Francisco, CA (USA), 2008-2024. - Updated continuously. - Regime of access: https://github. com/okozelsk/NET?tab=readme-ov- file#reservoir-computing-for-net-rcnet free (date of the application: 17.02.2024).

Reservoir Computing and Liquid State Machines

[Electronic resource] / Up Dreamers : website. -

- Updated continuously. - Regime of access:

https://updreamers.com/reservoir-computing-and-liauid-state-

machines/, free (date of the application: 17.02.2024).

A survey on long short-term memory networks for time series prediction /B. Lindemann, T. Muller, H. Vietz, N. Jazdi,

M. Weyrich // Procedia CIRP. - 2021. - Vol. 99. - P. 650655. - DOI: 10.1016/j.procir.2021.03.088.

7 Life-Saving AI Use Cases in Healthcare [Electronic

resource] / V7 Labs : website. - London (UK), 20182024. - Updated continuously. - Regime of access:

https://www.v7labs.com/blog/ai-in-healthcare, free (date of the application: 17.02.2024).

Assessing the Scalability of Biologically-Motivated Deep

Learning Algorithms and Architectures / S. Bartunov, A. Santoro, B. A. Richards, L. Marris, G. E. Hinton,

T. Lillicrap // Proceedings of the 32nd Annual Conference on Neural Information Processing Systems (NIPS 2018), Montreal (Canada), December 3-8, 2018 yr. / [ed. by

S. Bengio, H. Wallach, H. Larochelle, K. Grauman,

N. Cesa-Bianchi, R. Garnett]. - Red Hook, NY (USA) : Curran Associates, Inc., 2019. - P. 9368-9378. - Regime of access: https://arxiv.ors/pdf/1807.04587. pdt, free (date of the application: 17.02.2024).

Fine-Grained Image Classification Using Modified DCNNs Trained by Cascaded Softmax and Generalized Large-Margin Losses / W. Shi, Y. Gong, X. Tao, D. Cheng, N. Zheng // IEEE Transactions on Neural Networks and Learning Systems. - 2019. - Vol. 30, Issue 3. - P. 683-694. - DOI: 10.1109/TNNLS.2018.2852721.



References

Shevchenko, V., Bredikhin, V., Senchuk, T., & Verbytska, V. (2022). Comparison of methods for automatic license number recognition. Municipal Economy of Cities. Series: Engineering science and architecture, 4(171), 7-11. https://doi.org/10.33042/2522-1809-2022-4-171-7-11 [in Ukrainian]

Tyshchenko, V. S. (2023). Analysis of training methods and neural network tools for fake news detection. Cybersecurity: Education, Science, Technique, 4(20), 20-34. https://doi.org/10.28925/2663-4023.2023.20.2034 [in Ukrainian]

Hasani, R. (2020). Interpretable recurrent neural networks in continuous-time control environments [Doctoral dissertation, Technische Universitat Wien]. reposiTUm.

https://doi.org/10.34726/hss.2020.78942

Holl, P., Koltun, V., & Thuerey, N. (2023). Learning to Control PDEs with Differentiable Physics. In Proceedings of the 8th International Conference on Learning Representations (ICLR) (vol. 16, pp. 12216-12243). Curran Associates, Inc. https://openreview.net/pdf?id=HyeSin4FPB

Che, Z., Purushotham, S., Cho, K., Sontag, D., & Liu, Y. (2018). Recurrent Neural Networks for Multivariate Time Series with Missing Values. Scientific Reports, 8, 6085. https://doi.org/10.1038/s41598-018-24271-9

Kozelsky, O., & Hild, T. A. (2021, February 21).

Reservoir Computing for .NET (RCNet). GitHub.

https://github.com/okozelsk/NET?tab=readme-ov-

file#reservoir-computing-for-net-rcnet

updreamers. (2022, October 18). Reservoir Computing

and Liquid State Machines. Up Dreamers.

https://updreamers.com/reservoir-computing-and-liquid-state-

machines/

Lindemann, B., Muller, T., Vietz, H., Jazdi, N., & Weyrich, M. (2021). A survey on long short-term memory networks for time series prediction. Procedia CIRP, 99, 650655. https://doi.org/10.1016/i.procir.2021.03.088

Laurinavicius, T. (2021, June 1). 7 Life-Saving AI Use Cases in Healthcare. V7 Labs. https://www.v7labs.com/ blo g/ai-in-healthcare

Bartunov, S., Santoro, A., Richards, B. A., Marris, L., Hinton, G. E., & Lillicrap, T. (2019). Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures. In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, & R. Garnett (Eds.), Proceedings of the 32nd Annual Conference on Neural Information Processing Systems (NIPS 2018) (pp. 9368-9378). Curran Associates, Inc. https://arxiv.org/pdf/1807.04587.pdf

Shi, W., Gong, Y., Tao, X., Cheng, D., & Zheng, N. (2019). Fine-Grained Image Classification Using Modified

DCNNs Trained by Cascaded Softmax and Generalized Large-Margin Losses. IEEE Transactions on Neural Networks and Learning Systems, 30(3), 683-694. https://doi.org/10.1109/TNNLS.2018.2852721

Размещено на Allbest.ru/

...