Особливості реалізація моделі штучної нейронної мережі апаратними засобами

Размещено на http://www.allbest.ru/

Льотна академія Національного авіаційного університету

Центральноукраїнський національний технічний університет

Особливості реалізація моделі штучної нейронної мережі апаратними засобами

Ковальов Сергій Григорович кандидат педагогічних наук, викладач кафедри вищої математики та фізики,

Ковальов Юрій Г ригорович кандидат технічних наук, доцент, доцент кафедри фізико-математичних дисциплін та застосування інформаційних технологій в авіаційних системах

м. Кропивницький

Анотація

Значні досягнення у сфері штучного інтелекту спричинили революційні зміни у безпілотній техніці, військовій сфері, промисловості та транспорті. Особливої уваги заслуговують технології на кшталт GPTchat, які свідчать про вступ людства в еру інтелектуальних машин. Серед напрямків розвитку штучного інтелекту вирізняється машинне навчання, зокрема навчання з підкріпленням, яке спрямоване на адаптацію агентів до середовища для досягнення поставлених цілей.

В літературі аналіз моделей штучних нейронних мереж (ШНМ) зосереджено на їх класифікації, можливостях і застосуванні, часто реалізованих програмно через бібліотеки PyTorch, TensorFlow, Theano та інші. Однак менше досліджень присвячено апаратній реалізації ШНМ.

В статті порівнюється програмні та апаратні підходи, висвітлюючи структуру класичних нейронних мереж і їх можливе апаратне втілення, досліджуються особливості апаратної реалізації моделей ШНМ, зокрема з використанням операційних підсилювачів. Очевидно, що класичну нейронну мережу можна реалізувати апаратно, якщо створити апаратну модель штучного нейрона. Перший крок - це реалізація скалярного добутку вхідного вектора X і вектора ваг W за допомогою операційного підсилювача в режимі інвертуючого суматора. Запропоновано принципову електричну схему такої реалізації. У цьому випадку можна провести аналогію: вхідний вектор X відповідає вектору Uex, а вектор ваг W- апаратному вектору ваг R. Значення скалярного добутку вхідного вектора Uex і вектора опорів R дорівнює від'ємному значенню електричної напруги на виході X5 операційного підсилювача зі запропонованої схеми. Далі, для реалізації порогової функції запропоновано використати компаратор на операційному підсилювачі. Така апаратна реалізація має переваги у швидкості обчислень порівняно з програмними рішеннями, але недоліками є габарити схеми та складність навчання. Зменшити ці недоліки можна шляхом інтеграції ШНМ в одну мікросхему, що значно зменшить розміри та енергоспоживання, забезпечуючи при цьому високу швидкодію.

Для прикладу програмного інструмента підбору номіналів резисторів для апаратних ШНМ автори розробили відповідний веб-додаток. Цей додаток дозволяє створити програмну модель ШНМ заданої структури та виконати її навчання відповідно до поставлених задач. Після завершення процесу навчання додаток надає значення всіх R векторів для заданої апаратної ШНМ. Вигляд вікна веб-додатку показано на рисунку.

Ключові слова: штучний інтелект, нейронні мережі, апаратна реалізація, операційні підсилювачі, машинне навчання.



Abstract

Kovalyov Serhiy Hryhorovych Ph.D. in Pedagogical Sciences, Lecturer of the Department of Higher Mathematics and Physics, Central Ukrainian National Technical University, Kropyvnytskyi

Kovalyov Yurii Hryhorovych Ph.D. in Technical Sciences, Associate Professor, Associate Professor of the Department of Physical and Mathematical Disciplines and Application of Information Technologies in Aviation Systems, Flight Academy of the National Aviation University, Kropyvnytskyi

FEATURES IMPLEMENTATION OF THE ARTIFICIAL NEURAL NETWORK MODEL BY HARDWARE

Significant advances in artificial intelligence have revolutionized unmanned vehicles, the military, industry, and transportation. Technologies like GPTchat deserve special attention, indicating humanity's entry into the era of intelligent machines. Among the areas of AI development, machine learning stands out, particularly reinforcement learning, which focuses on adapting agents to the environment to achieve set goals.

In the literature, the analysis of artificial neural network (ANN) models centers on their classification, capabilities, and applications, often implemented programmatically through libraries such as PyTorch, TensorFlow, and Theano. However, less research is dedicated to the hardware implementation of ANNs.

This article compares software and hardware approaches, highlighting the structure of classic neural networks and their potential hardware implementation. It investigates the features of hardware ANN models, particularly using operational amplifiers. Clearly, a classical neural network can be implemented in hardware if a hardware model of an artificial neuron is created. The first step involves implementing the scalar product of the input vector X and the weight vector W using an operational amplifier in inverting adder mode. A basic electrical scheme for such an implementation is proposed. Here, an analogy can be drawn: the input vector X corresponds to the vector Uex, and the weight vector W corresponds to the hardware vector of weights R. The scalar product of the input vector Uex and the resistance vector R equals the negative value of the electric voltage at the output X5 of the operational amplifier in the proposed scheme. To implement the threshold function, a comparator on the operational amplifier is proposed. This hardware implementation has advantages in calculation speed compared to software solutions, but the disadvantages include the circuit's dimensions and training complexity. These drawbacks can be mitigated by integrating ANNs into a single microcircuit, significantly reducing size and power consumption while ensuring high speed.

As an example of a software tool for selecting resistor ratings for hardware ANNs, the authors have developed a web application. This application allows for creating an ANN software model of a given structure and training it according to specified tasks. Upon completing the training process, the application provides the values of all R vectors for the given hardware ANN. The web application's interface is shown in the figure.

Keywords: artificial intelligence, neural networks, hardware implementation, operational amplifiers, machine learning



Постановка проблеми

Останнє десятиліття охарактеризувало себе значними науковими здобутками у сфері штучного інтелекту та штучних нейронних мереж (далі ШНМ). Завдяки цьому з'явились значні досягнення у безпілотній техніці, військовій сфері, промисловості у транспортній галузі тощо. Слід відзначити і появу таких інформаційних технології як GPTchat та подібних йому, які демонструють, що людство входить у еру інтелектуальних машин, які здатні відтворювати “розумі” здібності людини [1]. Все це стало можливим завдяки значним здобуткам у сфері штучного інтелекту, а відповідно наукова діяльність у цьому напрямку є дуже актуальною і необхідною.

Одним із напрямків розвитку штучного інтелекту є машинне навчання. Машинне навчання багатогранне і теж передбачає широкий спектр питань для вивчення. Одним із напрямків машинного навчання є напрямок - «навчання з підкріплення» [2]. Основна проблематика навчання з підкріпленням передбачає створення моделі пристосування деякого об'єкта - агента до середовища. Таке пристосування формує у агента відповідну поведінку у даному середовищі, яка орієнтована на досягнення ним заданих цілей. У випадку коли функція оцінки дії агента у середовищі побудована на ШНМ то такий тип навчання з підкріпленням називають Q-learning. Наведений приклад, є одним з багатьох, який показує важливість і актуальність вивчення ШНМ, у загальному контексті дослідження штучного інтелекту. нейронний мережа операційний підсилювач

Аналіз останніх досліджень і публікацій

Аналізу моделей ШНМ, їх класифікацій, можливостей та використанню для вирішення різних прикладних задач останній час присвячено безліч досліджень. В наведених роботах [2-11] проілюстровано невеликий спектр різноманітних актуальних напрямків таких досліджень: від класичного застосування нейронних мереж для задачі класифікації зображень до використання їх в електроенергетичних системах тощо.

Модель ШНМ є математичною [2] і тому в переважній більшості випадків її реалізовують програмним шляхом у вигляді комп'ютерної програми. Для використання у програмному коді алгоритмів на основі ШНМ на сьогодні застосовують багато програмних бібліотек і навіть платформ (Amazon SageMaker, Google Cloud AI Platform, IBM Watson, Microsoft Azure Machine Learning тощо). Якщо класифікувати програмні бібліотеки за мовами програмування то, насамперед, слід виділити такі що, спрямовані на Python [12]. Серед них можна виділити наступні:

PyTorch, бібліотеку для глибокого навчання, розроблену Facebook AI Research [13];

TensorFlow, відкриту бібліотека для машинного навчання від Google [14];

Theano, бібліотека для числових обчислень, яка дозволяє виконувати обчислення на GPU [15].

Keras, високорівневу нейронну бібліотеку, яка працює поверх TensorFlow, Theano [16].

Серед тих, що використовуються мовою Java, як приклад наведемо бібліотеку Deeplearning4j [17], а що застосовуються у мові С# - фреймворки в .NET: Accord.NET [18] та ML.NET [19]. Проте менше досліджень присвячено апаратний спосіб реалізації моделі ШНМ. Тому у нашій статті ми хотіли б розглянути не програмний, а апаратний спосіб реалізації моделі ШНМ, який в порівнянні з програмною реалізацією має як низку переваг так і недоліків.

Мета статті - розглянути апаратний спосіб реалізації моделі ШНМ.

Виклад основного матеріалу

Для розгляду апаратної реалізації моделі ШНМ, ми проаналізуємо детальніше структуру класичної ШНМ і проведемо аналогії між функціонуванням програмного алгоритму ШНМ та роботою запропонованих апаратних вузлів.

Нейронні мережі мають вхід на який можна подати вектор фіксованої розмірності X(xi,x2,...,Xj), а також вихід з якого можна зчитати вектор розмірності Y (y1,y2,.yj). Основною функцією ШНМ є можливість розпізнавати з множини векторів, що подаються на її вхід певну підмножину векторів у яких присутня шукана ознака. Для того, щоб ШНМ вдало реалізовувала процес розпізнавання її попередньо «навчають» [3].

Хоча на сьогоднішній день структури ШНМ можуть відрізнятись у залежності від задач, які вони виконують [1], але існують класичні уявлення про штучний нейрон (персиптрон) про структуру нейронної мережі [3], а всі більш складні випадки утворюються на їх основі. Далі ми розглянемо саме загальну структуру ШНМ, щоб розкрити ідею застосування апаратних засобів при побудові ШНМ.

Всі нейронні мережі складаються з нейронів [1]. Нейрон має певну кількість входів і лише один вихід. Структура нейрона показана на рис 1.

Як видно з рисунку 1. Кожна координата вхідного вектору X подається на відповідний вхід нейрона, при цьому важливо, щоб розмірність вектору відповідала кількості входів нейрона. Кожен вхід нейрона має свою вагу Wi, що являє собою дійсне число. Усі ваги входів нейронна утворюють разом вектор ваг W. Подавши на вхід нейрону вектор X, нейрон виконує операцію скалярного добутку з векторами X та W, яка безпосередньо реалізується функцією X, що позначена як 2 на рис. 1. Далі значення скалярного добутку передається до порогової функції f(s), яка і визначає чи достатнє значення отриманого скалярного добутку для переведення виходу нейрона у збуджений стан «1» чи навпаки вихід буде у незбудженому стані, що відповідає логічному «0». Порогова функція може мати різний вигляд. Дуже часто у її якості використовується сігмоїда [2], яка має ознаки бар'єру.

У випадку коли входи нейронів з'єднані паралельно то кажуть, що об'єднанні таким чином нейрони утворюють шар. У такому шарі є вхід, що визначається входами об'єднаних нейронів і вихід, що визначається відповідно виходами цих нейронів. Коли вихід одного шару під'єднується до входу іншого то говорять про утворення нейронної мережі з двох шарів. На практиці шарів може бути різна кількість, але логіка побудови мережі за рахунок послідовного з'єднання шарів при цьому зберігається [6, 7]. На рисунку 2 показано вигляд структури ШНМ, що складається з трьох шарів у яких відповідно три, чотири та два нейрони.

Рис. 1 Структура штучного нейрона

Очевидно, що описана структура класичної нейронної мережі може бути реалізована апаратними засобами, у випадку, коли можна буде реалізувати апаратно модель штучного нейрона бо подальше об'єднання таких нейронів у мережу передбачає просте об'єднання структурних вузлів і є не складним наприклад для його апаратної реалізації. Отже, розглянемо запропоновану реалізацію штучного нейрона апаратними засобами.



Рис. 2 Графічне зображення структури трьох шарової ШНМ

Аналіз структури нейронна (рис. 1) вказує, що першою функцією, яку реалізує штучний нейрон має бути функція, що реалізує скалярний добуток вхідного вектору X та вектору ваг W. Апаратно скалярний добуток можна реалізувати на основі операційного підсилювача, що увімкнений в режимі інвертуючого суматора, так як показано на рис. 3.

Рис. 3 Схема включення операційного підсилювача в режимі інвертуючого суматора

Згідно теорії, вихідна напруга такого операційного підсилювача, що увімкнений по схемі інвертуючого суматора обчислюється за формулою (1).

Uвих = -(R7/R1)·U1+(R7/R2)·U2+ … +(R7/R6)·U6 (1)

Як видно з формули (1), вона являє собою скалярний добуток вхідного вектору Uex (Ui, ..., Ue), та вектору апаратних ваг R (R7/R1, ... , R7/R6). У такому випадку можна провести аналогію між структурою нейрона з рис. 1 та схемою увімкнення з рис. 3, а саме вхідний вектор X відповідає вектору Uex, а вектор ваг W відповідає апаратному вектору ваг R. Значення скалярного добутку вхідного вектору Uex і вектору ваг R рівний від'ємному значенню електричної напруги на виході X5 операційного підсилювача зі схеми на рис. 3.

Для завершення представлення моделі штучного нейрона апаратними засобами нам залишається застосувати порогову функцію до від'ємного значення скалярного добутку з виходу X5. Ми пропонуємо у якості апаратної порогової функції використати компаратор, що побудовано на операційному підсилювачі. Схема такого компаратора показано на рис. 4.

Особливістю такого компаратора є використання інвертуючого входу, що компенсує від'ємний знак скалярного добутку, який отримано з інвертуючого суматора. Значення скалярного добутку подається на вхід X5 компаратора з рис. 4. Коли це значення скалярного добутку більше за значення потенціалу порогу, що задається резисторами R8 та R9, то вихід компаратора має потенціал логічної одиниці і такий стан відповідає збудженому стану апаратного нейрона, і навпаки коли значення скалярного добутку менше за пороговий потенціал компаратора то його вихід рівний логічному нулю і відповідає незбудженому стану апаратного нейрона. Загальна схема апаратного нейрона показана на рис. 5.



Рис. 4 Схема апаратного представлення порогової функції, що відповідає структурі штучного нейрона

Проаналізувавши запропоновану схему апаратного представлення нейронів та створення на їх основі апаратних ШНМ можна виділити недоліки та переваги запропонованої реалізації. До недоліків запропонованої апаратної реалізації ШНМ можна віднести габарити схеми, бо у випадку програмної реалізації ШНМ це може бути реалізовано у межах одного мікроконтролера.

Рис. 5 Схема апаратного представлення штучного нейрона, що відповідає шестивимірному вхідному вектору



При інтерпретації результатів розпізнавання апаратною ШНМ може виникати необхідність у додаткових вузлах, можливо навіть з програмним керуванням. Збільшення габаритів і кількості компонентів призводить до збільшення споживання енергії.

До недоліків запропонованої реалізації, також, віднесемо ті складнощі, які виникають у процесі навчання апаратної ШНМ. У цьому випадку номінали координат, апаратного вектору важків R, мають визначатись окремо, наприклад з використанням програмних інструментів. Після визначення значень номіналів необхідних резисторів, що визначають вектор важків R, їх потрібно буде реалізувати стандартними рядами номіналів резисторів, що потребуватиме додаткової кількості резисторів, які застосовуються у схемі, або використання резисторів змінного типу з необхідністю їх точного налаштування.

До переваг апаратної реалізації ШНМ потрібно відзначити такий дуже важливий параметр, як швидкість обчислення. У порівнянні з програмними способами реалізації ШНМ, апаратна реалізація характеризується значним перевагами у часі, бо у випадку програмної реалізації, математичні обчислення, що виконуються навіть при розпізнаванні одного вектору можуть досягати сотні, а то і тисячі математичних операцій (апаратних тактів мікроконтролера) у залежності від складності структури ШНМ, тоді як апаратна реалізація потребує час, що відповідає поширенню електричного сигналу в платі і є значно меншим навіть за один програмний такт мікроконтролера. Така ситуація створює значні переваги для апаратних ШНМ особливо у випадку їх використання для швидкоплинних процесів і з структурами, що вміщують велику кількість штучних нейронів.



Рис. 6 Web-додаток для навчання апаратних ШНМ

Рис. 7 Процес навчання за допомогою Web-до датку

Для зменшення недоліків апаратної ШНМ розглянутих вище, ми вбачаємо необхідність реалізації таких ШНМ у межах одної інтегральної мікросхеми, яка буде навчена на виконання конкретних завдань по розпізнаванню. При такій інтегральній реалізації знімається недолік з габаритами, підвищеними енерговитратами, складністю з реалізацією дискретних резисторів, тощо. При цьому основна перевага у швидкодії отримає ще кращий результат зважаючи на зменшення розмірів плати до розмірів кристалу інтегральної мікросхеми.

Для прикладу програмного інструмента підбору номіналів резисторів для апаратних ШНМ ми розробили відповідний Web-додаток. Цей веб додаток дозволяє створити програмну модель ШНМ заданої структури і виконати її навчання у відповідності до поставлених задач. У результаті завершення процесу навчання цей додаток дозволяє отримати значення усіх R векторів для заданої апаратної ШНМ. Вигляд вікон Web-додатку показано на рис. 6 та рис. 7.



Висновки

У статті розглянуто особливості реалізації моделі ШНМ апаратними засобами, зокрема на основі операційних підсилювачів. Для реалізації процесу навчання апаратних ШНМ запропоновано спеціально розроблений Web-додаток, що дозволяє обраховувати значення номіналів електричних резисторів, які визначають рівень навченості таких ШНМ.



Література

1. ChatGPT.

2. Субботін С. О. Нейронні мережі: теорія та практика: навчальний посібник. Житомир: Вид. О. О. Євенок, 2020. 184 с.

3. Єгоров С.В., Шкварницька Т.Ю., Яреміч Т.І. Застосування штучних нейронних мереж на основі персептрону в електроенергетичних системах. Наука і техніка сьогодні. 2024, № 3(31). С. 850-860.

4. Saima Akhtar, Muhammad Adeel, Muhammad Iqbal, Abdallah Namoun, Ali Tufail, Ki- Hyung Kim. Deep learning methods utilization in electric power systems. Energy Reports. 2023, Vol. 10. P. 2138-2151.

5. Alvarez Anton J.C., Garcia-Nieto P.J., Garcia-Gonzalo E., Gonzalez Vega M., & Blanco Viejo C. Data-driven state-of-charge prediction of a storage cell using BC/GBRT, ABC/MLP and LASSO machine learning techniques. Journal of Computational and Applied Mathematics. 2023, 433. Article 115305.

6. Тищенко С.І. Кузнецов Є. С. Нейронні мережі для задачі класифікації зображень. Наука і техніка сьогодні. 2024, № 3(31). С. 705-718.

7. Захарченко Р., Захарченко Л., Кірюшатова Т., Штуца О. Дослідження алгоритмів навчання нейронної мережі для класифікації зображень. Problems of information technologies. 2020, № 27. С. 44-53.

8. Летичевський О. Методи штучного інтелекту в сучасному світі та технологіях. Світогляд. 2022, №3 (101).

9. Мальцев А. Методи машинного навчання нейронної мережі для передбачення великих зашумлених даних за допомогою сучасних мов програмування. Information technology: computer science, software engineering and cyber security. 2022, № 1. С. 39-43.

10. Chen X., Leng S., He J., Zhou L. Deep-learning-based intelligent intervehicledistance control for 6G-enabled cooperative autonomous driving. IEEE Internet of Things Journal. 2020, 8(20). P. 15180-15190.

11. Shahriar M. S., Kale A. K., Chang K. Enhancing Intersection Traffic Safety Utilizing V2I Communications: Design and Evaluation of Machine Learning Based Framework. IEEE Access. 2023.

12. THE PYTHON TUTORIAL.

13. PYTORCH.

14. TENSORFLOW CORE.

15. THEANO 1.0.5.

16. KERAS.

17. Deeplearning4j Suite Overview.

18. Accord.NET Framework.

19. ML.NET. An open source and cross-platform machine learning framework.

References

1. ChatGPT.

2. Subbotin, S.O. (2020) Neironni merezhi: teoriia tapraktyka: navchalnyi posibnyk [Neural Networks: Theory and Practice: A Study Guide]. Zhytomyr: Vyd. O. O. Yevenok [in Ukrainian].

3. Yehorov, S.V., Shkvarnytska, T.Y. & Yaremich, T.I. (2024). Application of artificial neural networks based on perceptron in electrical energy systems. Nauka i tekhnika sohodni - Science and technology today, 3(31), 850-860.

4. Akhtar, S., Adeel, M., Iqbal, M. Namoun, A., Tufail, A. & Kim. K.-H. (2023). Deep learning methods utilization in electric power systems. Energy Reports, 10, 2138-2151.

5. Alvarez Anton, J.C., Garcia-Nieto, P.J., Garcia-Gonzalo, E., Gonzalez Vega, M. & Blanco Viejo C. (2023). Data-driven state-of-charge prediction of a storage cell using ABC/GBRT, ABC/MLP and LASSO machine learning techniques. Journal of Computational and Applied Mathematics, 433, 115305.

6. Tyshchenko, S.I. & Kuznetsov, E.S. (2024). Neironni merezhi dlia zadachi klasyfikatsii zobrazhen [Neural networks for the problem of image classification]. Nauka i tekhnika sohodni - Science and technology today, 3(31), 705-718.

7. Zakharchenko, R., Zakharchenko, L., Kiriushatova, T. & Shtutsa, O. (2020). Doslidzhennia alhorytmiv navchannia neironnoi merezhi dlia klasyfikatsii zobrazhen [Research of learning algorithms of neural network for image classification]. Problems of information technologies, 27, 44-53 [in Ukrainian].

8. Letychevskyi, O. (2022). Metody shtuchnoho intelektu v suchasnomu sviti ta tekhnolohiiakh [Methods of artificial intelligence in the modern world and technologies]. Svitogliad - Worldview, 3(101).

9. Maltsev, A. (2022). Metody mashynnoho navchannia neironnoi merezhi dlia peredbachennia velykykh zashumlenykh danykh za dopomohoiu suchasnykh mov prohramuvannia [Neural network machine learning methods for predicting large noisy data using modern programming languages]. Information technology: computer science, software engineering and cyber security, 1, 39-43. [in Ukrainian].

10. Chen, X., Leng, S., He, J., & Zhou, L. (2020). Deep-learning-based intelligent intervehicle distance control for 6G-enabled cooperative autonomous driving. IEEE Internet of Things Journal, 8(20), 15180-15190.

11. Shahriar, M.S., Kale, A.K., & Chang, K. (2023). Enhancing Intersection Traffic SafetyUtilizing V2I Communications: Design and Evaluation of Machine Learning Based Framework. IEEE Access.

12. THE PYTHON TUTORIAL. docs.python.org.

13. PYTORCH.

14. TENSORFLOW CORE.

15. THEANO 1.0.5.

16. KERAS.

17. Deeplearning4j Suite Overview.

18. Accord.NET Framework

19. ML.NET. An open source and cross-platform machine learning framework.

Размещено на Allbest.ru

...