Застосування штучних нейронних мереж на основі персептрону в електроенергетичних системах

Размещено на http://www.allbest.ru/

Національний авіаційний університет

Застосування штучних нейронних мереж на основі персептрону в електроенергетичних системах

Єгоров Сергій Вікторович кандидат технічних наук, доцент кафедри комп'ютеризованих електротехнічних систем та технологій,

Шкварницька Тетяна Юріївна кандидат технічних наук, доцент, доцент кафедри комп'ютеризованих електротехнічних систем та технологій,

Яреміч Тетяна Іванівна старший викладач кафедри комп'ютеризованих електротехнічних систем та технологій

м. Київ

Анотація

Розвиток нейронних мереж та підвищена у вага до них призвели до того, що такі мережі знайшли багато застосувань в різних областях науки та техніки. Нейронні мережи знайшли застосування в задачах класифікації, прогнозування та керування. У статті було здійснено аналіз штучної нейронної мережі на базі персептрону. Було встановлено, що ускладнення задачі, може призвести до ускладнення структури самої штучної нейронної мережі. Теоретично немає обмежень щодо кількості шарів штучної нейронної мережі і кількості нейронів у кожному шарі. На практиці розмір штучної нейронної мережі обмежений ресурсами комп'ютерної системи, такими як об'єм пам'яті, кількість обчислювальних ядер і архітектура процесора, на якому може бути реалізована штучній нейронній мережі. Було окреслено коло задач, які потрібно вирішити під час вибору типу та структури штучної нейронної мережі: збільшення складності штучної нейронної мережі підвищує її інтелектуальність, збільшує обсяг інформації, що зберігається, і складність вирішуваних завдань; підвищена складність вимагає більшого обсягу обчислювальних ресурсів, а для навчання більшої кількості компонентів штучної нейронної мережі необхідні додаткові, більші навчальні вибірки. Було розроблену процедуру побудови нейронної мережі, яка складається з наступних кроків: вибору початкової конфігурації мережі;

наприклад, у вигляді одного шару з числом нейронів, рівним 1/2 загальної кількості входів та виходів; моделювання та навчання мережі з оцінкою контрольної помилки та використанням додаткових нейронів або проміжних шарів; виявлення ефекту перенавчання та коригування конфігурації мережі. Було розв'язано задачу класифікації екземплярів на чотири множини у двовимірному просторі. У зв'язку з тим, що одного перцептрона штучної нейронної мережі недостатньо для розв'язання цієї задачі було побудовано персептрон з двома нейронами з двома входами і двома виходами та пороговою функцією активації.

Ключові слова: штучна нейронна мережа, персептрон, порогова функція активації, навчання штучної нейронної мережі, структура штучної нейронної мережі, зміщений нейрон, процес активації штучної нейронної мережі, синаптична вага шару нейронів, складність штучної нейронної мережі, процедура побудови нейронної мережі, оцінка безпеки енергосистем.

Abstract

Yehorov Serhii Victorovych Candidate of Engineering Sciences, Associate Professor of department Computerized electrical systems and technologies, National Aviation University, Kyiv

Shkvarnytska Tetiana Yuriivna Candidate of Engineering Sciences in, Associate Professor, Associate Professor of department Computerized electrical systems and technologies, National Aviation University, Kyiv

Yaremich Tetiana Ivanivna Associate Professor of department Computerized electrical systems and technologies, National Aviation University, Kyiv

APPLICATION OF ARTIFICIAL NEURAL NETWORKS BASED ON PERCEPTRON IN ELECTRICAL ENERGY SYSTEMS

The development of neural networks and their advanced nature have led to the fact that such networks have found many developments in various fields of science and technology. Neural networks have found application in classification, forecasting and control tasks. The article analyzed the artificial basis of the perceptron neural network. It was established that the complexity of the task can lead to the complexity of the structure of the artificial neural network itself. Theoretically, there are no restrictions on the number of layers of an artificial neural network and the number of neurons in each layer. In practice, the size of an artificial neural network is limited by the resources of the computer system, such as the amount of memory, the number of computing cores, and the architecture of the processor on which the artificial neural network can be implemented. The range of problems to be solved when choosing the type and structure of an artificial neural network was outlined: increasing the complexity of an artificial neural network increases its intelligence, increases the amount of stored information, and the complexity of the tasks to be solved; increased complexity requires more computing resources, and additional, larger training samples are needed to train more components of the artificial neural network. A procedure for building a neural network was developed, which consists of the following steps: selection of the initial configuration of the network; for example, in the form of one layer with the number of neurons equal to 1/2 of the total number of inputs and outputs; network modeling and training with control error estimation and the use of additional neurons or intermediate layers; detection of the effect of retraining and adjustment of the network configuration. The problem of classifying instances into four sets in twodimensional space was solved. Due to the fact that one perceptron of an artificial neural network is not enough to solve this problem, a perceptron with two neurons with two inputs and two outputs and a threshold activation function was built.

Keywords: artificial neural network, perceptron, activation threshold function, training of artificial neural network, structure of artificial neural network, shifted neuron, activation process of artificial neural network, synaptic weight of neuron layer, complexity of artificial neural network, neural network construction procedure, energy system safety assessment.

Постановка проблеми

Розвиток нейронних мереж та підвищена у вага до них призвели до того, що такі мережі знайшли багато застосувань в різних областях науки та техніки. Нейронні мережи знайшли застосування в задачах класифікації, прогнозування та керування.

Такі особливості нейронних мереж, як механізм навчання, та здатність до імітації процесів, що дозволяють відтворювати складні залежності призвели до широкого їх застосування в різних галузях науки і техніки, у тому числі у процесах аналізу та прогнозування в електроенергетиці.

Аналіз останніх досліджень і публікацій

Група науковців в роботі [1] розглянули питання прогнозування, виявлення та діагностики несправностей, оцінки безпеки енергосистем та використання нейронних мереж для вирішення цих завдань. Дослідники в [2] розробили метод визначення залишкового заряду акумуляторів з використанням Artificial Bee Colony- Multilayer Perceptron (ABC/MLP), Artificial Bee Colony gradient boosting regression tree (ABC/GBRT) та Least Absolute Selection and Shrinkage Operator (LASSO). Науковці [3] розглянули метод прогнозування генерованої потужності фотоелектричних електростанцій використавши при цьому для глибокого навчання алгоритм довготривалої короткочасної пам'яті. У роботі[4] з метою прогнозування ціни на електроенергію була розроблена гібридна структура, заснована на одночасному використанні нейронних мереж що засновані на багатошаровому персептроні (MLP) і радіальній базисній функції (RBF). Результати експерименту свідчать, що нейронні мережі MLP ефективніші за нейронні мережі RBF. Науковці в роботі [5] порівняли два класи моделей для прогнозування часових рядів (статистичні та штучні нейронні мережами), які використовуються для аналізу споживання електроенергії в промисловості Бразилії. Було показано, що модель MLP має найкращі показники прогнозування споживання електроенергії. У роботі [6] для прогнозування цін на електроенергію були використані складені нейронні мережі. А саме мережа карт самоорганізації та багатошарові персептронні мережі. Результати показали покращення якості прогнозу. Група науковців [7] розглянула питання збору повітряно-метанової суміші із вугільної шахти Pniowek та генерації за допомогою цієї суміші в когенераційній системі теплової та електричної енергії. Аналізуючи параметри концентрації метану, тиск, час та день тижня була створена модель, яка базується на багатошаровому персептроні, прогнозування виробництва електричної енергії. Серед параметрів, що аналізувалися найважливішим виявилась концентрація повітряно-метанової суміші. Алгоритми навчання нейронних мереж подібні до алгоритмів знаходження глобального екстремуму функції багатьох змінних. До числа останніх належать алгоритми спряжених градієнтів [8] і Левенберга-Марквардта (Levenberg - Marquardt) [9]. Однак, у зв'язку з тим, що нейронні мережі мають свою спеціфіку для них розроблені спеціальні алгоритми навчання [10,11].

Мета статті - теоретичний аналіз процесів навчання нейронних мереж на базі персептрону. нейронний мережа персептрон

Виклад основного матеріалу

Фундаментальна концепція нейронних мереж передбачає зміну параметрів нейронів для узгодження поведінки мережі з бажаним результатом. Шляхом точного налаштування вагових коефіцієнтів і параметрів зміщення можна навчити мережу успішно виконувати певне завдання. Крім того, мережа має можливість автономно регулювати свої параметри для досягнення бажаних результатів.

Рівняння для зміщеного нейрона таке:

де w - вага синапса, p - вхідний сигнал, b - зміщення.

Вираз (1) може бути переписаний у такому вигляді:

Зміщення нейрона, позначене як b, є скалярним параметром, який можна регулювати. Слід зазначити, що зміщення не вважається входом. З іншого боку, константа 1, яка визначає зміщення, розглядається як вхідний сигнал. Це можна концептуалізувати як лінійну комбінацію вхідних векторів.

Рис.1. Одношаровий персептрон

Щоб дослідити структуру штучної нейронної мережі (ШНМ), проаналізуємо конкретний екземпляр, відомий як одношарова тринейронна персептронна мережа (рис. 1).

Нейронна мережа складається з одного шару, де n входів отримують сигнали, які зазнають трансформації в синапсах перед тим, як надсилаються до трьох суматорів нейронів, що призводить до генерації трьох вихідних сигналів:

З рівняння (3) видно, що синаптичну вагу шару нейронів можна виразити у вигляді матриці W, де кожен елемент Wij відповідає вазі i-го синаптичного зв'язку j-го нейрона.

З рівняння (3) можна зробити висновок, що синаптичні ваги шару нейронів виражаються у вигляді матриці W, де кожен елемент Wij представляє вагу i-го синаптичного з'єднання j-го нейрона.

У цьому випадку процес активації ШНМ можна описати у матричному форматі:

A=F(BW), (3)

де B і A - вектори вхідного і вихідного сигналів ШНМ відповідно. F(X) -- це функція, яка застосовується до компонентів вектора Х. Цей вектор є результатом добутку вхідного вектора B і вагової матриці синапсів W.

Теоретично немає обмежень щодо кількості шарів ШНМ і кількості нейронів у кожному шарі. На практиці розмір ШНМ обмежений ресурсами комп'ютерної системи, такими як об'єм пам'яті, кількість обчислювальних ядер і архітектура процесора, на якому може бути реалізована ШНМ.

Вибираючи тип та структуру ШНМ, доводиться вирішувати такі проблеми:

Збільшення складності ШНМ підвищує її інтелектуальність, збільшує обсяг інформації, що зберігається, і складність вирішуваних завдань;

підвищена складність вимагає більшого обсягу обчислювальних ресурсів, а для навчання більшої кількості компонентів ШНМ необхідні додаткові, більші навчальні вибірки.

Вибір архітектури ШНМ базується на характеристиках і складності завдання. Для багатьох типових завдань розроблені оптимальні конфігурації ШНМ. Якщо завдання не може бути зведене до одного зі стандартних типів, розробники змушені синтезувати нову архітектуру, що є складним завданням.

Суть ШНМ полягає в перетворенні вхідних сигналів у вихідні за допомогою синаптичних ваг. Тому для вирішення конкретної задачі потрібно підібрати оптимальні значення ваг (та інших параметрів навчання, якщо такі є). Підбір значень для всіх змінних параметрів ШНМ з метою мінімізації помилки при розв'язанні і є навчанням. Основними параметрами навчання є синаптичні ваги, а також параметри функції активації. В той же час, деякі параметри, зокрема синаптичні зв'язки, можна залишити без змін.

Здатність мережі вирішити завдання під час виконання залежить від того, наскільки добре виконується фаза навчання ШНМ. Як і в будь-якій задачі оптимізації, якість навчання обернено пропорційна його інтенсивності (і, отже, тривалості). Чим вища якість навчання потрібна, тим складніше буде. Комбінацію цих двох параметрів слід вибирати на основі компромісів.

Існує два типи навчання штучної нейронної мережі: під наглядом і без нагляду.

Перша версія мережі відображає пари значень "вхідний сигнал" - "бажаний вихідний сигнал". Навчання в цьому випадку полягає у встановленні параметрів, що навчаються, таким чином, щоб мінімізувати похибку, тобто різницю між розрахованою реакцією ШНМ на вхідний сигнал і бажаним вихідним сигналом.

В останньому випадку "необхідний вихідний сигнал" не задається, виходи ШНМ генеруються незалежно, параметри, що навчаються модифікуються мережею відповідно до алгоритму, який враховує лише вхідні та похідні сигнали.

Після того, як визначено кількість шарів мережі та кількість нейронів у кожному шарі, необхідно призначити ваги та зсуви, щоб мінімізувати похибку рішення. Це досягається за допомогою процедури навчання. Аналізуючи вхідні та вихідні дані, доступні аналітику, ваги та зсуви мережі автоматично коригуються, щоб мінімізувати різницю між бажаним сигналом та результатом моделювання. Ця різниця називається помилкою навчання. Таким чином, процес навчання - це процес підгонки параметрів моделі процесу або явища, реалізованої нейронною мережею.

Помилка навчання для даної конфігурації нейронної мережі визначається шляхом пропускання через мережу всіх доступних спостережень і порівняння вихідних значень з бажаними цільовими значеннями. Ці відмінності дають так звану функцію помилки (критерій якості навчання). Ця функція зазвичай є сумою квадратів помилок. При моделюванні нейронних мереж з лінійними функціями активації нейронів можна створити алгоритми, які гарантують абсолютний мінімум помилки навчання. Для нейронних мереж з нелінійними функціями активації зазвичай неможливо гарантувати отримання глобального мінімуму функції помилки.

Процедура побудови нейронної мережі складається з наступних кроків:

вибору початкової конфігурації мережі; наприклад, у вигляді одного шару з числом нейронів, рівним 1/2 загальної кількості входів та виходів;

моделювання та навчання мережі з оцінкою контрольної помилки та використанням додаткових нейронів або проміжних шарів;

виявлення ефекту перенавчання та коригування конфігурації мережі.

Розв'яжемо задачу класифікації екземплярів на чотири множини у двовимірному просторі. Зрозуміло, що одного перцептрона ШНМ недостатньо для розв'язання цієї задачі. Тому в наступному прикладі ми побудуємо персептрон з двома нейронами з двома входами і двома виходами та пороговою функцією активації.

Створимо навчальну вибірку з 20 випадкових чисел для чотирьох множин, які будуть розділені у майбутньому. Код для розв'язання цієї задачі показано на рис. 2. Результатом роботи коду є графік, що містить чотири типи точок, які лінійно розділяються (рис. 3).

Рис 2. Код Matlab, що створює навчаючу вибірку

Згрупуємо навчальну вибірку з даних усіх трьох множин. Для цього вихідні дані множин A, B, C і D об'єднуються в один масив і правильне кодування класів копіюється необхідну кількість разів за допомогою команди repmat для отримання відповідних правильних значень у змінну array . Цей код показано на рис. 4.

Рис 4. Масив даних для навчання із вхідних union та вихідних array даних

За допомогою функції perceptron у змінній net створюється перцептрон, який навчається в циклі while. Відповідний код показано на рисунку 5.

Візуалізація кінцевого стану ШНМ показана на рис. 6. З якого видно, що лінія розділу правильно розділяє чотири множини на регіони.

Рис. 5. Створення та навчання штучної нейронноїмережі

Фінальна команда view показує структуру ШНМ (Рис. 7). З якого видно, що вона має два нейрони з двома входами, двома виходами та пороговою функцією активації (Hard Limit).

Рис. 6. Штучна нейронна мережа після навчання

Рис. 7. Структура штучної нейронноїмережі

Перевіримо роботу ШНМ значеннями, що не увійшли до навчальної вибірки, наприклад [0.6; 1.8] (рис. 8).

Рис. 8. Виклик ШНМ.

Результуюча відповідь ШНМ (вектор х) збігається з кодуванням множини а.

Висновки

Встановлено, що ускладнення задачі, може призвести до ускладнення структури самої штучної нейронної мережі. Теоретично немає обмежень щодо кількості шарів штучної нейронної мережі і кількості нейронів у кожному шарі. На практиці розмір штучної нейронної мережі обмежений ресурсами комп'ютерної системи, такими як об'єм пам'яті, кількість обчислювальних ядер і архітектура процесора, на якому може бути реалізована штучній нейронній мережі;

Було окреслено коло задач, які потрібно вирішити під час вибору типу та структури штучної нейронної мережі: збільшення складності штучної нейронної мережі підвищує її інтелектуальність, збільшує обсяг інформації, що зберігається, і складність вирішуваних завдань; підвищена складність вимагає більшого обсягу обчислювальних ресурсів, а для навчання більшої кількості компонентів штучної нейронної мережі необхідні додаткові, більші навчальні вибірки;

Було розроблену процедуру побудови нейронної мережі, яка складається з наступних кроків: вибору початкової конфігурації мережі; наприклад, у вигляді одного шару з числом нейронів, рівним 1/2 загальної кількості входів та виходів; моделювання та навчання мережі з оцінкою контрольної помилки та використанням додаткових нейронів або проміжних шарів; виявлення ефекту перенавчання та коригування конфігурації мережі.

Література

1. Saima Akhtar, Muhammad Adeel, Muhammad Iqbal, Abdallah Namoun, Ali Tufail, Ki- Hyung Kim. Deep learning methods utilization in electric power systems. Energy Reports. 2023. Vol. 10. P. 2138-2151.

2. Alvarez Anton J.C., Garcia-Nieto P.J., Garcia-Gonzalo E., Gonzalez Vega M., Blanco Viejo C. Data-driven state-of-charge prediction of a storage cell using ABC/GBRT, ABC/MLP and LASSO machine learning techniques. Journal of Computational and Applied Mathematics. 2023. Vol. 433. Article 115305.

3. Meftah Elsaraiti, Adel Merabet. Solar Power Forecasting Using Deep Learning Techniques. IEEE Access. 2022. Vol. 10. P 31692- 31698.

4. Gang Lei, Chunxiang Xu, Junmin Chen, Hongyang Zhao, Hesam Parvaneh. Performance of a Hybrid Neural-Based Framework for Alternative Electricity Price Forecasting in the Smart Grid. 2021. Distributed Generation & Alternative Energy Journal, Vol. 37_3, 405-434.

5. Felipe Leite Coelho da Silva, Kleyton da Costa, Paulo Canas Rodrigues, Rodrigo Salas, Javier Linkolk Lopez-Gonzales. Statistical and Artificial Neural Networks Models for Electricity Consumption Forecasting in the Brazilian Industrial Sector. Energies. 2022. Vol. 15(2). Article 588.

6. Kavoosi Davoodia S. M., Najafi S. E., Hosseinzadeh Lotfib F., Mohammadiyanc H. Provision of an Optimal Strategy to Forecast the Prices Set by the Electricity Market in the Competitive Iranian Energy Market in Fall. International Journal of Engineering. 2021. Vol. 34. No. 1. P. 149-161.

7. Marek Borowski, Piotr Z' yczkowski, Jianwei Cheng, Rafal Luczak, Klaudia Zwolinska. The Combustion of Methane from Hard Coal Seams in Gas Engines as a Technology Leading to Reducing Greenhouse Gas Emissions--Electricity Prediction Using ANN. 13, 4429. Energies. 2020.

8. Fletcher R., Reeves C. M. Function minimization by conjugate gradients// Computer Journal. 1964. Vol. 7. P. 149-154.

9. Hagan M.T., Menhaj M. Training feedforward networks with the Marquardt algorithm// IEEE Transactions on Neural Networks. 1994. Vol. 5, N 6. P. 989-993.

10. Rumelhart D. E., Hinton G.E., Williams R. J. Learning representations by backpropagating errors// Nature. 1986. Vol. 323. P. 533-536.

11. Vogl T.P., Mangis J.K. et al. Accelerating the convergence of the backpropagation method// Biological Cybernetics. 1988. Vol. 59. P. 256-264.

References

1. Saima Akhtar, Muhammad Adeel, Muhammad Iqbal, Abdallah Namoun (2023). Ali Tufail, Ki-Hyung Kim. Deep learning methods utilization in electric power systems. Energy Reports, 10. P. 2138-2151.

2. Alvarez Anton J.C., Garcia-Nieto P.J., Garcia-Gonzalo E., Gonzalez Vega M., Blanco Viejo C. (2023). Data-driven state-of-charge prediction of a storage cell using ABC/GBRT, ABC/MLP and LASSO machine learning techniques. Journal of Computational and Applied Mathematics, 433, 115305.

3. Meftah Elsaraiti, Adel Merabet. (2022). Solar Power Forecasting Using Deep Learning Techniques. TREE Access, 10, 31692-31698.

4. Gang Lei, Chunxiang Xu, Junmin Chen, Hongyang Zhao, Hesam Parvaneh. (2021). Performance of a Hybrid Neural-Based Framework for Alternative Electricity Price Forecasting in the Smart Grid. Distributed Generation & Alternative Energy Journal, 37_3, 405-434.

5. Felipe Leite Coelho da Silva, Kleyton da Costa, Paulo Canas Rodrigues, Rodrigo Salas, Javier Linkolk Lopez-Gonzales. (2022). Statistical and Artificial Neural Networks Models for Electricity Consumption Forecasting in the Brazilian Industrial Sector. Energies, 15(2), 588.

6. Kavoosi Davoodia S. M., Najafi S. E., Hosseinzadeh Lotfib F., Mohammadiyanc H. (2021). Provision of an Optimal Strategy to Forecast the Prices Set by the Electricity Market in the Competitive Iranian Energy Market in Fall. International Journal of Engineering. 34, 1, P. 149-161.

7. Marek Borowski, Piotr Z' yczkowski, Jianwei Cheng, Rafal Luczak, Klaudia Zwolinska. (2020). The Combustion of Methane from Hard Coal Seams in Gas Engines as a Technology Leading to Reducing Greenhouse Gas Emissions--Electricity Prediction Using ANN. Energies. 13, 4429.

8. Fletcher R., Reeves C. M. (1964). Function minimization by conjugate gradients. Computer Journal, 7, 149-154.

9. Hagan M.T., Menhaj M. (1994). Training feedforward networks with the Marquardt algorithm, IEEE Transactions on Neural Networks, 5, 6. 989-993.

10. Rumelhart D. E., Hinton G.E., Williams R. J. (1986). Learning representations by backpropagating errors. Nature, 323, 533-536.

11. Vogl T.P., Mangis J.K. et al. (1988). Accelerating the convergence of the backpropagation method. Biological Cybernetics, 59, 256-264.

Размещено на Allbest.ru