Аналіз алгоритмічного і математичного апарату для систем побудови та аналізу інструментів управління персональними фінансами
Вивчення питання вибору математичного апарату для вирішення проблеми знаходження оптимальних стратегій для фінансових вкладень людей. Підхід агентного моделювання і спосіб статистичного моделювання випадкових процесів за допомогою ланцюгів Маркова.
| Рубрика | Финансы, деньги и налоги |
| Вид | статья |
| Язык | украинский |
| Дата добавления | 26.04.2023 |
| Размер файла | 758,5 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Державний університет «Житомирська політехніка»
кафедра інженерії програмного забезпечення
АНАЛІЗ АЛГОРИТМІЧНОГО І МАТЕМАТИЧНОГО АПАРАТУ ДЛЯ СИСТЕМ ПОБУДОВИ ТА АНАЛІЗУ ІНСТРУМЕНТІВ УПРАВЛІННЯ ПЕРСОНАЛЬНИМИ ФІНАНСАМИ
Євген ОГІНСЬКИЙ аспірант
Дмитро АНТОНЮК кандидат педагогічних наук, доцент
Тетяна ВАКАЛЮК доктор педагогічних наук, професор
Дмитро МОСКАЛИК аспірант Вячеслав ВАСИЛЕНКО аспірант
Житомир
Анотація
математичний фінансовий вкладення стратегія
Управління персональними фінансами має велике значення для сучасної людини. Воно визначає ухвалення фінансових рішень для того, щоб людина почувалася захищеною, покращувала персональний фінансовий добробут, завчасно формувала резервний фонд на випадок непередбачуваних ситуацій. Для досягнення фінансових цілей можуть використовуватися різні фінансові інструменти. Це може бути банківський депозит, облігації, акції, нерухомість, тощо. Кожен фінансовий інструмент також має свої характеристики. Кожен інструмент має свою ризикованість, часові обмеження і прибутковість. Валютні ризики, фінансові кризи, пандемії дуже сильно впливають на характеристики фінансових інструментів, роблять їх більш або менш привабливими. Вкладення у державні облігації можуть бути дуже вигідними в один період часу і значно менш вигідними у інші періоди часу. Тобто фінансові інструменти можуть підходити для визначених фінансових цілей в один період часу і не підходити в інший. Виникає питання вибору математичного апарату для вирішення проблеми знаходження оптимальних стратегій для фінансових вкладень людей, для того щоб врахувати різні фактори. Розглянуто детально такі методи і їх особливості як Supervised learning, Unsupervised learning, навчання з підкріпленням. Також розглянуто деякі алгоритми Supervised learning: лінійна регресія, дерева ухвалення рішень, поліноміальна регресія. Алгоритми методу Unsupervised learning: кластерний аналіз, метод K-середніх, ієрархічна кластеризація, кластеризація на основі щільності. Також розглянуто підхід агентного моделювання і спосіб статистичного моделювання випадкових процесів за допомогою ланцюгів Маркова, алгоритми навчання з підкріпленням, а саме Value-based метод і Policy-based метод. Також було розглянуто різні типи задач, які можна вирішувати за допомогою наведених підходів. Дані алгоритми дають можливість для їх широкого застосування у різних сферах, а також для вирішення питань управління персональними фінансами.
Ключові слова: Персональні фінанси, інструменти управління персональними фінансами, навчання з підкріпленням, лінійна регресія, дерева ухвалення рішень, поліноміальна регресія.
Annotation
ANALYSIS OF ALGORITHMIC AND MATHEMATICAL APPARATUS FOR SYSTEM OF DEVELOPMENT AND ANALYSIS OF PERSONAL FINANCE MANAGEMENT TOOLS
Yevhen OHINSKYI PhD student, Department of Software Engineering, Zhytomyr Polytechnic State University, Zhytomyr, Ukraine
Dmytro ANTONIUK Candidate of Pedagogical Sciences, Associate Professor, Associate Professor of the Software Engineering Department, Zhytomyr Polytechnic State University, Zhytomyr, Ukraine
Tetyana VAKALIUK Doctor of Pedagogical Sciences, Professor, Professor of Software Engineering Department, Zhytomyr Polytechnic State University, Zhytomyr, Ukraine
Dmytro MOSKALYK PhD student, Department of Software Engineering, Zhytomyr Polytechnic State University, Zhytomyr, Ukraine
Viacheslav VASYLENKO PhD student, Department of Software Engineering, Zhytomyr Polytechnic State University, Zhytomyr, Ukraine
Personal finance management is importantfor people nowadays. It determines financial decision making so that a person feels protected, improves personal financial well-being, and creates a reserve fund in advance to handle unforeseen situations. Various financial instruments can be used to achieve financial goals. It can be a bank deposit, bonds, shares, real estate, etc. Each financial instrument also has its own characteristics. Each instrument has certain riskiness, time limits and profitability. Currency risks, financial crises, and pandemics greatly affect the characteristics of financial instruments, make them more or less attractive. Investing in government bonds can be very profitable in one time period and less profitable in other time period. So, financial instruments may be suitable for certain financial goals in one time period and not suitable in another. The question arises of choosing a mathematical apparatus for solving the problem of finding optimal strategies for people's financial investments, in order to consider variousfactors.
Such methods as Supervised learning, Unsupervised learning, and Reinforcement learning and their peculiarities are considered in detail. It is also considered certain Supervised learning algorithms: linear regression, decision trees, polynomial regression. Algorithms of the Unsupervised learning method: cluster analysis, K-means method, hierarchical clustering, densitybased clustering. The approach of agent modeling and the method of statistical modeling of random processes using Markov chains, reinforcement learning algorithms, namely the Value-based method and the Policy-based method, are also considered. Different types of problems that can be solved using the above approaches were also considered. These algorithms can be widely used in various areas, as well as for solving personal finance management tasks.
Key words: Personal finance, tools personal finance management, reinforcement learning, linear regression, decision trees, polynomial regression.
Постановка проблеми
Управління персональними фінансами має велике значення для сучасної людини. Воно визначає ухвалення фінансових рішень для того, щоб людина почувалася захищеною, покращувала персональний фінансовий добробут, завчасно формувала резервний фонд на випадок непередбачуваних ситуацій.
Окрім збалансованого підходу до керування поточних доходів і витрат у людини виникає необхідність планувати накопичення з бажаною сумою для виконання мети. Наприклад, пенсійні накопичення, накопичення на освіту дітей, накопичення на купівлю житла, авто, тощо.
До кожної фінансової цілі ставляться свої вимоги і кожна ціль має свою важливість. Наприклад, людина може легко відкласти купівлю авто, або змінити суму купівлі. Але накопичення коштів на навчання дітей мають набагато більшу важливість, і фіксовані часові рамки. Не досягнення цієї цілі може мати вкрай небажаний наслідок.
Також фінансові цілі мають різні вимоги по доступності коштів. Резервний фонд має бути диверсифікованим і легко доступним, він має конкретну суму і бути достатнім для проживання родини протягом певного періоду часу за відсутності інших доходів. Накопичення на освіту мають конкретну дату і до досягнення цієї дати вони можуть бути недоступними.
Для досягнення фінансових цілей можуть використовуватися різні фінансові інструменти. Це може бути банківський депозит, облігації, акції, нерухомість, тощо. Кожен фінансовий інструмент також має свої параметри. Кожен інструмент має свою ризикованість, часові обмеження і прибутковість. Наприклад депозит має дату закриття і фіксовану процентну ставку, має помірну прибутковість і маленьку ризикованість. У депозита є можливість дострокового розірвання з відповідними штрафами і фінансовими втратами. Облігації також мають дату погашення і фіксовану прибутковість. Державні облігації мають найменшу ризикованість. У свою чергу вкладення в акції не мають конкретної дати повернення вкладень, акції можна купити або продати в будь який час. Акції мають набагато більшу ризикованість порівняно з депозитами або облігаціями. Але також акції мають набагато більший потенціал по прибутковості на великому проміжку часу.
Властивості фінансових інструментів робить їх найбільш підходящими або небажаними для використання в досягненні конкретних фінансових цілей. Наприклад депозити або державні облігації, що мають гарантований прибуток і роблять кошти доступними на конкретну дату можуть бути найбільш відповідними інструментами для накопичень для освіти дітей, частково використання в резервному фонді, використання для пенсійних накопичень, у випадку скорого настання пенсії. В свою чергу акції можуть бути досить перспективним інструментом для пенсійних накопичень для молодих людей.
Також люди мають свої характеристики, що може впливати на вибір того чи іншого інструменту. Наприклад, варто враховувати вік, схильність до ризику, можливість переносити тимчасові зниження поточної вартості інвестицій.
Валютні ризики, фінансові кризи, пандемії дуже сильно впливають на параметри фінансових інструментів. Роблять їх більш або менш привабливими. Вкладення у державні облігації можуть бути дуже привабливими в один період часу і значно зменшувати свою привабливість у інші періоди часу. Тобто фінансові інструменти можуть підходити для визначених фінансових цілей в один період часу і не підходити в інший.
Виникає питання вибору математичного апарату для вирішення проблеми знаходження оптимальних стратегій для фінансових вкладень людей, для того щоб врахувати різні фактори.
Аналіз останніх досліджень і публікацій
Існують різні методи машинного навчання, які можуть широко застосовуються у фінансовій сфері і які можуть бути застосовані для систем побудови та аналізу інструментів управління персональними фінансами.
Зокрема, зазначеним питанням приділяли увагу в своїх дослідженнях такі науковці як: R. S. Sutton [1; 2], A. G. Barto [1, 2], К. Ю. Кононова [5], B. Hambly [7], R. Xu [7], H. Yang [7] та ін. Розглянемо детально такі методи і їх особливості як Supervised learning, Unsupervised learning, навчання з підкріпленням. Також розглянемо деякі алгоритми Supervised learning: лінійна регресія, дерева ухвалення рішень, поліноміальна регресія. Алгоритми методу Unsupervised learning: кластерний аналіз, метод K-середніх, ієрархічна кластеризація, кластеризація на основі щільності. Також розглянемо підхід агентного моделювання і спосіб статистичного моделювання випадкових процесів за допомогою ланцюгів Маркова, алгоритми навчання з підкріпленням, а саме Value-based метод і Policy-based метод.
Мета статті - аналіз алгоритмічного і математичного апарату для систем побудови та аналізу інструментів управління персональними фінансами.
Виклад основного матеріалу
Машинне навчання. Підхід Supervised learning
Навчання з учителем використовує набір даних для тренування для того щоб навчити модель видавати бажані вихідні дані. Набір даних для тренування включає вхідні дані і правильні вихідні дані, що дає змогу моделі вчитись протягом часу (рис. 1).
Рис. 1 Принцип роботи машинного навчання Supervised learning
Навчання з учителем використовується для двох типів проблем: класифікація і регресія.
Класифікація використовує алгоритм щоб вказати вхідним даним відповідну категорію. Він розпізнає специфічні сутності в наборі даних і намагається зробити висновок як ці сутності повинні бути позначені. Основні алгоритми класифікації: лінійна класифікація, метод опорних векторів, дерева ухвалення рішень, метод k-найближчих сусідів.
Регресія використовується для того щоб визначити зв'язок між залежними і незалежними змінними. Вона може використовуватись наприклад для визначення вартості будинку в залежності від параметрів. Популярні алгоритми регресії - лінійна регресія, логістична регресія і поліноміальна регресія.
Дерево рішень як алгоритм машинного навчання - це об'єднання логічних правил типу «Якщо... То...» в структуру «дерева», створюючи ієрархічну структуру правил. Дерево рішень складається з вузлів, де проводиться перевірка умови і листя (вузлів рішення), що вказують на клас або його середнє значення. Під час побудови дерева рішень обчислюється приріст інформації (на основі оцінки ентропії). Ентропія відповідає ступеню хаосу в системі. Чим вище ентропія, тим менше впорядкована система і навпаки. Інформація протилежна ентропії. Ентропія Шеннона визначається для системи з N можливими станами так:
де р. - ймовірності знаходження системи в /-му стані.
Основою алгоритмів побудови дерева рішень є принцип жадібної максимізації приросту інформації - на кожному кроці вибирається та ознака, за якою під час розподілу приріст інформації виявляється найбільшим. Далі процедура повторюється рекурсивно, поки ентропія не буде дорівнювати нулю або якійсь малій величині (якщо дерево не підлаштовується ідеально під навчальну вибірку, щоб уникнути перенавчання). У різних алгоритмах застосовуються різні евристики для «ранньої зупинки» або «відсікання», щоб уникнути побудови перенавченого дерева.
Алгоритм дерева рішень класифікує об'єкти, відповідаючи на «питання» про їх атрибутах, розташовані у вузлових точках. Залежно від відповіді вибирається одна з гілок, і так до тих пір, поки не буде досягнуто «лист» - остаточну відповідь.
Рис. 2 Алгоритм дерева прийняття рішень щодо пропозиції нової роботи
Серед застосувань дерева рішень - платформи управління знаннями для клієнтського обслуговування, прогнозного призначення цін і планування випуску продукції. У страховій компанії дерево рішень допоможе з'ясувати, які види страхових продуктів і премій краще задіяти з урахуванням можливого ризику. Використовуючи дані про місцезнаходження і відомості про страхові випадки з урахуванням погодних умов, система може визначати категорії ризику на підставі поданих вимог і витрачених сум. Потім, використовуючи моделі, система буде оцінювати нові заяви про страховий захист, класифікуючи їх по категорії ризику і можливого фінансового збитку.
Прикладом використання алгоритму в банківській сфері є кредитування. Якщо визначити ключові фактори - вік, рівень доход, утриманці, сімейний стан, кредити в інших організаціях, наявність рухомого і нерухомого майна, то по кожній з ключових гілок можна скласти приблизний план можливих дій. При послідовному виясненні інформації, наявність рухомого і нерухомого майна може стати додатковою гарантією повернення коштів, тому, якщо потенційний позичальник дійшов до цього етапу і позитивно відповів на останнє запитання, то однозначно рішення про видачу йому грошей буде позитивним. Скоротити шлях до будь-якого з рішень «Видати» або «Не видати» можна на будь-якому етапі.
Модель лінійної регресії - часто використовувана в статистиці модель лінійної залежності однієї змінної у від іншої, незалежної змінної х, або декількох змінних. Загальна лінійна регресійна модель має вигляд:
Уявімо, що маємо просту модель, в якій ми намагаємося використовувати вік, щоб передбачити, скільки покупець витратить на певний товар цього тижня.
Точки на графіку - це точки, які використані для навчання моделі. Лінія між точками - це лінія найкращого підходу, яку створила модель, вона якнайкраще відображає напрямок цих точок. Згідно графіка, схоже, що чим старше хтось, тим більше грошей він витратить. Припустимо що ми знаємо вік покупця (65 років), тому ми знайдемо 65 на осі x і будемо йти по пунктирній лінії, доки не зустрінемо визначену «лінію найкращого підходу». Тепер ми можемо прослідкувати другу пунктирну лінію до осі у і визначити наше передбачення - ми передбачимо, що покупець витратить 33 долари цього тижня.
Для отримання «лінії найкращого підходу», у формулі лінійної регресії змінимо кілька змінних, додамо термін помилки (e), щоб врахувати випадковість, і заповнити нашу ціль ($ spent this week, витрачені гроші) та характеристики (age, вік).
Рис. 4 Формули для опису моделі залежності витрачених грошей від віку покупця
Можна навчити модель, щоб дізнатися зв'язок між віком і витраченими на тиждень доларами на основі попередніх даних. Модель визначить значення m1 і b, які найкраще передбачають витрачені долари цього тижня, враховуючи вік. Ми можемо легко додати більше функцій, таких як has_kids, і модель також дізнається значення m2.
Поліноміальна лінійна регресія є статистичним методом, який використовує кілька пояснювальних змінних для прогнозування результату змінної відповіді. Метою множинної лінійної регресії є моделювання лінійного співвідношення між пояснювальними (незалежними) змінними та змінною реакції (залежною). Модель може бути описана наступною формулою:
В наведеній формулі у - відповідь на величини, тобто представляє результат, передбачений моделлю; b0 - перехоплення, тобто значення у, коли x. всі вони рівні 0; перша характеристика b1 - коефіцієнт x1; ще одна особливість bn - коефіцієнт xn; x1,x2,., xn є незалежними змінними моделі.
Наприклад, для оцінки викидів CO2 автомобіля (залежна змінна у), потрібно врахувати потужність двигуна, кількість циліндрів та витрату палива. Останніми чинниками є незалежні змінні xt, x2 та x3. Константи b. є дійсними числами і називаються розрахунковими коефіцієнтами регресії моделі. Y - неперервна залежна величина.
Множинний регресійний аналіз - це метод, який використовується для виявлення впливу незалежних змінних на залежну змінну.
Розуміння того, як змінюється залежна змінна у міру зміни незалежних змінних, дозволяє нам передбачити наслідки чи наслідки змін у реальних ситуаціях. За допомогою багаторазової лінійної регресії можна зрозуміти, як змінюється артеріальний тиск, коли змінюється індекс маси тіла, враховуючи такі фактори, як вік, стать тощо, таким чином припускаючи, що може статися. Також можна отримати оцінки щодо тенденцій цін, таких як майбутня тенденція до нафти чи золота.
Машинне навчання. Підхід Unsupervised learning.
Навчання без учителя передбачає тільки наявність вхідних значень без відповідних вихідних значень в наборі даних для навчання.
Під час процесу неконтрольованого нав чання система не має конкретних наборів даних, і результати більшості проблем в основному невідомі.
Рис. 5 Принцип роботи машинного навчання Unsupervised learning
Метод навчання без вчителя в основному використовується для кластеризації, або упорядкування об'єктів в порівняно однорідні групи.
У реальності добре розмічені дані - це велика рідкість, тому для їх розмітки зазвичай використовують або спеціальні сервіси, у яких реальні люди з країн з дешевою робочою силою за мінімальну плату вручну класифікують дані, або спеціальні алгоритми для розмітки (які, в свою чергу, можуть також використовувати машинне навчання). Великі корпорації, які мають величезний потік користувачів, можуть використовувати для розмітки своїх клієнтів. Наприклад, Google і його anticaptcha: знаходячи автобуси на фото, користувач підтверджує, що «він не робот», а також навчає нейронну мережу тому, який вигляд має автобус. До таких алгоритмів належать задачі кластеризації, зменшення розмірності і пошуку правил.
Алгоритми навчання без вчителя мають широкий спектр застосувань і корисні для вирішення реальних проблем, таких як виявлення аномалій, побудови рекомендаційних систем, групування документів або пошук клієнтів із спільними інтересами на основі їхніх покупок.
Кластерний аналіз використовується для групування або сегментування наборів даних із загальними атрибутами для визначення алгоритмічних зв'язків. Це розділ машинного навчання, який групує дані, які не були марковані чи класифіковані. Даний аналіз визначає спільність даних та реагує на основі наявності або відсутності таких спільних рис у кожному новому фрагменті даних (рис. 6).
Рис. 6 Схема роботи кластерного аналізу
Модель машинного навчання зможе зробити висновок про наявність двох різних класів, не знаючи нічого іншого з даних.
Алгоритми кластеризації використовують для сегментації ринку (типів покупців, лояльності), об'єднання близьких точок на карті, стиснення зображень, аналіз і розмітки нових даних, визначення аномальної поведінки.
Деякі з найпоширеніших алгоритмів кластеризації: метод K-середніх, ієрархічна кластеризація, кластеризація на основі щільності (DBSCAN).
Алгоритми K-середніх прості у реалізації та дуже ефективні з точки зору обчислень. Але вони не дуже добре ідентифікують класи, коли мають справу з групами, які не мають сферичної форми розподілу. Алгоритми K-середніх спрямовані на пошук і групування в класах точок даних, які мають високу схожість між ними. З точки зору алгоритму, ця подібність розуміється як протилежність відстані між точками даних. Чим ближче розташовані точки даних, тим більше вони будуть схожими та з більшою ймовірністю належати до одного кластеру.
Алгоритми K-середніх спрямовані на пошук і групування в класах точок даних, які мають високу схожість між ними. З точки зору алгоритму, ця подібність розуміється як протилежність відстані між точками даних. Чим ближче розташовані точки даних, тим більше вони будуть схожими та з більшою ймовірністю належати до одного кластеру.
Метод K-середніх є найбільш корисний, коли заздалегідь відома точна кількість кластерів і коли маємо справу зі сферичними розподілами.
Рис. 7 Візуалізація результату до і після застосування методу К-середніх
Ієрархічна кластеризація є альтернативою алгоритмам кластеризації на основі прототипів. Основна перевага ієрархічної кластеризації полягає в тому, що не потрібно вказувати кількість кластерів, алгоритм визначить їх сам. Крім того, він дає змогу побудувати дендрограми, тобто візуалізації бінарної ієрархічної кластеризації.
Рис. 8 Дендрограма при ієрархічній кластеризації
Перевагами ієрархічної кластеризації є те, що отримані ієрархічні уявлення можуть бути дуже інформативними, дендрограми забезпечують інформативний спосіб візуалізації. Вони особливо корисні, коли набір даних містить реальні ієрархічні зв'язки. Але методи ієрархічної кластеризації дуже чутливі до викидів, і за їх наявності продуктивність моделі значно знижується. Крім того, вони дуже дорогі з точки зору обчислень.
У кластеризації на основі щільності, кластери визначаються як області з більшою щільністю, ніж решта набору даних. Об'єктами в розріджених районах, які необхідні для відокремлення скупчень, зазвичай вважаються точки шуму та кордону.
Найпопулярніший метод кластеризації на основі щільності є DBSCAN. Він має чітко визначену кластерну модель, яка називається «щільність-доступність». Подібно до кластеризації на основі зв'язків, вона базується на точках з'єднання в межах певних порогів відстані. Однак він з'єднує лише точки, які задовольняють критерію щільності, в оригінальному варіанті визначений як мінімальна кількість інших об'єктів у цьому радіусі. Кластер складається з усіх об'єктів, пов'язаних із щільністю (які можуть утворювати кластер довільної форми, на відміну від багатьох інших методів), а також усіх об'єктів, що знаходяться в межах діапазону цих об'єктів.
Рис. 9 Процес кластеризації за методом DBSCAN
Перевагами методу DBSCAN є те, що не потрібно вказувати кількість кластерів; існує велика гнучкість у формах і розмірах, які можуть приймати кластери; дуже корисно виявляти й працювати з даними шуму та викидами.
Недоліки методу в складнощах роботи з прикордонними точками, які доступні двом кластерами і в тому, що він не знаходить добре скупчення різної щільності.
Агентне моделювання
Агентне моделювання (agent-based modeling) це система яка побудована з автономних елементів, що приймають рішення. Кожен агент аналізує середовище і приймає рішення на основі набору правил. Агенти можуть виконувати різноманітні дії, що підходять для системи яку вони представляють, наприклад виробляти, споживати, продавати. Процес моделювання полягає в повторювані взаємодії агентів. Навіть у простому вигляді агентне моделювання може відтворювати складні шаблони поведінки і надавати інформацію про процеси у системах реального світу, що вони емулюють. Також агенти можуть еволюціонувати і показувати непередбачувану поведінку. Складні системи агентного моделювання може містити нейронні мережі, еволюційні алгоритми, або інші техніки навчання, щоб відтворити реалістичне навчання і адаптацію під різноманітні умови.
В багатьох випадках агентне моделювання найбільш природньо підходить для опису і симуляції систем, які складаються з сутностей, що відтворюють певну поведінку. Це може бути опис автомобільного руху, ринку акцій, або роботу організацій.
Ланцюги Маркова
Ланцюги Маркова є досить поширеним і відносно простим способом статистичного моделювання випадкових процесів. Вони використовувалися в багатьох різних областях, починаючи від генерації тексту і закінчуючи фінансовим моделюванням. Ланцюги Маркова концептуально досить інтуїтивно зрозумілі й доступні, оскільки їх можна реалізувати без використання складних статистичних чи математичних концепцій.
Рис. 10 Простий ланцюг Маркова з двома станами і чотирма переходами
Уявімо, що для погоди можливі два стани: сонячно або хмарно. Якщо ми ставимо задачу передбачити, якою буде погода завтра, інтуїтивно ми припускаємо, що в цьому процесі є невід'ємний перехід, оскільки поточна погода має певний вплив на те, якою буде погода наступного дня. Припустимо, за результатом багаторічних досліджень за погодою, розрахунок ймовірності настання сонячного дня після похмурого дня становить 0,25. Відповідно, оскільки є лише два можливих стани, ймовірність настання похмурого дня після похмурого дня має становити 0,75.
Можна використовувати цей розподіл, щоб передбачати погоду на найближчі дні на основі поточного стану погоди на даний момент.
Рис. 11 Візуалізація прикладу погоди
Цей приклад ілюструє багато ключових понять ланцюга Маркова. Ланцюг Маркова по суті складається з набору переходів, які визначаються деяким розподілом ймовірностей, що задовольняють властивість Маркова. Розподіл ймовірностей отримується виключно шляхом спостереження переходів від поточного дня до наступного. Це ілюструє властивість Маркова, характеристику Марківських процесів, яка робить їх безпам'ятними, тобто такими що наступний стан залежить лише від поточного стану, а не від послідовності подій, що передували йому. Це, як правило, залишає їх не в змозі успішно створювати послідовності, в яких очікується певна основна тенденція. Наприклад, у той час як ланцюг Маркова може імітувати стиль письма автора на основі частоти слів, він не зможе створити текст, який містить глибоке значення або тематичне значення, оскільки не може враховувати повний ланцюжок попередніх станів.
Навчання з підкріпленням
Зазвичай для навчання моделей потрібна величезна кількість даних. Чим складніша модель, тим більше даних для неї може знадобитися. Але ці дані можуть бути недоступні або їх може не існувати. Крім того, зібрані дані можуть бути ненадійними, мати помилкові значення, чи бути застарілими. Ці проблеми можна подолати за допомогою навчання з підкріпленням.
В схемі навчання з підкріпленням приймають участь агент і середовище. На кожній ітерації середовище генерує стан та надає агенту спостереження. Агент, в свою чергу, вибирає одну з можливих дій, на що отримує винагороду та наступне спостереження. Рисунок 12 ілюструє дану схему взаємодії.
Рис. 12 Схема взаємодії середовища з агентом
Навчання з підкріпленням це галузь машинного навчання яка заснована на спробах і помилках. Агент отримує дані з середовища і вибирає наступну дію для даного стану. При виборі кожної дії агент може отримати певну винагороду. Рішення приймається для максимізації винагороди. Навчання з підкріпленням використовується в системах для знаходження найкращої поведінки чи шляху, що вибирається в специфічній ситуації (рис. 13).
Рис. 13 Схема навчання з підкріпленням
Навчання з підкріпленням широко застосовується у різноманітних фінансових застосунках і у торгівлі акціями. У даних сферах вибрані дії можуть мати віддалений ефект, який не завжди можна миттєво виміряти. Деякі фінансові проблеми можуть бути вирішені прийняттям послідовних рішень. Комбінація спроб нових дій і повторного вибору дій на основі вже отриманих агентом даних може бути використана для покращення оптимальності навчання алгоритмами з підкріпленням.
Value-based підхід визначає стан або значення вартості для кожного стану. Мета агенту знайти таку стратегію яка оптимізує очікуване винагороду яка визначається функцією. Один з алгоритмів даного підходу Q-навчання.
Алгоритм має такі складові:
- r винагорода, яку отримає агень при переході від стану st до s ;
- а - швидкість навчання, що визначає, якою мірою нова інформація перевизначатиме стару;
- у - коефіцієнт знецінювання, що визначає більший ефект від винагород, отриманих раніше, ніж отриманих пізніше.
Алгоритм базується на рівняння Белмана що визначає ітеративне оновлення значень, використовуючи середньозважене старе значення та нову інформацію.
Рис. 14 Алгоритм Q-навчання
Для неглибокого навчання значення Q-функції зберігається в таблиці:
Рис. 15 Таблиця Q-навчання
Перед початком навчання значення Q ініціалізують довільним значенням, наприклад 0. Потім на кожному кроці агент обирає дію at і переходить до нового стану S й таблиця Q оновлюється. В цій таблиці кожен елемент - це значення винагороди, яка змінюється при навчанні.
При навчанні на основі стратегій (англ. Policy Based Reinforcement Learning), агент використовує певні стратегії для вибору дії. Для Value-based методів агент підраховує значення функції вартості, але можливі також і інші правила для вибору дії, без підрахування функції вартості.
Стратегія визначається наступним чином
де s - значення стану, а - дія, Q-параметри моделі. Тобто стратегія - це поведінка агента, або функція яка визначає дію для поточного стану.
Виділяють наступні види:
- детерміністичні стратегії - де дії чітко визначені;
- стохастичні стратегії - де є ймовірність вибору різних дій в даному стані.
Навчання на основі стратегій є більш ефективним в середовищах з великою кількістю станів. Велика кількість станів може призвести до значного використання пам'яті при інших алгоритмів.
Але навчання на основі стратегій дозволяє уникнути цього, так як алгоритм може використовувати лише деякі параметри системи, а не підраховувати значення для всіх можливих станів. Також перевагою даного методу є те, що він дозволяє використовувати стохастичні стратегії.
Висновки
В даній роботі був розглянутий можливий алгоритмічний і математичний апарат для систем побудови та аналізу інструментів управління персональними фінансами. Були наведені різні підходи машинного навчання, а саме Supervised learning, Unsupervised learning і навчання з підкріпленнями. Також було розглянуто різні типи задач, які можна вирішувати за допомогою наведених підходів. Дані алгоритми дають можливість для їх широкого застосування у різних сферах, а також для вирішення питань управління персональними фінансами.
Список використаних джерел
1. R. S. Sutton, and A. G. Barto, Reinforcement learning: an introduction. Cambridge: The MIT Press, 2015, p. 143-160.
2. Sutton R. S., & Barto A. G. Introduction to reinforcement learning (Vol. 135). Cambridge: MIT press; 1998.
3. Ronald van Loon. Machme learnmg explained: Understanding supervised, unsupemsed, and reinforcement learning. URL: https://bіgdata-madesіmple.com/machine-learning-explamed-understanding-supervised-unsupervisedand-reinforcement-learnmg.
4. Антонюк Д. С., Вакалюк Т. А., Дідківський В. В., Візгалов О. Ю., Необхідність розробки симулятора управління персональними фінансами. Інноваційна педагогіка: науковий журнал. Вип. 24. Том 2. Видавничий дім «Гельветика», 2020. С. 208-212.
5. Кононова К. Ю. Машинне навчання: методи та моделі. МОН України, Харківський національний університет імені В. Н. Каразіна, 2020. С. 47-48
6. What are the types of Reinforcement learning algorithms? URL: https://www.fmsliqblog.com/ai-and-machinelearning/what-are-the-types-of-reinforcement-learning-algorithms/
7. B. Hambly, R. Xu, H. Yang, Recent Advances in Reinforcement Learning in Finance, 2021 URL: https://arxiv.org/ abs/2112.04553
8. Unsupervised learning URL: https://en.wikipedia.org/wiki/Unsupervised_learning.
9. Reinforcement learning URL: https://en.wikipedia.org/wiki/Reinforcement_learning.
10. Markov decision process URL: https://en.wikipedia.org/wiki/Markov_decision_process.
11. Q-learning URL: https://en.wikipedia.org/wiki/Q-learning.
12. Value-based Methods in Deep Reinforcement Learning. URL: https://towardsdatascience.com/value-basedmethods-in-deep-reinforcement-learning-d40ca1086e1
13. Machine Learning and Linear Models: How They Work. URL: https://blog.dataiku.com/top-machine-learningalgorithms-how-they-work-in-plain-english-1
14. Introduction to Markov Chains. URL: https://towardsdatascience.com/introduction-to-markov-chains-50da3645a50d
15. Introducing the AI Economist: Why Salesforce Researchers are Applying Machine Learning to Economics. URL: https://www.salesforce.com/news/stories/introducing-the-ai-economist-why-salesforce-researchers-are-applyingmachine-learning-to-economics.
References
1. R. S. Sutton, and A. G. Barto, Reinforcement learning: an introduction. Cambridge: The MIT Press, 2015. P. 143-160. [in English].
2. Sutton R. S., & Barto A. G. Introduction to reinforcement learning (Vol. 135). Cambridge: MIT press; 1998. [in English].
3. Ronald van Loon. Machme learnmg explained: Understanding supervised, unsupemsed, and reinforcement learning [Online] - Retrieved from: https://bіgdata-madesіmple.com/machine-learning-explaіned-understanding-supervised-unsupervised-and-reinforcement-learnmg. [in English].
4. Antoniuk D. S., Vakaliuk T. A., Didkivskyi V. V., Vizghalov O. Y. (2020). Neobhidnist rozrobky symuliatora upravlinnia personalnymy finansamy [The need of developing a personal finance management simulator]. Innovaciyna pedahohika: naukovyi zhurnal - Innovative Pedagogy: scientific journal, 24, Vol. 2. Vydavnychiy dim "Helvetyka" Derzhavnoho universytetu "Zhytomyrska politehnika" - Publishing House Helvetica. P. 208-212 [in Ukrainian].
5. K. Y. Kononova (2020). Mashynne navchannia: metody ta modeli [Machine learning: methods and models] MON Ukrainy, Kharkivskyi nacionalnyi universytet imeni V. N. Karazina - The Ministry of Education and Science of Ukraine, Kharkiv National University named after V.N. Karazin. P. 47-48 [in Ukrainian].
6. What are the types of Reinforcement learning algorithms? [Online] - Retrieved from: https://www.finsliqblog.com/ ai-and-machine-learning/what-are-the-types-of-reinforcement-learning-algorithms/ [in English].
7. B. Hambly, R. Xu, H. Yang, Recent Advances in Reinforcement Learning in Finance, 2021 [Online] - Retrieved from: https://arxiv.org/abs/2112.04553 [in English].
8. Unsupervised learning [Online] - Retrieved from: https://en.wikipedia.org/wiki/Unsupervised_learning [in English].
9. Reinforcement learning [Online] - Retrieved from: https://en.wikipedia.org/wiki/Reinforcement_learning [in English].
10. Markov decision process [Online] - Retrieved from: https://en.wikipedia.org/wiki/Markov_decision_process [in English].
11. Q-learning [Online] - Retrieved from: https://en.wikipedia.org/wiki/Q-learning [in English].
12. Value-based Methods in Deep Reinforcement Learning. [Online] - Retrieved from: https://towardsdatascience. com/value-based-methods-in-deep-reinforcement-learning-d40ca1086e1 [in English].
13. Machine Learning and Linear Models: How They Work. [Online] - Retrieved from: https://blog.dataiku.com/ top-machine-learning-algorithms-how-they-work-in-plain-english-1 [in English].
14. Introduction to Markov Chains. [Online] - Retrieved from: https://towardsdatascience.com/introduction-tomarkov-chains-50da3645a50d [in English].
15. Introducing the AI Economist: Why Salesforce Researchers are Applying Machine Learning to Economics [Online] - Retrieved from: https://www.salesforce.com/news/stories/introducing-the-ai-economist-why-salesforceresearchers-are-applying-machine-learning-to-economics [in English].
Размещено на Allbest.ru
...Подобные документы
Поняття фінансового управління, його методи та завдання. Фінансова модель підприємств. Етапи математичного моделювання і стратегія управління фінансовою діяльністю та стійкістю підприємства. Моделювання фінансових стратегій на мікроекономічному рівні.
контрольная работа [25,3 K], добавлен 11.07.2010Управління фінансами як система методів і форм організації фінансових відносин, його об'єкти та суб'єкти. Організаційні структури у складі фінансового апарату. Функціональні складові в управлінні фінансами. Державні органи управління фінансами в Україні.
презентация [109,8 K], добавлен 16.06.2016Оцінка ринкової вартості фінансових інструментів, порівняльний і дохідний підхід. Моделювання ставки дисконтування з урахуванням ризику, метод середньозваженої вартості капіталу (WACC). Оцінка вартості капітальних активів та арбітражне ціноутворення.
реферат [114,2 K], добавлен 30.06.2009Сутність та структура інформаційних систем в управлінні державними фінансами. Аналіз проблем, які виникають при створенні інформаційних систем. Місце інформаційних процесів в провідних країнах світу. Модель розвитку системи управління фінансами.
контрольная работа [249,1 K], добавлен 21.11.2013Проблема фінансування державного апарату в Україні. Вивчення сучасного стану бюджету міста і Оболонського району Києва. Аналіз видатків бюджету на фінансування державного апарату. Аналіз кон’юнктури внутрішніх коливань і ефективності структурної політики.
дипломная работа [742,8 K], добавлен 21.09.2010Організація формування фінансів підприємства. Поняття, зміст та завдання управління фінансами підприємства. Аналіз фінансових результатів та рентабельності підприємства. Прогнозна модель оцінки ефективності управління фінансами на підприємстві.
курсовая работа [1,3 M], добавлен 19.04.2011Методи та моделі прогнозування в стратегічному аналізі та управлінні: сутність, класифікація, характеристика. Стратегічний аналіз показників фінансової звітності, їх значення в управлінні підприємством. Вдосконалення системи прогнозного моделювання.
курсовая работа [82,5 K], добавлен 16.01.2010Сутність і класифікація фінансових інструментів. Проблеми становлення ринку фінансових інструментів. Шляхи та перспективи розвитку фінансових інструментів в Україні. Стратегія впровадження новітніх фінансових інструментів на ринках капіталу України.
курсовая работа [48,6 K], добавлен 05.11.2014Фінансове планування як основа ефективної діяльності підприємства. Методи моделювання процесів вибору фінансової стратегії. Методи економетричного моделювання та прогнозування, багатомірної класифікації. Побудова кластерів фінансового стану підприємства.
дипломная работа [741,7 K], добавлен 09.11.2013Шляхи удосконалення формування прибутку нафтопереробних підприємств. Використання економiко-математичного моделювання в оптимiзацiї використання прибутку підприємств. Особливості прогнозування беззбитковостi нафтопереробних підприємств України.
дипломная работа [2,1 M], добавлен 25.03.2011Бюджетування як технологія фінансового планування. Загальна характеристика підприємства. Підвищення ефективності планування ПрАТ "Моршинський завод мінеральних вод "Оскар" з використанням методів економіко-математичного моделювання і трендового аналізу.
дипломная работа [360,6 K], добавлен 17.06.2014Дослідження напрямів активізації діяльності учасників національного ринку цінних паперів. Стимулювання виходу інвесторів на ринок цінних паперів. Багатофакторний регресійний аналіз як найбільш ефективний метод економіко-математичного моделювання.
статья [112,8 K], добавлен 21.09.2017Теоретико-методологічні засади фінансового планування на підприємстві: зміст, завдання, система методів прогнозування. Відмінні риси методів експертних оцінок, екстраполяції, моделювання й економіко-математичного аналізу. Балансовий і нормативний метод.
курсовая работа [156,0 K], добавлен 16.11.2010Поняття та зміст фінансових інвестицій як процесу вкладання коштів на придбання різноманітних фінансових активів або фінансових інструментів. Їх класифікація та типи, методика аналізу. Напрямки вивчення та оцінка інвестиційних якостей цінних паперів.
презентация [641,2 K], добавлен 13.04.2014Сутність та економічна роль фінансових вкладень підприємства. Принципи інвестування. Основні цілі здійснення фінансових інвестицій, їх переваги і недоліки. Класифікація інвестицій за об’єктами вкладень. Види доходів від фінансової діяльності підприємства.
реферат [35,8 K], добавлен 20.06.2012Особливості управління та ефективність формування і використання фінансових ресурсів на державному підприємстві. Аналіз управління фінансами ПДЛП "Полтаваоблагроліс", рекомендації по удосконаленню напрямків формування та використання фінансових ресурсів.
курсовая работа [44,5 K], добавлен 20.02.2010Аналіз алокативної, дистрибутивної, стабілізаційної та контролюючої функцій фінансів. Визначення економічної сутності, законодавчого регулювання та структури фінансової системи країни. Основні напрямки вирішення проблеми пошуку грошових ресурсів держави.
дипломная работа [1,7 M], добавлен 25.08.2010Сутність, значення та місце фінансової стратегії у системі стратегічного управління підприємством. Види фінансових стратегій, принципи та методи їх розробки. Визначення фінансової позиції ПАТ "Сумське НВО ім. М.В. Фрунзе" у матриці фінансових стратегій.
дипломная работа [237,0 K], добавлен 02.03.2014Поняття фінансів та фінансової системи. Фінанси - економічна категорія, містить економічні відносини в процесі створення і використання фондів грошових коштів. Поняття управління фінансами. Органи та методи управління фінансами. Фінансове прогнозування.
контрольная работа [28,4 K], добавлен 30.12.2008Сутність і роль фінансових показників та їх аналізу в діяльності підприємства. Теоретична база та проблеми аналізу фінансових показників промислового підприємства в сучасних умовах господарювання. Деталізований аналіз фінансового стану ВАТ ПБК "Славутич".
дипломная работа [321,0 K], добавлен 02.02.2010
