Размещено на http://www.allbest.ru/

Федеральное агентство связи

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Поволжский государственный университет телекоммуникаций и информатики»

Факультет Информационных систем и технологий

Направление (специальность) Информационные системы и технологии

Кафедра Информационных систем и технологий

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

(БАКАЛАВРСКАЯ РАБОТА)

Построение и исследование моделей прогнозирования для анализа финансовых показателей

Утверждаю зав.кафедрой д.т.н., доцент 9.06.2017 Н.И.Лиманова

Руководитель Ассистент 9.06.2017 А.А.Мифтахова

Консультант зав.кафедрой д.т.н., доцент 9.06.2017 Н.И.Лиманова

Н. контролер Ассистент 9.06.2017 А.С.Лошкарев

Разработал ИСТ-32 9.06.2017 Д.А.Варданян

Самара 2017

Содержание

Задание

Отзыв руководителя

Показатели качества ВКР

Реферат

Введение

1. Анализ финансовых показателей

1.1 Описание предметной области

1.1.1 Основные определения и понятия рынка ценных бумаг

1.1.2 Организация торговли ценными бумагами, её методы и механизм

1.1.3 Электронные биржевые аукционы в открытой форме (ОАЭФ)

1.2 Интеллектуальный анализ данных (ИАД)

1.2.1 Назначение интеллектуального анализ данных (ИАД) и примеры его применение в бизнесе.

1.2.2 Технологические этапы проведения интеллектуального анализа данных.

1.2.3 Методы ИАД

1.2.4 Интеграция оперативного и интеллектуального анализа данных.

2. Сравнение и выбор средств интеллектуального анализа данных

2.1 Выбор методов интеллектуального анализа данных

2.1.1 Нейронные сети (Neural network)

2.1.2 Байесовские сети (Bayesian networks)

2.1.3 Ассоциативные правила (Association rules)

2.1.4 Деревья решений (Decision trees)

2.1.5 Кластеризация (Clustering)

2.2 Программные средства ИАД

3. Построение и исследование моделей прогнозирования для анализа финансовых показателей

3.1 Построение моделей: дерево решений, нейронные сети и кластеризации в Deductor Studio Academic

3.2 Построение моделей: дерево решений, нейронные сети и кластеризации в Оrange Canvas

3.3 Построение моделей: дерево решений, нейронные сети и кластеризации в RapidMiner

Заключение

Список использованных источников

Приложение А

Федеральное агентство связи

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Поволжский государственный университет телекоммуникаций и информатики»

ЗАДАНИЕ

по подготовке выпускной квалификационной работы

Студента Варданян Джульетты Артуровны

1 Тема ВКР

Построение и исследование моделей прогнозирования для анализа финансовых показателей

Утверждена приказом по университету от 03.04.2017 № 74-2

2 Срок сдачи студентом законченной ВКР 14.06.17

3 Исходные данные и постановка задачи

1) Изучить предметную область

2) Выявить особенности предметной области

3) Выбрать методы искусственного интеллекта, исходя из особенностей предметной области

4) Выбрать программного обеспечение (ПО), реализующее выбранные методы искусственного интеллекта (ИИ)

5)Построить модели ПО, реализующие выбранные методы ИИ

6)Провести сравнительный анализ построенных моделей

7)Сделать выводы об эффективности построенных моделей

4 Перечень подлежащих разработке в ВКР вопросов или краткое содержание ВКР. Сроки исполнения 09.06.2017

1) Описание предметной области.

2) Сравнение и выбор интеллектуального анализа данных и программного обеспечения для решения поставленной задачи

3) Построение и исследование методов прогнозирования для анализа финансовых показателей

5 Перечень графического материала. Сроки исполнения 10.06.2017

1) Презентация в Power Point

6 Дата выдачи задания « 4 » апреля 2017 г.

Кафедра Информационных систем и технологий

Утверждаю зав.кафедрой д.т.н., доцент 10.04.17 Н.И. Лиманова

Руководитель Ассистент 10.04.17 А.А.Мифтахова

Задание принял к исполнению ИСТ-32 10.04.17 Д.А. Варданян

Федеральное агентство связи

Федеральное государственное бюджетноеобразовательное учреждение

высшего образования

«Поволжский государственный университет телекоммуникаций и информатики»

ОТЗЫВ РУКОВОДИТЕЛЯ

Тип ВКР Бакалаврская работа

Студента(ки) Варданян Джульетты Артуровны

Специальность/

направление Информационные системы и технологии

Тема ВКР Построение и исследование моделей прогнозирования для анализа финансовых показателей

Руководитель Мифтахова Альфия Асхатовна

Ученая степень, звание ассистент

Место работы

(должность) ФГБОУ ВО «ПГУТИ» (доцент кафедры

информационных систем и технологий)

АКТУАЛЬНОСТЬ ТЕМЫ

Актуальность исследования темы бакалаврской работы определяется тем, что прогнозирование финансовых показателей - это важнейшая составляющая финансового анализа, представляющая собой исследование и разработку возможных путей развития финансов в будущем. Его задача - определить предполагаемый объем финансовых ресурсов в прогнозируемом периоде, найти источники их формирования и направления наиболее эффективного использования на основе анализа складывающихся тенденций и с учетом воздействия на них различных факторов. Прогнозирование финансового состояния позволяет рассмотреть возможные альтернативы разработки финансовой политики, обеспечивающие достижение организацией стабильного положения на рынке, прочной финансовой устойчивости и платежеспособности

ОЦЕНКА СОДЕРЖАНИЯ РАБОТЫ

(Структура, логика и стиль изложения представленного материала. глубина и степень проработки материала, обоснованность изложенных выводов, использование математического аппарата, использование средств вычислительной техники, макетирование, моделирование, экспериментирование) Бакалаврская работа состоит из трех основных частей.

В первой части бакалаврской работы дается описание предметной области.

Во второй части бакалаврской работы приводится описание методов интеллектуального анализа данных и программного обеспечения, реализующего описанные методы

В третьей части бакалаврской работы приводятся результаты анализа наиболее часто используемых методов прогнозирования финансовых показателей и выявлен наиболее эффективный

СТЕПЕНЬ ДОСТИЖЕНИЯ ЦЕЛИ И ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ

(Полнота раскрытия исследуемой тем, практическая ценность и возможность внедрения)

Ценность данной бакалаврской работы заключается в выявлении эффективного метода прогнозирования и оценки финансовых показателей. Результаты такого анализа необходимы собственникам, кредиторам, инвесторам, поставщикам, менеджерам, налоговым службам. Собственники анализируют финансовые отчеты для повышения доходности капитала, обеспечения стабильности положения фирмы; кредиторы и инвесторы - чтобы минимизировать свои риски по займам и вкладам; поставщики - для своевременного получения платежей; налоговые инспекции - для выполнения планов поступления средств в бюджет.

Достоинством бакалаврской работы является продуманность и качественный анализ работы предметной области

С практической точки зрения выполненная работа предоставляет эффективное решение поставленной задачи

ЗАКЛЮЧЕНИЯ ПО ПРЕДСТАВЛЕННОЙ РАБОТЕ

(Степень самостоятельной работы студента; совокупная оценка труда студента и его квалификация)

Бакалаврской работа свидетельствует о хорошем знании не только программно-технических средств, но и самой предметной области, соответствует требованиям, предъявляемым к ВКР, и заслуживает оценки «отлично», а Варданян Д.А. - присвоения квалификации бакалавр по направлению 09.03.02 «Информационные системы и технологии».

Руководитель ВКР __________ ___14.06.2017___ _____А.А. Мифтахова

Федеральное агентство связи

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Поволжский государственный университет телекоммуникаций и информатики»

ПОКАЗАТЕЛИ КАЧЕСТВА ВКР

Студент ИСТ-32 13.06.17 Д.А. Варданян

Группа Подпись Дата Инициалы Фамилия

Руководитель ВКР Ассистент 13.06.17 А.А. Мифтахова

Должность Уч.степень, звание Подпись Дата Инициалы Фамилия

По ВКР студента Варданян Джульетты Артуровны

На тему Построение и исследование моделей прогнозирования для анализа финансовых показателей

1 Работа выполнена :
- по теме, предложенной студентом
- по заявке предприятия
		наименование предприятия
- в области фундаментальных и поисковых научных исследований
		указать область исследований
2 Результаты ВКР:
- рекомендованы к опубликованию
		указать где
- рекомендованы к внедрению
		указать где
- внедрены
		акт внедрения
3 ВКР имеет практическую ценность		создание прогностических моделей для анализа финансовых показателей
		в чем заключается практическая ценность
4 Использование ЭВМ при выполнении ВКР:
(ПО, компьютерное моделирование, компьютерная обработка данных и др.)		Компьютерное моделирование
5. ВКР прошла проверку на объем заимствований		% заимствований
		эл. версия сдана

Федеральное агентство связи

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Поволжский государственный университет телекоммуникаций и информатики»

РЕФЕРАТ

Название	Построение и исследование моделей прогнозирования для анализа финансовых показателей
Автор	Варданян Джульетта Артуровна
Научный руководитель	Мифтахова Альфия Асхатовна
Ключевые слова	Интеллектуальный анализ данных, методы прогнозирования, дерево решений, нейронная сеть, кластеризация, аналитические программы, финансовые показатели, модели прогнозирования.
Дата публикации	2017 год.
Библиографическое описание	Варданян Д.А. Построение и исследование моделей прогнозирования для анализа финансовых показателей [Текст]: дипломная работа / Д.А.Варданян Поволжский государственный университет телекоммуникаций и информатики (ПГУТИ). Факультет информационных систем и технологий (ФИСТ). Кафедра информационных систем и технологий (ИСТ): науч.рук. Мифтахова А.А. - Самара. 2017. - 81 с.
Аннотация	В данной бакалаврской работе выявлены особенности предметной области, рассмотрены методы ИИ и среди них были выбраны методы, подходящие для анализа финансовых показателей. Рассмотрены различные аналитические программы и среди них были выбраны программы, реализующие выбранные методы ИИ. В каждой программе были построены модели прогнозирования деревьев решений, нейронных сетей, кластеризации. Проведен сравнительный анализ построенных моделей, особенностей аналитических программ и полученных данных

Руководитель ВКР ______________ __09.06.17 _____ А.А. Мифтахова

Консультант 09.06.17 Н.И.Лиманова

Введение

В настоящее время, в связи с процессами стабилизации и укрепления экономики в современных экономических условиях, Россия переживает довольно сложный этап. Эффективность и положительный эффект этих процессов во многом определяет грамотное регулирование экономики, планирование и прогноз финансовых показателей. На сегодняшний день объем данных настолько велик, что рассчитывать и делать прогнозы вручную невозможно, и именно поэтому мы обращаемся к интеллектуальному анализу данных (ИАД), находим наиболее эффективные методы прогнозирования и делаем выводы.

На сегодняшний день развития национальной экономики и основных национальных экономических комплексов в России уже стали основой для формирования государственной экономической политики. Прогнозирование ситуации на валютном рынке, на рынке среднесрочных и краткосрочных ценных бумаг широко развито, но опыт оптимизации прогнозирования социальной и производственной сфер всей национальной экономики забыт.

Целью дипломной работы является построение и исследование моделей прогнозирования для анализа финансовых показателей.

Для достижения поставленной цели требуется решить следующие задачи:

· Изучить предметную область.

· Выявить ее особенности.

· Выбрать методы искусственного интеллекта (ИИ), исходя из особенностей предметной области.

· Выбрать программное обеспечение (ПО), реализующее выбранные методы ИИ.

· Построить модели ПО, реализующие выбранные методы ИИ.

· Провести сравнительный анализ построенных моделей.

· Сделать выводы об эффективности разработанных моделей.

Объектом исследования являются финансовые показатели (цена открытия, максимальная, минимальная цены, цена закрытия, объем транзакций).

Предметом являются алгоритмы ИАД, предназначенные для прогнозирования финансовых показателей.

Анализ финансовых данных используется во многих финансовых институтах для точного анализа данных о клиентах, чтобы найти неплательщиков и платежеспособных клиентов. В данной дипломной работе рассматриваются различные методы анализа данных, и в дальнейшем мы будем сравнивать точность этих алгоритмов применяя наборы данных, чтобы найти наиболее последовательный и наиболее точный алгоритм интеллектуального анализа данных.

Пояснительная записка состоит из введения, трех глав, заключения, списка использованных источников и приложений.

Первая глава состоит из подробного описания области определения, описания назначения интеллектуального анализа данных и примеров его применения в анализируемой области, и интеграции оперативного и интеллектуального анализа данных.

Вторая глава состоит из сравнения и выбора средств интеллектуального анализа данных. Рассмотрены методы интеллектуального анализа данных, выбраны программные аналитические пакеты, рассмотрены возможности выбранных методов интеллектуального анализа данных.

Третья глава представляет из себя практическую часть проделанной работы. Она включает в себя построение и исследование моделей прогнозирования для анализа финансовых показателей.

В заключении представлены итоги по проделанной работе. Определены наиболее эффективные методы прогнозирования и продукты для реализации этих методов.

Теоретические и практические вопросы, лежащие в основе бакалаврской работы, рассмотрены в большом количестве источников различного характера. К таким источникам относятся учебные и учебно-методические пособия, специальные издания и электронные источники информации. Методы интеллектуального анализа данных рассматриваются в работах [10] - [19].

1. Анализ финансовых показателей

1.1 Описание предметной области

1.1.1 Основные определения и понятия рынка ценных бумаг

Одним из направлений вложения капитала с целью получения доходов или осуществления расчетов являются ценные бумаги.

Фондовая биржа - это постоянно действующий рынок, на котором покупаются и продаются ценные бумаги. Вместо того, чтобы ждать прибыли от долгосрочных восходящих трендов на рынках, трейдеры ищут возможность заработать деньги за короткие сроки. Одним из направлений вложения капитала с целью получения доходов или осуществления расчетов являются ценные бумаги. Кто-то очень хорошо разбирается в многообразии ценных бумаг, а для кого-то это еще неизведанное поле деятельности. [1]

Ценная бумага - это документ, удостоверяющий с соблюдением установленной формы и обязательных реквизитов имущественные права, осуществление или передача которых возможны только при его предъявлении. Ценная бумага может появиться только в результате эмиссии. Эмиссия ценных бумаг - это последовательность действий эмитента по размещению эмиссионных ценных бумаг.

Эмитент ценных бумаг - это юридическое лицо либо орган государственной власти, который от своего имени и в рамках своей деятельности выпускает в обращение ценные бумаги или иные платежные средства и несет ответственность перед владельцами ценных бумаг по осуществлению прав, закрепленных ими [2]

Эмитентом ценных бумаг может выступать юридическое лицо с различной формой собственности. Оно выступает в качестве продавца. Товаром являются акции либо облигации. Эмиссию могут осуществлять ОАО, ЗАО, ООО и государственные предприятия. Эмитенты, в зависимости от типа собственности, разделяются по видам деятельности, территориальной принадлежности и отраслям.

Права эмитента ценных бумаг:

· юридическое лицо имеет полномочия производить действия на рынке

· получать прибыль во время проведения деятельности

· осуществлять собственные функции в соответствии с действующим законом.

В зависимости от того, кто выпускает ценные бумаги, их можно отнести к банковским ценным бумагам, ценным бумагам юридических лиц или государственным ценным бумагам. Физические лица не могут осуществлять выпуск ценных бумаг, но они могут быть их держателями.

В бухгалтерском учете, стоимость ценных бумаг зависит от того, что компания планирует сделать с ними.

Торговые ценные бумаги являются наиболее быстро двигающимися инвестициями трех групп. Эти акции и облигации торгуются и регулярно осуществляться на открытом рынке, чтобы получить прибыль в текущем периоде. Во многих случаях эти инвестиции торгуются на ежедневной основе.

В результате, торговые ценные бумаги всегда оцениваются по справедливой рыночной стоимости. Эта процедура гарантирует, что сумма отражается на финансовой отчетности и отражает экономический эффект от этих инвестиций. В течение следующих 90 дней компания, скорее всего, осуществит продажу этих инвестиций. Таким образом, они должны быть представлены в текущих рыночных ценах с учетом того, что компания может получить за них, если продажа состоялась сегодня.

Поскольку рыночные цены меняются ежедневно, компания должна корректировать счета торговли ценных бумаг, чтобы сохранить эти активы по справедливой рыночной стоимости. Эта нереализованная прибыль или убыток корректируется на временный счет в конце каждого периода. После того, как акции или облигации продаются, прибыль или убыток реализуется и временный счет может быть закрыт. [3]

Рынок ценных бумаг является составной частью более широкого финансового рынка, где ценные бумаги могут быть куплены и проданы между субъектами экономики , на основе спроса и предложения. Рынок ценных бумаг включает в себя фондовые рынки , рынки облигаций и деривативов, на котором цены могут быть определены участниками- профессионалами, а так же могут встретиться непрофессионалы.

Рынок ценных бумаг можно разделить на два уровня ниже. Основные рынки, на которых выпускаются новые ценные бумаги и вторичные рынки, где существующие ценные бумаги могут быть куплены и проданы. Вторичные рынки могут быть дополнительно разделены на организованные биржи, такие фондовые биржи и внебиржевые, где отдельные стороны собираются вместе и непосредственно покупают или продают ценные бумаги. Держатели ценных бумаг знают, что существует вторичный рынок, в котором их ценные бумаги могут быть проданы за хорошую цену, поэтому желание удерживать акции и облигации у людей возрастает, что тем самым заставляет фирмы выпускать еще больше ценных бумаг.

Основные финансовые инструменты:

Акция - ценная бумага, свидетельствующая о внесении средств в капитал акционерного общества и дающая право на получение части прибыли в виде дивидендов. Акции могут быть двух видов:

· Обыкновенные акции представляют собой долю в компании и требования (дивиденды) на получение части прибыли. С обыкновенными акциями акционер так же получает и право голоса, дающее больше контроля над бизнесом. Кроме того, некоторые обыкновенные акции с преимущественными правами, гарантируют, что акционеры могут приобрести новые акции и сохранив при этом свои доли собственности, когда корпорация выпустит новые акции. Если компания становится банкротом и ликвидируется, общие акционеры не получат деньги, пока кредиторы и привилегированные акционера не получат выплаты.

· Привилегированные акции представляют собой степень владения в компании, но без права голоса. (Может меняться в зависимости от компании) Однако запас, как правило, имеет набор критериев оплаты; дивиденды, которые регулярно оплачиваются, что делает акции менее рискованны, чем обыкновенные акции. Кроме того, привилегированные акции могут выкупаться по более выгодной цене, чем обыкновенные акции. Еще одним преимуществом является то, что в случае если предприятие объявляет себя банкротом, долг выплачивается сначала привилегированным. Привилегированные акции могут быть отозваны, а это значит, что компания имеет опцион на покупку акций у акционеров в любое время по любой причине.

Вексель, так называемый вексель оплаты в бухгалтерском учете, или обычное «примечание», представляет собой договор , где одна сторона (производитель или эмитент) дает безусловное обещание в письменном виде, чтобы заплатит определенную сумму денег на другой стороне ( плательщику), либо за определенный период времени, либо по требованию получателя платежа, в соответствии с конкретными условиями. отличаются от векселей тем, что они дают конкретное обещание заплатить, а не просто признать то, что долг существует.

Бонд - это тип кредита, который разбит на мелкие кусочки и выдается преимущественной количеству клиентов. Обычно они перечислены на популярных фондовых биржах, свободно торгуемых на открытом рынке.

Как и в случае любого кредита, следующие условия договора предварительно определены:

В случае выдачи кредита условия договора предварительно оговорены.

· Номинальная стоимость облигации

· Процентная ставка или ставка купона

· Частота выплаты процентов - ежеквартально или раз в полгода или раз в год

· Дата погашения

В качестве инвестиций облигация дает регулярный доход. Они подходят для частных лиц и учреждений, но не подходят людям со средней заработной платой. Облигации не дают никакой защиты от инфляции.

Депозитным сертификатом или CD является срочный депозит, финансовый продукт, обычно предлагаемый потребителям банками, сберегательные институты и кредитные союзы. Диски похожи на сберегательные счета в том, что они застрахованы, и, таким образом, практически без риска. Они отличаются от сберегательных счетов тем, что депозитный сертификат имеет определенный, фиксированный срок (три месяца, шесть месяцев или один на пять лет), и, как правило, фиксированную процентную ставку. Предполагается, что депозитный сертификат не будет проводиться до погашения, в это время деньги могут быть сняты вместе с начисленными процентами. [4]

1.1.2 Организация торговли ценными бумагами, её методы и механизм

В зависимости от степени совершенствования фондового рынка, увеличивается оборот ценных бумаг, поступает все больше и больше заказов на покупку и продажу, растет количество заинтересованных лиц. Различают два основных способа организации торговли ценными бумагами (рис. 1.1): простой и двойной аукционы (каждый из которых имеет свои разновидности).

Простой аукцион представляет собой организацию торговли ценными бумагами, при которой продавцы и покупатели проводят эпизодические сделки напрямую между собой. В зависимости от спроса и предложения простой аукцион делится на следующие виды:



Рис. 1.1 - Основные способы организации торговли ценными бумагами

· Аукцион продавца («английский аукцион»). На рынке участвует ограниченное количество продавцов и множество конкурирующих между собой покупателей. Продавец устанавливает стартовую цену (начальную). Которая постоянно растет во время конкурентных торгов. Сделка заключается с покупателем готовым заплатить самую высокую цену. Как показывает практика, в процессе торгов реальная стоимость товара может увеличиться в несколько раз.

· Аукцион покупателя («голландский аукцион»). На рынке выступает небольшое количество покупателей, а число продавцов намного больше Покупатель старается выбрать наиболее выгодную для себя цену, а продавцы, в свою очередь для продажи своего актива вынуждены сжать стоимость товара. Торги происходят по принципу снижения цен на выставленные ценные бумаги. Сделка заключается с первым покупателем, который соглашается на условия сделки.

· Заочный аукцион («аукцион втемную»). Продавец объявляет о продаже ценных бумаг, а покупатели оценивают перспективы товара и их возможный рост, и выставляют свою цену. Продавец анализирует предложения и выбирает самый удобный для себя вариант.

При двойном аукционе идет одновременная конкуренция как со стороны покупателей, так и со стороны продавцов. На развитых фондовых рынках предпочтение отдается именно двойным аукционам. Суть таких торгов - одновременное поступление заявок, как на продажу, так и на покупку. При этом задача организаторов - удовлетворить как можно больше участников рынка.

Двойной аукцион подразделяется на два вида:

· Залповый аукцион. Минимальный объем сделок является особенностью залпового аукциона. Разница между ценами продавца и покупателя может сильно отличаться. Основную роль играет уровень ликвидности рынка. От него зависят периоды «залпы» (периоды реализации заявок). «Залпы» - частое явление рынка с высоким уровнем ликвидности и довольно редкое для рынка с низкой ликвидностью. Особенность заключается в определении цены аукциона, которая обязана быть единой для всех участников сделки.

Чем выше ликвидность рынка, тем больше вероятность аукциона перейти из залпового режима в непрерывный.

· Непрерывный аукцион. Регистрация цен на продажу и покупку ценных бумаг выполняется одновременно. В ряде случаев торги проводятся по принципу «толпы», при котором брокеры в специально отведенных местах «с голоса» заключают между собой сделки под контролем служащих биржи. На электронном табло указываются наилучшая цена на продажу и на покупку, время совершения последней сделки. По итогам торговой сессии биржа публикует информацию о количестве и размере сделок по любым видам ценных бумаг, наилучших ценах на покупку и продажу в течение биржевого дня, цену открытия (в начале дня) и закрытия (на момент закрытия биржи).

Немного хотелось бы остановиться на «внебиржевой» торговле ценными бумагами (посредством компьютеров).

На рынке ценных бумаг существует меньше правовых ограничений, чем можно было бы предположить. В целом все поддерживается рядом джентльменских соглашений. Использование компьютеров сильно повлияло на многие биржевые устои, и в то же время идет акцент на внедрение электронных средств обработки данных и “прозрачности” рынка.

Раньше возможно было поддерживать грамотный рыночный механизм непосредственно на бирже. Торговцы собирались, сочетались предложение и спрос, цены озвучивались вслух, таким образом информация была доступна всем. Рынок и был “прозрачен”. Теперь это тоже так - компьютер развил внебиржевую торговлю, составив конкуренцию традиционным биржам. “Прозрачность” рынка компьютер обеспечивает не хуже биржи. Любой, располагающей оборудованием, может быть в курсе состояния рынка (достаточно ввести свой курс, а остальное сделает специальная программа).

С развитием и распространением средств электронной связи “внебиржевая” торговля непрерывно совершенствуется, тем самым, вовлекая в себя с каждым днем все больше новых участников,

Многие опасаются, что традиционная биржа станет лишь придатком, а основной поток сделок пойдет по иным каналам, что угрожает существованию целых профессиональных отраслей маклеровской и банковской деятельности. Но биржи на сегодняшний день успешно существуют. [5]

1.1.3 Электронные биржевые аукционы в открытой форме (ОАЭФ)

Но, тем не менее, в последние годы на смену обычным аукционам биржи пришла их электронная версия. При этом большинство операций совершается на сайте ЭТП (электронная торговая площадка).

Целью электронных биржевых аукционов является удовлетворение нужд самых различных заказчиков, в том числе муниципального, регионального или государственного уровня.

История появления открытых аукционов началась еще в 2010 году, когда было принято решение о размещении почти 2/3 всех заказов государства на электронных площадках

При этом аккредитацию получило всего несколько площадок - ОАО «Единая торговая площадка», ЗАО «Московская межбанковская валютная биржа (ММВБ)», ЗАО «Сбербанк-АСТ», ООО «РТС-тендер» и ГУП «Агентство по госзаказу республики Татарстан».

Преимущества электронных торгов следующие:

· все операции проводятся в сжатые сроки, что позволяет экономить личное время;

· появляется возможность экономии бюджетного капитала (как правило, затраты на организацию и проведение ОАЭФ намного ниже);

· здесь всегда честная и конкурентная борьба, поэтому шансы есть у всех;

· процесс закупок открыт и прозрачен;

· все покупатели и продавцы имеют равные права друг по отношению к другу;

· участвовать в торгах можно с любой точки планеты. Главное - соединение с глобальной сетью; уровень безопасности ОАЭФ максимальный, поэтому свой капитал и оформление сделки можно не переживать. Все контракты закрепляются посредством электронной подписи; представители различных видов бизнеса получают доступ к сектору государственных закупок.

Использование интеллектуальных средств для анализа финансовых показателей становится необходимым, так как объем данных все время увеличивается, и, рассчитать и проанализировать вручную такой объем становится невозможным либо слишком затратным как по времени, так и с точки зрения финансовых затрат.

1.2 Интеллектуальный анализ данных (ИАД)

1.2.1 Назначение интеллектуального анализ данных (ИАД) и примеры его применение в бизнесе

Понятие «интеллектуальный анализ данных» (ИАД) соответствует англоязычному Knowledge Discovery in Databases (KDD), что буквально означает «обнаружение знаний в базах данных». Очень часто эти два понятия приравнивают к более популярному термину ИАД (DM). Последнее принято переводить как «добыча (или раскопка) данных». Ряд авторов предлагают рассматривать эти три понятия как синонимы.

«ИАД - это процесс обнаружения в «сырых» данных ранее неизвестных, нетривиальных, практически полезных и доступных

интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Более кратко это можно сформулировать как «технологию выявления скрытых закономерностей внутри больших баз данных».

В основе методов технологии ИАД лежит «концепция шаблонов» (паттернов), отражающих фрагменты многоаспектных взаимоотношений в данных. На основе подвыборок исходных данных выявляются закономерности (шаблоны), которые формулируются в понятной обычному человеку форме. Особенностью ИАД является «нетривиальность разыскиваемых шаблонов». Под этим понимается то, что с помощью методов ИАД должны выявляться «неочевидные, неожиданные (unexpected) регулярности в данных, составляющие так называемые скрытые знания (hidden knowledge). [6]

Выделяют пять стандартных типов закономерностей, которые можно выявить с помощью методов ИАД:

· Ассоциация - означает, что несколько событий связаны друг с другом, т.е. определяется наличие высокой вероятности связи между событиями.

· Последовательность - означает существование цепочки событий, связанных между собой во времени.

· Классификация - помогает выявить признаки, характеризующие группу, к которой принадлежит тот или иной объект.

· Кластеризация - позволяет в отличие от классификации выделять различные однородные группы данных, когда классификационные группы заранее не известны (они выявляются автоматически в процессе обработки данных).

· Прогнозирование - позволяет находить в исторической информации, представленной в виде временных рядов, такие шаблоны, которые отражают динамику поведения целевых показателей.

Информационные системы, реализующие методы ИАД, в последние годы становятся все более и более популярны как инструменты для проведения анализа экономической информации. Это становится особенно актуальным в случаях, когда из имеющихся больших объемов ретроспективных данных можно извлечь знания для принятия управленческих решений в условиях неопределенности.

По сути, сфера применения ИАД не имеет ограничений: методы ИАД можно использовать в любой сфере, подразумевающей наличие каких-либо объемных массивов данных. Применение методов ИАД имеет смысл, когда в компании накоплено очень большое количество данных. При этом крайне желательно, чтобы эти данные находились в грамотно спроектированном хранилище данных (DataWarehousing).

Рассмотрим наиболее популярные примеры практического применения методов ИАД (табл. 1.1) [7]

Таблица 1.1

Примеры практических применений методов ИАД

№ п/п	Сфера применения	Типичные задачи, решаемые методами ИАД
1.	Биржевые трейдеры	Выработка оптимальной торговой стратегии, контроль рисков.
2.	Банковское дело	Анализ кредитных рисков, привлечение и удержание клиентов, управление ресурсами.
3.	Страховые компании	Привлечение и удержание клиентов, прогнозирование финансовых показателей.
4.	Маркетинг	Рыночная сегментация, идентификация целевых групп, построение профиля клиента.
5.	Телекоммуникация и энергетика	Привлечение клиентов, ценовая политика, анализ отказов, предсказание пиковых нагрузок, прогнозирование поступления средств
6.	Налоговые службы и аудиторы	Детекция подлогов, прогнозирование поступлений в бюджет
7.	Фармацевтические компании	Предсказание результатов будущего тестирования препаратов, программы испытания
8.	Медицина	Диагностика, выбор лечебных воздействий, прогнозирование исхода хирургического вмешательства
9.	Управление производством	Контроль качества, материально-техническое обеспечение, оптимизация технологического процесса
10.	Ученые и инженеры	Построение эмпирических моделей, основанных на анализе данных, решение научно-технических задач

1.2.2 Технологические этапы проведения интеллектуального анализа данных

Процедура выполнения интеллектуального анализа данных не зависит от предметной области и может считаться универсальной. Эта процедура выражается в определенной последовательности действий, которые требуется выполнить пользователю, чтобы извлечь из сырых данных значимую информацию (т.е. знания). При этом не имеет значения, какие именно методы будут применяться для обработки данных и получения результата. Процесс ИАД можно разбить на пять этапов (рис. 1.2).



Рис. 1.2 - Этапы процесса ИАД

1. Подготовка исходного набора данных. На этом этапе необходимо собрать исходные данные (в том числе из разных источников) и сформировать из них выборку, на основе которой будет происходить применение какого-либо метода ИАД. Объем этой выборки зависит от того метода, который планируется применять для получения нужного результата. Эту выборку из данных также называют «обучающей». Однако следует учесть, что помимо обучающей выборки, т.е. по которой строится модель, потребуется еще и выборки «тестовая», чтобы проверить качество полученной модели. Сбор данных из разных источников - задача непростая, которая требует наличия программных средств доступа к различным источникам данных. Эта задача существенно упрощается при наличии в компании централизованного хранилища данных (data warehouse).

2. Предобработка данных. Собранные на первом этапе данные являются «сырыми» и нуждаются в специальной обработке прежде, чем к ним будут применены какие-либо методы. Связано это с тем, что в данных могут оказаться пропуски значений, аномальные значения, ошибочно введенные значения и т.д. В некоторых случаях исходные данные следует дополнить какими-либо показателями. При подготовке данных следует учитывать требования конкретного метода, с помощью которого будет проходить их обработка.

3. Трансформация, нормализация данных. На этом этапе отобранные ранее данные нужно привести к виду, пригодному для последующего анализа. Содержание этого этапа зависит от применяемого метода анализа. Так, например, метод нейронных сетей требует, чтобы все данные были числовыми и нормализованными. Для выполнения трансформации данных существуют такие алгоритмы как приведение типов, квантование, приведение к «скользящему окну» и др.

4. ИАД. На этом этапе происходит применение метода анализа к исходным данным и получение «знаний» в виде некоторой модели. Этот этап является ключевым в процедуре ИАД.

5. Постобработка данных. На этом этапе выполняется интерпретация результатов, полученных на предыдущем этапе, и разработка механизмов применения результатов в бизнесе (например, разработка программных приложений). [7]

1.2.3 Методы ИАД

Рассмотрим теперь методы анализа, которые могут применяться на этапе «ИАД». Специалисты компании BaseGroup подразделяют методы ИАД на три группы: методы математической статистики, методы эволюционного моделирования, методы машинного обучения (рис. 1.3).



Рис. 1.3 - Классификация методов ИАД

Методы математической статистки уже долгое время успешно применяются в различных сферах человеческой деятельности, позволяя при этом получать оптимальные решения задач анализа данных в условиях случайных и непредсказуемых воздействий на исследуемый объект. Наиболее популярные из этих методов - регрессионный, дисперсионный и корреляционный анализ.

Под методами эволюционного моделирования сегодня подразумевают искусственные нейронные сети и генетические алгоритмы.

Нейронные сети работают по аналогии с нервной системой живых существ: в зависимости от набора исходных сигналов на входных рецепторах нейроны формируют некоторый результирующий сигнал. Нейронная сеть подвергается обучению, в результате которого происходит запоминание эмпирической зависимости между значениями входных факторов и результирующим. Значения входных факторов играют роль исходных сигналов, а для получения результата в нейронной сети в процессе обучения происходит выработка определенных связей (весов) между отдельными нейронами. Для этого при обучении необходима выборка данных большого объема, содержащая как исходные данные, так и правильные ответы результирующего показателя.

В основе генетических алгоритмов лежат принципы генетической эволюции, т.е. если особь определенного вида обладает в высокой мере каким-то свойством приспособленности, то велика вероятность, что у потомков этой особи данное свойство приспособленности закрепится и проявится еще сильнее.

При помощи методов эволюционного моделирования решают такие аналитические задачи как классификация и кластеризация объектов, прогнозирование, управление динамическими объектами. По сравнению с методами математической статистики нейронные сети способны выполнить указанные задачи даже в том случае, когда формализовать исходную задачу сложно.

Методы машинного обучения основаны на алгоритмах построения «деревьев решений» и зарекомендовали себя при выполнении несложных классифицирующих задачах. При этом результаты выполненной ими классификации представляют собой набор выражений, доступных для понимания человеком. Дерево решений представляет собой иерархическую структуру, в которой переход с одного уровня на другой основан на ответе на некоторый вопрос (обычно это логический вопрос, подразумевающий ответ «да» или «нет»).

По сравнению с методами нейронных сетей деревья решений строятся заметно быстрее. В отличие от методов математической статистики, которые применимы только для числовых данных, деревья решений позволяют анализировать как числовые, так и символьные данные. [7]

1.2.4 Интеграция оперативного и интеллектуального анализа данных

Технологии ИАД тесно связаны с технологиями построения хранилищ данных (Data Warehouse), а также с технологиями оперативной аналитической обработки (OLAP). По своей сути и OLAP, и ИАД являются составными частями процесса поддержки принятия решений.

На сегодняшний день большинство программных OLAP-средств акцентированы в основном на обеспечение доступа к многомерным данным (кубам), в то время как средства ИАД для поиска закономерностей оперируют одномерными массивами данных. Для того, чтобы объединить эти два вида анализа, нужно сфокусировать OLAP-средства не только на способах доступа к данным, но и на выявлении закономерностей в них.

Перспективным направлением интеграции OLAP и ИАД считается объединение этих технологий в рамках корпоративной информационной системы на основе единого хранилища данных.

На рис. 1.4 изображен подход к подобной интеграции OLAP и ИАД.

Рис. 1.4. - Схема интеграции OLAP и ИАД в корпоративной ИС

В идеальном случае корпоративная система должна содержать в себе одновременно и средства отчетности, и средства ИАД. В этом случае такая информационная система покроет практически все потребности бизнес-пользователей в проведении анализа данных.

Рассмотрим подробнее элементы схемы интеграции OLAP и ИАД. Источником исходным данных для любого вида анализа выступают различные учетные базы данных организации, документы. В качестве дополнительного источника можно использовать данные, публикуемые в сети Интернет. Для решения стратегических задач управления организацией важно иметь не только внутреннюю информацию, но и внешнюю (например, макроэкономические показатели, демографические данные, сведения о конкурентной среде и т.п.).

Базой для построения аналитической системы является хранилище данных, которое само по себе никаких функций анализа не реализует. Исходные данные собираются из различных источников (как внутри, так и вне организации) и загружаются в хранилище.

Семантический слой обеспечивает аналитика или ЛПР «понятным» ему механизмом доступа к данным, так как он трансформирует термины экономической предметной области в процедуры вызова запросов к базам данных. Таким образом, ЛПР может запрашивать необходимые ему данные на почти естественном для него языке.

Назначение систем отчетности - обеспечить ЛПР ответом на вопрос «что происходит». Самый очевидный способ реализации этого - формирование регулярных отчетов для контроля текущей ситуации и выявления отклонений от нормы. Обычно элементы такого вида анализа реализованы в каждой организации. Системы отчетности в этом случае значительно ускоряют процесс получения отчета, но как единственный механизм анализа в организации этот подход недостаточен.

Другим способом использования систем отчетности является обработка нерегламентированных запросов пользователя. Периодически перед ЛПР возникает необходимость проверить правильность какой-либо идеи (гипотезы), но для этого ему необходимо иметь фактические данные, подтверждающие или опровергающие его идею. Поскольку такие идеи-гипотезы могут возникать неожиданно, и ЛПР заранее не знает, какого рода фактическая информация ему понадобится, то реализовать все возможные запросы к данным в системах регулярных отчетов невозможно. Поэтому необходимо обеспечить ЛПР инструментом для оперативного сбора данных и представления их в удобной для восприятия форме. Обычно результаты нерегламентированных запросов оформляются в виде таблиц или графиков и диаграмм (хотя возможны и другие формы визуализации).

Для создания систем отчетности разработчики информационных систем могут применять различные подходы, но самой популярной и доказавшей свою эффективность на сегодняшний день является технология OLAP. Программные OLAP-средства позволяют легко извлекать запрашиваемые пользователем данные и визуализировать их в виде таблиц и диаграмм, но проводить более глубокий анализ (прогнозирование, кластеризация и др.) они, как правило, не могут, так как не позволяют пользователю строить математические и иные модели.

Для проведения более глубоко анализа данных, подразумевающего выбор адекватной модели и ее пошаговое улучшение от более грубой к приемлемо точной, пользователю необходимо обратиться к программным средствам, поддерживающим технологии ИАД.

Результаты обработки данных, как системами отчетности, так и системами ИАД всего лишь обеспечивают ЛПР информацией для принятия решений: в первом случае это данные в форме таблиц и диаграмм, а во втором - в виде моделей и правил.

Информационные технологии ИАД позволяют современной организации осуществлять так называемое «тиражирование знаний», когда один сотрудник на основе анализа получает определенные выводы и формулирует их в виде набора правил или математической модели. Эта модель (или правила) могут быть оформлены организацией как рабочие инструкции для других сотрудников, но могут быть заложены в бизнес-логику программных средств. В любом случае, остальные сотрудники компании могут уже не проводить самостоятельный анализ, а воспользоваться ранее полученными выводами. Это сокращает время на выполнение различных бизнес-процессов, а также позволяет организациям снизить требования к уровню профессиональной компетенции отдельных сотрудников без риска потери качества выполнения бизнес-процессов.

В следующей главе будет произведено сравнение и выбор методов, в наибольшей степени подходящих для решения задачи.

2. Сравнение и выбор средств интеллектуального анализа данных

2.1 Выбор методов интеллектуального анализа данных

Все методы ИАД подразделяются на две большие группы по принципу работы с исходными обучающими данными.

В первом случае исходные данные могут храниться в явном детализированном виде и непосредственно и использоваться для прогностического моделирования и/или анализа исключений; это так называемые методы рассуждений на основе анализа прецедентов. Главной проблемой этой группы методов является затрудненность их использования на больших объемах данных, хотя именно при анализе больших хранилищ данных методы ИАД приносят наибольшую пользу.

Во втором случае информация вначале извлекается из первичных данных и преобразуется в некоторые формальные конструкции (их вид зависит от конкретного метода). Согласно предыдущей классификации, этот этап выполняется на стадии свободного поиска, которая у методов первой группы в принципе отсутствует. Таким образом, для прогностического моделирования и анализа исключений используются результаты этой стадии, которые гораздо более компактны, чем сами массивы исходных данных

Среди большого количества методов ИАД можно выделить основные методы:

- Нейронные сети

- Байесовские сети

- Ассоциативные правила

- Деревья решений

- кластеризация

Кратко рассмотрим каждый из этих методов:

2.1.1 Нейронные сети (Neural network)

Нейронные сети работают по аналогии с нервной системой живых существ: в зависимости от набора исходных сигналов на входных рецепторах нейроны формируют некоторый результирующий сигнал. [8]

НС применяются для решения следующих задач:

- классификация

- кластеризация

- прогнозирование

- распознавание образов и др.

По сравнению с методами нейронных сетей деревья решений строятся заметно быстрее. В отличие от методов математической статистики, которые применимы только для числовых данных, деревья решений позволяют анализировать как числовые, так и символьные данные.

Преимущества нейронных сетей:

- решение задач при неизвестных закономерностях и зависимости между входными и выходными данными

- высокая устойчивость к шумам во входных данных. Эксперту не нужно делать предварительный отсев шумовых входных сигналов, НС сама определит их малопригодность и отбросит их для дальнейшего решения задачи

- адаптирование к изменениям окружающей среды. Нейронные сети, обученные действовать в определенной среде, могут быть легко переучены для работы в условиях незначительных колебаний параметров среды. Для работы в нестационарной среде (где статистика изменяется с течением времени) могут быть созданы нейронные сети, переучивающиеся в реальном времени.

- за счет использования массового параллелизма обработки информации нейронные сети обладают сверхвысоким быстродействием.

- нейросети потенциально отказоустойчивы. При неблагоприятных условиях их производительность падает незначительно. [9]

Недостатки нейросети:

- сложная структура

- плохая интерпретируемость

- отсутствие пошагового решения

- долгое время обучения [8].

Области практического применения нейронных сетей:

- автоматизация процессов распознавания образов

- прогнозирование

- адаптивное управление

- создание экспертных систем

- организация ассоциативной памяти

- обработка аналоговых и цифровых сигналов

- синтез и идентификация электронных цепей и систем [10]

2.1.2 Байесовские сети (Bayesian networks)

Байесовские сети - это графические структуры для представления вероятностных отношений между большим количеством переменных и для осуществления вероятностного вывода на основе этих переменных. Области применения байесовских сетей: представление знаний диагностика, медицина, биоинформатика (пример: моделирование структуры белков), и т.д.

Задачи байесовских сетей:

- прогнозирование;

- моделирование;

- диагностика. [11]

Преимущества байесовских сетей:

- байесовские сети достаточно просто интерпретируются и позволяют на этапе прогностического моделирования легко проводить анализ по сценарию «что, если»;

- байесовский метод позволяет естественным образом совмещать закономерности, выведенные из данных, и, например, экспертные знания, полученные в явном виде;

- использование байесовских сетей позволяет избежать проблемы переучивания (overfitting), то есть избыточного усложнения модели, что является слабой стороной многих методов (например, деревьев решений и нейронных сетей).

Недостатки байесовских сетей:

- сложность согласования структуры байесовских сетей и таблицы условных вероятностей с экспертами;

- сложность представления непрерывных данных. Некоторые среды разработки байесовских сетей могут потребовать выполнить дискретизацию непрерывных переменных;

- отсутствие возможности использования непрерывных переменных, требуется их преобразование к интервальной шкале, чтобы атрибуты были дискретными; однако такие преобразования часто приводят к потере значимых закономерностей

Области применения байесовских сетей:

- Финансы и экономика

- Медицина

- Космос и армия

- Компьютеры и системное программное обеспечение (системе Office (знакомая многим пользователям «скрепка»), диагностика проблем работы принтеров и других справочных и wizard-подсистемах, борьба со спамом)

- Обработка изображений и видео (восстановлением трехмерных сцен из двумерной динамической информации, синтез статических изображений высокой четкости из видеосигнала) [12]

2.1.3 Ассоциативные правила (Association rules)

Впервые, задача применения поиска ассоциативных правил была предложена для нахождения типичных шаблонов покупок, совершаемых в супермаркетах, поэтому ее еще называют анализом рыночной корзины (market basket analysis).

В ходе подобного анализа мы можем обнаружить неявные закономерности между событиями в данных. Выявленные закономерности представляются в формате, называемом ассоциативными правилами [7].

Для всех алгоритмов, использующих ассоциативные правила для извлечения скрытых закономерностей, ключевым понятием является «транзакция» - совокупность событий, произошедших одновременно.

...