Стремительная эволюция и широкое внедрение информационных систем в различные технологические процессы привели к резкому повышению требований к оперативности вырабатываемых ими решений. В большинстве систем, решения строятся на основе данных, собираемых с различных измерительных средств, задаваемых пользователями, получаемых от других систем. От достоверности данных, скорости сбора и сохранения целостности при передаче, зависит эффективность принятия решений и управления в целом. В последние десятилетия сбор информации значительно усложнился в связи с распространением гетерогенных сред передачи данных и появлением распределенных систем, использующих эти сети в ходе работы.

Цель работы

Вывить преимущества использования методологии интеллектуального анализа данных в качестве основы для построения его аналитической подсистемы. В настоящее, время исследования в области анализа данных очень значимы для создания новых поколений интеллектуальных систем.

Исходя из этого, можно сказать что анализ существующих и разработка новых методов сбора данных в распределенных системах представляет большой интерес как для научного мира - с точки зрения построения новых моделей и алгоритмов, так и для разработчиков программного обеспечения - как новые практики и решения, позволяющие улучшить некоторые характеристики создаваемых продуктов (такие как снижение временных задержек при принятии решений, повышение надежности систем, уменьшение нагрузки на сети передачи данных и т.д.).

Задача сбора информации из различных источников, её очистки, предобработки и формирования единого выходного потока является одной из подмножества задач, решаемых средствами интеграции данных.

алгоритмическое программное средство интеграция

Интеллектуальный анализ данных (Data Mining) - процесс обнаружения пригодных к использованию сведений в крупных наборах данных [1]. В интеллектуальном анализе применяется математический анализ для выявления закономерностей и тенденций, существующих в данных. Эти закономерности можно определить, как модель интеллектуального анализа данных. Большие данные (Big Data) привели к взрывному росту популярности различных методов интеллектуального анализа, потому что информации стало гораздо больше, и она по своей природе и содержанию становится все более разнообразной и обширной.

По определению аналитиков Gartner (крупная исследовательская и консалтинговая компания, специализирующаяся на рынках информационных технологий), интеграция данных охватывает практики, архитектурные подходы и программные инструменты для обеспечения согласованного доступа и доставки данных для всего спектра приложений и бизнес-процессов компании [3].

Типовая архитектура системы, использующей интеграцию данных, представлена на рисунке 1.

Представляет собой процесс поиска корреляций, тенденций, взаимосвязей и закономерностей посредством различных математических и статистических алгоритмов. ИАД используется для решения таких задач, как выявление скрытых закономерностей в архивных финансовых, верификация данных о курсах валют, выявление новых потенциальных клиентов, выявление счетов потенциально платежеспособных дебиторов, в различных задачах прогнозирования [2]. Подобные и другие вопросы требуют решения, как на базе предприятий, так и кредитно-финансовых учреждений, в силу пересечения по видам деятельности: работа с клиентами и счетами, анализ финансовой деятельности, принятие решений и т.д.

Рисунок 1 - Типовая архитектура системы с интеграцией данных

Проблема исследования

Все вышеперечисленные достоинства ИАД, доказательства его эффективного применения в силу специфики требований ERP-систем обуславливают выбор именно этого направления для поиска алгоритмов и методов извлечения знаний. Однако, несмотря на значительный прогресс в области ИАД, практическая реализация этой технологии сопряжена с рядом трудностей. В настоящее время ИАД использует достижения многих разделов современной математики. Многие фирмы-разработчики концентрируют свои усилия на одном-двух конкретных методах, не связывая свои продукты с разработками других фирм в этой области. В результате внедрение средств ИАД существенно усложняется, поскольку многообразие и программных продуктов ИАД, и применяемых в них математических методов затрудняет выбор базового комплекта алгоритмических средств.

Целью интеллектуального анализа данных (англ. Data mining, другие варианты перевода

"добыча данных", "раскопка данных") является обнаружение неявных закономерностей в наборах данных. Как научное направление он стал активно развиваться в 90-х годах XX века, что было вызвано широким распространением технологий автоматизированной обработки информации и накоплением в компьютерных системах больших объёмов данных. И хотя существующие технологии позволяли, например, быстро найти в базе данных нужную информацию, этого во многих случаях было уже недостаточно. Возникла потребность поиска взаимосвязей между отдельными событиями среди больших объёмов данных, для чего понадобились методы математической статистики, теории баз данных, теории искусственного интеллекта и ряда других областей. [4]

В настоящее время наблюдается тенденция к непрерывному возрастанию объема и сложности процессов измерения и управления в крупных информационных системах. Современные распределенные информационные системы находят применение в различных областях как производственной, так и непроизводственной сфер деятельности.

Примерами таких систем являются различные системы контроля технологического процесса, автоматизированные производственные линии, системы автоматизации научных исследований и т.д. Вместе с тем, на сегодняшний день не существует универсальной системы, которая позволяла бы проводить алгоритмические и программные исследования "под ключ". Иными словами, отсутствуют программные продукты, обеспечивающие поддержку полного цикла исследования, начиная от проектирования и заканчивая выдачей результатов, с предоставлением их в удобном виде для дальнейшей интерпретации и принятия решений в области исследуемого процесса или явления.

Одним из подвидов являются распределенные системы, включающие измерительные средства (ИС), распределенные в пространстве (иногда на значительные расстояния) и вычислительный центр, который предназначен для агрегации, обработки, хранения и дальнейшей передачи данных, собираемых с ИС. Источники данных генерируют большое количество информации, которую необходимо своевременно, целостно и в полном объеме доставлять в вычислительные центры. Не всегда каналы передачи данных имеют высокую пропускную способность, в связи с чем возникают задачи оптимизации трафика и снижения сетевой нагрузки для повышения общей эффективности и работоспособности системы.

В настоящее время среди методов алгоритмической и программной обработки данных выделяют две группы: методы статистического анализа и методы интеллектуального анализа данных (ИАД). Как уже отмечалось, традиционный подход при анализе данных основан на использовании алгоритмических и программных методов. Вместе с тем, одним из главных ограничений такого подхода является невозможность обнаружения неоднородных, локальных взаимосвязей, присутствующих в социальных явлениях, поскольку в основе методов статистической обработки обычно лежит концепция усреднения по выборке.

Методы интеллектуального анализа данных (в англоязычной литературе принят термин Data Mining) - это новое, более перспективное направление, стремительно развивающееся в настоящее время [4].

Инструменты ИАД могут находить такие закономерности самостоятельно и также самостоятельно строить гипотезы о взаимосвязях. Поскольку именно формулирование гипотез относительно зависимостей является самой сложной задачей, преимущество методов ИАД по сравнению с другими методами анализа данных является очевидным [5].

В таблице 1 приведена сравнительная характеристика некоторых распространенных методов. Оценка каждой из характеристик проведена следующими категориями, в порядке возрастания: чрезвычайно низкая, очень низкая, низкая/нейтральная, нейтральная/низкая, нейтральная, нейтральная/высокая, высокая, очень высокая.

Таблица 1. Сравнительная характеристика методов интеллектуального анализа данных

Традиционные методы решения оптимизационных задач - Включают в себя вариационные методы, методы исследования операций, включающие в себя различные виды математического программирования (линейное, нелинейное, дискретное, целочисленное), динамическое программирование, принцип максимума Понтрягина, методы теории систем массового обслуживания. Программные реализации большинства этих методов входят в стандартные пакеты:

MathCAD и MatLab.

Проведение условной классификации по методам, реализованным в этих системах, и анализа средств ИАД позволило прийти к нижеследующим заключениям. Несмотря на обилие методов ИАД, приоритет в эффективных современных разработках смещается в сторону использования моделей представления знаний: логических (дедуктивных и индуктивных), продукционных и графовых (фреймовых).

С их помощью решаются задачи прогнозирования, классификации, распознавания образов, извлечения из данных “скрытых” знаний, интерпретации данных, установления ассоциаций в БД. Результаты таких алгоритмов эффективны и легко интерпретируются. Однако известные методы поиска логических правил не поддерживают функцию обобщения найденных правил и функцию поиска оптимальной композиции таких правил. Решением перечисленных проблем можно добиться новых более успешных результатов в области разработок ИАД.

Среди других преимуществ методов ИАД можно отметить:

- возможность одновременного анализа разнородных (количественных и качественных) данных;

- поддержка неполных (нерепрезентативных с точки зрения статистики) выборок;

- возможность обнаружения локальных закономерностей (например, установления и изучения структуры связей между локальными подмножествами значений признаков);

- наличие некоторого класса методов, применимых для решения схожих задач при различающихся формах представления исходных данных (например, различные алгоритмы кластеризации для числовых и категориальных данных), что позволяет строить модели, детально учитывающие специфику обрабатываемых данных. [6]

Заключение