Интегральная OLAP-модель предметной области для аналитической поддержки принятия решений

Размещено на http://allbest.ru

Институт вычислительного моделирования СО РАН

УДК 004.832.2

Интегральная OLAP-модель предметной области для аналитической поддержки принятия решений

А.В. Коробко, канд. техн. наук

Т.Г. Пенькова, канд. техн. наук

Красноярск

Введение

Для поддержки принятия управленческих решений широко используется технология OLAP (On-line analytical processing) [1-7]. Технология OLAP представляет собой современную концепцию анализа данных, описанную совокупностью требований к программным продуктам, обеспечивающим оперативную аналитическую обработку и представление данных. OLAP обеспечивает пользователя естественной, интуитивно понятной моделью данных, организуя их в виде многомерных кубов.

Качество анализа данных на основе OLAP определяется доступностью исходных данных и прозрачностью аналитической модели предметной области. Как правило, аналитическая модель представляет собой множество локальных OLAP-моделей для решения частных задач: для каждой новой задачи строится новый OLAP-куб с необходимым набором показателей и измерений [2-6]. Формирование такой фрагментарной модели происходит из-за необходимости привлечения специалиста со знанием структуры и состава исходных данных для решения новой аналитической задачи. Применение специализированного хранилища данных в качестве источника исходной информации позволяет частично избежать ошибок согласованности анализируемых данных, но не решает проблему отсутствия возможности оперировать всеми объектами анализа предметной области [8, 9]. Актуальной становится задача построения интегральной аналитической модели.

В ряде случаев [2, 10] интегральный подход реализуется построением каталога показателей, позволяющего систематизировать объекты анализа, но не обеспечивающего поддержку их совместной аналитической обработки. Построение интегральной модели на основе онтологий [11, 12] дает возможность оперировать объектами, включенными в онтологию, но не позволяет оперативно формировать запросы. Для повышения эффективности оперативной аналитической обработки данных необходима интегральная OLAP-модель на основе всех объектов анализа предметной области. Возможность манипулирования всеми объектами анализа в ходе аналитического эксперимента сопряжена с необходимостью использования экспертных знаний об объектах анализа и о возможности их совместной аналитической обработки. В авторских работах [13-16] предлагается использовать методы анализа формальных концептов для повышения эффективности оперативной аналитической обработки данных и построения интегральной аналитической модели предметной области.

В данной работе предлагается подход аналитической поддержки принятия решений на основе интегральной OLAP-модели предметной области. Интегральная OLAP-модель представляет собой решетку многомерных кубов, которая охватывает максимальное число аналитических задач, содержит все возможные комбинации объектов анализа предметной области и позволяет лицу принимающему решение оперировать всеми объектами анализа. Возможность обнаруживать нестандартные аналитические зависимости на множестве всех объектов анализа повышает эффективность аналитической поддержки принятия решений на основе OLAP.

Метод построения интегральной OLAP-модели

Метод построения интегральной OLAP-модели, предложенный авторами, заключается в применении анализа формальных концептов к объектам OLAP на основе экспертных знаний об объектах анализа (показателях и измерений) и возможности их совместной аналитической обработки [15, 16]. концепт объект крайес алгоритм куб

Согласно интеграции OLAP и анализа формальных концептов метод включает следующие основные этапы:

1. Определение множества объектов анализа предметной области.

2. Построение формального контекста.

3. Определение кубов-концептов.

4. Построение решетки многомерных кубов.

На первом этапе эксперт, анализируя задачи и аналитические запросы, формирует множество объектов анализа.

Объекты анализа, в соответствии с моделью многомерного представления данных, делятся на множество показателей F={f₁,f₂,…,f_n} и множество измерений D={d₁,d₂,…,d_n}.

На втором этапе эксперт формирует контекст. Формальный контекст определяется как тройка K=(F, D, R), где F - множество показателей, D - множество измерений, R(FЧD) - отношение такое, что fRd, где fF, dD означает, что показатель f может быть проанализирован по измерению d.

Отношение сопоставимости объектов (возможность их совместной аналитической обработки) определяется на основе функциональных зависимостей базы данных, а также знаний эксперта об аналитических особенностях объектов анализа.

Формальный контекст может быть представлен в виде бинарной матрицы, строки которой соответствуют показателям, а столбцы - измерениям.

На третьем этапе на основе контекста определяется множество кубов-концептов с помощью операции «штрих». Для произвольных AF и BD определяются A' и B':

A'={dD | fRd для всех fA},

B'={fF | fRd для всех dB}.

Пара множеств (A, B) представляет куб-концепт, где AF, BD, A'=B и B'=A.

Другими словами, множество показателей одинаковой размерности A, которые могут быть проанализированы по всем измерениям из B, образуют куб-концепт (A,B).

Множество показателей A представляет объем куба-концепта, а множество измерений B - содержание.

В соответствии с моделью многомерного представления, куб-концепт - это аналитический многомерный куб, полный относительно добавления показателей той же размерности и состава измерений.

Это означает, что невозможно включить в такой OLAP-куб дополнительный показатель без уменьшения числа измерений, то есть, в рамках построенного контекста, не существует других показателей, сопоставимых с тем же набором измерений.

На заключительном этапе строится решетка многомерных кубов. Множество всех кубов-концептов частично упорядочено отношением подкуб-надкуб: (A₁, B₁)(A₂, B₂), если A₁A₂ и B₂B₁.

Множество показателей родительского куба включает множество показателей дочернего куба, а, в свою очередь, множество измерений дочернего куба включает множество измерений родительского куба.

В этом случае (A₁,B₁) - подкуб, а (A₂, B₂) - надкуб.

Алгоритмы поиска кубов-концептов и построения решетки кубов-концептов представлены на рисунках 1 и 2.

Рис.1. Алгоритм поиска кубов-концептов на основе контекста

F - множество показателей контекста; D - множество измерений контекста; K - контекст; B(K) - множество кубов-концептов; A_k - объем куба-концепта; B_k - содержание куба-концепта; A_new - объем потенциально нового куба-концепта; max - функция, возвращающая максимальный индекс показателя; der - функция операции «штих»; canonic - функция проверки конечности аргумента.

Алгоритм поиска кубов-концептов является итеративной модификацией метода Крайеса [17]. Работа алгоритма начинается с добавления в множество кубов-концептов первого потенциального концепта. Затем, объем потенциального концепта сравнивается с множеством показателей, сопоставимых с измерением, ранее не участвовавшим в формировании данного концепта. По результатам сравнения происходит добавление измерения к содержанию рассматриваемого концепта - наполнение, либо добавление нового потенциального концепта с последующим наполнением.

Рис.2. Алгоритм построения решетки кубов-концептов

L(K)B(K)ЧB(K) - решетка кубов-концептов; min - контрольное множество показателей для проверки степени близости кубов-концептов.

Алгоритм построения решетки кубов-концептов заключается в формировании множества кубов-концептов, связанных отношением частичного порядка. Работа алгоритма основана на свойствах решетки, согласно которым куб-концепт, являющийся надкубом для текущего куба-концепта, имеет наибольший объем. Алгоритм рассматривает каждый куб-концепт, добавляя в его объем по очереди показатели и проверяя существование куба-концепта с таким объемом, а также степень близости с помощью контрольного множества.

Решетка кубов-концептов представляет собой интегральную OLAP-модель предметной области. Свойства решетки позволяют манипулировать всеми объектами анализа предметной области в ходе аналитического эксперимента. Интегральная модель охватывает максимально возможное число решаемых аналитических задач предметной области.

Пример построения интегральной OLAP-модели

Построение интегральной OLAP-модели рассмотрим на примере продаж Интернет-магазина. Как правило, оценка эффективности Интернет-магазина и качества управления связано с решением таких аналитических задач, как:

– оценка динамики продаж;

– оценка покупательской активности;

– оценка частоты поставок.

Решение перечисленных задач, в свою очередь, связано со следующими запросами:

– количество покупок, совершаемых в день, неделю, месяц или год;

– количество проданных товаров по категориям;

– количество покупателей в день, неделю, месяц или год;

– сумма продаж за день, неделю, месяц или год;

– сумма продаж по категориям товаров;

– количество поставок в день, неделю, месяц или год;

– сумма поставок за день, неделю, месяц или год;

– сумма поставок по поставщикам.

Анализ запросов позволяет выделить множество терминов предметной области и, на их основе, определить множество объектов анализа.

Формальный контекст формируется на основе отношения сопоставимости между показателями и измерениями в соответствии со структурой базы данных и экспертными знаниями о целесообразности аналитических запросов. Структура базы данных для рассматриваемого примера представлена на рисунке 3.

Рис. 3. Структура базы данных продаж Интернет-магазина

В структуре базы данных: таблица «Покупки» - покупки (корзины или чеки) покупателей - таблица фактов; таблица «Товары» - позиции в покупке (корзине или чеке) - таблица связи между таблицами «Покупки» и «Поставки»; таблица «Поставки» - поставки конкретного товара - таблица связи между таблицами «Справочник товаров» и «Справочник поставщиков»; таблицы «Справочник товаров», «Справочник поставщиков», «Справочник покупателей» и «Справочник районов» - справочники - таблицы измерений.

Отношение сопоставимости устанавливается, когда показатель и измерение могут быть проанализированы вместе. На рисунке 4 представлен контекст продаж Интернет-магазина.

Рис. 4. Контекст продаж Интернет-магазина

Построенный контекст определяется множеством показателей ={количество покупок, количество товаров, количество поставок, количество покупателей, сумма} и множеством измерений ={время, категория товара, поставщик, категория покупателя, район города}. Используя сокращенные обозначения, получим соответственно:

F = {f₁, f₂, f₃, f₄, f₅} и D = {d₁, d₂, d₃, d₄, d₅}.

Отношение R записывается следующим образом:

R = {(f₁,d₁), (f₁,d₄), (f₁,d₅), …, (f₅,d₄)}.

Кубы-концепты формируются на основе построенного контекста. В рассматриваемом примере, контекст содержит 12 кубов-концептов. Рассмотрим более детально формирование кубов-концептов с использованием операции «штрих»:

– выбираем произвольно множество показателей: A = {количество покупок, количество товаров} = {f₁,f₂};

– определяем сопоставимые измерения: A' = {время, категория покупателя, район города} = {d₁,d₄,d₅};

– определяем показатели, которые могут быть проанализированы вместе с найденными на предыдущем шаге измерениями: A'' = {время, категория покупателя, район города}' = {количество покупок, количество товаров, количество покупателей} = {f₁, f₂, f₄}.

Множество показателей A''={f₁,f₂,f₄} может быть проанализировано только с множеством измерений A'=B={d₁,d₄,d₅} одновременно. Следовательно, пара (A,B)={{f₁,f₂,f₄},{d₁,d₄,d₅}} представляет собой куб-концепт.

Решетка многомерных кубов строится на основе отношения подкуб-надкуб. Рисунок 5 демонстрирует интегральную OLAP-модель продаж Интернет-магазина в виде решетки многомерных кубов.

Рис. 5. Интегральная OLAP-модель продаж Интернет-магазина

Интегральная OLAP-модель включает все возможные комбинации объектов анализа и дает возможность лицу принимающему решение манипулировать ими для построения аналитических запросов.

Свойства решетки позволяют выявлять нестандартные аналитические зависимости на множестве всех объектов анализа предметной области.

Аналитическая поддержка принятия решений на основе интегральной OLAP-модели

Аналитическая поддержка принятия решений на основе интегральной OLAP-модели заключается в формировании множеств показателей и измерений, которые могут быть добавлены к показателям и измерениям пользовательского запроса в ходе выполнения эксперимента.

Интегральная OLAP-модель определяет множество кубов, соответствующих пользовательскому запросу и формирует подрешетку, когда пользователь выбирает необходимые для анализа показатели и измерения.

Свойства концептуальной решетки дают возможность определить дополнительные показатели и измерения, которые могут быть проанализированы вместе с выбранными пользователем объектами.

Куб-концепт подрешетки, расположенный на самом верхнем уровне (супремум) содержит максимальный набор дополнительных показателей, а куб-концепт подрешетки, расположенный на самом нижнем уровне (инфимум), содержит максимальный набор дополнительных измерений.

Следовательно, объем супремума подрешетки это максимальный набор дополнительных показателей, которые могут быть добавлены к пользовательскому запросу, а содержание инфимума подрешетки это максимальный набор дополнительных измерений, которые могут быть добавлены к пользовательскому запросу.

Рассмотрим пошагово предложенный подход на примере продаж Интернет-магазина. Пара (X,Y) это пользовательский аналитический запрос, где X - это множество выбранных показателей, Y - это множество выбранных измерений.

Для поддержки построения пользовательского запроса интегральная модель позволяет определить множество дополнительных показателей X' и множество дополнительных измерений Y', которые могут быть добавлены на текущем шаге формирования запроса. Описание шагов представлено таблице 1.

Таблица 1. Формирование OLAP-куба на основе интегральной модели

На первом шаге пользовательский запрос пустой и множество дополнительных объектов анализа равно всему набору показателей и измерений. Другими словами, пользовательский аналитический запрос соответствует полной решетке интегральной OLAP-модели.

На каждом последующем шаге в пользовательский запрос добавляется показатель или измерение, меняется подрешетка и вычисляется множество дополнительных показателей и множество дополнительных измерений . На последнем шаге подрешетка содержит только один куб-концепт, который дает множества дополнительных объектов анализа. Рассмотренный пример иллюстрирует процесс аналитической поддержки принятия решений на основе интегральной OLAP-модели.

Так, для пользовательского = {количество покупателей, сумма}, = {категория товара, категория покупателя} модель «подсказывает», что показатель «количество товаров» и измерение «время» могут быть добавлены в текущий пользовательский запрос. На основе законченного пользовательского запроса «налету» происходит формирование OLAP-куба, который в дальнейшем может быть проанализированы стандартными OLAP-инструментами. Возможность обнаруживать новые аналитические зависимости повышает эффективность принятия решений на основе OLAP.

Заключение

Предложен подход аналитической поддержки принятия решений на основе интегральной OLAP-модели предметной области.

Интегральная OLAP-модель охватывает максимальное число аналитических задач, включает все возможные комбинации объектов анализа предметной области и позволяет выявлять нестандартные аналитические зависимости на множестве всех объектов анализа предметной области.

Применение интегральной модели повышает эффективность аналитической поддержки принятия решений на основе OLAP.

Литература

1. Codd E.F., Codd S.B., Salley C.T. Providing OLAP. On-line Analytical Processing to User-Analysts: An IT Mandate, E.F. Codd & Associates, 1993.

2. Honorvar L., Campbell S., Showalter T. Use of online analytical processing (OLAP) in a rules based decision management system. Патент США № 6430545. 2002.

3. Ноженкова Л.Ф., Шайдуров В.В. OLAP-технологии оперативной информационно-аналитической поддержки организационного управления // Информационные технологии и вычислительные системы. 2010. № 2. С. 15-27.

4. Qwaider W.Q. Apply on-line analytical processing (OLAP) with data mining for clinical decision support // International Journal of managing information technology. 2012. Vol. 4, № 6. pp. 25-37.

5. Tsois A., Karayannidis N., Sellis T. MAC: conceptual data modeling for OLAP // Proc. of the 2-nd ACM International workshop on design and management of data warehouses. - Kansas, 2001. pp. 3-8.

6. Chaudhuri S., Daual U. Data warehousing and OLAP for decision support // Proc. of the ACM SIGMOD International conference on management of data. New York, 1997. pp. 507-508.

7. Penkova T., Nicheporchuk V., Korobko A. Emergency situations monitoring using OLAP technology // Proc. of the 35-th International conference «Business Intelligence Systems». Opatija, 2012. pp. 1941-1946.

8. Inmon W. Building the Data Warehouse. N.Y.: Willey, 2005. 576 p.

9. Kimball R. The data warehouse toolkit: practical techniques for building dimensional data warehouse. N.Y.: Willey, 2013. 600 p.

10. Шовкун A.B. Технология построения репозитория метаданных для хранилища данных // Научная сессия МИФИ-2003. - М., 2003. С 7б-77.

11. Lee J., Mazzoleni P., Sairamesh J., Touma M. System and method for planning and generating queries for multi-dimensional analysis using domain models and data federation. Патент США № 7337170, 2008.

12. Priebe T., Pernul G. Ontology-based integration of OLAP and information retrieval // Proc. of the 14-th International conference on database and expert systems applications. Prague, 2003. C. 610-614.

13. Korobko A., Penkova T. On-line analytical processing based on Formal concept analysis // Journal of Procedia computer science. 2010. Vol.1, Iss.1. pp. 2305-2311.

14. Коробко А.В., Пенькова Т.Г. Метод концептуального OLAP-моделирования на основе формального концептуального анализа // Вестник СибГАУ. 2010. Вып. 4(30). C. 74-79.

15. Пенькова Т.Г., Коробко А.В. Построение интегральной OLAP-модели на основе формального концептуального анализа // Информатизация и связь. 2011. № 3. С. 23-25.

16. Penkova T., Korobko A. Method of constructing the integral OLAP-model based on formal concept analysis // J. Frontiers in Artificial Intelligence and Applications. 2012. Vol. 243. pp. 219-227.

17. Krajca P., Outrata J., Vychodil V. Parallel Recursive Algorithm for FCA // Proc. of the Sixth International Conference on Concept Lattice and their Applicatons. Olomouc, 2008. pp. 71-82.

Аннотация

УДК 004.832.2

Интегральная OLAP-модель предметной области для аналитической поддержки принятия решений. А.В. Коробко, канд. техн. наук, Т.Г. Пенькова, канд. техн. наук, Институт вычислительного моделирования СО РАН, Красноярск

Предложен метод построения интегральной OLAP-модели предметной области в виде решетки многомерных кубов, основанный на применении анализа формальных концептов к объектам OLAP. Интегральная OLAP-модель включает все возможные показатели и измерения предметной области и позволяет выявлять нестандартные аналитические зависимости на множестве всех объектов анализа. Применение интегральной модели повышает эффективность аналитической поддержки принятия решений на основе OLAP.

Ключевые слова: интегральная OLAP-модель, оперативная аналитическая обработка данных, анализ формальных понятий, поддержка принятия решений.

Annotation

The integral OLAP-model of the domain for analytical decision making support. A. Korobko, T. Penkova, Institute of Computational Modelling SB RAS, Krasnoyarsk

This paper presents the approach of analytical decision making support based on the integral OLAP-model of the domain. Authors propose a method of constructing the integral OLAP-model of the domain as a concept lattice of multidimensional cubes. This method consists of a formal concept analysis of OLAP objects based on expert knowledge of the structure of analyzing objects and their comparability and contains the following basic stages: determining the set of analyzed objects; forming the formal context; generating the formal cube-concepts and constructing the cube-lattice. The integral OLAP-model includes all possible combinations of facts and dimensions of the domain and allows the decision maker to discover the unexpected analytical dependencies of the set of all actual analyzed objects. The implementation of the integral OLAP-model for analytical decision making support is described in this paper. The realization of integral model improves the effectiveness of analytical decision making support based on OLAP.

Keywords. Integral OLAP-model, On-line analytical processing, Formal concept analysis, Decision making support.

Размещено на Allbest.ru