Функции метаданных в хранилище данных

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Министерство транспорта Российской Федерации

Федеральное агентство железнодорожного транспорта

Федеральное государственное бюджетное образовательное учреждение высшего образования

Омский государственный университет путей сообщения

Отчет по производственной практики

Место прохождения производственной практики:

кафедра «Автоматика и системы управления»

Омский государственный университет путей сообщения

Студент гр. 25 З

___________М. А. Ганькова

«__»________2017 г.

Руководитель производственной практики

доцент кафедра АиСУ

___________ Д.А. Елизаров

«__»________2017 г.

Омск 2017

Содержание

Введение

1 Понятие метаданных

1.1 Различие между данными и метаданными

2 Функции метаданных в хранилище данных

3 Состав метаданных в хранилище данных

3.1 Компоненты метаданных

4 Стандарты метаданных

4.1 Классификация метаданных

5 Стандартизация

5.1 Позиция производителей

5.2 Концепция стандарта

6 Общая метамодель хранилища данных

7 Выбор метамодели при проектировании хранилища данных

Заключение

Расшифрофка аббревиатур

Библиографический список



Задание

В ходе производственной практики ознакомиться со следующими понятиями:

что такое метаданные в хранилищах данных;

функции метаданных в хранилище данных;

элементы метаданных хранилища данных;

классификация метаданных хранилища данных;

что такое модель метаданных для хранилища данных.



Реферат

УДК 004.654

Отчет по производственной практике содержит 23 страницы, 6 рисунков и 5 использованных источников.

Цель производственной практики - узнать, что такое хранилища данных, рассмотреть их архитектуру, отметить основные достоинства и недостатки различных видов хранилищ, а также проанализировать процесс их разработки и проектирования.

Отчет оформлен в текстовом редакторе MicrosoftOffice 2010.

метаданные проектирование хранилище



Введение

Популярность Хранилищ данных в последние годы существенно возросла. Конкурентоспособные организации находятся на пути построения ХД либо расширения, перепроектирования и усовершенствования уже имеющихся. Метаданные считаются ключевым фактором успеха в проектах по внедрению Хранилищ. Они содержат всю информацию, необходимую для извлечения, преобразования и загрузки данных из исходных систем, а также для последующего использования и интерпретации содержимого ХД.

Каждая группа пользователей, работающая с БД имеет свои требования к метаданным.

Так, руководство компании хочет знать, что оно может получить от системы, как быстро оно получит ответ на интересующий вопрос, и желательно - в терминах, понятных лицам, которые принимают решения.

В то же время специалисты организации, например пользователи бухгалтерских систем, хотят, чтобы такая система «разговаривала» на их профессиональном языке, вплоть до того, что разработчики таких систем оснащают свои системы специальным, формальным языком, понятным бухгалтерам. Бухгалтеры вряд ли будут основательно изучать SQL.

Аналитиков компании занимают более сложные вопросы, в частности, о происхождении и достоверности данных. Руководство организации требует от них информации для поддержки принятия обоснованных решений.

Разработчиков приложений интересует информация о модели данных ИС для создания или внедрения дополнительных бизнес-приложений.

Отображение столь многообразных интересов в метаданных порождает большое число элементов, которые составляют метаданные. Проектирование и разработка метаданных являются одной из самых сложных и трудоемких задач проектирования и разработки ИС.

Разработку метаданных можно отнести к ИТ-дисциплине, которую называют «управление данными». Решение задач управления данными часто возлагается на администраторов данных, которых не следует путать с администраторами БД и компьютерных сетей.

Предметом исследования является литература, изучаемая в ходе выполнения работы.



1 Понятие метаданных

«Метаданные» буквально переводится как «данные о данных», информация о другом наборе данных. С технической точки зрения метаданные - это совокупность спецификаций и данных, которая в целом дает ответы на вопросы, какова степень охвата предметной области в ИС, какие данные в ней представлены, какова архитектура системы и т.д. Существуют так же и ряд других определений:

- это структурированные, кодированные данные, которые описывают характеристики объектов-носителей информации, способствующие идентификации, обнаружению, оценке и управлению этими объектами;

- любые данные об информационных ресурсах организации» (Майкл Брэкет);

- детальное описание сущности данных (Адриен Танненбаум);

- это данные о данных, информация об информации, описание контента.

В частности, метаданные содержат семантическую интерпретацию или толкование содержания элементов данных, циркулирующих в ИС. Но это далеко не все. В метаданные включается также описание вычислительной среды, предметных областей, информационной безопасности и многое другое, что непосредственно влияет на эффективность использования ИС, в первую очередь, конечными пользователями и разработчиками.

Далее под метаданными будет пониматься совокупность элементов данных и спецификаций, содержащих описание данных ИС и процессов их обработки.

Отображение многообразных интересов в метаданных порождает большое число элементов, которые составляют метаданные. Проектирование и разработка метаданных являются одной из самых сложных и трудоемких задач проектирования и разработки ИС.

Разработку метаданных можно отнести к ИТ-дисциплине, которую называют «управление данными». Решение задач управления данными часто возлагается на администраторов данных, которых не следует путать с администраторами БД и компьютерных сетей.

Нужно отметить, что некоторые принципы управления данными в ХД и БД OLTP-систем имеют существенные отличия. Так, например, характерный для OLTP-систем принцип, состоящий в том, что существует только одно правильно отображающее семантику определение данных в системе, не является верным для ХД. Это связано с различными временными горизонтами данных в системах, основанных на ХД.

При проектировании задача проектировщика ХД состоит в:

идентификации объектов ХД и их атрибутов;

идентификации источников данных;

описании семантики данных источников и ХД;

описании алгоритмов преобразования и агрегации данных;

описании путей доступа к данным и т.п.

Весь этот комплекс вопросов, которые должен решить проектировщик ХД при проектировании метаданных, требует от него достаточно тщательной их проработки еще на начальных стадиях проектирования. Проектирование ХД должно начинаться с проектирования метаданных и заканчиваться им же.

Рассмотрим основные функции метаданных и их состав, характерный для ХД.

1.1 Различие между данными и метаданными

Обычно невозможно провести однозначное разделение на данные и метаданные в документе, поскольку: Что-то может являться как данными, так и метаданными. Так, заголовок статьи можно одновременно отнести как к метаданным (как элемент метаданных - заголовок), так и к собственно данным (поскольку заголовок является частью самого текста). Данные и метаданные могут меняться ролями. На стихотворение, рассматриваемое как данные, может быть написана музыка, в этом случае всё стихотворение может быть «прикреплено» к музыкальному файлу и в этом случае рассматриваться как метаданные. Таким образом, отнесение к одной или другой категории зависит от точки зрения (или пространства имён, системы отсчёта). Возможно создание мета-мета-…-метаданных. Поскольку, в соответствии с обычным определением, метаданные являются данными, то можно создать метаданные на метаданные, метаданные на метаданные на метаданные и так далее. На первый взгляд это может показаться бесполезным, но на самом деле это является очень существенным и полезным свойством данных и метаданных.
Эти рассуждения применимы независимо от выбора определения метаданных (из приведённых выше и не только). 



2 Функции метаданных в хранилище данных

Роль метаданных для ХД значительно важнее, чем в системах операционной обработки данных. Если в системах операционной обработки данных интерфейс системы настроен на бизнес-процедуры обработки данных конкретными специалистами и понятен им после специального обучения, то интерфейс систем складирования данных конструируется таким образом, чтобы помимо всего прочего отвечать на непредопределенные вопросы (ad hoc). Как правило, такие вопросы формулируются в терминах предметной области и бизнес-процессов, к тому же специалистами, для которых ИТ-технологии не являются основной профессией: аналитиками, менеджерами среднего и высшего уровня.

Таким образом, одним из главных аспектов использования метаданных в ХД является их предметная ориентация. Основные вопросы, на которые должны ответить метаданные, - это какие данные представлены в системе, и как их получить в нужном для анализа данных виде.

Первой основной функцией метаданных в ХД является представление соответствия данных источников и данных ХД. Как правило, это описание представляет собой фиксацию взаимосвязи атрибутов данных источника и атрибутов данных ХД, правила преобразования первых во вторые, изменение в наименовании данных, в их физических характеристиках и т. д.

Такая информация позволяет идентифицировать источники данных для ХД, правильность данных в ХД и их корректность.

Вторая основная функция метаданных в ХД - управление данными во времени. Время жизни данных в ХД, как правило, 5-10 лет, а то и более. А для систем операционной обработки данных время жизни данных - от нескольких дней до нескольких месяцев. Затем данные архивируются в случае необходимости.

Таким образом, временной горизонт данных в ХД гораздо больше, и это обстоятельство изменяет коренным образом некоторые принципы управления данными. Например, в системах операционной обработки данных в одно и то же время существует только одно корректное определение данных. Для ХД это не так.

Структура данных в системах операционной обработки данных меняется во времени, т.е. данные в таких системах в разное время имеют различные формы представления. Хронология таких изменений должна быть зафиксирована в ХД.

Таким образом, в ХД в одно и то же время может существовать несколько схем данных, отвечающих различным периодам эволюции источников данных. Запись о таких структурных изменениях сохраняется в метаданных ХД. На основании записей аналитики получают ответы на вопросы, какими данными и за какие периоды они располагают.

Третья, и немаловажная, функция метаданных в ХД - это поддержка версионности. Эта функция тесно связана с управлением данными с большим временным горизонтом. Метаданные должны отражать изменения внутренней структуры данных источников и, следовательно, должны сами изменяться, для того чтобы обеспечить непрерывность истории изменения структуры данных ХД.

Таким образом, поддержка версионности метаданных позволяет в каждый момент времени в прошлом обеспечить правильное описание модели данных, а аналитики получают возможность знать, какие данные, когда и как попали в ХД.

Четвертая основная функция метаданных в ХД - это интерпретация данных в терминах бизнес-пользователей. Метаданные должны поддерживать в запросах понятную для пользователя терминологию, независимо от того, какие правила наименования атрибутов были использованы проектировщиком ХД.

Пятая основная функция метаданных - обеспечение открытости (доступности другим информационным системам) системы складирования данных для ее интеграции с другими аналитическими системами организации. Опрос метаданных ХД другой системой позволяет последней выяснить структуру данных ХД и поддерживать обмен данными между системами.



3 Состав метаданных в хранилище данных

В настоящее время нет строго определенных требований к составу метаданных информационных систем, в том числе использующих ХД.

Базовые компоненты метаданных ХД не сильно отличаются от базовых компонент систем операционной обработки данных. Это описание таблиц, их атрибутов, ключей и т.д. Существенное отличие для ХД - поддержка версионности метаданных. Базовые компоненты говорят нам, какие данные сохраняются в ХД.

Следующая, характерная для ХД, группа компонентов метаданных -описание преобразований. Как правило, описание преобразований данных для ХД включает в себя:

идентификацию полей источников данных;

соответствие между атрибутами сущностей источников данных и атрибутами объектов ХД;

преобразования атрибутов;

физические характеристики преобразований;

преобразования таблиц кодировки и ссылочных таблиц;

изменения наименований (соответствие имен источников и объектов ХД);

изменение ключевых атрибутов;

значение полей по умолчанию;

логика (алгоритмы) формирования данных ХД из нескольких источников (приоритетность источников);

алгоритмы трансформации данных.

3.1 Компоненты метаданных

Компоненты преобразования говорят нам о том, как данные в ХД были получены.

Немаловажным компонентом метаданных ХД является история поступления в него данных, говорит нам о том, когда данные поступили в ХД, а также позволяет судить о полноте представления данных. Для проведения анализа данных такая информация является очень важной, поскольку на ее основе формируются утверждения пользователей о корректности анализа данных и надежности его результатов.

Информация о синонимах, или терминологические соответствия понятий, - это еще один компонент метаданных ХД. Он включает в себя альтернативные наименования для данных ХД.

Следующим важным компонентом метаданных является информация о состояниях и статистике использования данных ХД. Эта информация составляет основу для оптимизации производительности ХД, и к ней относятся данные о числе строк в таблицах, скорости роста таблиц, статистический профиль использования таблиц (среднее и максимальное число запросов на день).

Еще одним компонентом метаданных ХД являются алгоритмы агрегации и суммирования данных, критерии выборки из источников, правила преобразования данных источников перед загрузкой в ХД, описание взаимосвязей между объектами ХД, их кардинальность и т.п. Такая информация играет важную роль при проведении анализа данных и часто требуется аналитикам для решения вопросов надежности результатов анализа.

Информация о том, кто отвечает за содержание и актуальность различных источников данных, составляет еще один компонент метаданных. Эта информация важна для группы сопровождения ХД и позволяет организационно решать вопросы качества, точности и надежности данных.

Из сказанного выше ясно, что проектирование метаданных является достаточно сложной и креативной задачей для проектировщика ХД, решение которой требует часто литературного мастерства, знания предметной области и много времени.

На рисунке 1 приведены основные элементы метаданных для ХД.

Рисунок 1 - Основные элементы метаданных для хранилищ данных



4 Стандарты метаданных

Как правило, любая стандартизация начинается с построения классификации объектов, для которого разрабатывается стандарт. Стандарт в области метаданных не является исключением из этого правила. Второй аспект разработки любого промышленного стандарта - это учет предложений ведущих производителей. И третий момент - концепция, которая позволяет связать разрабатываемый стандарт с уже действующими в данной предметной области стандартами.

Рассмотрим вопросы, касающиеся темы спецификация «Общая метамодель хранилища данных» (Common Warehouse Metamodel, CWM), которая является одним из стандартов, использующих XML-технологии. Этот стандарт описывает обмен метаданными в информационных системах, применяющих технологии ХД, а также в системах деловой осведомленности и системах управления знаниями.

4.1 Классификация метаданных

Как следует из нашего обсуждения метаданных в предыдущих разделах, на очень высоком уровне метаданные могут быть разделены на две категории: разделяемые метаданные и уникальные метаданные.

Элементы разделяемых метаданные необходимы для точного определения объектов и их семантики для ХД в целом. Уникальные метаданные описывают уникальные объекты системы, например, атрибуты измерений или фактов.

Другой подход к построению классификации метаданных - разделение элементов метаданных по их функциональному назначению:

предметно-ориентированные метаданные (Business meta data);

структурные метаданные (Structural metadata);

технические метаданные (Technical meta data);

метаданные процесса обработки данных (Process meta data).

Предметно-ориентированные метаданные содержат определения сущностей предметной области в терминах пользователей, логические отображения между данными на различных уровнях их представления в системе, описания словаря ХД, например БД.

Примером предметно-ориентированных метаданных может служить описание какого-либо атрибута сущности предметной области ХД, как то: вес проданного или закупленного товара. Рассмотрим пример на рисунке 2.

Рисунок 2 - Предметно-ориентированные метаданные

В двух киосках данных системы складирования данных имеются две таблицы фактов: «Счета покупок» и «Счета продаж». Каждый киоск отвечает за определенное направление деятельности организации. В обеих таблицах имеется атрибут с именем «Вес». Семантический смысл этого атрибута в обоих случаях одинаков: вес товара. Однако в одном киоске данных может использоваться единица измерения веса «кг», а в другом - «центнер».

Структурные метаданные содержат описание структуры различных объектов данных. Они используются при реализации схем навигации для представления данных пользователям.

Технические метаданные содержат определения и данные о физических объектах ХД. Это определения наименований таблиц и их колонок, ограничений, правил физических преобразований данных и т.п. Например, формат и длина поля «Имя покупателя» есть строка переменной длины до 100 символов.

Метаданные процесса обработки данных содержат информацию, связанную с процессом обработки данных, такую как статистика загрузки, расписание загрузки данных и т.п.

Исследователями в области проектирования ХД предлагаются и другие подходы к построению классификации, но при этом, как правило, используются названные выше два принципа.

Основные типы метаданных приведены на рисунке 3.

Рисунок 3 - Типы метаданных



5 Стандартизация

5.1 Позиция производителей

Ведущие производители программного обеспечения в области складирования данных ведут жесткую конкурентную борьбу за лидерство. И выдвижение своих решений в качестве промышленного стандарта для систем этого класса является неотъемлемой составляющей этой борьбы.

В середине 1998 года корпорации IBM, Oracle, Unisys, Hyperion, SAS, Meta Integration и ряд других поставщиков программного обеспечения представили в организацию Object Management Group (OMG) спецификацию стандарта «Обмен общими метаданными хранилища данных» (Common Warehouse Metadata Interchange, CWMI). Во второй половине 1999 года корпорация Microsoft передала на рассмотрение в консорциум Meta Data Coalition (MDC) разработанный ею стандарт "Открытая информационная модель" (Open Information Model, OIM).

5.2 Концепция стандарта

CWMI определяет интерфейсы, которые могут быть использованы для обмена метаданными между ХД и аналитическими приложениями с помощью инструментальных средств ХД, программно-аппаратных платформ и репозиториев метаданных в распределенных гетерогенных вычислительных средах.

CWMI основывается на трех основных стандартах:

UML - Unified Modeling Language (стандарт OMG для моделирования);

MOF - Meta Object Facility (стандарт OMG для метамоделирования и репозитория метаданных );

XMI - XML Metadata Interchange (стандарт OMG обмена метаданными).

Стандарт UML определяет язык объектно-ориентированного моделирования, который поддерживает ряд графических нотаций. Стандарт MOF определяет гибкие средства для определения модели метаданных и обеспечивает программные средства для хранения и доступа к метаданным в репозитории. Стандарт XMI определяет спецификации для обмена метаданными в формате стандарта XML. Использование этих стандартов не накладывает сильных ограничений при реализации модели метаданных в конкретных системах складирования данных.

Перечисленные выше стандарты формируют ядро архитектуры репозитория метаданных OMG, как показано на рисунке 4.

Рисунок 4 - Ядро архитектуры репозитория метаданных OMG



6 Общая метамодель хранилища данных

Основные элементы общей метамодели хранилища данных (CWM) включают в себя:

четырехуровневую архитектуру метамоделирования при работе с метаданными в распределенных репозиториях;

использование нотации UML для представления метамодели и моделей данных;

использование стандартных информационных моделей UML для описания семантики объектно-ориентированного анализа и проектирования моделей;

использование MOF для определения и работы с метамоделями с использованием интерфейсов CORBA;

использование XMI для организации обмена метаданными.

Четырехуровневая архитектура метамоделирования аналогична общепринятой архитектуре моделирования, как показано в рисунке 5.

Рисунок 5 - Архитектура метамоделирования

Стандарт расширяет базовую метамодель метамоделями для реляционных и многомерных данных, для преобразования функций OLAP и ХД, включая процессы и операции. Спецификацию CWM можно рассматривать как язык, предназначенный для определения моделей ХД. Спецификация CWM расширяет язык UML: каждый метакласс (metaclass) CWM наследуется непосредственно или косвенно из метаклассов UML. Так, метакласс «Реляционная Таблица» (Relational Table) CWM является непосредственным наследником Класса UML (UML Class), а «Реляционный Столбец» (Relational Column) - прямой потомок Атрибута UML (UML Attribute).

Таким образом, спецификация CWM определяет метамодель и для предметно-ориентированных метаданных, и для технических метаданных. Эта метамодель используется для обмена экземплярами метаданных между гетерогенным программным обеспечением, поставляемым различными производителями. Системы, поддерживающие метамодель CWM, обмениваются данными в форматах, которые согласуются с этой моделью.

Стандарт OMG «Средства метаобъекта» (Meta Object Facility, MOF) определяет общие интерфейсы и семантику для взаимодействующих метамоделей. Являясь подмножеством UML, он представляет собой пример метаметамодели, или модели метамодели (подмножество). В сферу действия этого стандарта входит определение языка описания интерфейса (Interface Definition Language), который устанавливает правила управления моделями с помощью программных APIs. Все модели CWM выражаются на UML и реализуют семантику MOF.

Стандарт OMG «Обмен метаданными XML» устанавливает правила преобразования метамоделей MOF в XML. XMI непосредственно задействован в обмене метамоделями. Метамодели MOF транслируются в XML DTD, а модели - в XML-документы, которые согласуются со своими DTD.

Таким образом, стандарт CWM состоит из ряда составных метамоделей (субметамоделей), которые организованы в виде следующих 4 слоев: базовый слой (Foundation), источники данных (Resources), анализ (Analysis) и управление хранилищем (Management), как показано на рисунке 6.

Рисунок 6 - Четыре уровня модели CWM

Базовый слой состоит из метамоделей, которые поддерживают моделирование таких различных элементов и сервисов, как типы данных, системное преобразование типов, абстрактные ключи и индексы, выражения, бизнес-информация и включения программного обеспечения, основанного на использовании компонентных объектов.

Слой источников данных предоставляет возможность моделировать существующие и новые источники данных, в том числе реляционные базы данных, ориентированные на запись базы данных (record oriented data-bases), а также XML и основанные на объектах (object-based) источники данных.

Слой анализа предоставляет средства для моделирования сервисов информационного анализа, которые обычно используются в хранилище данных. Он определяет метамодель для преобразования данных, OLAP, визуализации информации и исследования данных (data mining).

Слой управления состоит из метамоделей, представляющих стандартные процессы и операции ХД, журнализации и планирования работ (например, ежедневной загрузки и выгрузки).

Набор метамоделей CWM является достаточным для моделирования всего ХД.



7 Выбор метамодели при проектировании хранилища данных

Когда требования к метаданным собраны и формализованы, можно приступать к разработке метамодели. На практике следовать требованиям стандарта часто бывает сложно. Причиной этого является дефицит времени и недопонимание важности проработки метамодели руководством компании, особенно когда компания создает ХД силами своего ИТ-подразделения. Руководство по проектированию и разработке метамодели CWM насчитывает более 700 страниц. Как правило, менеджменту ИТ-подразделения трудно объяснить руководству компании, что для собственной разработки ХД необходимо либо взять новую штатную единицу, либо отправить своего специалиста на обучение.

Заказывает ли компания разработку ХД третьей компании или собирается проводить ее самостоятельно - можно выделить следующие способы создания метамодели.

построение метамодели ХД вручную;

построение метамодели ХД на основе стандартов;

построение как самой метамодели, так и репозитория метамодели на основе имеющихся инструментальных средств, для интеграции метаданных источников.

Чтобы построить метамодель ХД вручную, необходимо собрать правильные определения сущностей, их атрибутов и взаимосвязей между сущностями. Для разработки такой метамодели может быть применено либо объектно-ориентированное моделирование, либо ER-моделирование.

Если для построения метамодели ХД проектировщик ориентируется на использование стандарта, то у него есть возможность задействовать либо спецификацию «Открытая информационная модель» (Open Information Model OIM), либо спецификацию «Общая метамодель хранилища данных» (Common Warehouse Meta-Model, CWM). CWM описывает обмен метаданными в системах складирования данных, управления знаниями и деловой осведомленности. OIM является набором спецификаций метаданных для использования в разработке приложений ХД. Обе спецификации основываются на промышленных стандартах, таких как UML, XML и SQL.

Выбор подхода к проектированию метаданных во многом определяется набором инструментальных средств проектировщика ХД и выбором несущей СУБД. Ясно, что разработанная вручную метамодель имеет важное преимущество: она, как правило, наиболее полно отражает представление метаданных компании. Но у такой модели есть большой недостаток - ее нужно сопровождать и поддерживать постоянно в актуальном состоянии, как правило, вручную. Модели, разработанные с учетом стандартов, учитывают большинство требований по представлению метаданных компании в ХД. Кроме того, они расширяемы и поддерживаются ведущими производителями средств разработки (Oracle, IBM, Microsoft).

Репозиторий метаданных ХД следует поддерживать при использовании любого метода проектирования метаданных. При этом важно выбрать для него архитектуру (централизованный он будет или распределенный) и способы поддержки его в актуальном состоянии (поскольку метаданные связывают между собой семантику всех компонент системы складирования данных).

Программные компоненты системы складирования данными через репозиторий обмениваются метаданными в процессе своей работы. Для организации обмена метаданными стандарт CWM позволяет детализировать архитектуру репозитория. При этом формат обмена метаданными есть XML-документ.

Как правило, при построении модели метаданных ХД должен быть учтен ряд обязательных элементов представления метаданных в модели, а именно:

предметная направленность бизнес-окружения ХД. Этот фрагмент модели метаданных должен описывать направления административно-хозяйственной деятельности организации, т.е. описание бизнес-модели деятельности организации;

описание качества данных. Этот фрагмент модели метаданных должен описывать требования к качеству данных, загружаемых в ХД;

описание программно-аппаратной среды ХД. Этот фрагмент модели метаданных должен описывать таблицы, колонки, ключи и процессы обработки данных в ХД;

описание информационной безопасности. Этот фрагмент модели метаданных описывает процедуры разграничения доступа и аутентификации пользователей в системе, которая использует доступ к ХД.

Обратим внимание на то, что вопросам представления информации об информационной безопасности в этой лекции не было уделено никакого внимания. Как правило, программно-аппаратные решения в области обеспечения информационной безопасности носят конфиденциальный характер, и давать какие-либо общие рекомендации по их описанию в модели метаданных нецелесообразно. Это будет определяться руководителем ИТ-проекта создания ХД.



Заключение

Было рассмотрено понятие метаданных как совокупности спецификаций и элементов данных, содержащих описание данных ИС и процессов их обработки. Были определены основные функции и дана классификация метаданных в ХД. Был дан краткий обзор спецификации «Общая метамодель хранилища данных».

В итоге следует отметить, что метаданные - это информация о данных, которая требуется для управления ХД, а управление метаданными - существенный компонент архитектуры хранения. К техническим метаданным относится вся информация, которая требуется для настройки и использования ХД. Предметно-ориентированных метаданных включают в себя бизнес-термины и определения данных ХД. Структурные метаданные - это описание объектов ХД и их характеристик. Метаданные процесса обработки данных - это информация, собранная во время работы ХД, такая как происхождение перенесенных и преобразованных данных; статус использования данных (активные, архивированные или удаленные); данные мониторинга, такие как статистика использования, сообщения об ошибках и результаты аудита.

Метаданные часто размещаются в репозитории, который позволяет совместное использование метаданных различными инструментами и процессами при проектировании, установке, применении, эксплуатации и администрировании ХД.



Расшифрофка аббревиатур

SQL - Structured Query Language - язык структурированных запросов.

ИС - Информационная Система.

ХД- Хранилище Данных.

БД - База Данных.

OLTP - Online Transaction Processing - транзакционная система.

UML - Unified Modeling Language - стандарт OMG для моделирования.

MOF - Meta Object Facility -стандарт OMG для метамоделирования и репозитория метаданных.

XMI - XML Metadata Interchange - стандарт OMG обмена метаданными.

CWMI- Common Warehouse Metadata Interchange- Обмен общими метаданными хранилища данных.

OIM - Open Information Model - Открытая информационная модель.

CWM - общая метамодель хранилища данных.



Библиографический список

Silvers, F. Building and Maintaining Data Warehouse. - New-York, Tayor&Francis Group, LLC., 2013. - 330 c.

Inmon. W.H. Building the Data Warehouse - Indianapolis, Wiley Publishing, Inc, 2014. - 576 c.

Kinball R. The Data Warehouse Tollkit. The Complete Guide to Dimensional Modeling - Indianapolis, Wiley Publishing, Inc, 2013. - 464 c.

Грушков А.С. Хранилище данных - СПб., СЗИМИ, 2012. - 864 с.

Метаданные в хранилищах данных: [Электронный ресурс] - Электрон.текстовые дан. - М.: НОУ, 2016. - Режим доступа: http://www.intuit.ru/studies/courses/599/455/lecture/10173

Размещено на Allbest.ru

...