Размещено на http://www.allbest.ru/

Тема: «Универсальное хранилище данных для ГУМФ»



Введение

Рассмотрим Санкт-петербургский филиал «Государственный университет министерства финансов при Правительстве РФ», который ведет образовательную деятельность студентов разных городов, стран.

Повседневная деятельность университета сопровождается ежедневным внесением в базу данных десятков счетов и других оперативных документов. Реляционные СУБД проектировались и используются для выполнения именно такой работы - для управления большим потоком информации. Известно, что структура БД оперативных систем в высокой степени нормализована, т.е. состоит из множества таблиц, связанных между собой посредством внешних ключей. Такая нормализованная структура оптимизирована именно для быстрого поиска и обработки единичных записей.

Потребности в оперативных документах краткосрочны. С оперативными документами работают в течение какого-то времени: отслеживают оплату счета, приход денег, поставку товара и т.д. Для контроля данного процесса периодически формируются отчеты, которые имеют несколько стандартных для фирмы разновидностей и строятся путем выборки данных непосредственно из БД торговой системы. Оперативный документ, сыграв свою роль, далее в рамках торговой системы, как правило, больше не используется. Со временем растущий объем данных начинает замедлять выполнение операций, что порождает естественное желание избавиться от старых неиспользуемых данных.

Между тем в накопленных данных содержится история развития предприятия, история его взаимоотношений с поставщиками и покупателями. Данные, накопленные в предприятии, - уникальный ресурс. В результате их анализа можно было бы получить ценнейшую информацию, позволяющую принимать эффективные управленческие решения. Ценность информации, а, следовательно, и глубина анализа еще более возрастут, если использовать объединенную информацию всего предприятия, всех его систем. Но для этого руководителю может потребоваться исследование десятков тысяч комбинаций данных, не укладывающихся в имеющийся набор готовых отчетных форм.

Следует отметить, что подобные исследования редко проводятся самим руководителем. Чаще он приглашает или выращивает в своей фирме аналитика, который хочет извлечь из данных все, что можно. Например, понять, какой тип клиентов наиболее перспективен для фирмы, или какие скидки будут оптимальными этой весной. Но сделать это оказывается не так-то просто.

Традиционный анализ, который, как правило, осуществляется при помощи изучения набора готовых отчетных форм, а его результатом является принятие одного из стандартных бизнес-решений, здесь явно не поможет. Если считать, что в распоряжении аналитика имеется только традиционная СУБД, то при выполнении возложенных на него обязанностей он столкнется с рядом проблем:

Построение сводных отчетов над нормализованной структурой, как правило, неэффективно: связывание большого числа таблиц в одном запросе выполняется достаточно долго, если объем этих таблиц велик; развернуть данные по любому измерению. Хранилища данных не заменяют, а дополняют традиционные реляционные базы данных с первичной информацией.

Для построения систем ОLАР используются специализированные многомерные БД либо надстройки над обычными реляционными БД. До последнего времени ОLАР-технология ассоциировалась с большими проектами по хранению массивов данных и сложными приложениями для их анализа. Сложный и дорогой ОLАР-инструментарий был доступен только очень крупным компаниям.

И все же в последнее время ситуация на рынке резко изменилась. Произошло это благодаря тому, что было найдено компромиссное решение: укомплектовать полноценным ОLАР-сервером хорошо зарекомендовавшие себя недорогие программные продукты. К таким продуктам относится, например, МS SQL_сервер баз данных, начиная с версии 7 и позднее, который во всем мире активно используется для построения хранилищ данных. Компания Microsoft предпринимает ряд серьезных мер, чтобы обеспечить наилучшую поддержку хранилищ данных и построения информационных систем. Вследствие указанного изменения ситуации современные OLАР-системы анализа данных стали действительно доступны малому и среднему бизнесу.



1. Хранилища данных

Хранилища данных - это процесс сбора, отсеивания и предварительной обработки данных с целью представления результирующей информации пользователям для статистического анализа и аналитических отчетов. Ральф Кинболл (автор концепции хранилищ данных) описывал хранилища данных как «место, где люди могут получить доступ к своим данным». Он же сформулировал основные требования к хранилищам данных:

- поддержка высокой скорости данных из хранилища;

- поддержка внутренней непротиворечивости данных;

- возможность получения и сравнения данных;

- наличие удобных утилит просмотра данных хранилища;

- полнота и достоверность хранимых данных;

- поддержка качественного процесса пополнения данных.

Всем перечисленным требованиям удовлетворять зачастую не удается, поэтому для реализации хранилищ данных используют несколько продуктов. Одни из которых представляют средства хранения данных, другие - средства их извлечения и просмотра, в-третьих - средства пополнения хранилищ данных. Типичное хранилище данных как правило отличается от реляционной базы данных: 1) Обычная база данных предназначена для того, чтобы помочь пользователям выполнять повседневную работу, тогда как хранилища данных предназначены для принятия решений; 2) Обычная база данных подвержена постоянным изменениям в процессе работы пользователей, а хранилища данных относительно стабильно; данные в нем обновляются согласно расписанию (например, ежечасно, ежедневно, ежемесячно), в идеале, процесс пополнения данными за определенный период времени без изменения прежней информации находящейся уже в хранилище. 3) Обычная база данных чаще всего является источником данных попадающих в хранилище, кроме того хранилище может пополняться за счет внешних источников (например, сжатия данных).

2. Принципы построения

Информация, которая загружается в хранилище, должна интегрироваться в целостную структуру, отвечающую целям анализа данных. При этом минимизируются несоответствия между данными из различных оперативных систем, в хранилище именуются и выражаются единым образом. Данные интегрированы на множестве уровней: на уровне ключа, атрибута, на описательном, структурном уровне и так далее. Общие данные и общая обработка данных консолидированы и являются единообразным для всех данных, которые подобны или схожи в хранилище данных. При этом информация структурируется по разным уровням детализации:

- высокая степень суммаризации;

- низкая степень суммаризации;

- текущая детальная информация.

Хранилища можно рассматривать как набор моментальных снимков состояния данных: можно восстановить картинку на любой момент времени. Атрибут времени всегда явно присутствует в структурах данных хранилища.

Попав однажды в хранилище, данные уже никогда не изменяются, а только пополняются новыми данными из оперативных систем, где данные постоянно меняются. Новые данные по мере поступления обобщаются с уже накопленной информацией в хранилище данных.

2.1 Основные компоненты хранилища данных

Использование технологии хранилищ данных предполагает наличие в системе следующих компонентов:

- оперативных источников данных;

- средств переноса и трансформации данных;

- метаданных - включают каталог хранилища и правила преобразования данных при загрузке их из оперативных баз данных;

- реляционного хранилища;

- OLAP_хранилища;

- средств доступа и анализа данных.

Назначение перечисленных компонентов таково. Оперативные данные собираются из различных источников. Поступившие оперативные данные очищаются, интегрируются и складываются в реляционные хранилище. Они уже доступны для анализа при помощи средств построения отчетов. Затем данные (полностью или частично) подготавливаются с использованием средств переноса и трансформации данных для OLAP_анализа, который реализуется применением средств доступа и анализа данных. При этом они могут быть загружены в специальную базу данных OLAP или оставаться в реляционном хранилище.

Важнейшим элементом хранилища являются метаданные, т.е. данные о структуре, размещении, трансформации данных, которые используются любыми процессами хранилища. Метаданные могут быть востребованы для различных целей, например: извлечения и загрузки данных; обслуживании хранилища и запросов. Метаданные для различных процессов могут иметь различную структуру, т.е. для одного и того же элемента данных может существовать несколько вариантов метаданных.

Итак, хранилища данных являются структурированными. Они содержат базовые данные, которые образуют единый источник для обработки данных во всех системах поддержки принятия решений. Элементарные данные, присутствующие в хранилище, могут быть представлены в различной форме. Хранилища данных исключительно велики, поскольку в них содержатся интегрированные и детализированные данные.

Эти характеристики являются общими для всех хранилищ данных. Но, несмотря на то что хранилища обладают общими свойствами, разные типы хранилищ имеют свои индивидуальные особенности.



3. Технологии управления информацией

Для работы с хранилищем данных используются СУБД, к которым предъявляются специальные требования. Поскольку в ходе обсуждения проблем хранилищ данных эти требования либо уже обсуждались, либо присутствие их в перечне и без обсуждения интуитивно понятно, просто перечислим их:

- высокая производительность загрузки данных;

- возможность обработки данных на уровне загрузки;

- наличие средств управления качеством данных;

- высокая производительность запросов;

- широкая масштабируемость по размеру и количеству пользователей;

- возможность организации сети хранилищ данных;

- наличие средств администрации хранилищ данных;

- поддержка интегрированного многомерного анализа;

- расширенный набор функциональных средств запросов.

3.1 OLAP_технология

OLAP - это технология комплексного многомерного анализа данных, это ключевой компонент организации хранилищ данных. В 1993 г. эта технология была описана Эдгером Коддом. Для упрощения анализа была предложена и разработаны концепция хранилища данных. Предполагается что такое хранилище содержит сведения, поступающие от разных источников, а так же интегрированные данные, получаемые в результате анализа первичных данных. Естественно, для поддержки предложенной концепции потребовались специальные средства управления процессом хранения и обработки информации, к которым относятся инструментальные средства OLAP_технологии.

OLAP - это способ представления данных в простом и понятном для конечного пользователя виде. Назначение систем класса OLAP - предоставить пользователям гибкий, интуитивно понятный и простой доступ к данным. Наличие такого доступа позволяет отказаться от использования предопределенных отчетов, делает пользователей самодостаточными, независящими от администраторов баз данных и программистов. В основе концепции OLAP лежит принцип многомерного представления данных. Данные представляются в виде многомерного куб, причем пользователь может быстро свернуть или развернуть данные по любому измерению. Хранилища данных не измеряются, а дополняют традиционные реляционные базы данных с первичной информацией.

Для построения систем OLAP используются специализированные многомерные базы данных, либо надстройки над обычными реляционными базами данных. До последнего времени OLAP_технология ассоциировалась с большими проектами по хранению массивов данных и сложными приложениями для их анализа. Сложный и дорогой OLAP_инструментарий был доступен только очень крупным компаниям.

И все же в последнее время ситуация на рынке резко изменилась. Произошло это благодаря тому, что было найдено компромиссное решение: укомплектовать полноценным OLAP_сервером хорошо зарекомендовавшие себя недорогие программные продукты. К таким продуктам относятся, например, MS SQL_сервер баз данных, начиная с версии 7 и позднее, который во всем мире активно используется для построения хранилищ данных. Компания Microsoft предпринимает ряд серьезных мер, чтобы обеспечить наилучшую поддержку хранилищ данных и построения информационных систем. Вследствие указанного изменения ситуации современные OLAP_ системы анализа данных стали действительно доступны малому и среднему бизнесу.

архитектура загрузка хранилище модуль



4. Понятие баз данных

Теория баз данных - сравнительно молодая область знаний Возраст ее составляет немногим более 30 лет. Однако изменился ритм времени, оно уже не бежит, а летит, и мы вынуждены подчиняться ему во всем. И действительно, современный мир информационных технологий трудно представить себе без использования баз данных. Практически все системы в той или иной степени связаны с функциями долговременного хранения и обработки информации. Фактически информация становится фактором, определяющим эффективность любой сферы деятельности. Увеличились информационные потоки и повысились требования к скорости обработки данных, и теперь уже большинство операций не может быть выполнено вручную, они требуют применения наиболее перспективных компьютерных технологий. Любые административные решения требуют четкой и точной оценки текущей ситуации и возможных перспектив ее изменения. И если раньше в оценке ситуации участвовало несколько десятков факторов, которые могли быть вычислены вручную, то теперь таких факторов сотни и сотни тысяч, и ситуация меняется не в течение года, а через несколько минут, а обоснованность принимаемых решений требуется большая, потому что и реакция на неправильные решения более серьезная, более быстрая и более мощная, чем раньше. И, конечно, обойтись без информационной модели производства, хранимой в базе данных, в этом случае невозможно.

Эффективное развитие государства немыслимо без систем управления. Современные системы управления базируются на комплексных системах обработки информации, на современных информационных технологиях.

Современные системы компьютерного управления обеспечивают:

1) Выполнение точного и полного анализа данных.

2) Получение информации во времени без задержек.

3) Определение тенденций изменения важных показателей.

Приложение Microsoft Access является мощной и высокопроизводительной 32-разрядной системой управления реляционной базой данных (СУБД).

База данных - это совокупность структурированных и взаимосвязанных данных и методов, обеспечивающих добавление выборку и отображение данных.

Реляционная база данных. Практически все СУБД позволяют добавлять новые данные в таблицы. С этой точки зрения СУБД не отличаются от программ электронных таблиц (Excel), которые могут эмулировать некоторые функции баз данных. Существует три принципиальных отличия между СУБД и программами электронных таблиц:

СУБД разрабатываются с целью обеспечения эффективной обработки больших объёмов информации, намного больших, чем те, с которыми справляются электронные таблицы.

СУБД может легко связывать две таблицы так, что для пользователя они будут представляться одной таблицей. Реализовать такую возможность в электронных таблицах практически невозможно.

СУБД минимизируют общий объём базы данных. Для этого таблицы, содержащие повторяющиеся данные, разбиваются на несколько связанных таблиц Access - мощное приложение Windows. При этом производительность СУБД органично сочетаются со всеми удобствами и преимуществами Windows.

Как реляционная СУБД Access обеспечивает доступ ко всем типам данных и позволяет одновременно использовать несколько таблиц базы данных. Можно использовать таблицы, созданные в среде Paradox или dBase. Работая в среде Microsoft Office, пользователь получает в своё распоряжение полностью совместимые с Access текстовые документы (Word), электронные таблицы (Excel), презентации (PowerPoint).С помощью новых расширений для Internet можно напрямую взаимодействовать с данными из World Wide Web и транслировать представление данных на языке HTML, обеспечивая работу с такими приложениями как Internet Explorer и Netscape Navigator.

Access специально спроектирован для создания многопользовательских приложений, где файлы базы данных являются разделяемыми ресурсами в сети. В Access реализована надёжная система защиты от несанкционированного доступа к файлам.

В рамках этой курсовой работы необходимо спроектировать и реализовать средствами MS ACCESS информационную систему, поддерживающую базу данных лекарственных препаратов.



5. Создание базы данных

База данных - это совокупность структурированных и взаимосвязанных данных и методов, обеспечивающих добавление выборку и отображение данных. Microsoft Access позволяет управлять всеми сведениями из одного файла базы данных. В рамках этого файла используются следующие объекты:

- таблицы для сохранения данных;

- запросы для поиска и извлечения только требуемых данных;

- формы для просмотра, добавления и изменения данных в таблицах;

- отчеты для анализа и печати данных в определенном формате;

Удачная разработка базы данных обеспечивает простоту ее поддержания. Данные следует сохранять в таблицах, причем каждая таблица должна содержать информацию одного типа, тогда достаточно будет обновить конкретные данные только в одном месте, чтобы обновленная информация отображалась во всей базе данных.

База данных для решения поставленной задачи состоит из:

1. Таблиц

1.1. Таблица «Группы товаров» состоит из полей групп товаров, т.к. для удобства просмотра ассортиментный перечень лучше разбить на группы, а также столбцов описание, код группы и ключ группы;

1.2. Таблица «Лекарственны препараты» состоит из полей: код лекарственные препараты, наименования товара, фирма производитель, год выпуска, формы выпуска, примерная цена, группы товаров, наличие аналогов;

2. Запросов

2.1. Запрос «Запрос наличия лекарственных препаратов» выполняет выборку данных о количестве препаратов данной группы;

3. Форм

3.1. Форма «Лекарственные препараты» позволяет редактировать таблицу «Лекарственные препараты»;

4. Отчетов

4.1. Отчет «Отчет товаров» представляет собой необходимую суммирующую информацию таблиц «Группы товаров» и «Лекарственные препараты».

5.1 Структура таблиц

Данные в базе данных хранятся в таблицах, каждая из которых имеет свое уникальное имя в базе данных. В таблицах данные распределяются по столбцам (которые называют полями) и строкам (которые называют записями). Все данные, содержащиеся в поле таблицы, должны иметь один и тот же тип. Каждое поле таблицы характеризуется наименованием, типом и шириной поля. При задании типа данных поля можно также указать размер, формат и другие параметры, влияющие на отображение значения поля и точность числовых данных. Основные типы данных:

Текстовый. Текст или числа не требующие проведения расчётов.

МЕМО. Поле этого типа предназначено для хранения небольших текстовых данных (до 64000 символов). Поле этого типа не может быть ключевым или проиндексированным.

Числовой. Этот тип данных содержит множество подтипов. От выбора подтипа (размера) зависит точность вычислений.

Счётчик. Уникальные, последовательно возрастающие числа, автоматически вводящиеся при добавлении новой записи в таблицу.

Логический. Логические значения, а так же поля, которые могут содержать одно из двух возможных значений.

Денежный. Денежные значения и числовые данные, используемые в математических вычислениях. [6]

Дата / Время. Дата и время хранятся в специальном фиксированном формате.

Поле объекта OLE. Включает звукозапись, рисунок и прочие типы данных. Поле этого типа не может быть ключевым или проиндексированным.

Гиперсвязь. Содержит адреса Web_страниц.

Типы данных в полях таблиц

Таблица «группы товаров»

Группы товаров	Текстовый
Описание	Текстовый
Код_группы	Числовой
Ключ группы	Числовой

Таблицы «лекарственные препараты»

Код_лекарственные препараты	Счетчик
Наименование товара	Текстовый
Фирма производитель	Текстовый
Год выпуска	Дата/время
Формы выпуска	Текстовый
Примерная цена	Денежный
Группы товаров	Числовой
Наличие аналогов	Логический

Одним из основных требований, предъявляемых к СУБД, является возможность быстрого поиска требуемых записей среди большого объема информации. Индексы представляют собой наиболее эффективное средство, которое позволяет значительно ускорить поиск данных в таблицах.

Важной особенностью индексов является то, что можно использовать индексы для создания первичных ключей. В этом случае индексы должны быть уникальными. Первичные ключи и дополнительные индексы используются при определении отношений между таблицами и условий целостности данных. [3]

В базе данных содержится множество таблиц, связь между которыми устанавливается с помощью совпадающих значений в ключевых полях. В большинстве случаев связывают ключевое поле одной таблицы с соответствующим ему полем (часто имеющим то же имя), которое называют полем внешнего ключа во второй таблице. Таблица, содержащая ключевое поле, называется главной, а таблица, содержащая внешний ключ - связанной.

5.2 Пользовательские формы

Формы Access позволяют создавать пользовательский интерфейс для таблиц базы данных. Хотя для выполнения тех же самых функций можно использовать режим таблицы, формы предоставляют преимущества для представления данных в упорядоченном и привлекательном виде. Формы позволяют также создавать списки значений для полей, в которых для представления множества допустимых значений используются коды. Правильно разработанная форма ускоряет процесс ввода данных и минимизирует ошибки. [1]

Формы создаются из набора отдельных элементов управления: текстовые поля для ввода и редактирования данных, кнопки, флажки, переключатели, списки, метки полей, а также рамки объектов для отображения графики и объектов OLE. Форма состоит из окна, в котором размещаются два типа элементов управления: динамические (отображающие данные из таблиц), и статические (отображающие статические данные, такие, как метки и логотипы).

Формы Access являются многофункциональными; они позволяют выполнять задания, которые нельзя выполнить в режиме таблицы. Формы позволяют производить проверку корректности данных, содержащихся в таблице. Access позволяет создавать формы, включающие другие формы (форма внутри формы называется подчиненной). Формы позволяют вычислять значения и выводить на экран результат.



5.3 Создание запросов

Запросы являются важным инструментом в любых системах управления базами данных. Они используются для выделения, обновления и добавления новых записей в таблицы. Чаще всего запросы используются для выделения специфических групп записей, чтобы удовлетворить определенному критерию. Кроме того, их можно использовать для получения данных из различных таблиц, обеспечивая единое представление связанных элементов данных. При помощи этих мощных гибких средств можно:

- Формировать сложные критерии для выбора записей из одной или нескольких таблиц;

- Указать поля, которые должны быть отображены для выбранных записей;

- Выполнять вычисления с использованием выбранных данных.

В Access существует четыре типа запросов для различных целей:

- Запросы на выборку отображают данные из одной или нескольких таблиц в виде таблицы.

- Перекрестные запросы собирают данные из одной или нескольких таблиц в формате, похожем на формат электронной таблицы. Эти запросы используются для анализа данных и создания диаграмм, основанных на суммарных значениях числовых величин из некоторого множества записей.

- Запросы на изменение используются для создания новых таблиц из результатов запроса и для внесения изменений в данные существующих таблиц. С их помощью можно добавлять или удалять записи из таблицы и изменять записи согласно выражениям, задаваемым в режиме конструктора запроса.

- Запросы с параметрами - это такие запросы, свойства которых изменяются пользователем при каждом запуске. При запуске запроса с параметром появляется диалоговое окно, в котором нужно ввести условие отбора. Этот тип запроса не является обособленным, т.е. параметр можно добавить к запросу любого типа.

5.4 Создание отчетов

Конечным продуктом большинства приложений баз данных является отчет. В Access отчет представляет собой специальный тип непрерывных форм, предназначенных для печати. Для создания отчета, который можно распечатать и распределить между потребителями, Access комбинирует данные в таблицах, запросах и даже формах. Распечатанная версия формы может служить отчетом.

Создаваемые Access отчеты делятся на шесть основных типов:

Отчеты в одну колонку представляют собой один длинный столбец текста, содержащий значения всех полей каждой записи таблицы или запроса. Надпись указывает имя, а справа от нее указывается значение поля. Новое средство Access Автоотчёт позволяет создать отчет в одну колонку щелчком по кнопке панели инструментов Автоотчет. Отчеты в одну колонку используются редко, поскольку такой формат представления данных приводит к лишней трате бумаги.

В ленточных отчетах для каждого поля таблицы или запроса выделяется столбец, а значения всех полей каждой записи выводятся по строчкам, каждое в своем столбце. Если в записи больше полей, чем может поместиться на странице, то дополнительные страницы будут печататься до тех пор, пока не будут выведены все данные; затем начинается печать следующей группы записей.

Многоколоночные отчеты создаются из отчетов в одну колонку при использовании колонок «газетного» типа или колонок «змейкой», как это делается в настольных издательских системах и текстовых процессорах. Информация, которая не помещается в первом столбце, переносится в начало второго столбца, и так далее. Формат многоколоночных таблиц позволяет сэкономить часть бумаги, но применим не во всех случаях, поскольку выравнивание столбцов едва ли соответствует ожиданиям пользователя.

В основном отчёты проще всего построить при помощи Мастера отчётов. Мастер отчетов старается создать оптимальный вариант окончательного отчета с первой попытки. Обычно мастер в достаточной степени приближается к законченному варианту, так что тратиться намного меньше времени на редактирование базового отчета мастера, чем ушло бы на создание отчета из незаполненного шаблона.



6. Программная реализация базы данных

Прежде чем заново строить структуру таблицы, нужно подумать, можно ли воспользоваться одним из стандартных шаблонов мастера таблиц. Это позволит сэкономить время.

Воспользуемся функцией «Создание таблиц с помощью мастера». Через окно «Создание таблиц» заполним поля описанные выше в разделе «структура таблиц», в случае надобности воспользуемся функцией «Переименовать поле». Мастер сгенерирует таблицу и откроет таблицу в режиме ввода данных.

Для освоения навыков использования различных функций MS Access при построении таблицы «Группы товаров» воспользуемся конструктором таблиц. С помощью конструктора можно формировать сколь угодно сложные таблицы с полями любого типа.

Заполним поля «имя поля», «тип данных», «описание» в соответствии с разработкой в разделе «структура таблиц».

Установим связь между таблицей «Группы товаров» и таблицей «Лекарственные препараты». Выберем команду Сервис > Схема данных. Установим связь между полем «ключ группы» таблицы «Группы товаров» и полем «группы товаров» таблицы «Лекарственные препараты».

Такая связь позволяет установить правила взаимодействия между таблицами.

Для создания запроса наличия лекарственных препаратов по группам товаров воспользуемся режимом конструктора. Установим min и max по срокам выпуска лекарств и групповой операцией Count для обработки всех записей из таблицы «Лекарственные препараты» соответствующих данной группе товаров из таблицы «Группы товаров». Установим сортировку согласно алфавиту (т.е. по возрастанию).

Благодаря этому запросу мы видим наличие количества наименований препаратов данной группы товаров, а так же по min и max дате выпуска мы косвенно можем предположить насколько давно поступила данная продукция и насколько она востребована.

В то время как таблицы и запросы позволяют отобразить на экране длинные списки записей, формы дает возможность сосредоточиться на конкретной записи. Форма облегчает ввод, редактирование и восприятие информации, может содержать вспомогательные подписи и элементы оформления. Для облегченного и быстрого создания формы воспользуемся функцией «Создание формы с помощью мастера». Мастер форм позволяет сберечь время и быстро сконструировать привлекательную форму для записей таблицы «Лекарственные препараты».

В целом отчеты похожи на формы, но они, как правило, предназначаются для вывода информации из баз данных на принтер. Поэтому в отчетах данные формируются так, чтобы их было удобно размещать на отдельных страницах. Отчеты поддерживают самые разнообразные способы оформления и позволяют группировать данные, разбивая их на логические цельные блоки.

Воспользуемся функцией «Создание отчета с помощью мастера». Для удобного восприятия информации о лекарственных препаратах выберем поля: группы товаров (из таблицы «Группы товаров»), а также наименование товара, фирма производитель, год выпуска, формы выпуска, примерная цена (из таблицы «Лекарственные препараты»). Получим удобную форму «Отчеты» для вывода информации о лекарственных препаратах на принтер и визуального восприятия без излишней (бесполезной) информации.

В результате выполнения отчета получен его печатный вид, который можно увидеть в разделе курсовой работы «Приложение».



Заключение

В деловой или личной сфере часто приходится работать с данными из разных источников, каждый из которых связан с определённым видом деятельности. Для координации всех этих данных необходимы определённые знания и организационные навыки. Microsoft Access объединяет сведения из разных источников в одной реляционной базе данных. Создаваемые формы, запросы и отчёты позволяют быстро и эффективно обновлять данные, получать ответы на вопросы, осуществлять поиск нужных данных, анализировать данные, печатать отчёты, диаграммы и почтовые наклейки.

В базе данных сведения из каждого источника сохраняются в отдельной таблице. При работе с данными из нескольких таблиц устанавливаются связи между таблицами. Для поиска и отбора данных, удовлетворяющих определённым условиям, создаётся запрос. Запросы также позволяют обновить или удалить одновременно несколько записей, выполнить встроенные и специальные сообщения. Для просмотра, ввода или изменения данных прямо в таблице применяются формы. Форма позволяет отобрать данные из одной или нескольких таблиц и вывести их на экран, используя стандартный или созданный пользователем макет. Для анализа данных или распечатки их определённым образом используются отчёты. Например, можно создать отчёт, группирующий данные и подводящий итоги, или отчёт для распечатки почтовых наклеек. В окне базы данных можно работать со всеми её объектами. С помощью кнопок можно открывать и изменять существующие объекты и создавать новые. Разработанная база данных позволяет быстро и эффективно получать информацию о лекарственных препаратах. Удобный интерфейс программы, с одной стороны, позволяет легко ориентироваться в программе, не требуя от пользователя каких-либо специальных навыков работы с электронно-вычислительными машинами, с другой стороны предоставляет пользователю оперативную информацию.

Приложение

ИНФОРМАЦИОННО-АНАЛИТИЧЕСКАЯ СИСТЕМА ВУЗА. АНАЛИТИЧЕСКАЯ ОБРАБОТКА ДАННЫХ, ЕЕ КОНЦЕПЦИИ И ТЕХНОЛОГИИ

В последние годы объемы информации, с которыми сталкивается ВУЗ при осуществлении управления учебным процессом, огромны. Качество управления данным процессом напрямую зависит от того, в какой степени ВУЗ способен извлечь максимум из имеющейся информации. Для выполнения этого требования необходимо построение эффективной информационно-аналитической системы (ИАС).

К основным задачам ИАС можно отнести: эффективное хранение, обработка и анализ данных. В ходе исследований и разработок накоплен богатый опыт в этой области.

Эффективность хранения информации достигается путь внедрения в состав информационно-аналитической системы большого количества разнообразных источников данных. Обработка и объединение информации достигается путем использования инструментов извлечения, преобразования и загрузки данных. Анализ данных осуществляется за счет применения современных средств делового анализа данных.

Архитектура типичной ИАС в общем виде представлена на рисунке 1.



Рисунок 1. Архитектура информационно-аналитической системы

В последнее время был окончательно сформирован основной набор новых концепций хранения и анализа корпоративных данных:

1. Хранилища данных, или Склады данных (Data Warehouse) [6, 2];

2. Оперативная аналитическая обработка (On-Line Analytical Processing, OLAP) [5, 3, 4, 10];

3. Интеллектуальный анализ данных (ИАД) (Data Mining)).

Технологии OLAP плотно взаимодействуют с другими технологиями, такими как: хранилища данных (Data Warehouse) и методы интеллектуальной обработки (Data Mining). Исходя из этого, оптимальный вариант - комплексный подход в процессе их внедрению.

Изучением указанной проблемы занимается ряд ведущих университетов и научно-исследовательских институтов России: СФУ г. Красноярск, СибГТУ, СибГАУ, КНЦ СО РАН, СибНИИ охотничьего хозяйства, Институт вычислительного моделирования СО РАН.

В статье предложена ИАС для управления учебным процессом ВУЗа.

Система разработана в ходе написания диссертационной работы на соискание степени кандидата технических наук по специальности 05.13.10. - Управление в социальных и экономических системах.

Созданный по технологии OLAP программный продукт «Информационно-аналитическая программа "Выбор"» (сокращенно «Выбор») состоит из следующих компонентов (рисунок 2).

Рисунок 2. Структура программного продукта «Информационно-аналитическая программа "Выбор"»

В структуре программного продукта, для решения проблемы взаимодействия между OLAP-сервером и клиентской частью, создана подсистема взаимодействия с клиентской частью. В связи с этим нет необходимости установки дополнительного специального программного обеспечения, предназначенного для клиента. Так как подсистема использует собственный протокол обмена данными, появилась возможность использовать единую подсистему просмотра и анализа информации при работе с различными типами OLAP-сервера.

Подсистема управления необходима для того, чтобы упростить взаимодействие с OLAP-сервером в процессе заполнения базы данных (БД) информацией. Внедрение подсистемы позволит использовать разработанную программу пользователям, у которых недостаточно или вовсе нет опыта работы с подобными программными продуктами.

В хранилище данных (Data warehouses) содержатся оперативные данные, которые собираются, интегрируются из разных источников. При использовании хранилище данных позволяет значительно повысить скорость получения данных, возможность использования среза и сравнения данных, а так же иметь на выходе непротиворечивые, полные и достоверные данные.

Программный продукт представляет собой дружественный, интуитивно понятный интерфейс, который не требует от пользователя специальных знаний и навыков (рисунок 3).

Рисунок 3. Интерфейс пользователя

Информация отображается в форме таблиц. Предусмотрена возможность выбора таблиц при помощи кнопок управления (рисунок 4).



Рисунок 4. Просмотр информации в программе

Анализ информации может проводиться даже неквалифицированным в вопросах эксплуатации компьютера пользователем.

Во время анализа информации пользователь выбирает ее из реляционной базы данных (РБД). Затем, программный продукт выполняет запрос на выборку, определяя совпавшие и не совпавшие дисциплины, и сортирует их в соответствующие таблицы (рисунок 4).

Механизм выполнения запроса осуществляется программным продуктом без вмешательства пользователя, т.е. по средствам программирования на языке SQL.

Для отображения данных из БД на пользовательский интерфейс в ходе проектирования программного продукта были использованы ADO компоненты.

В программном продукте генерируются отчеты стандартной формы, на основании данных, которые содержаться в таблицах, сформированных по итогам запросов на выборку. Соответственно сгенерированным таблицам, по требованию пользователя, формируются отчеты: «Совпавшие дисциплины» и «Не совпавшие дисциплины».

В отчетах предусмотрены функции «Экспорт» и «Печать».

Функция «Экспорт». Данная функция позволяет сохранять сформированные отчеты либо в текстовом формате, либо в формате HTML-страницы. Сохранение отчета в формате HTML-страницы позволяет хранить отчеты на сайте вуза для быстрого доступа к ним лиц, принимающих решение.

Функция «Печать». Эта функция позволяет выводить сформированный отчет на бумажный носитель. Имеется возможность настройки печати.

Сформированные отчеты позволяют упростить и ускорить процесс принятия решения, а также уменьшить вероятность возникновения ошибки.

Внедрение данной ИАС позволяет более детально анализировать данные, выбрать учебный план с минимальным количеством дополнительных для изучения дисциплин, сократить сроки переподготовки и перепрофилирования.

Хранилища данных и задачи прогнозирования

При решении практических задач, в частности, задачи прогнозирования, вы обязательно столкнетесь с проблемой подготовки данных. Не надо питать никаких иллюзий, что если не помог один способ прогнозирования, то поможет другой, более изощренный. Дело не в методах. Если в исходных данных не хватает параметров, если информация сильно искажена, то никакой метод не поможет.

Давайте рассуждать на уровне обычной логики. В августе, сентябре, октябре вы продали 10000 единиц какого-либо товара. Что нам говорят эти данные? Это хороший или плохой результат? Однозначно на этот вопрос ответить невозможно. Во-первых, нужно учитывать сезонность, во-вторых, состояние рынка, в-третьих, действия конкурентов и так можно продолжать еще долго: цена, реклама, изменение законодательства... Если человек не может дать ответ на, казалось бы, достаточно простой вопрос, что стоит ждать от машины. Можно возразить, что эксперты дают прогнозы, основываясь на этих данных, но эти возражения не выдерживают критики. Эксперт всегда имеет много, пусть и не формализованной, дополнительной информации. Это называется опытом работы. В случае применения какого-либо математического метода у нас этих данных нет. Не нужно забывать еще и о различного рода аномальных выбросах и провалах. Эксперт, зная, что происходило в это время, будет или не будет принимать эти сведения в расчет при прогнозировании объемов продаж.

Фундаментальная проблема заключается в том, что информации об истории продаж - то, на основе чего чаще всего предлагается прогнозировать, совершенно недостаточно для сколько-нибудь качественного прогноза. Конечно, можно прогнозировать и имея только эти данные, но это больше напоминает гадание на кофейной гуще. Сведения об объемах продаж, конечно, нужны, но они дают максимум 30% от необходимой информации. Фактически они описывают только то, что произошло внутри организации, и то не в полном объеме. А то, что произошло в это время на рынке, практически игнорируется. В то время, как влияние внешних факторов очень велико, в некоторых случаях и решающее.

Для того, чтобы получить качественный прогноз, нужно собрать максимум информации об исследуемом процессе, описывающей его с разных сторон. Например, для прогнозирования объемов продаж необходимо знать:

1. Историю продаж;

2. Состояние склада на каждый день. Может быть, не было продаж из-за отсутствия товара на складе, а вовсе не из-за отсутствия спроса;

3. Сведения о ценах конкурентов;

4. Изменения в законодательстве;

5. Общее состояние рынка;

6. Курс доллара, инфляция;

7. Сведения о рекламе;

8. Сведения об отношении к вашей продукции клиентов;

9. Различного рода специфическую информацию. Например, для продавцов мороженого - температуру, а для аптечных складов - санитарно-эпидемиологическую обстановку;

и многое другое.

Проблема заключается в том, что обычно в системах оперативного учета большей части этой информации просто нет, а та, что есть, искаженная и/или неполная. Лучшим вариантом в этом случае будет создание хранилища данных, куда бы с определенной заданной периодичностью поступала вся необходимая информация, предварительно систематизированная и отфильтрованная.

Всю эту информацию для хранилища данных подготовить вполне реально, нужно только желание. Можно систематизировать сведения из систем оперативного учета, регулярно вводить информацию о прайс-листах конкурентов - это открытая информация, наладить учет отказов в обслуживании, заказать маркетинговое исследование, регулярно проводить анкетирование. Есть еще много информации в разного рода статистических сборниках. Конечно, информация, содержащаяся в них, далека от идеала, но это не столь страшно. Значение имеют не абсолютные числа, а тенденции.

Тенденции отражаются в этих сборниках достаточно хорошо. Как только будут подготовлены данные, можно говорить о качественном прогнозе.

Подавляющее большинство из необходимой информации можно получить бесплатно или за минимальную плату из совершенно открытых источников. Перед внесением этих сведений в хранилище, возможно, их придется обрабатывать каким-либо образом, но это вполне решаемо. Главное, что необходимую информацию можно получить. Даже, если удастся собрать только часть из необходимых данных, уже это позволит значительно улучшить качество прогноза.

Создание хранилища - данных довольно утомительное и дорогое занятие, но вариантов не очень много. Как говорится, "если вы считаете, что образование это - слишком дорого, попробуйте, почем невежество".

Главная страница > О компании > Публикации РДТЕХ в прессе

Описание решения: Выбираем решение по созданию единого хранилища данных в банке

Анатолий Волков, директор Центра финансовых решений РДТЕХ, Евгений Пустозёров, консультант Центра финансовых решений РДТЕХ. (Обзор CNews "ИТ в банках и страховых компаниях 2011", октябрь, 2011 год)

Сегодня банки понимают необходимость и ценность консолидированного решения для сбора, обработки и анализа данных на основе корпоративного информационного хранилища. Компания РДТЕХ предлагает комплексное решение, в рамках которого необходимые банку функциональные модули (системы обязательной и управленческой отчётности, финансового планирования и бюджетирования, оценки рисков) создаются на основе единого, корпоративного хранилища данных на базе технологий Oracle и Informatica.

На современном этапе развития бизнеса средние и крупные банки вышли на новый уровень, при котором одним из важнейших конкурентных преимуществ является скорость и качество обработки накопленных данных, а также возможность их разностороннего анализа. С одной стороны, финансовой организации необходимо соответствовать требованиям национального законодательства по обязательной отчётности, с другой стороны, международный характер современного банковского бизнеса все более подвигает российские банки к международным стандартам работы и технологического развития. Вместе с тем, для руководства финансовой организации важна возможность в любой момент времени составить единую информационную картину работы всех подразделений банка, которая позволит корректно отслеживать показатели доходности в различных разрезах: клиент, продукт, канал продаж, центр финансовой ответственности и т.д.

Тенденция решать все эти задачи точечно, на уровне отдельных департаментов и подразделений, при помощи различных систем осталась в прошлом: сегодня банки понимают необходимость и ценность консолидированного решения для сбора, обработки и анализа данных на основе корпоративного информационного хранилища (далее КИХ).

При выборе поставщика единого корпоративного хранилища данных необходимо принимать во внимание, что решения, предлагаемые крупными западными вендорами, помимо очевидных плюсов - использования проверенных лучших практик для финансовой отрасли, упрощения процессов интеграции банка в мировую систему финансовой коммуникации - обладают и существенным недостатком, а именно, не учитывают специфику национального законодательства, которое в России и странах СНГ значительно отличается от западного.

Понимая все эти трудности, компания РДТЕХ использует комплексный подход, в рамках которого необходимые банку функциональные модули (системы обязательной и управленческой отчётности, финансового планирования и бюджетирования, оценки рисков) создаются на основе единого, консолидированного корпоративного хранилища данных. При этом хранилище строится при помощи передовых технологий крупнейших вендоров: Oracle и Informatica, на основе типовой логической модели, разработанной специалистами РДТЕХ под специфику национальных банков России и стран СНГ. Особое внимание при построении хранилища уделяется процессу сбора, очистки, верификации данных. Грамотное построение процесса загрузки информации в хранилище гарантирует использование полных, непротиворечивых, актуальных данных при построении любых видов отчётности (как обязательной, так и управленческой), анализе рисков, планировании и бюджетировании.

Системная архитектура корпоративного хранилища данных

Решение "Система корпоративной и обязательной отчетности финансового института на основе единого хранилища данных" РДТЕХ представляет собой не просто хранилище данных, консолидирующее информацию из банковских систем-источников, это комплексное решение, состоящее из набора модулей, каждый из которых обладает определенной функциональностью (см. Рис. 1).

Системные модули:

· модуль "Загрузка данных" (ETL): предназначен для извлечения, трансформации, консолидации, проверки и приведения к единому формату информации, находящейся в автоматизированных системах банка;

· модуль "Безопасность": предназначен для управления правами доступа пользователей к КИХ;

· модуль "Рабочее хранилище данных" (далее РХД): содержит типовую банковскую модель, предназначенную для накопления и постоянного хранения сделочной информации, а также данных бухучета, клиентских данных и нормативно-справочной информации (НСИ).

Функциональные модули - "Обязательная отчётность ЦБ", "Налоговая отчётность", "Отчётность МСФО","Управленческая отчётность", "Анализ рисков" и др. - являются витринами данных и используют в своей работе очищенные и консолидированные данные из РХД. Функциональные модули, в отличие от системных, предназначены для решения конкретных задач анализа данных и построения отчётности, которые ежедневно возникают у бизнес-подразделений банка.

Концептуальная схема корпоративного хранилища данных РДТЕХ

Модуль "Загрузка данных (ETL)"

Системный модуль "Загрузка данных (ETL)" решает первоочередную задачу - создание единого источника унифицированной, консолидированной информации, объединяющего все разнородные, нередко дублирующиеся или неполные данные, хранящиеся в различных системах-источниках банка. Таким образом, хранилище данных становится единственным источником для заведомо правильной чистой информации, структурированной в единую типовую банковскую модель, позволяющую использовать данные для всестороннего анализа и формирования аналитической, обязательной и специализированной отчётности банка.

Основными функциональными блоками данного модуля являются:

· ETL-средство

· Средство получения и преобразования данных из различных систем-источников, единая платформа интеграции данных, которая позволяет получать доступ и проводить интеграцию данных любого формата, из любых источников и доставлять их в хранилище с высокой скоростью. Обычно в качестве ETL-средств в решении РДТЕХ используются продукты Informatica PowerCenter или Oracle Data Integrator.

· Оперативный склад данных КИХ (Stage-область)

Промежуточная область хранения загруженных данных. В этой области выполняется очистка, верификация данных и приведение их к единому формату хранения в РХД.

· Блок верификации данных

Совокупность средств, выполняющих проверку корректности загружаемых данных.

· Рабочее хранилище данных (РХД)

Область хранения очищенных и консолидированных данных, загруженных из оперативного склада данных КИХ.

· Интерфейсы управления

Интерфейсы управления - набор автоматизированных рабочих мест (АРМ), позволяющих осуществлять управление модулем "Загрузка данных".

Информация из систем-источников банка с помощью промышленного ETL-средства попадает в Stage-область, где происходит консолидация данных, очистка, верификация, приведение к формату типовой банковской логической модели, на базе которой строится рабочее хранилище данных.

Загрузка данных из систем-источников банка в РХД может происходить в следующих режимах:

· Инициализирующая загрузка данных. Выполняет первичное наполнение хранилища данными, при этом происходит создание начальной сальдовой точки.

· Регламентная загрузка данных. Производится в ночное время, выполняет загрузку изменений данных справочников и данных-фактов за предыдущий операционный день.

· Исправительная загрузка (перезагрузка) данных. Даёт возможность перезагрузки данных за определённый период времени в прошлом. Например, перезагрузка справочных данных приводит к частичной замене истории изменений справочника за период, пересекающийся с периодом перезагрузки по тем данным, которые подвергаются перезагрузке.

Порядок обработки данных в ходе работы модуля "Загрузка данных"

Порядок обработки данных состоит из пяти последовательных фаз, каждая из которых выполняет соответствующие преобразования данных (см. Рис. 2).



Порядок обработки данных

1. Загрузка данных из системы-источника (PHASE_01).

На данной фазе происходит копирование определенного набора данных из системы-источника банка в Stage-область и его подготовка для дальнейшего преобразования.

2. Формирование глобальных ключей (PHASE_02).

На данной фазе происходит формирование глобальных идентификаторов записей справочников. Для каждой сущности значение глобального ключа однозначно определяет элемент сущности. Алгоритм формирования глобального ключа зависит от нескольких факторов: типа загружаемой сущности, типа первичного ключа в источнике, системы-источника, из которого производится загрузка и т.д.

3. Поиск изменений относительно текущего состояния РХД (PHASE_03).

o Определение новых и измененных записей в источнике;

o Определение удаленных строк в источнике.

4. Преобразование и подготовка данных для загрузки в РХД (PHASE_04).

На данной фазе происходит формирование строк загружаемой сущности в том виде, в котором они будут храниться в РХД. Для этого на основе исходной постановки задачи по загрузке выполняется привязка атрибутов таблицы системы-источника и атрибутов таблицы РХД (возможно, с использованием необходимых преобразований); определение и простановка условий соединения с зависимыми таблицами РХД; вычисление хеш- значения загружаемых атрибутов.

5. Загрузка данных в РХД (PHASE_05).

o Загрузка в РХД структур, содержащие актуальные данные.Вставка новых записей и обновление уже существующих данных в актуальном срезе загружаемой структуры.

...