Технологии, используемые в проектировании баз данных в информационных системах

Размещено на http://www.allbest.ru/

Технологии, используемые в проектировании баз данных в информационных системах

Создание хранилищ данных - трудоемкий и длительный процесс. Наряду с хранилищами данных существуют и часто используются компаниями витрины данных (Data Mart), называемые также киосками данных. Такие системы создаются для отдельных подразделений компаний или для обеспечения отдельных видов деятельности. Объемы данных и требования к вычислительным ресурсам в витринах данных существенно меньше по сравнению с хранилищами. Витрины данных могут строиться как независимо, так и на основе хранилищ данных компании. Хранилища данных имеют двухуровневую или трехуровневую архитектуру. В двухуровневых хранилищах на верхнем уровне поддерживается объединенная информация. На нижнем уровне - различные источники баз данных. В трехуровневой архитектуре предусматривается поддержка витрин данных для отдельных подразделений компании над ее единым хранилищем.

База данных- совокупность взаимосвязанных, хранящихся вместе данных, при наличии такой минимальной избыточности, которая допускает их использование оптимальным образом для одного или нескольких приложений (определение Мартина). Данные запоминаются так, чтобы они были независимы от программ, использующих эти данные. Для добавления новых или модификации существующих данных, а также поиска данных в БД применяется СУБД. Данные структурируются таким образом, чтобы была обеспечена возможность дальнейшего наращивания приложений. Говорят, что система содержит совокупность баз данных, если эти базы данных структурно полностью самостоятельны. Естественно, что первоначально источником исходной информации для проведения анализа служили данные, хранящиеся в традиционных OLTP-системах. Вместе с тем по мере развития средств и методов анализа и переполнения данными этих систем подобный способ получения аналитической информации становился все менее и менее эффективным. Основные причины этого заключаются в том, что:

· во-первых, подобные системы зачастую вообще не обеспечивают возможность получения необходимых данных, так как организация данных в OLTP-системах в целом не ориентирована на решение аналитических задач;

· во-вторых, для решения многих аналитических задач требуется обработка значительных объемов информации по достаточно сложным алгоритмам, что в рамках OLTP-системы приводит к существенным затратам вычислительных ресурсов;

· в-третьих, реализация аналитических приложений с использованием баз данных OLTP-систем мешает оперативной обработке транзакционных задач, при этом заметно снижается производительность системы и повышается стоимость ее сопровождения, поскольку для задач анализа зачастую требуются исторические сведения за достаточно длительный период.

Указанные причины обусловили необходимость появления новых подходов к организации хранения и обработки информации, которые обеспечивали бы оперативное решение аналитических задач по различным запросам пользователей - специалистов управления.

Первыми в начале 90-х годов прошлого века с данной проблемой столкнулись крупные западные корпорации, которые обнаружили, что в результате накопления в БД огромных объемов информации существенно снижается эффективность работы системы в целом. Выход из создавшейся ситуаций был найден У. Инмоном - специалистом по организации корпоративных БД. Именно он предложил принципиально новый подход к организации хранения информации, названный им хранилищем данных (Data Warehouse).

В настоящее время под хранилищем данных понимается предметно-ориентированный, интегрированный, поддерживающий хронологию набор данных, являющийся единственным источником информации, необходимой для анализа и принятия управленческих решений.

В основе реализации концепции хранилища данных лежат следующие основные принципы:

· подразделяются наборы данных, используемые в системах оперативной обработки данных (OLTP-системах), и наборы данных, применяемые в аналитических системах (OLAP-системах) для поддержки принятия управленческих решений (DSS - Decision Support System);

· перед помещением данных в хранилище они проверяются на непротиворечивость, приводятся к единой системе понятий и единым форматам представления и определенным образом структурируются и обобщаются;

· по мере «устаревания» данные из хранилища не удаляются, как это обычно принято в традиционных БД при их актуализации, а их обновленные значения добавляются к уже имеющимся данным;

· структура хранилища организуется так, чтобы обеспечивалось быстрое и эффективное извлечение необходимой информации (данные могут заранее агрегироваться по наиболее часто используемым аналитическим разрезам);

· помимо данных в хранилище содержатся также и метаданные (т.е. данные о хранящихся данных) - своего рода «досье», отражающее различные сведения о хранящейся управленческой информации и расширяющее возможности ее аналитической обработки. Метаданные характеризуют источник информации, дату ее формирования, дату занесения в хранилище, пользователей информации и т.п.

Понятие «хранилище данных» определяет лишь концепцию организации хранения данных и практически не регламентирует характер и способы (технологии) их использования на практике, поэтому могут встречаться различные варианты их реализации в зависимости от целей создания.

Хранилища данных - это информационный фундамент, на котором строятся OLAP-приложения. Главной особенностью программных средств OLAP-систем является обеспечение оперативного анализа данных, содержащихся в хранилище, причем они ориентированы на их использование любыми специалистами по управлению - непрофессионалами в области компьютерных технологий: руководителями различных служб и отделов. Имея в своем распоряжении гибкие механизмы манипулирования данными, визуального отображения этих процессов и результатов их реализации, специалист по управлению, используя свои знания, опыт и интуицию, может самостоятельно устанавливать различные закономерности в поведении элементов анализируемой системы, сопоставлять различные показатели, выявлять качественно новые, скрытые до этого взаимосвязи между ними.

Что касается результатов проводимого с помощью OLAP-технологий анализа, то особо следует выделить задачи, связанные с интеллектуальным анализом данных, главными целями которого являются обеспечение поиска функциональных и логических закономерностей в отношении накопленной информации, а также построение моделей и правил, объясняющих и/или прогнозирующих эти закономерности. В этом плане OLAP-технологии представляют собой определенный шаг в реализации систем искусственного интеллекта. Основное отличие OLAP-технологий от систем искусственного интеллекта заключается в том, что они позволяют не моделировать естественный интеллект человека, а лишь расширять его способности, используя возможности современных компьютеров и хранилищ данных. Вместе с тем в настоящее время технологии интеллектуального анализа данных (Data Mining) становятся все более актуальными, так как пользователь можно получать не только новые данные, но и новые знания.

Особое место среди информационных технологий, связанных с интеллектуальным анализом данных, отводится технологиям, обеспечивающим решение неформализованных или слабоформализованных задач. Традиционно для решения задач подобного характера используются два подхода: экспертные системы и нейросетевые технологии (нейросети).

Экспертные системы представляют собой разновидность систем искусственного интеллекта, т.е. систем, имитирующих посредством компьютера интеллектуальные способности человека в конкретных прикладных областях его деятельности с учетом накопленных знаний относительно этой прикладной области и формализованных правил получения на их основе новых знаний.

В отличие от экспертных систем нейросетевые технологии при решении неформализованных (или слабоформализованных) задач не требуют знания правил вывода. Для работы нейросети необходимо выполнить ее предварительное «обучение» на достаточном количестве исходных примеров. Такое «обучение» осуществляется в целях настройки функционирования адаптивной системы нейросети для решения задач с заданной степенью достоверности. Данный процесс повторяется до тех пор, пока суммарная погрешность реакции сети на всем множестве исходных значений не достигнет приемлемого уровня. После этого считается, что «обученная» нейросеть способна генерировать идеальные (с ее точки зрения) решения поставленной задачи на основе неизвестных входных данных, но имеющих ту же природу, что и множество данных, с использованием которых осуществлялось ее «обучение».

Если внедрение информационных технологий для анализа данных на основе OLAP-систем и систем искусственного интеллекта обеспечивает расширение круга функциональных задач управления, реализация которых с помощью компьютеров составляет информационную основу для принятия обоснованных бизнес-решений, то автоматизация документооборота и делопроизводства - это прежде всего средство повышения эффективности административно-управленческой деятельности аппарата управления за счет так называемых внутренних резервов.

Из-за большого объема данных в хранилищах одной из основных проблем создания хранилищ является обеспечение высокой производительности обработки запросов. Запросы в хранилище отличаются высоким уровнем сложности.

Создание хранилищ данных - трудоемкий и длительный процесс. Наряду с хранилищами данных существуют и часто используются компаниями витрины данных (Data Mart), называемые также киосками данных. Такие системы создаются для отдельных подразделений компаний или для обеспечения отдельных видов деятельности. Объемы данных и требования к вычислительным ресурсам в витринах данных существенно меньше по сравнению с хранилищами. Витрины данных могут строиться как независимо, так и на основе хранилищ данных компании. Хранилища данных имеют двухуровневую или трехуровневую архитектуру. В двухуровневых хранилищах на верхнем уровне поддерживается объединенная информация. На нижнем уровне - различные источники баз данных. В трехуровневой архитектуре предусматривается поддержка витрин данных для отдельных подразделений компании над ее единым хранилищем.

хранилище информационный проектирование

Список литературы

1.Шарафутдинов А.Г. Информационные технологии в бухгалтерском учете [Текст] / А.Г. Шарафутдинов , У.С. Николаева // Экономика и социум. - 2014 г. - № 2-5 (11). - С. 468-470.

2.Магафуров К.Б., Ямилов Н.Х., Иванов С.Е.,Шарафутдинов А.Г., ТЕОРЕТИЧЕСКИЕ ОСНОВЫ РАЗВИТИЯ СЕЛЬСКОГО ХОЗЯЙСТВА КАК ОТКРЫТОЙ САМООРГАНИЗУЮЩЕЙ СИСТЕМЫ [Текст]:МСХ РФ, Башкирский государственный аграрный университет. Уфа, 2003. В сборнике: Пути повышения эффективности АПК в условиях вступления России в ВТО материалы международной научно-практической конференции (к XIII международной специализированной выставке "АГРО-2003"). 2003. С. 129-131.

Размещено на Allbest.ru