Размещено на http://www.allbest.ru/

ФГБОУ Кубанский государственный аграрный университет

Статья

на тему: Методики оптимального выбора конфигурации и структурирования распределенной информационной системы сбора и хранения хронологических данных с несколькими центрами обработки данных

Выполнил:

Сопильняк Юрий Николаевич

В статье рассматриваются методики оптимального выбора конфигурации и структурирования распределенной информационной системы сбора и хранения хронологических данных с несколькими центрами обработки данных.

Ключевые слова: система сбора и хранения данных, оптимальный выбор, центр обработки данных

The article discusses the methodology of optimal configuration selection and structuring of distributed information systems for collecting and storing historical data from multiple data centers

Keywords: collection and storage, optimal choice, data processing center

Введение

В настоящее время широко применяются информационные системы сбора и хранения хронологических данных.

В частности, такие системы применяются в сфере ЖКХ, информационных системах газораспределения, информационных системах энергокластеров и в других областях.

Построение таких систем сопровождается сложными процессами проектирования, оценки работоспособности решения, целесообразности его применения для каждого конкретного случая, а также управленческими решениями, связанными с выбором из предложенных возможных конфигураций системы.

Описанные сложности создают необходимость применения проверенных методик, предоставляющих инструменты для проектирования и внедрения таких систем, позволяющих получить наиболее приемлемую конфигурацию конечной системы, удовлетворяющую технические, временные и финансовые ограничения.

Таким образом, разработка методики оптимального выбора конфигурации и структурирования распределенной информационной системы сбора и хранения хронологических данных с несколькими центрами обработки данных, являются важной научно-практической задачей [1-3].

1. Методика распределения центров сбора данных по центрам обработки данных для однотипных каналов связи

Задача распределения центров сбора данных по центрам обработки данных для однотипных каналов связи сводится к распределению центров сбора данных по центрам обработки данных в условиях минимизации стоимости подключения и ограничениях на время сбора, передачи, хранения данных и надежность.

Таким образом, задача распределения центров сбора данных (ЦСД) по центрам обработки данных (ЦОД) формулируется в виде задачи минимизации затрат

Размещено на http://www.allbest.ru/

(1)

при ограничениях:

1) а однократность включения j-ого ЦСД к ЦОД:

Размещено на http://www.allbest.ru/

(2)

2) на обязательность использования всех центров обработки данных:

Размещено на http://www.allbest.ru/

(3)

3) на время сбора, передачи и записи темпоральной информации в хранилище данных [3]:

Размещено на http://www.allbest.ru/

(4)

где t_max - максимально допустимое время передачи информации от ЦСД к ЦОД. При поддержке ЦОД параллельной обработки запросов;

4) на надежность канала связи:

Размещено на http://www.allbest.ru/

(5)

где p_min - требуемое значение надежности канала передачи учетной информации.

Исходными данными для решения задачи являются матрицы:

1) матрица затрат на размещение центров сбора и обработки данных

Размещено на http://www.allbest.ru/

(6)

где с_ij - затраты на подключение j-ого ЦСД к i-му ЦОД (включая затраты на проектирование, прокладку канала связи, пуско-наладочные работы, оплату персонала), i?I, I = 1,...,n - множество индексов (номеров) ЦОД, j?J, J = 1,...,m - множество индексов (номеров) ЦСД;

2. матрица времени сбора, передачи и записи данных

Размещено на http://www.allbest.ru/

(7)

где t_ij - время сбора, передачи и записи данных при передачи учетной информации от j-ого ЦСД к i-му ЦОД;

3. матрица вероятностей безотказной работы каналов связи

Размещено на http://www.allbest.ru/

(8)

где p_ij - вероятность безотказной работы канала связи между j-м ЦСД к i-м ЦОД.

При формировании матрицы затрат на подключение j-ого ЦСД к i-му ЦОД учитываются следующие показатели: A¹ - матрица стоимостей проектных работ;

A² - матрица стоимостей коммуникационного оборудования, устанавливаемого на ЦСД; A³ - матрица стоимостей коммуникационного оборудования, устанавливаемого на ЦОД; A³ - матрица стоимостей оборудования канала связи между j-м ЦСД и i-м ЦОД; A⁴ - матрица стоимостей технических работ по установке коммуникационного оборудования и прокладке канала связи и A⁵ - матрица стоимостей пуско-наладочных работ. Капитальные затраты на подключение j-ого ЦСД к i-му ЦОД вычисляются следующим образом:

Размещено на http://www.allbest.ru/

(9)

Капитальные затраты на внедрение системы сбора и хранения данных:

Размещено на http://www.allbest.ru/

(10)

Решением поставленной задачи минимизации является бинарная матрица:

Размещено на http://www.allbest.ru/

(11)

где x_ij = 1 - если j-й ЦСД подключен к i-му ЦОД иx_ij = 0 в противном случае.

Поставленная задача минимизации может быть решена как методом перебора всех допустимых значений переменной X, так и, в случае большой размерности, другими методами нелинейной целочисленной оптимизации.

Методика, позволяющая решить задачу (1), состоит из следующих этапов:

1) формирование множества I (на основе схемы электроснабжения энергокластера);

2) формирование множества J (аналогично на основе схемы электроснабжения);

3) сбор стоимостной информации, расчет и формирование матрицы C;

4) формирование матрицы T (в случае если отсутствует возможность проведения реальных расчетов, можно использовать имитационную модель, описанную в главе 1);

5) определение максимально допустимого времени передачи информации от ЦСД к ЦОД t_max;

6) формирование матрицы P (описание одного из методов приведено в главе 3);

7) определение требуемого значения надежности канала передачи учетной информацииp_min;

8) решение задачи (4.1) методами целочисленной оптимизации.

Системно-аналитическое описание методики по технологии SADT представлено на IDEF-0диаграмме 1.

Рисунок 1 - IDEF-0 диаграмма методики конфигурации распределенной информационной системы с несколькими центрами обработки данных

На основе данной методики было разработано программное обеспечение, позволяющее автоматизировать процесс сбора данных, расчет матриц C,T,P и решения оптимизационной задачи (1).

Рисунок 2 - Интерфейс программы вычисления оптимального распределения ЦСД к ЦОД

2. Методика распределения центров сбора данных по центрам обработки данных с использованием нескольких типов каналов связи

Рассмотрим задачу распределения центров сбора данных по центрам обработки данных в условиях минимизации стоимости подключения и ограничениях на время сбора, передачи, хранения данных и надежность, но с возможностью применения различных типов каналов связи.

В таком случае задача распределения центров сбора данных по центрам обработки данных формулируется в виде задачи минимизации затрат

Размещено на http://www.allbest.ru/

(12)

при ограничениях:

1) на однократность включения j-ого ЦСД к ЦОД:

Размещено на http://www.allbest.ru/

(13)

2) на обязательность использования всех центров обработки данных:

Размещено на http://www.allbest.ru/

(14)

3) на время сбора, передачи и записи темпоральной информации в хранилище данных [3]:

Размещено на http://www.allbest.ru/

(15)

где t_max - максимально допустимое время передачи информации от ЦСД к ЦОД. При поддержке ЦОД параллельной обработки запросов;

4) на надежность канала связи:

Размещено на http://www.allbest.ru/

(16)

где p_min - требуемое значение надежности канала передачи учетной информации.

Исходными данными для решения задачи являются матрицы:

1) матрица затрат на размещение центров сбора и обработки данных C_ijk, где c_ijk - затраты на подключение j-ого ЦСД к i-му ЦОД каналом связи k(включая затраты на проектирование, прокладку канала связи, пуско-наладочные работы, оплату персонала), i?I,I = 1,...,n - множество индексов (номеров) ЦОД,j?J, J = 1,...,m - множество индексов (номеров) ЦСД, k?K,К = 1,...,l - множество доступных каналов связи;

2) матрица времени сбора, передачи и записи данных T_ijk, где t_ijk - время сбора, передачи и записи данных при передаче учетной информации от j-ого ЦСД к i-му ЦОД k-мканалом связи;

3) матрица вероятностей безотказной работы каналов связи Pijk где pijk - вероятность безотказной работы канала связи между j-м ЦСД к i-м ЦОД на k-м канале связи.

Каждая из матриц C, T и P имеет вид трехмерной матрицы в случае проектирования системы сбора и хранения хронологических данных с применением различных каналов связи. Для этого дополнительно вводится измерение k, К = 1,...,n- множество каналов связи между ЦОД и ЦСД.

Решением поставленной задачи минимизации является тринарная матрица X_ijk где x_ijk = 1 - если j-й ЦСД подключен к i-му ЦОД k-м каналом связи и x_ijk = 0 в противном случае. обработка данных канал связи

Поставленная задача минимизации, также как и в случае использования одного типа канала связи, может быть также решена методом перебора всех допустимых значений переменной Xлибо, в случае большой размерности, другими методами нелинейной целочисленной оптимизации.

Методика, позволяющая решить задачу (12), состоит из следующих этапов:

1) формирование множества I (на основе схемы электроснабжения энергокластера);

2) формирование множества J (аналогично на основе схемы электроснабжения);

3) формирование множества K (на основе анализа допустимости применения конкретного типа канала связи);

4) сбор стоимостной информации, расчет и формирование матрицы C;

5) формирование матрицы T (в случае если отсутствует возможность про- ведения реальных расчетов, можно использовать имитационную модель, описанную в главе 1);

6) определение максимально допустимого времени передачи информации от ЦСД к ЦОД t_max;

7) формирование матрицы P (описание одного из методов приведено в главе 3);

8) определение требуемого значения надежности канала передачи учетной информацииp_min;

9) решение задачи (12) методами целочисленной оптимизации.

Системно-аналитическое описание методики по технологии SADT представлено на IDEF-0 диаграмме (рисунок3).

Рисунок 3 - IDEF-0 диаграмма методики конфигурации распределенной информационной системы с несколькими центрами обработки данных с применением различных типов каналов связи

Задача структурирования данных информационной системы сбора и хранения данных решена с помощью известных методик.

Для оценки положительного экономического эффекта от применения предложенной методики были рассмотрены два варианта внедрения системы сбора и хранения данных. Первый вариант использует метод распределения центров сбора данных по центрам обработки данных, использующий принцип подключения к ближайшему доступному узлу. Второй вариант использует для расчета разработанную методику оценки затрат внедрения системы сбора и хранения данных. Результаты проведенных экспериментов представлены в таблице1.

Таблица 1 - Оценка положительного экономического эффекта от применения предложенной методики

Полученные методики позволяют проектировать информационные системы сбора и хранения хронологических данных, применяемых в системах ЖКХ, информационных системах газораспределения, информационных системах энергокластеров и в других областях. Разработанное вспомогательное программное обеспечение позволяет автоматизировать вычисление конфигурации проектируемой системы при известной матрицы затрат на размещение центров сбора и обработки данных, матрицы времени сбора, передачи и записи данных и матрицы вероятностей безотказной работы каналов связи.

Список литературы

1. Дьяченко, Р. Моделирование систем сбора и передачи данных с применением цветных сетей Петри [Электронный ресурс] / Р.А. Дьяченко, А.В. Фишер, В.В. Богданов // Фундаментальные исследования. - 2013.- №11(6).-c. 1122-1126.

2. Лаптев В.Н. Вопросу повышения надежности системы сбора и хранения хронологических данных [Электронный ресурс] / Ю.Н. Сопильняк, Р.А. Дъяченко, Р.Х. Багдасарян // Политематический сетевой электронный научный журнал КубГАУ. - Краснодар: КубГАУ, 2014. №101(07), - 16с. - Режим доступа: http://ej.kubagro.ru/2014/ 07/pdf/162.pdf.

3. Фишер, А.В. Организация хранения хронологических данных в базах данных систем мониторинга и прогнозирования [Электронный ресурс] / А.В. Фишер, Р.А. Дьяченко, И.С. Лоба // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ).-2012.-№79(5).

References

1. D'jachenko, R. Modelirovanie sistem sbora i peredachi dannyh s primeneniem cvetnyh setej Petri [Jelektronnyj resurs] / R.A. D'jachenko, A.V. Fisher, V.V. Bogdanov // Fundamental'nye issledovanija. - 2013.- №11(6).-c. 1122-1126.

2. Laptev V.N. Voprosu povyshenija nadezhnosti sistemy sbora i hranenija hronologicheskih dannyh [Jelektronnyj resurs] / Ju.N. Sopil'njak, R.A. D#jachenko, R.H. Bagdasarjan // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal KubGAU. - Krasnodar: KubGAU, 2014. №101(07), - 16s.

3. Fisher, A.V. Organizacija hranenija hronologicheskih dannyh v bazah dannyh sistem monitoringa i prognozirovanija [Jelektronnyj resurs] / A.V. Fisher, R.A. D'jachenko, I.S. Loba // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU).-2012.-№79(5).

Размещено на Allbest.ru