Оптимизация обработки входной информации в отраслевой системе мониторинга рыболовства

Размещено на http://www.allbest.ru/

Камчатский государственный технический университет

Оптимизация обработки входной информации в отраслевой системе мониторинга рыболовства

Проценко И.Г.

Петропавловск-Камчатский, Россия



Аннотация

Статья посвящена оценке эффективности модели распределенной обработки входных данных отраслевой системы мониторинга рыболовства (ОСМ) и обоснованию алгоритма обработки на базе имитационного моделирования с учетом производительности программных средств ОСМ. Моделирование обработки потока входных данных ОСМ позволило сравнить различные модели обработки в нескольких режимах работы системы. Результаты численных экспериментов дали возможность выбрать и реализовать наиболее приемлемую схему, основанную на распараллеливании процессов обработки. В целом, ОСМ благодаря разработанной гибкой системе обработки данных показала свою эффективность, устойчивость к сбоям и надежность в обеспечении пользователей системы аналитической информацией. Ключевые слова: информационная рыбопромысловая система, система мониторинга, обработка данных, имитационные модели, программное обеспечение, численные эксперименты.

The article is devoted to the estimation of the effectiveness of the distributed input data processing model in sectorial fisheries monitoring system (SMS) and the justification of the processing algorithm based on simulation modeling with regard to the performance of the SMS software. Modeling the processing of the input data flow of the SMS enabled the comparison of different processing models in several system operation modes. The results of numerical experiments allowed selecting and implementing the most appropriate scheme based on parallel processing. In general, due to the developed flexible data processing system, SMS has shown its efficiency, resilience to failures, and reliability in providing the users of the system with analytical information. Keywords: information fisheries system, monitoring system, data processing, simulation models, software, numerical experiments.



Введение

Отраслевая система мониторинга (ОСМ) предназначена для мониторинга водных биоресурсов на основе непрерывного наблюдения и контроля за деятельностью промысловых судов [1], [2]. Решение данной задачи обеспечивается путем наблюдения за местоположением и промысловой деятельностью судов и получения на этой основе косвенных показателей состояния водных биоресурсов: вылов на усилие и площади промысловых скоплений. Эти показатели позволяют оперативно отслеживать реализацию установленных квот вылова, интенсивность промысла и его влияние на состояние рыбных запасов.

ОСМ создана для информационного обеспечения Росрыболовства и его региональных подразделений, а также взаимодействующих ведомств, определенных постановлениями Правительства Российской Федерации [3]. Конечной целью функционирования ОСМ является сохранение численности биоресурсов в размерах, необходимых для их воспроизводства и последующего использования в течение длительного срока. Поэтому пользователями ОСМ помимо специалистов Росрыболовства являются пограничная, налоговая, экологическая службы, научные институты, рыбопромышленные предприятия.

На основе поступающей информации формируются выходные формы и другие аналитические материалы, позволяющие решать широкий комплекс задач по управлению рыболовством, в том числе осуществлять контроль за местонахождением и промысловой деятельностью судов, следить за полнотой и достоверностью судовой промысловой отчетности.

Информация ОСМ является источником для органов рыбоохраны, которые проверяют правильность ведения отчетности, контролируют соответствие результатов промысла выделенным квотам.

ОСМ [1], [2] объединяет в своем составе комплекс программно-аппаратных средств решения прикладных и системных задач в области контроля деятельности промысловых судов в море и обеспечения данными спутникового мониторинга пользователей информационных узлов.

В отличие от Северного, Западного и Каспийского бассейнов, на которых также функционируют программные средства обработки входной промысловой информации, на Дальневосточном бассейне через Камчатский центр мониторинга проходит более 70% объема всей отчетности.

Автоматизированная обработка потока данных большого объема в реальном масштабе времени, когда непрерывно поступают разнородные сведения более чем от 2500 судов, проверка их достоверности, хранение и анализ предъявляют особые требования к надежности работы программных средств.

Промысловая отчетность от судов требует обработки и предварительного контроля, а ошибок во входной информации достаточно много. ФГБУ “Центр системы мониторинга рыболовства и связи” в Москве с такой проблемой не сталкивается, а решает задачу пополнения БД ОСМ «заливкой» в неё готовых «отчищенных» массивов.

Таким образом в процессе построения информационной системы необходимо решить целый комплекс характерных для Дальневосточного бассейна задач, связанный не только с обработкой больших объемов информации, но также изучить вопросы использования существующих каналов связи для их получения, распространения, вопросы управления техническими средствами контроля, установленными на объектах мониторинга, вопросы надежности и устойчивости работы системы в целом.



Задачи программно-технического комплекса ОСМ

Программные средства отраслевой системы мониторинга рыболовства решают следующие задачи:

круглосуточный автоматизированный ввод и обработка данных о позициях и промысловой деятельности судов в море, полученных по радио и спутниковым каналам связи;

удаленное управление работой технических средств контроля (ТСК), установленных на объектах мониторинга;

распознавание и усвоение различных стандартов и форматов принимаемых данных;

контроль достоверности данных;

автоматизированное распределение информации с передачей ее пользователям системы;

организация санкционированного удаленного доступа пользователей к базе данных.

Эти задачи предъявляют высокие требования не только к программно-техническим средствам, но и выбору такой модели передачи данных между программными процессами и информационными узлами, которая исключала бы возможность искажения или потери информации.

В общем случае, программно-техническая платформа ОСМ представляет собой совокупность средств и систем, состоящую из серверов, рабочих станций, средств телекоммуникаций, программного обеспечения, способную осуществлять процесс приема, обработки и передачи разнородных данных в реальном масштабе времени. Данными в ОСМ являются позиции промысловых судов, судовые суточные донесения (ССД), оперативные и статистические отчеты предприятий, сведения об изменениях справочников системы и др. Особенность входного потока состоит в том, что данные, поступающие от разных источников, имеют специфичный формат и содержание.

Процесс обработки данных включает в себя первичную обработку, в процессе которой выполняется преобразование формата исходных данных во внутренний формат информационной системы, комплексный анализ, выполняющий синтаксический и семантических разбор данных и подготовку аналитического материала, ввода потока в базу данных и его рассылку другим пользователям. Общая схема потока данных и процессов их обработки в отраслевой системе мониторинга рыболовства представлена на рис. 1.

Рис. 1 - Общая схема обработки потока данных в ОСМ

Основными источниками данных о позициях судов являются береговые земные станции (БЗС) системы «Инмарсат» и центр обработки «Аргос», расположенный в г. Тулуза (Франция). ССД поступают в Центр мониторинга непосредственно от промысловых судов через радиоцентры и другие виды связи.

Операционные характеристики системы обработки данных

Входные информационные потоки в системе мониторинга рыболовства имеют различную интенсивность. Ввиду их неравномерности, причиной которой могут быть как внешние, так и внутренние факторы, на входе процессов обработки могут образовываться очереди. Внешним фактором может быть отсутствие канала связи, выход из строя оборудования, когда данные накапливаются на передающем сервере, а после восстановления канала лавинным потоком попадают на вход системы. Внутренним фактором - фатальный сбой программы обработки, ограничение в предоставлении процессорного времени при порождении на сервере большого количества других процессов. Анализ и моделирование очередей позволяет оценить эффективность информационной модели, рассчитать время восстановления работоспособности после сбоя, определить критические характеристики функционирования системы, а также установить оптимальную интенсивность входного информационного потока путем удаленного управления ТСК.

В обычных условиях эксплуатации системы входной информационный поток можно считать равномерным. Тогда, вероятность поступления k записей за период времени t может быть рассчитана по формуле Пуассона [4]:

мониторинг имитационный моделирование программный

(1)

где t - промежуток времени, l - интенсивность потока (количество записей в единицу времени), k - количество записей.

Вероятность поступления хотя бы одной записи за период времени равным единице может быть рассчитан как:

(2)

Если м - это производительность обрабатывающей системы, то условием стационарности потока в обрабатывающей системе будет . А вероятность того, что в системе находится n записей, можно найти по формуле [5]:

(3)

где ,

n - количество записей.

Другие операционные характеристики системы обработки входного информационного потока, позволяющие оценить ее производительность, рассчитываются по формулам [5]:

(4)

где Ls - среднее число записей, находящихся в информационной системе.

Ws = Ls/l = 1 / [m ( 1 - r)]

где Ws - средняя продолжительность пребывания записи в системе

Lq = r2 / ( 1 - r)

где Lq - среднее число записей, находящихся в очереди

Wq = Lq/l = r / [m ( 1 - r)]

где Wq - средняя продолжительность пребывания записи в очереди

При остановке процесса обработки данных в результате сбоя или по другой причине на входе процесса будет образовываться очередь, размер которой прямо пропорционален средней интенсивности соответствующего входного потока и времени пребывания процесса в состоянии сбоя. Количество сообщений, поступивших за период времени сбоя t0, можно оценить как t0l. Учитывая, что каждое сообщение из очереди после восстановления работоспособности процесса будет обработано за время 1/м, время обработки всей очереди составит:

(8)

Следует иметь ввиду, что в процессе обработки очереди сообщений, интенсивность входного потока не изменяется и на вход программ будут непрерывно поступать новые информационные пакеты. Образуется новая очередь. Время обработки второй образовавшейся очереди составит t2 = t1r.

Такой цикл в обобщенном смысле может продолжаться до бесконечности, тогда время обработки очереди на n-том цикле будет:

tn = tn-1 r

А общее время восстановления стационарного режима работы системы можно определяться как:

(10)

где n - номер цикла обработки, tn - время обработки очереди на n-том цикле.

Учитывая (10), можно получить:

(11)

При условии стационарности потока в обрабатывающей системе, когда сходится.

Тогда конечная формула для расчета времени восстановления стационарного режима работы:

(12)

где t0 - период времени состояния сбоя.

Как видно из (12), соотношение интенсивности входного информационного потока и скорости его обработки не должно превышать 1, в противном случае, система не сможет восстановить стационарный режим работы, а очередь на ее входе будет непрерывно возрастать.

Модели обработки входного информационного потока ОСМ

Процесс обработки данных в ОСМ простроен по принципу потока, в котором источник сообщения посылает данные на вход процесса обработки, а получатель сообщения видит на выходе результат преобразования данных. Причем, цепочка «источник-получатель» может строиться в несколько этапов.

Первоначально в программном комплексе ОСМ была реализована однопоточная схема обработки данных (рис. 2).

Рис. 2 - Общая схема обработки потока данных в ОСМ

Все информационные потоки, объединяясь, попадали на вход программы, которая выполняла весь комплекс задач по первичной обработке, анализу, преобразованию данных, формированию таблиц базы данных и рассылке другим пользователям. Ввиду того, что алгоритм обработки данных достаточно сложный и требует большого количества процессорного времени, производительность программы была низкой, но, в то же время, достаточной для работы в стационарных условиях. Однако, в сбойных ситуациях, которые могли возникнуть при аварии канала связи или остановке программного процесса, устойчивость и равномерность обработки данных в системе значительно снижалась из-за образования одной общей очереди сообщений.

Операционные характеристики производительности работы процесса обработки данных представлены в табл. 1.

Таблица 1 - Операционные характеристики программы обработки данных ОСМ

л (записей/сек.)	м (записей/сек.)	Ls (записей)	Ws (сек.)	Lq (записей)	Wq (сек.)
0.3212	1.2	0,3655	1,1379	0,0978	0,3046

м - эффективная производительность системы, рассчитанная с учетом того, что программа после каждого цикла обработки входных данных, выполняет дополнительные операции, связанные с сортировкой больших объемов данных, поиском и т.п.

Время восстановления стационарного режима работы системы после сбоя, рассчитанное по формуле (12), представлено в табл. 2.

Таблица 2 - Операционные характеристики программы обработки данных ОСМ

Период состояния сбоя (час.)	1	3	8	24	72
Период восстановления (час.)	0,37	1,10	2,92	8,77	26,32



Задержка в поступлении данных на период 8 часов или 3 суток представляется вполне реальной из-за возможных сбоев работы систем связи и др.

Из таблицы 2 видно, что после сбоя системы более 1/3 времени работы программы уходит на обработку образовавшейся очереди. Это вызывает значительную задержку в обновлении базы данных и не может обеспечить устойчивую обработку и рассылку потока данных в реальном масштабе времени.

Теоретически, повысить производительность программы можно путем распределения обработки входных потоков между различными процессами и серверами (рис. 3). Однако это достаточно сложная и трудоемкая задача, на которую требуются значительные временные и финансовые затраты. При этом настоящие затраты будут оправданы, если распределенная система окажется более надежнее и производительнее однопоточной.

Рис. 3 - Общая схема обработки потока данных в ОСМ

Результаты расчетов

Поэтому с целью оценки эффективности работы распределенной системы обработки входных информационных потоков была построена имитационная модель в программе MatLab Simulink (рис. 4). На рис. 4 зеленым цветом отображены блоки, участвующие в формировании исходного сигнала, а также блоки отображающие ключевые моменты в формировании сигнала; голубым цветом - блоки, отвечающие за производительность системы, а также блок, отображающий значение пропускной возможности системы в минуту; серым - блок отвечающий за коэффициент приведения длинных сообщений (ССД) к коротким (позициям судов), а также блок, отображающий этот коэффициент; оранжевым - выходные сигналы: графики накопления сообщений в очереди и обработки сообщений. С помощью переключателей Switch возможно управлять потоками позиций судов, ССД и анализировать их обработку по отдельности. Позиции судов поступают в систему в течение суток равномерно, дневной пик поступления ССД приходится на отчетное время 12 часов. Также особенностью построенной модели является возможность имитации сбоя системы, выхода ее из строя на длительное время с целью оценки эффективности восстановления системы.

Рис. 4 - Имитационная модель распределенной системы обработки входных данных

В новой схеме обработка входного потока распределена между несколькими системными процессами и осуществляется в общей сложности в два этапа:

первичная обработка и комплексный анализ данных;

ввод потока в базу данных.

На этапе первичной обработки выполняется разархивирование, декодирование данных, поступающих по различным каналам связи, выявляются грубые ошибки, связанные, как правило, с неправильной работой ТСК. Формат данных приводится к каноническому виду, единому для всей информационной системы в целом и пригодному для дальнейшей обработки. Процессы первичной обработки данных выполняются параллельно, независимо друг от друга и обеспечивают непрерывный поток данных даже при аварии одного или нескольких каналов связи.

Программа комплексного анализа выполняет основной процесс обработки данных. Ею собираются воедино все входные информационные потоки, прошедшие этап первичной обработки и формируется выходной поток для его ввода в базу данных. В процессе обработки выявляются синтаксические и семантические ошибки, которые регистрируются в протоколе работы программы. Программа формирует ряд аналитических таблиц, отображающих количественные и качественные характеристики входного потока. На основании этих таблиц имеется возможность в реальном масштабе времени классифицировать входной поток по различным характеристикам, оперативно выявлять нарушения и принимать решения по изменениям режимов работы ТСК.

Программа ввода в базу данных выполняет дополнительный синтаксический контроль записей, полученных от программы комплексного анализа, проверяет соответствия ключевых значений полей входных записей справочникам базы данных и преобразует информационный поток в последовательность SQL-операторов для их выполнения сервером базы данных. Результатом работы программы являются заполненные и скорректированные таблицы базы данных ОСМ.

Необходимым условием перехода в стационарный режим работы после сбоя, является то, что производительность программ StreamCX и UpdateCX должна превышать суммарную производительность программ первичной обработки данных. А, учитывая тот факт, что программа StreamCX после каждого цикла обработки формирует ряд аналитических таблиц, на которые уходит 3/4 общего времени работы, ее производительность должна превышать производительность программ UpdateCX в 4-5 раз.

Средняя интенсивность входных информационных потоков представлена в табл. 3.

Производительность процессов обработки данных представлена в табл. 4.

Операционные характеристики процессов обработки входного информационного потока, рассчитанные по формулам (4)-(7), представлены в табл. 5.

Таблица 3 - Операционные характеристики программы обработки данных ОСМ

Входной поток	Позиции Инмарсат	Позиции Аргос	ССД
л (записей/сек.)	0.0410	0.0239	0.0802

Таблица 4 - Операционные характеристики программы обработки данных ОСМ

	UnpInmarsatCX	UnpArgosCX	StreamCX	UpdateCX
м (зап./сек)	2	1	35	8

Таблица 5 - Операционные характеристики программы обработки данных ОСМ

	Ls (записей)	Ws (сек.)	Lq (записей)	Wq (сек.)
UnpInmarsatCX	0,0209	0,5105	0,0004	0,0105
UnpArgosCX	0,0245	1,0245	0,0006	0,0245
StreamCX	0,0094	0,0288	0,0001	0,0003
UpdateCX	0,0426	0,1303	0,0017	0,0053



На рис. 5 наглядно видно, что период восстановления стационарных режимов работы процессов, по сравнению с программой в однопоточной схеме, уменьшился в 8-10 раз.

Рис. 5 - График периодов восстановления стационарного режима работы процессов ОСМ

Параметр л/м, характеризующий степень загруженности системы обработки данных, много меньше 1 и показывает, что программные процессы отраслевой системы мониторинга рыболовства обладают достаточным запасом прочности. Данные представлены в таблице 6.

Таблица 6 - Степень загруженности процессов обработки данных ОСМ

	UnpInmarsatCX	UnpArgosCX	StreamCX	UpdateCX
л/м	0.0390	0.0030	0.0090	0.0446

Параллельная обработка входного информационного потока обеспечивает живучесть системы при аварии одного или даже нескольких каналов связи. В этом случае будет обеспечен ввод данных от других источников, а кратковременное увеличение интенсивности потока после восстановления канала не окажет заметных влияний на производительность системы ввиду распределения вычислений между процессами первичной обработки данных и комплексным анализом данных.

Центральное звено в системе обработки информационного потока занимает программа StreamCX. Основными ее задачами являются:

- обработка данных о позициях судов, поступающих от программ первичной обработки;

- обработка судовых суточных донесений;

- обновление и поддержка архивов позиций и ССД;

- создание аналитических таблиц в реальном масштабе времени.

Обработка данных включает в себя:

- контроль полученной информации на соответствие утвержденному формату;

- контроль достоверности данных;

- формирование пакета данных для их ввода в базу данных и для рассылки другим пользователям информационной системы;

- создание выходных документов, содержащих аналитические данные о функционировании системы мониторинга.

Высокая производительность работы программы достигнута тем, что обработка данных выполняется параллельными программными потоками, что позволяет в полной мере использовать возможности двухпроцессорного сервера и многозадачной операционной системы Windows 2000. Программа циклически проверяет входной каталог и, при поступлении новых сообщений, немедленно обрабатывает их. В процессе обработки выявляется практически 100% ошибок, связанных как с представлением данных (синтаксические ошибки), так и с нарушением смысла передаваемых сообщений (семантические ошибки). Последние, как правило, имеют место в ССД. Следует отметить, что выявление ошибок в данных о позициях судов, поступающих от ТСК, практически полностью автоматизировано, в то время как исправление ошибок ССД в большинстве случаев требует вмешательства со стороны диспетчера [7].

Важным этапом обработки данных программой StreamCX является создание аналитических таблиц. В таблицах отражается информация как о состоянии системы мониторинга в целом, так и данные о конкретном судне. Таблицы используются для аналитической работы быстрого и своевременного обнаружения нарушителей правил рыболовства и для принятия решений по изменениям режимов работы и управлению ТСК.

Программа StreamCX выполняет основной и наиболее сложный комплекс задач по обработке информационного потока. Работа над ее совершенствованием продолжалась долгое время и продолжается сейчас [8]. В настоящее время удалось выработать наиболее эффективные алгоритмы функционирования программы, что обеспечивает ее высокую надежность и производительность.



Заключение

Моделирование обработки потока входных данных ОСМ позволило сравнить различные модели обработки в нескольких режимах работы системы. Результаты численных экспериментов дали возможность выбрать и реализовать наиболее приемлемую схему, основанную на распараллеливании процессов обработки. В целом, ОСМ благодаря разработанной гибкой системе обработки данных показала свою эффективность, устойчивость к сбоям и надежность в обеспечении пользователей системы аналитической информацией.

Конфликт интересов Не указан.	Conflict of Interest None declared.



Список литературы

1. Постановление правительства Российской Федерации от 26 февраля 1999 г. №226 «О создании отраслевой системы мониторинга водных биоресурсов, наблюдения и контроля за деятельностью промысловых судов».

2. Проценко И.Г. Информационная система мониторинга рыболовства / Проценко И.Г. // Рыбное хозяйство, 2001. Спец. выпуск. С.3-18.

3. Мониторинг рыболовства 2005. Инструкции и рекомендации экипажам промысловых судов и судовладельцам. Под общ. ред. д.т.н. Проценко И.Г., - Петропавловск-Камч.: ФГУП “Камчатский центр связи и мониторинга”, 2005. - 264с.

4. Гмурман В.Е. Теория вероятностей и математическая статистика / Гмурман В.Е. - М.:Высшая школа.2002.

5. Таха Х. Введение в исследование операций / Таха Х. - М.:Мир.1985.

6. Кошкарева Л.А. Вопросы совершенствования ИСР / Кошкарева Л.А. // Рыбное хозяйство. - 2006. - №6.

7. Проценко И.Г. Вопросы повышения эффективности системы контроля качества мониторинга и промысловой отчетности / Проценко И.Г., Кошкарева Л.А., Образцов Ф.А. // Проблемы современного естествознания: Материалы научно-технической конференции профессорско-преподавательского состава и аспирантов (25-27 марта 2003 г.). - Петропавловск-Камч.: КамчатГТУ, 2003. - С. 41-50.

Список литературы на английском языке

1. Postanovlenie pravitelstva Rossiiskoi Federatsii ot 26 fevralya 1999 g. №226 «O sozdanii otraslevoi sistemy monitoringa vodnykh bioresursov, nablyudeniya i kontrolya za deyatelnostyu promyslovykh sudov» [Decree of the Government of the Russian Federation of February 26, 1999 No. 226 “On the establishment of a sectorail system for monitoring aquatic bioresources, monitoring and controlling the activities of fishing vessels.”] [in Russian]

2. Protsenko I.G. Informatsionnaya sistema monitoringa rybolovstva [Fisheries Monitoring Information System] / Protsenko I.G. // Rybnoye khoziaystvo [Fisheries], 2001. Spec. Issue. P. 3-18. [in Russian]

3. Monitoring rybolovstva 2005. Instruktsii i rekomendatsii ekipazham promyslovykh sudov i sudovladeltsam. Pod obshh. red. d.t.n. Protsenko I.G. [Fisheries monitoring 2005. Instructions and recommendations to crews of fishing vessels and shipowners. Under total ed. of PhD in Engineering, Protsenko I.G.] - Petropavlovsk-Kamch.: Federal State Unitary Enterprise Kamchatka Communications and Monitoring Centre, 2005. - 264p. [in Russian]

4. Gmurman V.E. Teoriya veroyatnostei i matematicheskaya statistika [Theory of Probability and Mathematical Statistics] / Gmurman V.E. - M.: Vysshaya Shkola. 2002 [in Russian]

5. Takha Kh. Vvedenie v issledovanie operatsii [Introduction to Operations Research] / Takha Kh.. - M.: Mir. 1985. [in Russian]

6. Rosrybolovstvo [Russian Federal Fisheries Agency]. [Electronic resource]. URL: http://www.fishcom.ru/ (accessed: 20.07.2019г.) [in Russian]

7. Koshkareva L.A. Voprosy sovershenstvovaniya ISR [Issues of Improving the ISF] / Koshkareva L.A. // Rybnoye khoziaystvo [Fisheries]. - 2006. - No.6. [in Russian]

8. Protsenko I.G. Voprosy povysheniya effektivnosti sistemy kontrolya kachestva monitoringa i promyslovoj otchetnosti [Issues of improving the effectiveness of the monitoring and reporting quality control system] / Protsenko I.G., Koshkareva L.A., Obraztsov F.A. // Problemy sovremennogo yestestvoznaniya: Materialy nauchno-tekhnicheskoy konferentsii professorsko-prepodavatel'skogo sostava i aspirantov [Problems of Modern Science: Materials of the scientific and technical conference of the faculty and postgraduate students (March 25-27, 2003). - Petropavlovsk-Kamch: Kamchatka State Technical University, 2003. - p. 41-50. [in Russian]

Размещено на Allbest.ru

...