Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования

Размещено на http://allbest.ru

5

Институт проблем регистрации информации НАН Украины

УДК 681.5

Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования

Е.М. Науменко, Н.С. Козлов

Киев, Украина

В жизненном цикле любой автоматизированной системы (АС) наиболее важными являются стадии предпроектного проектирования (ПП) (формирования требований к АС, разработки концепции системы и технического задания), так как на этих стадиях принимаются решения о принципах технической реализации и структуре будущей системы.

Кроме этого, на этих стадиях определяются сроки и стоимость создания АС, а также оценивается ожидаемая эффективность от ее внедрения. Цена ошибочных решений, принятых к реализации на этих этапах проектирования, очень велика, так как их ошибочность может быть выявлена лишь на этапе испытаний. Это, естественно, может привести к неоправданно большим экономическим затратам. Оценка ожидаемой эффективности АС на стадиях ПП осуществляется с целью технико-экономического обоснования целесообразности ее создания на основе разработанной концепции.

Получение такой оценки в настоящее время осуществляется либо на основе проведения испытаний ее опытных образцов, либо на основе теоретических методов оценки с использованием математического моделирования, либо на основе использования комбинированных опытно-теоретических методов исследований, включающих математические модели в сочетании с натурным экспериментом. Единственно реальным путем оценки эффективности АС в процессе ее ПП является путь на основе теоретических методов оценки с помощью математического моделирования. Анализ процесса ПП позволяет выделить следующие его особенности [1].

Первая особенность состоит в высокой степени неопределенности, неполноте исходной информации, необходимой для принятия проектных решений. Практически, на ранних этапах проектирования имеется информация только о системах-прототипах, которые, как правило, существенным образом отличаются от проектированной системы. Если же проектируемая система создается на совершенно новых принципах, то и эта информация отсутствует.

Вторая особенность заключается в том, что в условиях большой неопределенности, отсутствия необходимого статистического материала использование вероятностных аналитических методов практически исключено, а разработка статистических моделей системы связана с большими трудностями.

Третья особенность связана с тем, что на этих стадиях требования, предъявляемые к системе, есть не что иное, как частные показатели качества системы. При этом требования носят как количественный, так и качественный характер.

Четвертая особенность -- это многопараметрический характер задач, решаемых на стадиях ПП. При этом параметры системы, как и показатели качества, имеют как количественное, так и качественное описание. Это означает, что принятие проектных решений о выборе рациональных параметров системы должно базироваться на математических моделях, описывающих зависимости качественных показателей от качественно описываемых параметров.

Таким образом, в качестве математического аппарата оценки ожидаемой эффективности АС на стадиях ПП в условиях неопределенности исходной информации наиболее предпочтительны экспертные методы, причем методы сравнительного анализа. Это связано с тем, что на этой стадии параметры и характеристики будущей системы еще недостаточно определены, поэтому экспертам проще дать сравнительную оценку тем или другим понятиям или элементам, чем приписать им меру. Учитывая сказанное, оценку прогнозируемой эффективности предложено проводить путем сравнительного анализа эффективности решения задач объектом автоматизации без АС и при ее использовании. Для этого сначала определяется полное множество задач, которые решаются объектом автоматизации. Затем задачи ранжируются по важности в соответствии с их ролью и местом в системе.

Далее, на основе анализа задач формируются функции системы (функциональная декомпозиция системы), которые также ранжируются. После этого определяются показатели оценки эффективности выполнения функций и проводится их оценивание. Описанный процесс оценки можно эффективно осуществить методом анализа иерархий (МАИ) Т. Саати [2]. Согласно МАИ, сначала строится дерево факторов и критериев. При этом в качестве факторов первого уровня выступают задачи, второго -- функции системы, третьего -- показатели эффективности выполнения функций и последнего -- альтернативы, т.е. варианты решения задач системы с применением АС и без средств автоматизации. Пусть -- задачи системы, -- функции i-й задачи, -- показатели эффективности выполнения j-й функции i-й задачи.

Тогда задачу сравнительной оценки эффективности функционирования объекта автоматизации с АС и без нее можно изобразить в следующем виде (рис. 1).

Рис. 1. Декомпозиция задачи оценки эффективности АС

Дальше строятся матрицы парных сравнений для каждого из уровней -- по одной матрице для каждого элемента более высокого уровня. Так, для факторов субъективные оценки экспертов в виде отношений предпочтения представляются в виде обратносимметричной матрицы доминирования:

,

где ; показывает относительную важность задач и по отношению к «объекту автоматизации», а . При парных сравнениях используется стандартная 9-бальная шкала.

Для функций будут получены аналогичные матрицы парных сравнений, элементы которых показывают относительную важность функций выполнения i-й задачи. Аналогично оцениваются показатели .

При формировании матриц парных сравнений для альтернатив и необходимо понимать, что под АС, в данном случае, понимается ее системотехнический облик.

При оценке этих альтернатив прогнозируется насколько эффективно, по сравнению с существующим положением, реализовывалась бы та или иная функция системы, при условии, что АС будет создана на основе тех или иных технических принципов, методов, средств и технологий.

Затем вычисляются собственные векторы каждой матрицы, и формируется набор локальных приоритетов. И, наконец, применяя принцип синтеза приоритетов, вычисляются глобальные приоритеты альтернатив.

В результате получим нормализованный вектор относительных приоритетов альтернатив и .

Тогда отношение показывает, во сколько раз будет повышена эффективность объекта автоматизации в результате внедрения АС. Более детально процесс формирования матриц парных сравнений приведен в [2]. При выборе показателей эффективности выполнения функций системы необходимо исходить из того, что это -- численная мера, количественно характеризующая степень решения поставленной задачи.

Правильное определение физической сути показателей эффективности, рациональное деление их на главные и вспомогательные позволяют более объективно оценивать состояние и сравнивать варианты систем.

На сегодняшний день сформулированы четыре требования, которым должны удовлетворять показатели эффективности [3]:

1) представительность -- строгое соответствие показателю эффективности цели, реализуемой системой;

2) чувствительность -- способность показателя эффективности изменять свое значение при изменении параметров системы;

3) простота вычисления;

4) наглядность -- ясный физический смысл показателя эффективности.

Вместе с тем задача выбора показателей эффективности является сложной, т.к. формальные правила их выбора отсутствуют. Задача решается неформально. Ее решение зависит от уровня подготовки эксперта, четкого понимания им целей оценки и его интуиции.

Так, например, для АС специального назначения в таблице приведены показатели, которые могут быть выбраны в качестве показателей эффективности выполнения функций системы [3].

Важнейшим показателем быстродействия автоматизированной системы является время полного цикла управления, то есть продолжительность ответной реакции органов управления на изменения обстановки.

Оценку АС можно также осуществлять по частным показателям, влияющим на общую продолжительность полного цикла управления. В качестве таких показателей целесообразно использовать время на сбор, обработку и выдачу сведений, необходимых для процесса управления, время на принятие решения.

Оценить автоматизированную систему по показателям устойчивости -- значит определить частоту выхода ее из строя и продолжительность пребывания в исправном состоянии.

Устойчивость АС обеспечивается ее надежностью, живучестью и помехозащищенностью. При этом для оценки надежности используются показатели:

-- средняя продолжительность безотказной работы отдельных элементов и системы в целом;

-- средняя наработка на один отказ того или иного элемента системы;

-- вероятность надежного функционирования всей системы.

Для оценки живучести используются:

-- характеристики защищенности и уязвимости элементов системы, вероятности выхода их из строя, степень (кратность) их резервирования;

-- время восстановления системы.

В качестве показателей непрерывности функционирования автоматизированной системы можно использовать математическое ожидание времени максимального перерыва управления и минимальной продолжительности бесперебойной работы системы между двумя перерывами.

Под показателем пропускной способности АС понимается показатель, отражающий ее информационные возможности. Для оценки пропускной способности могут использоваться:

-- коэффициент информационного наполнения системы как отношение математического ожидания собираемых за единицу времени сведений к общему количеству данных, необходимых для управления объектом управления;

-- коэффициент обработки (переработки) информации, характеризующий ту часть из поступивших сведений, которая перерабатывается за данный отрезок времени;

-- коэффициент потребления информации, показывающий какая часть из общего количества переработанных сведений доводится до должностных лиц и используется ими при управлении;

-- суммарный показатель пропускной способности как функция от трех вышеперечисленных коэффициентов.

Оценка точности функционирования АС включает следующие операции:

-- выявление степени соответствия информации, используемой в системе, реальным условиям обстановки;

-- определение точности решения расчетных задач;

-- обоснование оптимальности (рациональности) принимаемых решений.

В качестве показателей оценки степени соответствия информации реальным условиям обстановки целесообразно использовать показатели, отражающие точность ее добывания, формирования, сбора, обработки и выдачи, а также ее давность.

Для обобщенной оценки точности информации можно взять суммарный коэффициент ее искажения, показывающий, на какое количество знаков допустима одна ошибка. Основными критериями при этом выступают: время давности информации как разность между моментом ее использования и временем изменения обстановки; время старения информации, то есть время сохранения ценности информации.

Точность решения расчетных задач может оцениваться через средние квадратические ошибки тех количественных величин, которые выдаются в качестве результатов их решения.

Под показателями гибкости функционирования АС понимаются показатели, характеризующие ее способность перестраивать свою работу в соответствии с изменившимися условиями управления при сохранении требуемого уровня всех остальных показателей эффективности.

При оценке гибкости системы необходимо определять ее способность обеспечить переход от одних методов управления к другим, сопряжение с другими автоматизированными системами. В качестве основного показателя гибкости следует использовать время, необходимое на перестройку АС.

При оценке отдельных автоматизированных систем могут использоваться и другие показатели, отражающие специфику функционирования системы. Например, при оценке автоматизации управления производством -- абсолютное снижение трудовых затрат, коэффициент снижения стоимостных затрат. Однако для оценки каждой такой системы применимы общие принципы подхода к оценке эффективности и многие из рассмотренных показателей.

И в заключение рассмотрим пример. Пусть создается автоматизированная система обработки информации реального времени, которая решает следующие задачи [4]: мониторинг воздушного пространства; мониторинг наземного и надводного пространства; обработка информации общего вида; оперативное управление системой; отображение комплексной информации и качества функционирования системы; прием данных (информации) от датчиков (источников) и передача данных (информации) к потребителям; документирование данных (информации) в системе. автоматизированный рациональный информация проект

Решение задачи приема данных от датчиков и передачи данных потребителям состоит в реализации системой следующих основных функций:

-- приема сообщений (кодограмм) от датчиков;

-- преобразования кодограмм в форматы представления данных в системе;

-- распределения входных потоков данных (информации) по процессам их обработки;

-- преобразования выходных сообщений в форматы коммуникационных протоколов;

-- передачи данных (информации) потребителям.

В качестве частных показателей оценки эффективности первой функции используются: скорость передачи данных, объем принятых данных, отношение числа ошибочно переданных данных к общему количеству переданной информации, количество ошибок [5]. Тогда дерево оценки эффективности системы обработки информации реального времени в данном случае будет выглядеть, как показано на рис. 2.

Рис. 2. Пример дерева оценки эффективности системы обработки информации реального времени

Таким образом, предложенный в статье подход к оценке эффективности АС позволяет на стадиях предпроектного проектирования спрогнозировать эффект, который может быть получен вследствие внедрения системы и, тем самым, обосновать решение о целесообразности ее создания.

Библиография

1. Герасимов Б.М., Грабочевский Г.Г., Рюмшин Н.А. Нечеткие множества в задачах проектирования управления и обработки информации. -- К.: Промінь, 2002. -- 137 с.

2. Саати Т. Принятие решений. Метод анализа иерархий. -- М. Радио и связь, 1993. -- 314 с.

3. Современные проблемы управления силами ВМФ: Теория и практика. Состояние и перспективы / И.В.Соловьев, В.В.Геков, С.М.Доценко и др.; Под ред. В.И.Куроедова. -- К.: Политехника, 2006. -- 432 с.

4. Техническое задание на проектирование Системы обработки информации. (Контракт № М095UABJ/E022D17K). -- К.: ИПРИ НАН Украины, 2003. -- 80 с.

5. Технические предложения по разработке системы обработки информации (Системы). Книга № 2. Обоснование технических требований на разработку Системы. -- К.: ИПРИ НАН Украины, 2003. -- 206 с.

Аннотация

Подход к оценке эффективности автоматизированных систем на ранних стадиях проектирования. Е. М. Науменко, Н. С. Козлов, Институт проблем регистрации информации НАН Украины, ул. Н. Шпака, 2, 03113 Киев, Украина

Предложен подход к оценке эффективности автоматизированной системы на ранних стадиях проектирования в условиях значительной неопределенности информационной среды. Практическое использование предложенного подхода позволяет принимать обоснованные решения о целесообразности создания системы и ее ожидаемой эффективности.

Ключевые слова: оценка эффективности, автоматизированная система, показатели эффективности, экспертные методы, метод анализа иерархий.

Размещено на Allbest.ru