Способы и приемы оценки неопределенности данных аттестационного тестирования компонентов распределенных управляющих систем

Размещено на http://www.allbest.ru/

Способы и приемы оценки неопределенности данных аттестационного тестирования компонентов распределенных управляющих систем

Еременко В.Т.

Тестирование реализаций распределенных управляющих систем позволяет выявить соответствие наблюдаемого поведения требованиям стандартов на протоколы информационного обмена и охватывает равноправные объекты (процессы, программы, рабочие станции, серверы, локальные вычислительные сети). Оно предусматривает, что реализации подвергаются двум видам тестирования: на соответствие стандартам (conformance testing) и на взаимодействие (interoperability testing). Тестирование взаимодействия имитирует реальные условия, в которых будет функционировать средство информационного обмена и позволяет обнаружить факультативные возможности конфигураций, которые введены несовместным образом. Процесс оценки соответствия рассматривается, как выполнение всех действий, необходимых для оценки соответствия реализации одному или нескольким стандартам.

The testing of realizations of the allocated managing systems allows to reveal conformity of observable behaviour to the requirements of the standards of the protocols of an information exchange and covers equal in rights objects (processes, program, workstations, servers, local computer networks). It provides, that the realizations are exposed to two kinds of testing: on conformity to the standards and on interaction. The testing of interaction simulates real conditions, in which the means of an information exchange will function and allows to find out facultative opportunities of configurations, which are entered by a not joint image. The process of an estimation of conformity is considered(examined), as performance of all actions necessary for an estimation of conformity for realization to one or several standards.

Если в основу создания распределенных информационных управляющих систем (РИУС) положена технология открытых систем (способных взаимодействовать с другими системами посредством реализации международных стандартов и протоколов), то это приводит к необходимости выполнения не только традиционных функций сбора обработки, хранения, передачи и представления информации, но и выполнения многовариантных расчетов для принятия обоснованных управленческих решений. В этом случае телекоммуникационная среда РИУС становится распределенной (распределенное хранение файлов, удаленные вычисления, обмен сообщениями с помощью электронной почты и возможностями телеконференций) и вызывает возникновение множества новых проблем (управление доступом на серверах и рабочих станциях, авторизация пользователей при удаленных вычислениях, обеспечение безопасного маршрута в топологии, защита Службы обмена сообщениями и т.д.) [1].

Основой функционирования РИУС являются протоколы информационного обмена (совокупность правил, определяющих формат и процедуры обмена, преобразования информации между процессами или устройствами), которые, в свою очередь, объединяются в профили - взаимоувязанную упорядоченную совокупность базовых стандартов протоколов информационного обмена (ПИО). На более высоком уровне лежит понятие функционального стандарта - включающего несколько профилей и устанавливающего связи между ними путем определения общих и специфических частей [2].

Установлено, что профиль протоколов информационного обмена (ППИО) должен подвергаться двум видам тестирования: на соответствие стандартам (conformance testing) и на взаимодействие (interoperability testing). Тестирование на соответствие осуществляется путем оценки реализации ППИО и должно стать обязательным для поставщиков. Тестирование соответствия должно подтвердить, что протокольные реализации ведут себя в соответствии со стандартами.

Но одно только тестирование соответствия еще не гарантирует, что будут обнаружены все логические ошибки, что будет правильно функционировать реализация и обеспечено взаимодействие.

Тестирование взаимодействия имитирует реальные условия, в которых будет функционировать средство информационного обмена. В общем случае тестирование взаимодействия обнаруживает такие факультативные возможности конфигураций, которые введены несовместным образом.

Процесс оценки соответствия рассматривается, как выполнение всех действий по аттестационному тестированию, необходимых для оценки соответствия реализации одному или нескольким профилям. Такой подход позволяет выделить пять фаз в общей оценке соответствия реализации ППИО. тестирование информационный управляющий контроль

Фаза 1. Проверка функций реализации ППИО, формирование спецификации, запросов на реализацию функций, модели состояний среды обработки данных.

Фаза 2. Идентификация данных, в том числе формата блоков (кадров, пакетов, сообщений, файлов и т.п.) при их последовательной параллельной обработке, проверка служебных символов для управления процессами доведения, групп избыточности для обнаружения или исправления ошибок и наблюдения за состоянием среды обработки данных.

Фаза 3. Контроль корректности процессов обработки, наблюдения и управления за процессом обработки блоков в телекоммуникационной среде РИУС, координация временных и точностных условий протекания последовательности сопутствующих событий.

Фаза 4. Тестирование преобразования данных в последовательности событий и проверка соответствующих решающих правил при реализации механизмов доступа к ресурсам.

Фаза 5. Проверка описания интерфейсов внешних событий. Физическая структура интерфейсов, как правило, не совпадает явно с логической структурой ППИО и может быть реализована различными способами.

Для оценки соответствия некоторой конкретной реализации необходимо иметь документ о функциональных и факультативных возможностях данной реализации относительно соответствующего протокола с тем, чтобы эта реализация могла быть проверена на соответствие заданным требованиям, и только этим требованиям. Таким документом является заявка о соответствии реализации протоколу (ЗСРП) [3].

Для того чтобы проверить реализацию протокола, испытательной лаборатории дополнительно к информации, представленной в ЗСРП, необходима информация, относящаяся к тестируемой реализации (ТР) и к ее тестовой функциональной среде. Эта дополнительная информация о реализации протокола для тестирования (ДИРПТ) должна обеспечиваться клиентом, поставляющим данную реализацию для тестирования в испытательной лаборатории.

Предлагаемая методика предусматривает разбиение множества входных данных E на подмножества S_j и использует выражения для дисперсии и доверительных границ результатов измерения гарантированности, полученных на определенном наборе входных данных.

Оценка величины гарантированности R. Вообще говоря, выборка может затрагивать не все подмножества S_j. Если имеет место именно такая ситуация, то определенная ниже оценка R будет являться смещенной. Пусть T - совокупность индексов подмножеств S_j заданного разбиения входного множества E, которые присутствуют в выборках, а - совокупность всех остальных индексов j, не вошедших в T. Тогда значение величины гарантированности определяется следующим образом:

(1)

где: f -число точек множества S_j , с которыми связаны логические ошибки протоколов;

n - общее число точек множества S_j ;

Р_j - вероятность формирования входного набора данных реализации.

Ожидаемое значение величины , обозначаемое через M(), определяется как

(2)

где P' - вероятность формирования последовательности n_j, P” - вероятность формирования последовательности f_j, а суммирование проводится по всем j = 1, 2, ..., K. Таким образом, когда выборка является неполной, значение R будет смещено вверх. Устранение этого смещения может быть достигнуто путем включения в выборку (без изменения ее объема ) по одному массиву данных из каждого подмножества S_j для

Оценка точности измерения R. Одним из показателей точности измерения случайной величины является ее дисперсия V(f_i). Поскольку V(f_j)=n_jP'_j P"_j/P_j² , то

(3)

Отсюда, используя грубые границы изменения для значений , можно получить совокупность приближенных численных оценок (снизу и сверху) величины среднеквадратичной ошибки. Соответствующие оценки имеют следующий вид:

(4)

Представительность выборки. Мера представительности выборки была впервые предложена в работе [5] и определяется следующим образом:

. (5)

Предположим, что выборка является неполной, т.е. для n_j=0 и

(объединение T и дает множество всех индексов j). Найдем значения n_j, минимизирующие величину . Для этого построим функцию

Опустив промежуточные результаты, окончательно получаем:

.(6)

Таким образом, минимально возможное значение пропорционально отношению суммы вероятностей, связанных с подмножествами S_j, которые затрагивались выборкой, и сумме вероятностей, относящихся к подмножествам S_j, которые не затрагивались выборкой.

Доверительные границы значений R. На основе теории выборочного метода [6] могут быть разработаны различные меры “доверительности” для оценок гарантированности реализаций. Термин “доверительность” в техническом смысле применителен к гарантированности реализаций ППИО: речь идет о мере близости к истинному значению величины гарантированности, оцененной по результатам некоторой серии испытаний с помощью определенных методик расчета. Термин “доверительность” используется также для обозначения степени представительности, полноты, стратегии тестирования или метода выборки.

Разработанная методика предусматривает нахождение нижних доверительных границ гарантированности реализаций, не опирается на предположение об ассимптотически нормальном поведении и может рассматриваться, как точная. Проведенные исследования показали, что построение неймановских доверительных границ гарантированности в общем случае, очевидно, представляет собой трудноразрешимую задачу. В то же время метод Неймана не требует использования каких-либо предположений о характере априорного распределения вероятностей, как это делается при байесовском подходе. В этом смысле, неймановские доверительные границы являются предпочтительнее байесовских. Тем не менее относительная легкость получения последних может служить достаточным основанием для отказа от неймановских доверительных границ.

Для того чтобы сделать процесс анализа и использования реализаций ППИО управляемым, необходимо провести дальнейшее исследование метода Неймана, ограничиваясь, быть может, лишь случаем обнаружения одной или двух логических ошибок. Необходимо отметить, что дальнейшее развитие исследований целесообразно провести в направлении сопоставления двух методов, результатом чего могла бы стать корректировка байесовского подхода, позволяющая построить более рациональную методологию получения доверительных границ гарантированности.

Литература

1. Еременко В.Т. Математическое моделирование процессов информационного обмена в распределенных управляющих системах. : Монография /Под общей редакций Константинова И.С. - м.: Машиностроение - 1, 2004. - 224 с.

2. Еременко В.Т., Туякбасарова Н. А. Теоретические основы построения распределенных управляющих систем с использованием структурно-функционального подхода: Монография. - Курск: Курский институт менеджмента, экономики и бизнеса, 2004. - 122 с.

3. Еременко В.Т., Баранов А.К. Построение функциональной среды для современных информационных систем на основе профилей протоколов // Сборник научных трудов ученых Орловской области. Вестник науки. Выпуск 5. В 2-х томах. Т.1. - Орел: ОрелГТУ, 1999. - с.225 - 228.

4. Щербо В.К. Стандарты вычислительных сетей. Взаимосвязи сетей. Справочник - М.: КУДИЦ-ОБРАЗ, 2000 - 272 с.

5. ISO/IEC TR 10000-1:1995(final text, June 1995), Information technology - Framework and taxonomy of International Standardized Profiles - Part 1: General Principles and Documentation Framework.

6. Brown J. R., Lipov M., Testing for Software Reliability, Proceedings 1975 International Conference on Reliable Software, April 21-23, 1975, IEEE Catalog No. 75, CH940-7CSR, pp.518-527.

7. Lloyd D. K., Lipow M., Reliability: Management, Methods, and Mathematics, Prentice Hall, Inc., Englewood Cliffs, New Jersey, 1962, pp. 224-229.

Размещено на Allbest.ru