Тестирование системы управления предприятия

Тестирование представляет собой вид экспериментального исследования действующей системы (или другого вида "физической" реальности) с выбранной предпочтительной технологией управления. В теории эксперимента тестирование именуется как пассивный эксперимент, так как исследователь выступает только в роли наблюдателя или фиксатора параметров некоторого спонтанно протекающего процесса.

Для определения понятия "тестирование системы управления" используем словарное толкование термина "тест".

Тест - проба, пробное задание, испытание, исследование.

Испытать - проверить в работе, изведать на опыте.

Тестировать - осуществлять тесты, т.е. проводить стандартизированные, ограниченные во времени испытания определенной "физической" реальности. В качестве основы определения *тестирование систем управления" остановимся на положении "проверить в работе, изведать на опыте", понимая здесь под опытом воспроизведение какого-либо явления в определенных условиях.

Цель данного исследования - рассмотреть тестирование систем управления

• 1. Теоретическая часть

На начальных этапах создания ИС необходимо понять, как работает компания, которую собираются автоматизировать. Никто в компании не знает, как она работает в той мере подробности, которая необходима для проектирования и создания информационной системы. Руководитель хорошо знает работу в целом, но он не в состоянии вникнуть в детали работы каждого рядового сотрудника. Рядовой же сотрудник хорошо осведомлен, что и как делается на его рабочем месте, но плохо знает, как работают его коллеги. Именно поэтому лучший способ сконцентрировать знания всех сотрудников компании, столь необходимые разработчикам информационной системы - построить модель бизнес-процессов компании. Одним из наиболее удобных инструментов для решения такой задачи является SADT.

Модель является некоторым реальной системы (реального бизнеса). Поэтому объектом моделирования служит сама система. Однако моделируемая система никогда не существует изолированно: она всегда связана с окружающей средой. Причем зачастую трудно сказать, где кончается система и начинается среда. По этой причине в методологии SADT подчеркивается необходимость точного определения границ системы. SADT-модель всегда устанавливает точно, что является и что не является субъектом моделирования, описывая то, что входит в систему, и подразумевая то, что лежит за ее пределами. Отграничивая систему от среды, SADT модель помогает сконцентрировать внимание именно на изучаемой системе и позволяет избежать включения посторонних объектов.

В SADT-моделях используются как естественный, так и графический языки. SADT-модель дает полное, точное и адекватное описание самых различных систем, имеющих конкретное назначение. Это назначение называется целью модели.

Целью модели может быть описание существующего бизнеса предприятия или организации - модель "Как есть" (или модель "AS-IS"). Такие модели обычно создаются на этапе анализа предметной области и помогают управленцам понять "что мы делаем сегодня" перед тем, как попытаться решить "что и как мы будем делать завтра". Анализ модели "Как есть" позволяет понять, где находятся наиболее слабые места, какие функции моделируемой системы являются неуправляемыми, где происходит дублирование работ и т.д. Признаками неблагополучия в бизнес-процессах компании могут служить неэффективный документооборот (нужный документ не оказывается в нужном месте в нужное время), отсутствие обратных связей по управлению (на проведение работы не оказывает влияния ее результат), или входу (доступная информация используется нерационально).

На этапе проектирования цель модели уже другая - описать новую технологию, ориентированную на более эффективный бизнес (устранение числа согласований, совмещение функций, уменьшение дублирования, усиление контроля, улучшение качества и т.д.). Такие модели называют моделями "Как должно быть" (или "TO-BE"). Последних моделей создают обычно несколько, оценивая и выбирая затем наилучшую для данной компании в данных условиях. Эта модель и ляжет в дальнейшем в основу информационной системы организации.

С определением модели тесно связана позиция, с которой наблюдается предметная область. Поскольку качество описания системы резко снижается, если оно не сфокусировано ни на чем, SADT требует, чтобы модель рассматривалась все время с одной и той же позиции. Эта позиция называется "точкой зрения" данной модели. Например, моделируя процесс кредитования мы получим совершенно разные функциональные модели с точки зрения кредитной организации и с точки зрения ссудозаемщика.

Границы системы задаются в диаграмме самого верхнего уровня модели - контекстной. На этой же диаграмме обычно следует записать цель моделирования и точку зрения модели.

Дисциплина "Исследование систем управления" занимает важное место в Государственном стандарте по специальности "Менеджмент". Важность ее изучения продиктована настоятельной необходимостью построения таких организаций (предприятий, производственных объединений, корпораций, отдельных фирм), которые обеспечат выпуск высококачественной продукции (или услуги) в нужном объеме и ассортименте.

Создать такую организацию без проведения исследований невозможно. Особую роль здесь играют исследования систем управления. Эта проблема была актуальной всегда, однако до недавнего времени она в большей степени решалась в рамках математических дисциплин, таких, как теория вероятностей, математическая статистика, логика, теория множеств и др.

Тестирование системы управления означает осуществление комплекса испытательных мероприятий, проводимых с целью проверки и подтверждения реализуемости принципов и функций, принятых при проектировании системы, полноты выполнении задач, ради которых она создавалась, и качества управления (эффективность, устойчивость, адаптивность и надежность), а также прогнозирования функционирования системы в пределах заданного режима и алгоритма действия. Таким образом, тестирование -это метод исследования системы управления, при котором объект изучается без вмешательства в него, а измеряются лишь его свойства и параметры, и анализируется (устанавливается) характер их изменения. Под испытательными мероприятиями понимаются способы познания объекта, позволяющие получить исходную информацию о результатах его функционирования в определенных условиях.

Концептуально от тестирования ожидают решения таких задач, как:

1) оценка "правильности" функционирования отдельных элементов и системы в целом;

2) определение качества управления - эффективности, устойчивости, адаптивности и надежности и тех характеристик элементов и системы в целом, которые влияют на показатели перечисленных свойств системы;

3) определение отдельных второстепенных оценок, значимость которых выявляет в процессе анализа результатов решения первой и второй задач.

Понятие "правильность" функционирования является многоаспектным. Здесь следует выделить основные положения или принципы, согласно которым можно считать, что система функционирует "правильно".

1. Стыковка элементов (процессов, функций, видов деятельности) осуществляется правильно, если значения выходных и входных параметров взаимодействующих элементов согласованы и обмен информацией между ними происходит без каких-либо видимых или скрытых нарушений.

2. Процессы и задания выполняются согласно установленному стандартизированному алгоритму действия и нормам времени на их осуществление.

3. Качество личностей управленческого персонала и интенсивность их выраженности способствуют стимулированию и мотивации труда, предотвращению конфликтных ситуаций, самоанализу и самосовершенствованию.

В социологии и психологии под тестированием понимается выполнение специального стандартизированного задания, результат которого позволяет измерить некоторые психофизиологические и личностные характеристики, установить скрытую истину, а также знания, умения и навыки испытуемого. В управлении персоналом такие характеристики человека рассматриваются как предпосылки, необходимые условия его трудовых достижений.

В итоге установим, что постановка тестирования системы управления должна быть ориентирована, во-первых, на изучение и оценку результатов выполнения процессов, функций и задач; во-вторых, на оценку подготовленности персонала к возложенным на него обязанностям. Для первой стадии тестирования источником получения информации являются главным образом испытания системы и ее структурообразующих подсистем и элементов, для второй - тесты. В этой последовательности рассмотрим основные методологические и теоретические аспекты тестирования как метода исследования системы управления.

Чтобы проверить как работает система и отдельные её части, необходимо эту систему тестировать на соответствие некоторому множеству параметров и критериев.

Измерение количественных характеристик - это процесс определения отношения измеряемой величины и принятой за единицу измерения. Полученное в результате измерения число (выражающее такое отношение) называется численным значением измеряемой величины.

Измерение качественных характеристик (как правило, в социологических исследованиях) - это способ упорядочения информации, при котором система чисел и отношений между ними ставятся в соответствие ряду измеряемых социальных фактов, или это процесс приписывания количественной определенности изучаемым качественным признакам.

Измерительные процедуры качественных признаков - опрос, тест, рейтинг, экспертные оценки, ранжирование, а инструмент - шкалы и эмпирические индикаторы (внешние признаки измеряемых свойств).

В исследовании систем выделяют автономное и комплексное тестирование, причем первое, как правило, предшествует второму. Автономное тестирование направлено на подробное обследование элементов и подсистем и представляет собой необходимую стадию, без которой не могут быть успешно проведены комплексные испытания системы.

Кроме того, автономное тестирование позволяет освободить комплексное от ненужных деталей, сделать их в необходимой степени обозримыми и наглядными, а также сократить объем информации, подлежащей регистрации и обработке.

Комплексное тестирование системы предназначается в основном для Оценки ее общесистемных параметров, характеризующих взаимодействие элементов или подсистем.

В то же время на этой стадии тестирования обычно приходится регистрировать и основные параметры самих элементов, несмотря на то, что они уже тестированы в процессе автономных испытаний. Это объясняется тем, что в процессе взаимодействия каждый из элементов под влиянием новой среды, согласно принципу целостности, утрачивает часть своего потенциала, своих возможностей.

Тестирование может проводиться непосредственно с действующей системой или ее элементами (объектами), тогда оно называется натурным тестированием, или с моделью системы и моделями ее объектов - компьютерное тестирование (или машинная имитация).

Тестирования в смысле испытаний различают как однофакторные (традиционные) и многофакторные. В первом случае в каждой точке тестирования системы измеряется один параметр, во втором - несколько параметров. Для того чтобы сократить число измеряемых параметров, используют методы дисперсионного и регрессионного анализов.

Как нужно тестировать систему

Разработанные теоретические основы по проведению эксперимента в равной степени относятся и к тестированию. Тестирование выступает и как самостоятельный зид исследований, и как этап эксперимента. В основу проведения любого эксперимента положена "методология эксперимента" - это общие принципы, структура эксперимента, его постановка и последовательность выполнения. Методологию тестирования можно представить как алгоритм следующих действий.

Этап 1. Разработка (или выбор) методики тестирования в виде комплекса приемов или способов экспериментального исследования и включает:

а) цели и задачи тестирования;

б) параметры и характеристики системы или ее элементов, подлежащих измерению, регистрации, опросу;

в) последовательность автономных испытаний элементов и этапов комплексных испытаний системы;

г) обоснование способов, средств и методов измерения;

д) обоснование необходимой точности и частоты регистрации данных (или количества респондентов в социальных исследованиях);

е) методы обработки и анализа данных, полученных при испытаниях.

Этап II. Составление плана-программы организации тестирования как самостоятельного этапа исследования.

Этап III. Разработка инструкции по проведению тестирования.

Этап IV. Интерпретация результатов и подведение итогов тестирования.

Особое внимание в методике уделяется методам сбора информации и математическим методам обработки и анализа опытных данных. Для сбора информации используют следующие методы.

1. Натурные испытания - различного вида измерения в процессе функционирования системы, которые в большинстве случаев фиксируют скалярные переменные в заданные моменты времени с некоторыми ошибками. Статистические свойства ошибок считаются известными.

Наблюдение - как метод прямой регистрации, фиксирование сигналов, событий очевидцем в процессе их протекания.

Интернирование учетной информации из баз данных (файлы).

Сбор учетной информации из документов - носителей текстовой информации.

Генерирование опытных данных на основе машинной имитации (имитационное моделирование) функционирования элементов и системы с использованием аналоговых или вычислительных средств.

6. Опрос - вопросно-ответный метод сбора данных, при котором источником информации выступает словесное сообщение людей на основе тестов. Разновидностями опроса являются:

анкетирование - опосредованный, письменный опрос;

интервью - метод получения информации по определенной теме путем непосредственного целенаправленного диалога интервьюера с респондентом;

экспертный опрос - это опрос компетентных лиц;

социометрический опрос - выявление социально-психологических проявлений межличностных отношений.

Особое внимание в тестировании уделяется таким методам, как:

1) оценка всех видов измерений (первичная обработка результатов),

2) математическая обработка и анализ данных (вторичная обработка результатов). Методы первой группы разработаны теорией случайных ошибок, второй группы - математической статистикой и теорией вероятностей. Теория случайных ошибок позволяет решить следующие основные задачи, которые всегда сопровождают этап обработки результатов тестирования:

1) оценка точности и надежности измерений при данном количестве замеров (наблюдений), например, интервальная оценка с помощью доверительной вероятности в другие методы;

2) определение минимального количества замеров (наблюдений, опытов, респондентов), гарантирующих требуемую (заданную) точность и надежность измерения или минимального объема выборки (числа измерений) при заданных значениях доверительного интервала и доверительной вероятности;

3) исключение грубых ошибок ряда с использованием правила трех сигм, критерия В.И. Романовского и других оценок;

определение оптимальной зоны измерений, т.е. наиболее выгодных условий измерений, которые позволяют получить наиболее достоверные данные об изучаемом объекте (условия труда, нагрузка на систему и другие характеристики);

проверка воспроизводимости измерений, т.е. их повторяемости в определенных условиях измерения.

Методы решение перечисленных задач подробно изложены в специальной литературе, прежде всего по математической статистике и теории вероятностей, по экспериментальным исследованиям, в частности, методам планирования эксперимента и имитационному моделированию, к которым рекомендуется обратиться при изучении данного раздела курса.

В целом методика проведения того или иного вида тестирования раскрывает способ решения поставленной задачи при испытаниях. В ней оговаривают конкретные условия, необходимые для определения того или иного параметра (или ряда параметров), возможные способы реализации, необходимые измерения, целесообразность применения того или иного математического аппарата для получения искомого параметра по результатам непосредственных и косвенных измерений, методы анализа и оценки полученных результатов.

Планирование ведется в соответствии с выбранными показателями испытаний, а результаты его оформляются, как правило, в виде сетевых графиков которые дают полное представление о последовательности проведения работ в течение рассматриваемого промежутка времени.

Документация на проведение испытаний (программа испытаний) содержит технические условия испытаний, программу и методику испытаний, методику обработки данных, объем и способы проводимых работ, сроки их выполнения, степень ответственности исполнителей, отчетность и контрольные сроки. Программа испытаний в отличие от календарного плана носит организационно-технический характер.