Валидация и верификация имитационной модели

Размещено на http://www.allbest.ru/

КУРСОВАЯ РАБОТА

По дисциплине «Имитационное моделирование»

На тему: «Валидация и верификация имитационной модели»

Содержание

Введение

1. Этапы имитационного моделирования

2. Валидация

3. Подход к управлению успешным исследованием системы методами имитационного моделирования

Заключение

Введение

Качество информации является одним из важнейших параметров для потребителя информации. Оно определяется следующими характеристиками:

? репрезентативность - правильность отбора информации в целях адекватного отражения источника информации.

? содержательность - семантическая емкость информации.

? достаточность (полнота) - минимальный, но достаточный состав данных для достижения целей, которые преследует потребитель информации.

? доступность - простота (или возможность) выполнения процедур получения и преобразования информации.

? актуальность - зависит от динамики изменения характеристик информации и определяется сохранением ценности информации для пользователя в момент ее использования.

? своевременность - поступление не позже заранее назначенного срока.

? точность - степень близости информации к реальному состоянию источника информации.

? достоверность - свойство информации отражать источник информации с необходимой точностью.

? устойчивость - способность информации реагировать на изменения исходных данных без нарушения необходимой точности.

Вопросы получения качественной информации в результате имитационного эксперимента встают и перед специалистами в области имитационного моделирования.

Имитационные модели получают все большее применение в процессе решения задач и принятия решений. В том, что модель и полученные с ее помощью результаты являются верными, в полной мере заинтересованы как разработчики модели, ее пользователи и лица, принимающие решения, так и люди, на которых оказывают влияние решения, принятые на основе данной модели. Эта заинтересованность в первую очередь относится к верификации и валидации модели. Под верификацией чаще всего понимают проверку правильности преобразования концептуальной имитационной модели в программную модель, под валидацией - проверку правильности её поведения и представления концептуальной модели. В Министерстве Обороны США широко применяются имитационные модели. В последние годы Министерство Обороны проявляет интерес к верификации, валидации и концепции, известной как аккредитация (VV&A- Validation, Veryfication and Accreditation). Аккредитация определяется как «официальное засвидетельствование того, что модель, симуляция, или объединение моделей и симуляций является допустимым для использования для определенной цели».

Аккредитация - это официальное свидетельство (спонсора проекта) того, что имитационная модель применима для данной задачи. Министерство Обороны поддержало концепцию аккредитации, так как кто-то должен нести ответственность за принятие решения о возможности использования модели для данной задачи - от этого зависит большие суммы денег и жизни людей.

По одному из принципов тестирования полное тестирование систем имитационного моделирование невозможно (Balci). Исчерпывающее (полное) тестирование требует тестирования систем имитационного моделирования при всех возможных значениях входных параметров. Комбинации возможных значений входных параметров для систем имитационного моделирования в ходе исполнения программы могут привести к миллионам логических цепочек. Но в силу временных и денежных ограничений тестирование правильности такого большого количества логических цепочек невозможно.

Поэтому можно сказать, что «единственный существующий способ исчерпывающего тестирования - это тестирование до тех пор, пока тестеры не исчерпают все свои силы».

Следовательно, целью тестирования систем имитационного моделирования является увеличение уверенности в правильности системы в той мере, как это диктуется планируемым использованием системы и целями проекта, а не попытка полного тестирования системы имитационного моделирования.

Несмотря на то, что существуют более 100 методов верификации и валидации [Balci,1998], в связи с временными и ресурсными ограничениями, для тестирования систем имитационного моделирования используется только очень ограниченный набор методов. Ограниченное тестирование не позволяет доказать достаточную точность систем имитационного моделирования. Поскольку использование только лишь валидации имеет хорошо известные ограничения, некоторые исследователи предлагают использовать оценку правильности вместе с характеристиками качества имитационных моделей.

верификация валидация имитационный модель

1. Этапы имитационного моделирования

Процесс построения имитационных моделей представляет собой последовательное выполнение этапов имитационного моделирования. Эти этапы процесса моделирования приведены в книге А.Прицкера:

? Формулирование проблемы-описание исследуемой проблемы и определение целей исследования.

? Разработка модели - логико-математическое описание моделируемой системы в соответствии с формулировкой проблем.

? Подготовка данных - идентификация, спецификация данных.

? Трансляция модели - перевод модели на язык, приемлемый для используемой ЭВМ

? Верификация модели - Установление правильности машинных программ

? Валидация модели - оценка требуемой точности и соответствия имитационной модели реальной системе.

? Стратегическое и тактическое планирование - определение условии проведения машинного эксперимента с имитационной моделью.

? Экспериментирование - прогон имитационной модели на ЭВМ для получения требуемой информации.

? Анализ результатов - изучение результатов имеет моделирование для подготовки выводов, для решения проблемы.

Названные выше этапы имитационного исследования редко выполняются в строго заданной последовательности, начиная с определения проблемы и кончая документированием. В ходе имитационного исследования могут быть сбои в прогонах модели, ошибочные допущения, от которых в последствии приходится отказываться, переформулировки целей исследования. То есть, на каждом этапе возможно возвращение назад, к предыдущим этапам. Именно такой итеративный процесс даёт возможность получить модель, которая позволяет принимать решения. Рассмотрим более подробно этапы верификации и валидации имитационной модели. Упрощенный процесс разработки имитационной модели приведён на рис..

Рассмотрим более подробно этапы верификации и валидации имитационной модели. Эти этапы связаны с оценкой функционирования имитационной модели. На этапе верификации определяется, соответствует ли запрограммированная модель замыслу разработчика. Установление адекватности имитационной модели выполняется на этапе валидации. Валидация модели обычно выполняется на различных уровнях (например, на уровне входных данных, элементов модели, подсистем и их взаимосвязи). Проверка адекватности модели включает сравнение её структуры со структурой системы, сравнения того, как реализованы элементарные функции и рушения в модели и системе.

Существуют специальные методы валидации (например, путём оценивания чувствительности выходных данных к изменению значений входных), различные парадигмы, подходы и методики. Рассмотрим некоторые из них. Но прежде постараемся дать основные определения, а именно, более подробно рассмотрим различные подходы к валидации, а затем и алгоритм построения валидной модели, предложенный Лоу.

2. Валидация

Итак, валидация - это процесс определения того, является ли имитационная модель точным представлением данной системы для конкретной задачи. Существует несколько точек зрения на валидацию:

? Валидная модель может быть использована для принятия решений, сходных с теми, которые были бы приняты на реальной и недорогой системе.

? Сложность процесса валидации зависит от сложности моделируемой системы, а так же от того, существует ли реальная система. Например, валидация модели смежного банка относительно проста, эту модель смежного банка можно хорошо изучить. А вот полная валидация модели системы морского оружия в 2025 году фактически невозможна ввиду того что, неизвестно ни место проведения сражения, ни оружие противника. Так же обычно для построения и валидации модели можно собирать данные о существующей системе.

? Имитационная модель сложной системы может быть лишь аппроксимацией реальной системы, не зависимо от того, как много времени и средств потрачено на ее создание. Не существует абсолютно точных моделей, как бы того не хотелось. Модель - это абстракция, упрощение реальной системы. Чем больше времени (а следовательно и финансовых затрат) тратится на разработку модели, тем более валидная в целом будет модель. Но наиболее валидная модель не обязательно является и наиболее выгодной. Например, так как для улучшения валидности модели до определенного уровня может потребоваться сбор подробных данных, то такое улучшение может быть достаточно затратным. Но в то же время такое улучшение валидности может и не привести к принятию решений, которые значительно лучше существующего.

? Имитационная модель всегда должна разрабатываться для конкретного набора задач. Фактически модель, валидная для одной задачи, может не быть валидной для другой задачи.

? Валидация не должна осуществляться после окончания разработки имитационной модели, при условии наличия времени и средств. К сожалению, на практике эта рекомендация не всегда выполняется.

? Каждый раз, когда имитационная модель применяется к другой задаче, необходимо перепроверять валидность данной модели. Данная задача может существенно отличаться от первоначальной, либо параметры модели могут измениться.

Имитационная модель и результаты ее выполнения надежны, если лицо, принимающее решение и другие ведущие специалисты проекта приняли ее как «точная».

Заметим, что надежная модель не всегда является валидной, и наоборот, валидная модель не всегда является надежной. Для упрощения установления надежности модели необходимо следующее:

? Понимание и принятие принимающим решение лицом допущений модели.

? Демонстрация того, что была осуществлена валидация и верификация модели (то есть того, что программа отлажена).

? Вовлеченность и ответственность за проект лица, принимающего решения.

? Репутация '84разработчиковЃE модели.

? Убедительная анимация.

3. Подход к управлению успешным исследованием системы методами имитационного моделирования

На рис. представлены этапы построения имитационной модели (они уже были приведены ранее). Далее более подробно рассматриваются рекомендации А. Лоу[74] по проведению каждого из этапов. Приведённая ниже информация используется А. Лоу при чтении курса лекций.

Этапы исследования имитационной модели

Далее приводится описание действий на каждом из семи шагов.

Шаг 1. Формулировка задачи

* Задача формулируется лицом, принимающим решение

- Задача может быть сформулирована нечетко либо только на качественном уровне.

- Обычно задача формулируется итеративно.

* Организационное совещание таких проектов возглавляются руководителем проекта, в присутствие аналитика в области имитационного моделирования и эксперта в данной предметной области. На собрании обсуждаются следующие положения:

- Общие цели исследования.

- Специфические вопросы, на которые необходимо ответить во время исследования (без такой специфики невозможно определить необходимый уровень детализации).

- Критерии качества, используемые для определения эффективности различных конфигураций системы.

- Размеры системы.

- Моделируемая конфигурация системы.

- Изучаемый временной кадр и необходимый ресурсы (люди, компьютеры и т.д.)

Шаг 2. Сбор данных и создание концептуальной модели

* Сбор информации о макете системы и способе эксплуатации.

* Сбор данных для определения параметров модели и распределении вероятностей (например, для времени отказов и времени восстановления машины).

* Документация допущений модели, алгоритмов, краткое изложение данных на письменной концептуальной модели.

* Уровень детализации модели должен зависеть от следующего:

- Цели проекта

- Критерий решения задачи

- Доступность данных

- Технические ограничения

- Мнения экспертов в данной предметной области

- Временные и финансовые ограничения

- Между моделью и системой не должно быть соотношения один-к-одному.

- Степень достоверности.

- Сбор данных о рабочих характеристиках (выходных) на основе существующей системы (если таковая существует) для последующей валидации модели на шаге 5.

Шаг 3. Определение валидности концептуальной модели

* Структурированный просмотр концептуальной модели в присутствии руководителя проекта, аналитика и эксперта. Этот просмотр называется валидацией концептуальной модели.

* Если в концептуальной модели выявлены ошибки или упущения, которые есть практически всегда, то до того как приступить к этапу программирования необходимо обновить модель.

Шаг 4. Программирование модели

* Программирование модели на коммерческих пакетах для имитационного моделирования или на универсальных языках программирования (например, С, С++ или Java).

* Проверка (откладка) программы.

Шаг 5. Определение валидности запрограммированной модели

* При наличии реальной системы необходимо сравнить выходные данные имитационной модели с соответствующими выходными данными реальной модели (см. шаг 2). Этот процесс называется валидацией результатов.

* Независимо от того, существует ли реальная система или нет, аналитик по имитационному моделированию и эксперт в данной предметной области должны просмотреть результаты моделирования на корректность. Если результаты согласуются с тем, какими они должны быть в реальной системе, то говорят, что имитационная модель имеет внешнюю (лицевую) валидность.

* Для определения параметров модели, более всего влияющих на критерии качества, необходимо произвести анализ чувствительности. Полученные параметры требуют более тщательного моделирования.

Шаг 6. Проектирование, управление и анализ экспериментов

* Для каждой исследуемой конфигурации системы необходимо выбрать временные параметры (выходы) такие как время работы, время разогрева системы и количество независимых репликаций модели.

* Проанализировать результаты и решить, нужны ли дополнительные эксперименты.

Шаг 7. Документирование и представление результатов моделирования

* Документация модели (и связанных с ней исследования) должна включать в себя концептуальную модель (необходима для дальнейшего переиспользования модели), детальное описание программы и результаты данного исследования.

* Для повышения надежности модели окончательное представление исследования должно включать в себя анимацию и описание обсуждений процесса построения/валидации модели.

Заключение

Необходима валидация всех имитационных моделей, иначе решения, принятые на основе этих моделей, будут неверными. Ниже приводятся наиболее важные идей разработки валидных и надежных моделей:

? Точная формулировка проблемы.

? Проведение интервью с экспертами в данной предметной области.

? Постоянное взаимодействие лица, принимающего решения с участниками проекта, что гарантирует корректность решаемой задачи, а также увеличивает надежность модели.

? Разработки письменной концептуальной модели.

? Структурированный просмотр концептуальной модели. Если не существует реальной системы, то это может быть единственным методом валидации.

? Применение анализа чувствительности для определения наиболее важных (существенных) параметров системы.

? Использование теста Тьюринга для сравнения выходных данных модели и системы.

? Проверка результатов работы системы и анимации на корректность.

Список использованной литературы

1. Лоу, А. Имитационное моделирование / А. Лоу, В. Кельтон. - СПб. : Питер, 2004.

2. Рыжиков, Ю.И. Имитационное моделирование. Теория и технологии / Ю.И. Рыжиков. - СПб : Корона принт, 2004.

3. Советов, Б.Я. Моделирование систем : практикум / Б.Я. Советов, С.А. Яковлев. - М. : Высш. шк., 2005.

4. Шрайбер, Т. Дж. Моделирование на GPSS/ Т.Дж. Шрайбер. - М.: Машиностроение, 1980.

5. Харин Ю.С. Основы имитационного и статистического моделирования. Учебное пособие/ Ю.С. Харин, В.И. Малюгин, В.П.Кирлица и др. - Мн.:Дизайн ПРО, 1997.

6. Кудрявцев Е.М. GPSS World. Основы имитационного моделирования различных систем/ Е.М. Кудрявцев. - М.: ДМК, 2004.

7. Максимей И.В. Имитационное моделирование на ЭВМ/ И.В. Максимей. - М.: Радио и связь, 1988.

8. Методические требования к содержанию и оформлению курсовых работ/ Л.П. Харлап, Е.М. Сибогатова. - Гомель, БТЭУ, 2004. (мет. №1365)

9. Лабораторный практикум по имитационному моделированию /Еськова О.И. - размноженные материалы в кааб 3-35.

Размещено на Allbest.ru