Валидация и верификация имитационной модели

 

 

 

 

КУРСОВАЯ РАБОТА

По дисциплине «Имитационное моделирование»

На тему: «Валидация и верификация имитационной модели»

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Содержание:

 

1. Введение
2. Этапы имитационного моделирования
3. Валидация
4. Подход к управлению успешным исследованием системы методами имитационного моделирования
5. Заключение

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.Введение

Качество информации является одним из важнейших параметров для потребителя информации. Оно определяется следующими характеристиками:

− репрезентативность – правильность отбора информации в целях адекватного отражения источника информации.

− содержательность – семантическая емкость информации.

− достаточность (полнота) – минимальный, но достаточный состав данных для достижения целей, которые преследует потребитель информации.

− доступность – простота (или возможность) выполнения процедур получения и преобразования информации.

− актуальность – зависит от динамики изменения характеристик информации и определяется сохранением ценности информации для пользователя в момент ее использования.

− своевременность – поступление не позже заранее назначенного срока.

− точность – степень близости информации к реальному состоянию источника информации.

− достоверность – свойство информации отражать источник информации с необходимой точностью.

− устойчивость – способность информации реагировать на изменения исходных данных без нарушения необходимой точности.

Вопросы получения качественной информации в результате имитационного эксперимента встают и перед специалистами в области имитационного моделирования.

Имитационные модели получают все большее применение в процессе решения задач и принятия решений. В том, что модель и полученные с ее помощью результаты являются верными, в полной мере заинтересованы как разработчики модели, ее пользователи и лица, принимающие решения, так и люди, на которых оказывают влияние решения, принятые на основе данной модели. Эта заинтересованность в первую очередь относится

к верификации и валидации модели. Под верификацией чаще всего понимают проверку правильности преобразования концептуальной имитационной модели в программную модель, под валидацией – проверку правильности её поведения и представления концептуальной модели. В Министерстве Обороны США широко применяются имитационные модели. В последние годы Министерство Обороны проявляет интерес к верификации, валидации и концепции, известной как аккредитация (VV&A- Validation, Veryfication and Accreditation). Аккредитация определяется как «официальное засвидетельствование того, что модель, симуляция, или объединение моделей и симуляций является допустимым для использования для определенной цели».

Аккредитация – это официальное свидетельство (спонсора проекта) того, что имитационная модель применима для данной задачи. Министерство Обороны поддержало концепцию аккредитации, так как кто-то должен нести ответственность за принятие решения о возможности использования модели для данной задачи - от этого зависит большие суммы денег и жизни людей.

По одному из принципов тестирования полное тестирование систем имитационного моделирование невозможно (Balci). Исчерпывающее (полное) тестирование требует тестирования систем имитационного моделирования при всех возможных значениях входных параметров. Комбинации возможных значений входных параметров для систем имитационного моделирования в ходе исполнения программы могут привести к миллионам логических цепочек. Но в силу временных и денежных ограничений тестирование правильности такого большого количества логических цепочек невозможно.

Поэтому можно сказать, что «единственный существующий способ исчерпывающего тестирования – это тестирование до тех пор, пока тестеры не исчерпают все свои силы».

Следовательно, целью тестирования систем имитационного моделирования является увеличение уверенности в правильности системы в той мере, как это диктуется планируемым использованием системы и целями проекта, а не попытка полного тестирования системы имитационного моделирования.

Несмотря на то, что существуют более 100 методов верификации и валидации [Balci,1998], в связи с временными и ресурсными ограничениями, для тестирования систем имитационного моделирования используется только очень ограниченный набор методов. Ограниченное тестирование не позволяет доказать достаточную точность систем имитационного моделирования. Поскольку использование только лишь валидации имеет хорошо известные ограничения, некоторые исследователи предлагают использовать

оценку правильности вместе с характеристиками качества имитационных моделей.

 

2. Этапы имитационного моделирования

Процесс построения имитационных моделей представляет собой последовательное

выполнение этапов имитационного моделирования. Эти этапы процесса моделирования

приведены в книге А.Прицкера:

− Формулирование проблемы-описание исследуемой проблемы и определение целей исследования.

− Разработка модели - логико-математическое описание моделируемой системы в соответствии с формулировкой проблем.

− Подготовка данных - идентификация, спецификация данных.

− Трансляция модели - перевод модели на язык, приемлемый для используемой ЭВМ

− Верификация модели - Установление правильности машинных программ

− Валидация модели - оценка требуемой точности и соответствия имитационной модели реальной системе.

− Стратегическое и тактическое планирование - определение условии проведения машинного эксперимента с имитационной моделью.

− Экспериментирование - прогон имитационной модели на ЭВМ для получения требуемой информации.

− Анализ результатов - изучение результатов имеет моделирование для подготовки выводов, для решения проблемы.

Названные выше этапы имитационного исследования редко выполняются в строго заданной последовательности, начиная с определения проблемы и кончая документированием. В ходе имитационного исследования могут быть сбои в прогонах модели, ошибочные допущения, от которых в последствии приходится отказываться, переформулировки целей исследования. То есть, на каждом этапе возможно возвращение назад, к предыдущим этапам. Именно такой итеративный процесс даёт возможность получить модель, которая позволяет принимать решения. Рассмотрим более подробно этапы верификации и валидации имитационной модели. Упрощенный процесс разработки имитационной модели приведён на рис. 27.

 

Рассмотрим более подробно этапы верификации и валидации имитационной модели. Эти этапы связаны с оценкой функционирования имитационной модели. На этапе верификации определяется, соответствует ли запрограммированная модель замыслу разработчика. Установление адекватности имитационной модели выполняется на этапе валидации. Валидация модели обычно выполняется на различных уровнях (например, на уровне входных данных, элементов модели, подсистем и их взаимосвязи). Проверка адекватности модели включает сравнение её структуры со структурой системы, сравнения того, как реализованы элементарные функции и рушения в модели и системе.

Существуют специальные методы валидации (например, путём оценивания чувствительности выходных данных к изменению значений входных), различные парадигмы, подходы и методики. Рассмотрим некоторые из них. Но прежде постараемся дать основные определения, а именно, более подробно рассмотрим различные подходы к валидации, а затем и алгоритм построения валидной модели, предложенный Лоу.

 

3. Валидация

Итак, валидация – это процесс определения того, является ли имитационная модель точным представлением данной системы для конкретной задачи. Существует несколько точек зрения на валидацию:

− Валидная модель может быть использована для принятия решений, сходных с теми, которые были бы приняты на реальной и недорогой системе.

− Сложность процесса валидации зависит от сложности моделируемой системы, а так же от того, существует ли реальная система. Например, валидация модели смежного банка относительно проста, эту модель смежного банка можно хорошо изучить. А вот полная валидация модели системы морского оружия в 2025 году фактически невозможна ввиду того что, неизвестно ни место проведения сражения, ни оружие противника. Так же обычно для построения и валидации модели можно собирать данные о существующей системе.

− Имитационная модель сложной системы может быть лишь аппроксимацией реальной системы, не зависимо от того, как много времени и средств потрачено на ее создание. Не существует абсолютно точных моделей, как бы того не хотелось. Модель – это абстракция, упрощение реальной системы. Чем больше времени (а следовательно и финансовых затрат) тратится на разработку модели, тем более валидная в целом будет модель. Но наиболее валидная модель не обязательно является и наиболее выгодной. Например, так как для улучшения валидности модели до определенного уровня может потребоваться сбор подробных данных, то такое улучшение может быть достаточно затратным. Но в то же время такое улучшение валидности может и не привести к принятию решений, которые значительно лучше существующего.

− Имитационная модель всегда должна разрабатываться для конкретного набора задач. Фактически модель, валидная для одной задачи, может не быть валидной для другой задачи.

− Валидация не должна осуществляться после окончания разработки имитационной модели, при условии наличия времени и средств. К сожалению, на практике эта рекомендация не всегда выполняется.

− Каждый раз, когда имитационная модель применяется к другой задаче, необходимо перепроверять валидность данной модели. Данная задача может существенно отличаться от первоначальной, либо параметры модели могут измениться.

Имитационная модель и результаты ее выполнения надежны, если лицо, принимающее решение и другие ведущие специалисты проекта приняли ее как «точная».

Заметим, что надежная модель не всегда является валидной, и наоборот, валидная модель не всегда является надежной. Для упрощения установления надежности модели необходимо следующее:

− Понимание и принятие принимающим решение лицом допущений модели.

− Демонстрация того, что была осуществлена валидация и верификация модели (то есть того, что программа отлажена).

− Вовлеченность и ответственность за проект лица, принимающего решения.

− Репутация '84разработчиков・ модели.

− Убедительная анимация.

 

 

4. Подход к управлению успешным исследованием системы методами имитационного моделирования

На рис.28 представлены этапы построения имитационной модели (они уже были приведены ранее). Далее более подробно рассматриваются рекомендации А. Лоу[74] по проведению каждого из этапов. Приведённая ниже информация используется А. Лоу при чтении курса лекций.

 

Рис. 28. Этапы исследования имитационной модели

Далее приводится описание действий на каждом из семи шагов.

Шаг 1. Формулировка задачи

• Задача формулируется лицом, принимающим решение

- Задача может быть сформулирована нечетко либо только на качественном уровне.

- Обычно задача формулируется  итеративно.

• Организационное совещание таких проектов возглавляются руководителем проекта, в присутствие аналитика в области имитационного моделирования и эксперта в данной предметной области. На собрании обсуждаются следующие положения:

- Общие цели исследования.

- Специфические вопросы, на которые необходимо ответить во время исследования (без такой специфики невозможно определить необходимый уровень детализации).

- Критерии качества, используемые для определения эффективности различных конфигураций системы.

- Размеры системы.

- Моделируемая конфигурация системы.

- Изучаемый временной кадр и необходимый ресурсы (люди, компьютеры и т.д.)

Шаг 2. Сбор данных и создание концептуальной модели

• Сбор информации о макете системы и способе эксплуатации.

• Сбор данных для определения параметров модели и распределении вероятностей (например, для времени отказов и времени восстановления машины).