Проверка и валидация компьютерных имитационных моделей - Verification and validation of computer simulation models

Проверка и валидация компьютерных имитационных моделей проводится во время разработки имитационной модели с конечной целью создания точной и достоверной модели. "Имитационные модели все чаще используются для решения проблем и помощи в принятии решений. Разработчики и пользователи этих моделей, лица, принимающие решения, использующие информацию, полученную на основе результатов этих моделей, и лица, на которых влияют решения, основанные на таких моделях, являются все справедливо озабочены тем, являются ли модель и ее результаты «правильными». Эта проблема решается путем верификации и валидации имитационной модели.

Имитационные модели являются приблизительной имитацией реальных систем, и они никогда не имитируют в точности реальную систему. В связи с этим модель должна быть проверена и подтверждена в степени, необходимой для предполагаемого назначения или применения модели.

Верификация и валидация имитационной модели начинается после документирования функциональных спецификаций и завершения первоначальной разработки модели. Проверка и валидация - это итеративный процесс, который происходит на протяжении всей разработки модели.

Проверка

В контексте компьютерного моделирования верификация модели - это процесс подтверждения того, что она правильно реализована по отношению к концептуальной модели (соответствует спецификациям и предположениям, которые считаются приемлемыми для данной цели приложения). В процессе верификации модель тестируется для поиска и исправления ошибок в реализации модели. Для обеспечения соответствия модели спецификациям и предположениям в отношении концепции модели используются различные процессы и методы. Цель проверки модели - убедиться, что реализация модели правильная.

Есть много методов, которые можно использовать для проверки модели. К ним относятся, помимо прочего, проверка модели экспертом, создание логических блок-схем, включающих каждое логически возможное действие, проверка выходных данных модели на разумность при различных настройках входных параметров и использование интерактивного отладчика. Многие методы программной инженерии, используемые для верификации программного обеспечения , применимы к верификации имитационной модели.

Проверка

Валидация проверяет точность представления модели реальной системы. Проверка модели определяется как «подтверждение того, что компьютеризированная модель в пределах ее области применимости обладает удовлетворительным диапазоном точности, совместимым с предполагаемым применением модели». Модель должна быть построена для конкретной цели или набора задач, а ее применимость должна определяться для этой цели.

Есть много подходов, которые можно использовать для проверки компьютерной модели. Подходы варьируются от субъективных обзоров до объективных статистических тестов. Один из широко используемых подходов состоит в том, чтобы составители моделей определяли достоверность модели с помощью серии тестов.

Нейлор и Фингер [1967] сформулировали трехэтапный подход к проверке достоверности модели, который получил широкое распространение:

Шаг 1. Постройте модель с высокой достоверностью.

Шаг 2. Подтвердите допущения модели.

Шаг 3. Сравните преобразования ввода-вывода модели с соответствующими преобразованиями ввода-вывода для реальной системы.

Действительность лица

Модель, имеющая внешнюю достоверность, кажется разумной имитацией системы реального мира для людей, знакомых с системой реального мира. Подтверждение подлинности проверяется тем, что пользователи и люди, знакомые с системой, проверяют выходные данные модели на предмет разумности и в процессе выявляют недостатки. Дополнительным преимуществом вовлечения пользователей в валидацию является то, что доверие к модели для пользователей и доверие пользователя к модели возрастают. Чувствительность к входным данным модели также может использоваться для оценки достоверности лица. Например, если моделирование проезда в ресторан быстрого питания было выполнено дважды с темпами прибытия клиентов 20 в час и 40 в час, то ожидается, что выходные данные модели, такие как среднее время ожидания или максимальное количество ожидающих клиентов, увеличатся с прибытием. темп.

Проверка допущений модели

Предположения, сделанные в отношении модели, обычно делятся на две категории: структурные предположения о том, как работает система, и предположения о данных. Также мы можем рассмотреть допущения упрощения, которые мы используем для упрощения реальности.

Структурные допущения

Предположения о том, как работает система и как она устроена физически, являются структурными предположениями. Например, количество серверов в фастфуде проезжает по переулку, и если их больше одного, как они используются? Серверы работают параллельно, когда клиент завершает транзакцию, посещая один сервер, или один сервер принимает заказы и обрабатывает платежи, в то время как другой готовит и обслуживает заказ. Многие структурные проблемы в модели возникают из-за неверных или неверных предположений. По возможности следует внимательно наблюдать за работой реальной системы, чтобы понять, как она работает. Структура и работа системы также должны быть проверены пользователями реальной системы.

Предположения в отношении данных

Для построения концептуальной модели и проверки модели должен быть достаточный объем соответствующих данных. Отсутствие соответствующих данных часто является причиной неудачных попыток проверки модели. Данные должны быть проверены и получены из надежного источника. Типичная ошибка - это предположение о несоответствующем статистическом распределении данных. Предполагаемая статистическая модель должна быть протестирована с использованием критериев согласия и других методов. Примерами критериев согласия являются критерий Колмогорова – Смирнова и критерий хи-квадрат . Следует проверять любые выбросы в данных.

Допущения упрощения

Являются ли те предположения, которые мы знаем, что неверны, но необходимы для упрощения проблемы, которую мы хотим решить. Использование этих предположений должно быть ограничено, чтобы гарантировать, что модель достаточно верна, чтобы служить ответом на проблему, которую мы хотим решить.

Проверка преобразований ввода-вывода

Модель рассматривается как преобразование ввода-вывода для этих тестов. Проверочный тест состоит из сравнения выходных данных рассматриваемой системы с выходными данными модели для того же набора входных условий. Данные, записанные при наблюдении за системой, должны быть доступны для выполнения этого теста. Выходные данные модели, представляющие основной интерес, следует использовать в качестве меры производительности. Например, если рассматриваемая система представляет собой поездку в фастфуд, где входными данными для модели является время прибытия клиента, а выходным показателем производительности является среднее время ожидания клиента в очереди, тогда фактическое время прибытия и время, проведенное в очереди для клиентов во время проезда. будет записан. Модель будет запускаться с фактическим временем прибытия, и среднее время нахождения в очереди будет сравниваться с фактическим средним временем, проведенным в очереди с использованием одного или нескольких тестов.

Проверка гипотезы

Статистическая проверка гипотез с использованием t-критерия может использоваться в качестве основы для принятия модели как действительной или отклонения как недействительной.

Гипотеза, подлежащая проверке:

H 0 модельная мера эффективности = системная мера эффективности

против

H 1 модельная мера эффективности ≠ системная мера эффективности.

Тест проводится для заданного размера выборки и уровня значимости или α. Для выполнения теста проводится n статистически независимых прогонов модели и вычисляется среднее или ожидаемое значение E (Y) для интересующей переменной. Затем вычисляется тестовая статистика t 0 для заданных α, n , E (Y) и наблюдаемого значения для системы μ 0.

а критическое значение для α и n-1 степеней свободы
рассчитывается.

Если

отклонить H 0 , модель требует корректировки.

Существует два типа ошибок, которые могут возникнуть при проверке гипотез: отклонение действительной модели, называемое ошибкой типа I или «риск создателей модели», и принятие недопустимой модели, называемой ошибкой типа II, β или «риском пользователя модели». Уровень значимости или α равен вероятности ошибки типа I. Если α мало, то отказ от нулевой гипотезы является сильным выводом. Например, если α = 0,05 и нулевая гипотеза отклоняется, вероятность отклонения действительной модели составляет всего 0,05. Очень важно снизить вероятность ошибки типа II. Вероятность правильного обнаружения неверной модели равна 1 - β. Вероятность ошибки типа II зависит от размера выборки и фактической разницы между значением выборки и наблюдаемым значением. Увеличение размера выборки снижает риск ошибки типа II.

Точность модели как диапазон

Недавно был разработан статистический метод, в котором точность модели определяется как диапазон. Этот метод использует проверку гипотез, чтобы принять модель, если разница между интересующей переменной модели и интересующей системной переменной находится в пределах указанного диапазона точности. Требование состоит в том, чтобы и системные данные, и данные модели были приблизительно нормально независимыми и одинаково распределенными (NIID) . В этом методе используется статистика t-критерия . Если среднее значение модели - μ м, а среднее значение системы - μ s, то разница между моделью и системой составляет D = μ m - μ s . Гипотеза, подлежащая проверке, заключается в том, находится ли D в приемлемом диапазоне точности. Пусть L = нижний предел точности и U = верхний предел точности. потом

H 0 L ≤ D ≤ U

против

H 1 D <L или D> U

подлежит испытанию.

Кривая рабочей характеристики (ОС) - это вероятность того, что нулевая гипотеза будет принята, когда она верна. Кривая OC характеризует вероятность ошибок как I, так и II типа. Кривые риска для риска разработчика модели и пользователя модели могут быть построены на основе кривых OC. Сравнение кривых с фиксированным размером выборки между риском создателя модели и риском пользователя модели можно легко увидеть на кривых риска. Если заданы риск разработчика модели, риск пользователя модели, а также верхний и нижний пределы диапазона точности, то можно рассчитать необходимый размер выборки.

Доверительные интервалы

Доверительные интервалы можно использовать для оценки того, является ли модель «достаточно близкой» к системе для некоторой интересующей переменной. Проверяется разница между известным модельным значением μ 0 и системным значением μ, чтобы увидеть, меньше ли оно значения, достаточно малого для того, чтобы модель действительна в отношении интересующей переменной. Значение обозначается символом ε. Для того, чтобы выполнить испытание ряда, п , статистически независимые пробеги моделей проводятся и среднее или ожидаемое значение E (Y) , или μ для моделирования выходного переменного процентной Y, со стандартным отклонением S производятся. Выбран уровень достоверности 100 (1-α). Интервал [a, b] строится следующим образом:

,

куда

- критическое значение из t-распределения для данного уровня значимости и n-1 степеней свободы.

Если | a-μ 0 | > ε и | b-μ 0 | > ε, то модель необходимо откалибровать, поскольку в обоих случаях разница больше допустимой.
Если | a-μ 0 | <ε и | b-μ 0 | <ε, то модель приемлема, так как в обоих случаях ошибка достаточно близка.
Если | a-μ 0 | <ε и | b-μ 0 | > ε или наоборот, для сокращения интервала необходимы дополнительные прогоны модели.

Графические сравнения

Если статистические допущения не могут быть выполнены или данных для системы недостаточно, для принятия субъективных решений можно использовать графические сравнения выходных данных модели с выходными данными системы, однако предпочтительнее использовать другие объективные тесты.

Стандарты ASME

Документы и стандарты, включающие верификацию и валидацию компьютерного моделирования и симуляции, разрабатываются Комитетом по верификации и валидации (V&V) Американского общества инженеров-механиков (ASME). ASME V&V 10 предоставляет руководство по оценке и повышению достоверности вычислительных моделей механики твердого тела посредством процессов верификации, валидации и количественной оценки неопределенности. ASME V&V 10.1 предоставляет подробный пример для иллюстрации концепций, описанных в ASME V&V 10. ASME V&V 20 предоставляет подробную методологию для проверки компьютерного моделирования применительно к гидродинамике и теплопередаче. ASME V&V 40 обеспечивает основу для установления требований к достоверности модели для вычислительного моделирования и представляет примеры, характерные для индустрии медицинского оборудования.

Смотрите также

использованная литература