Features of Software Solutions in the Field of Verification and Validation of Numerical Models
The numerical modeling increasingly replaces expensive experiments and physical prototypes in engineering and research, but the practical value of simulations depends on the demonstrated credibility of results. This study systematizes contemporary approaches and software capabilities for verificatio...
Gespeichert in:
| Datum: | 2025 |
|---|---|
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Ukrainisch |
| Veröffentlicht: |
Інститут проблем реєстрації інформації НАН України
2025
|
| Schlagworte: | |
| Online Zugang: | https://drsp.ipri.kiev.ua/article/view/354592 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Data Recording, Storage & Processing |
| Завантажити файл: |  |
Institution
Data Recording, Storage & Processing| _version_ | 1867479069142024192 |
|---|---|
| author | Гейко, О. О. Варава , І. А. |
| author_facet | Гейко, О. О. Варава , І. А. |
| author_institution_txt_mv | [
{
"author": "О. О. Гейко",
"institution": "НТУУ «КПІ імені Ігоря Сікорського»"
},
{
"author": "І. А. Варава ",
"institution": "НТУУ «КПІ імені Ігоря Сікорського»"
}
] |
| author_sort | Гейко, О. О. |
| baseUrl_str | http://drsp.ipri.kiev.ua/oai |
| collection | OJS |
| datestamp_date | 2026-06-08T07:18:31Z |
| description | The numerical modeling increasingly replaces expensive experiments and physical prototypes in engineering and research, but the practical value of simulations depends on the demonstrated credibility of results. This study systematizes contemporary approaches and software capabilities for verification and validation (V&V) of numerical models in the context of widely used industry standards and guidance. The discussion considers standardization of the model life cycle and evidence requirements for V&V, including NASA practices (NASA-STD-7009), U.S. Department of Defense VV&A guidance, and the ASME V&V /VVUQ family, which also introduces uncertainty quantification (UQ) as an integral element of decision-grade modeling. There are summarized the core functions implemented in modern V&V-oriented software solutions: (1) libraries of verification test problems, including benchmarks with reference solutions and systematic grid/time refinement studies; (2) support for the Method of Manufactured Solutions (MMS) to uncover implementation errors when exact analytical solutions for real problems are unavailable; (3) repositories of validation datasets and workflows for comparison with experiments, including statistical metrics of agreement; (4) automation of regression checks and “continuous validation” integrated into development pipelines (CI/CD), enabling repeatable pass/fail criteria across code versions and computing environments; (5) UQ and sensitivity analysis modules (e.g., Monte Carlo-based propagation, confidence intervals, and multidimensional validation indicators) to separate model-form inadequacy from input and numerical uncertainties; and (6) risk-informed planning of V&V depth based on model criticality, including emerging scenarios of digital twins where models are updated and validated using operational data streams. Based on this synthesis, the investigation proposes a practical set of selection criteria for V&V tools and outlines requirements for a modular V&V subsystem integrated with numerical solvers and project infrastructure. Key requirements include provenance management for traceability and reproducibility (inputs, solver settings, code/environment versions, logs, artifacts), scalable orchestration of test campaigns locally and on HPC resources, standardized reporting suitable for audit, and formalized acceptance thresholds aligned with the intended use of the model. The contribution of the work is a consolidated view of functional requirements and an implementation template that helps teams build evidence-based, maintainable V&V processes for modern computational models. Tabl.: 1. Fig.: 2. Refs: 10 titles. |
| doi_str_mv | 10.35681/1560-9189.2025.27.3.354592 |
| first_indexed | 2026-04-13T01:00:05Z |
| format | Article |
| fulltext |
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2025, Т. 27, № 3 67
DOI: 10.35681/1560-9189.2025.27.3.354592
УДК 004.94
О. О. Гейко, І. А. Варава
НТУУ «КПІ імені Ігоря Сікорського»
Берестейський проспект, 37, 03056 Київ, Україна
Особливості програмних рішень в області
верифікації і валідації чисельних моделей
Систематизовано сучасні підходи та програмні можливості для вери-
фікації і валідації (V&V) чисельних моделей у контексті актуальних га-
лузевих стандартів і настанов. Розглянуто стандартизацію життє-
вого циклу моделі та вимоги до доказовості V&V (зокрема практики
NASA, DoD і серію ASME V&V/VVUQ), а також узагальнено ключові
функції, що реалізуються в сучасних програмних рішеннях: бібліотеки
тестових задач і метод виготовлених рішень (MMS), репозиторії валі-
даційних даних і зіставлення з експериментом, автоматизація регре-
сійних перевірок і «безперервна» валідація, статистичні методи та кі-
лькісна оцінка невизначеності (UQ), ризик-орієнтоване планування гли-
бини V&V і підтримка сценаріїв цифрових двійників. Запропоновано
практичний набір критеріїв вибору інструментів і вимоги до модульної
V&V-підсистеми, інтегрованої з чисельними розв’язувачами та проце-
сами CI/CD, що забезпечує відтворюваність, трасованість артефак-
тів і формалізовані критерії прийнятності результатів.
Ключові слова: програмне забезпечення, верифікація, валідація, моде-
лювання, моделювання процесів, інформаційні технології, контроль якос-
ті, аналіз.
Вступ
Сучасне проєктування та наукові дослідження все більше спираються на ком-
п’ютерне моделювання та числові методи. Заміна дорогих експериментів і прото-
типів числовими моделями може значно знизити витрати та пришвидшити цикли
розробки. Однак достовірність результатів моделювання може бути забезпечена
лише за умови належної перевірки та валідації моделей (V&V). Верифікація та валі-
дація — це два тісно пов’язані процеси, метою яких є забезпечення надійності об-
числювальних моделей. Верифікація відповідає на запитання, чи правильно реалі-
зовано і розв’язано математичну модель (чи «правильно розв’язуються рівняння»),
тоді як валідація перевіряє, чи адекватно сама математична модель описує реаль-
ний фізичний процес (чи «правильні рівняння розв’язуються»). Іншими словами,
© О. О. Гейко, І. А. Варава
О. О. Гейко, І. А. Варава
68
верифікація має за мету підтвердити, що числовий алгоритм і програмна реалізація
є безпомилковими та можуть давати збіжні результати; валідація має за мету підт-
вердити, що отримані результати відповідають фактичній ситуації змодельованої
системи або експериментальним даним [1].
Наразі обчислювальні моделі широко використовуються в таких галузях як
авіація, енергетика, медицина та військова справа, де ціна помилок надзвичайно
висока. Наприклад, аналітики зазначають, що виробники поступово переключають
свою увагу з масштабних фізичних випробувань на комп’ютерне моделювання, але
водночас наголошують на тому, що достовірність результатів моделювання має
бути підтверджена за допомогою відповідних процедур верифікації і валідації
(V&V) [2]. Зі збільшенням обчислювальної потужності та появою нових технологій
(наприклад, цифрових двійників реальних об’єктів) удосконалювалися підходи та
процедури верифікації і валідації. Це зумовило розвиток сучасних програмних рі-
шень, спрямованих на підвищення надійності числових моделей.
Аналіз останніх досліджень і стандартів
Існує ряд стандартів та керівних документів, що уніфікують процес верифіка-
ції та валідації моделей. Зокрема, NASA розробило власний стандарт NASA-STD-
7009 (остання версія — Редакція B, 2024, рис. 1, 2), який встановлює єдині вимоги
до розробки та використання моделей і симуляцій у проєктах NASA для забезпе-
чення їхньої якості та визначає критерії прийнятності результатів [3]. Стандарт охо-
плює весь життєвий цикл моделі та вводить поняття оцінки достовірності моделі.
Після катастрофи шатла «Колумбія» NASA підвищило вимоги до V&V і розробило
формальний метод оцінки достовірності моделей на основі комплексу існуючих
стандартів [3].
Рис. 1. Життєвий цикл моделі та симуляції (M&S Life Cycle) [3]
У військовій сфері процес VV&A моделей також регулюється. У грудні 2024
року Міністерство оборони США оновило Директиву 5000.61/5000.102, яка визна-
чає політику та процедури верифікації, валідації і сертифікації моделей для експ-
луатаційних випробувань і оцінки живучості техніки [4]. Згідно з цими правилами,
Особливості програмних рішень в області верифікації і валідації чисельних моделей
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2025, Т. 27, № 3 69
перед використанням моделі в прийнятті критичних рішень необхідно призначити
відповідальну особу, що пройшла офіційну верифікацію і сертифікацію цієї моделі.
Рис. 2. Взаємозв’язки процесів V&V у M&S [3]
Американське товариство інженерів-механіків (ASME) також створило серію
стандартів V&V для різних галузей (наприклад, V&V 10–2019 для механіки твер-
дого тіла, V&V 20–2009 для CFD та V&V 40–2018 для медичних пристроїв) [2]. У
2022 році ASME випустило універсальний стандарт VVUQ 1-2022, що узагальнює
термінологію та методи верифікації, валідації і кількісної оцінки невизначеності
(UQ) у комп’ютерному моделюванні [2]. Новий компонент UQ дозволяє кількісно
оцінювати вплив невизначеностей на результати моделювання [2]. Згідно з визна-
ченнями ASME, верифікація перевіряє відповідність комп’ютерної моделі її мате-
матичному опису, валідація — відповідність результатів моделювання реальному
фізичному процесу, а кількісна оцінка невизначеності визначає, як зміни чисельних
методів чи фізичних параметрів впливають на результати моделі [2]. Усі три аспек-
ти (V, V та UQ) мають забезпечити достатню впевненість у моделі перед її практич-
ним застосуванням.
Останніми роками запропоновано низку методів верифікації і валідації. Для
верифікації числових кодів широко застосовується Method of Manufactured Solu-
tions (MMS) — метод створених рішень. Його суть полягає у виборі відомої аналі-
тичної «штучної» функції і підлаштуванні системи рівнянь відповідними джере-
лами та граничними умовами, щоби це рішення виконувало ці рівняння. Потім код
розв’язує такий штучний тестовий випадок, а числовий результат порівнюється з
аналітичним рішенням. MMS є потужним універсальним інструментом для вияв-
лення помилок реалізації, особливо коли простих точних рішень реальних задач не
існує. Дослідники Національних лабораторій Сандії, наприклад, успішно застосу-
вали MMS для перевірки кількох власних кодів [1]. Стандарти ASME V&V 20 та 10
офіційно рекомендують використовувати MMS, і регуляторні органи також на-
дають інструменти для цього підходу. Зокрема, Управління з контролю за харчови-
О. О. Гейко, І. А. Варава
70
ми продуктами та ліками США (FDA) у 2020 році представило шаблон на базі
Python/Sympy для автоматичної генерації потрібних джерел і граничних умов під
задане «штучне» рішення — для перевірки комерційного коду кінцевих елементів
у біомедичній задачі [5]. Такий підхід підкреслює, що перевірка коду є першим
кроком у демонстрації валідності моделі, особливо якщо результати моделювання
використовуються для ухвалення критично важливих рішень (наприклад, щодо ме-
дичних імплантів).
Отже, накопичено значний базис знань і рекомендацій щодо забезпечення ко-
ректності чисельних моделей. Далі розглянемо, які сучасні програмні рішення та
засоби реалізовано на практиці для підтримки V&V, і які особливості вони мають.
Особливості програмних рішень для V&V чисельних моделей
Сьогодні провідні системи числового моделювання (як комерційні, так і з від-
критим вихідним кодом) мають спеціальні інструменти та можливості для верифі-
кації і валідації, які інтегровані в їхню архітектуру. Розробники програмного забез-
печення усвідомлюють, що користувачам необхідно перевіряти точність своїх роз-
рахунків, тому можливості верифікації і валідації часто надаються «з коробки».
Розглянемо основні особливості таких рішень.
1. Набори тестових задач для верифікації коду. Більшість пакетів програм-
ного забезпечення для моделювання мають власні набори верифікації — приклади
задач з відомими аналітичними або еталонними рішеннями, які можна використо-
вувати для перевірки правильності програмних інструментів. Наприклад, Ansys на-
дає користувачам посібник з верифікації — збірку десятків тестових задач з різних
фізичних дисциплін, які демонструють функціональність коду та можуть бути ви-
користані для перевірки його правильності [6]. Посібник містить опис задачі, вхідні
дані та сертифіковані (еталонні) результати, які користувачі можуть порівняти з
результатами інсталяції Ansys. Крім того, Ansys розробив автоматизований пакет
верифікаційних тестів, який дозволяє виконувати всі тестові випадки на певній сис-
темі користувача, автоматично порівнювати результати зі стандартом і генерувати
звіт. Як результат, інженери можуть бути впевнені, що точність їхніх розрахунків
не знизиться після встановлення нової версії або зміни програмного середовища.
Подібні бібліотеки прикладів доступні для інших систем. Зокрема, COMSOL
Multiphysics включає низку моделей валідації у свою бібліотеку додатків, де чис-
лові рішення порівнюються з аналітичними розрахунками або експериментами [1].
Ці приклади організовані за частинами сутностей, що допомагає користувачам
швидко знаходити тести для перевірки їхнього типу проблеми. Популярна відкрита
платформа OpenFOAM також розробляє спільний репозиторій для верифікації і ва-
лідації: документація містить список стандартних випадків (динаміка рідин, турбу-
лентність, теплопередача тощо), де результати моделювання порівнюються з довід-
ковими даними [7]. Користувачі можуть виконувати ці випадки, щоби перевірити
правильність і точність числових методів OpenFOAM для своїх проблем.
2. Порівняння з експериментальними даними і валідаційні бази. Щоби пере-
вірити, наскільки добре модель відтворює реальність, сучасне програмне забезпе-
чення надає приклади валідації — порівняння з фізичними експериментами або ві-
домими експериментальними даними. Наприклад, вищезгадана бібліотека
OpenFOAM містить приклади, які порівнюють числові результати з експеримен-
Особливості програмних рішень в області верифікації і валідації чисельних моделей
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2025, Т. 27, № 3 71
тальними даними (наприклад, обтікання крила, потік у каналі тощо) [7]. Аналогіч-
но, Ansys та інші постачальники регулярно публікують тестові випадки (бенчмарк-
кейси), які порівнюють свої розв’язувачі з вимірюваннями або загальноприйня-
тими еталонними рішеннями. Існування таких репозиторіїв валідації може підви-
щити впевненість користувачів, оскільки це показує, що модель може відтворювати
реальні фізичні ефекти з прийнятною точністю. Крім того, дослідницька спільнота
створила відкриті репозиторії валідації — наприклад, для обчислювальної гідроди-
наміки (CFD) існує серія експериментів (ERCOFTAC, NASA CFD валідаційні ви-
падки тощо), які доступні розробникам коду. Сучасні тенденції також включають
концепцію цифрових двійників, де моделі безперервно валідуються з використан-
ням даних датчиків від реальних об’єктів. Це нова концепція, і її методи верифікації
і валідації все ще перебувають у стадії розробки: наприклад, Американське бюро
судноплавства (ABS) опублікувало в 2024 році посібник, який розглядає деталі ве-
рифікації і валідації цифрових двійників на додаток до традиційних моделей і си-
муляцій [8]. Варто зазначити, що цифровий двійник, як віртуальний аналог фізич-
ного активу протягом усього його життєвого циклу, потребує нових методів для
підтвердження своєї надійності, зокрема поступової інтеграції моделі з реальними
даними та відстеження відмінностей у режимі реального часу.
3. Автоматизація тестування та безперервна валідація. Найновіші програмні
рішення прагнуть максимально автоматизувати процес верифікації і валідації. При-
кладом є вже згаданий автоматизований пакет тестування Ansys, який дозволяє ви-
конувати сотні валідаційних прогонів одним натисканням кнопки [6]. Іншим аспек-
том автоматизації є безперервна інтеграція та тестування під час розробки коду. У
великих проєктах це реалізується, коли кожна зміна в програмі (новий код або ви-
правлення) автоматично тестується за допомогою набору завдань валідації, і лише
якщо тести проходять успішно, зміна додається до основного репозиторію. Такі
методи давно використовуються в традиційній програмній інженерії і зараз стають
стандартом у сфері наукового програмного забезпечення. Наприклад, відкритий
проєкт MOOSE (Multiphysics Object-Oriented Simulation Environment) у Національ-
ній лабораторії Айдахо має вбудовану систему регресійного тестування для кожної
твердотільної моделі та здатний запускати тести паралельно на кластері під час
оновлення коду. Це гарантує, що оновлення не порушує валідацію існуючої моделі.
Загальна тенденція полягає в тому, що процес верифікації і валідації все більше
інтегрується в цикл розробки програмного забезпечення: від фази написання коду
(через модульне тестування числовими методами) до фази випуску (через серію ре-
гресійних завдань для приймального тестування).
4. Оцінка невизначеності та статистичні методи для валідації моделі. Сучасні
програмні пакети оснащені інструментами для аналізу чутливості та невизначенос-
ті, які тісно пов’язані з валідацією. При порівнянні моделі з експериментом необхі-
дно не тільки визначити різницю, але й оцінити, чи знаходиться ця різниця в межах
допустимого діапазону, враховуючи похибки вимірювань і розрахунків. Для цього
необхідні статистичні стандарти та показники. Наприклад, стандарт ASME VVUQ
20.1 надає індикатор для кількісної оцінки узгодженості розподілу результатів мо-
делювання з експериментальними результатами (індикатор багатовимірної валіда-
ції) [2]. Модулі для аналізу Монте-Карло, кількісної оцінки невизначеності пара-
метрів і побудови довірчих інтервалів для вихідних даних усе частіше інтегруються
О. О. Гейко, І. А. Варава
72
в програмні засоби. Наприклад, платформа DAKOTA (розроблена Sandia Laborato-
ries) може бути підключена до різних симуляторів для виконання аналізу невизна-
ченості та досліджень параметрів, генеруючи статистичні оцінки точності моделі.
Іншим прикладом є модуль UQ у Simcenter STAR-CCM+, який дозволяє користу-
вачам вивчати, як зміна вхідних параметрів (таких як моделі турбулентності) впли-
ває на результати розрахунків CFD, тим самим підтверджуючи надійність прогно-
зів. Отже, кількісна оцінка невизначеності стала невід’ємною частиною процесу
валідації моделі в програмних пакетах.
5. Урахування критичності моделі та ризик-орієнтоване V&V. Ще однією ха-
рактерною особливістю є поява підходів, які враховують ризик використання мо-
делі під час планування глибини оцінки та верифікації. Не всі моделі вимагають
однакової ретельної перевірки: якщо модель використовується для допомоги в
оцінці, і її результати мало залежать від неї, обсяг оцінки та верифікації може бути
невеликим; навпаки, моделі, що впливають на безпеку або критичні рішення, по-
винні бути ретельно перевірені. Цей підхід, заснований на ризиках, чітко визначе-
ний у стандарті ASME V&V 40 (для медичних виробів) і посібнику ABS 2024. По
суті, на початку проєкту необхідно визначити критичність або важливість моделі
для середовища її використання та відповідно вибрати ступінь серйозності оцінки
та верифікації. Відповідні документи рекомендують класифікувати модель відпо-
відно до ризику та критичності й «оптимізувати» діяльність з оцінки та верифікації
до цього рівня. Результати оцінки та верифікації потім розглядаються як частина
загальної оцінки достовірності моделі [8]. Наприклад, для медичних симуляторів,
що використовуються для імплантів (від яких залежить схвалення регуляторних
органів), потрібен найвищий рівень валідації моделі (усі ключові припущення пе-
ревіряються, помилки кількісно визначаються, а результати підтверджуються кіль-
кома експериментами). На противагу цьому, моделі, що використовуються лише в
попередніх дослідженнях, можуть не вимагати значної формальної валідації. Су-
часні програмні засоби підтримують цей підхід: наприклад, вони можуть зберігати
метадані про проведені дослідження верифікації і валідації і автоматично генеру-
вати звіти про достовірність для аудиту або сертифікації. Як результат, користувачі
або технічні керівники проєктів можуть чітко розуміти достовірність моделі в кон-
кретному середовищі застосування та межі її передбачуваності.
6. Підтримка галузевих стандартів і сертифікації. Розробники комерційного
програмного забезпечення все більше стурбовані тим, чи відповідають їхні продук-
ти вимогам галузевої верифікації і валідації. Як згадувалося раніше, Ansys серти-
фікована за стандартом ISO 9001 для розробки інженерного програмного забезпе-
чення понад 25 років [6]. Це означає, що компанія має систему якості, яка включає
тестування та верифікацію програмних компонентів. Для клієнтів в особливо чут-
ливих галузях Ansys також надає спеціальні послуги із забезпечення якості (QA).
Наприклад, для ядерної промисловості існує угода про надання послуг з контролю
якості, за якою Ansys надає додаткову гарантію якості: сертифікат відповідності
коду, повідомлення про всі виявлені помилки (так звані помилки 3-го рівня, які мо-
жуть несвідомо призвести до неточних результатів) тощо [6]. Ці заходи пов’язані з
нормативними вимогами (наприклад, ядерна промисловість вимагає дотримання
положень 10CFR50 Додатку B щодо якості процедур). Аналогічно, в медичній
сфері, з появою стандарту ASME V&V 40 і публікацією рекомендацій FDA, моде-
Особливості програмних рішень в області верифікації і валідації чисельних моделей
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2025, Т. 27, № 3 73
льні дослідження, що подаються до регуляторних органів, повинні бути підтвер-
джені документально оформленою верифікацією та валідацією. Іншими словами,
сучасні програмні рішення не існують ізольовано від зовнішніх стандартів: на-
впаки, вони надають користувачам усі інструменти для виконання вимог стандар-
тів V&V і належного документування процесу верифікації моделі.
Критерії вибору ПЗ для V&V. На практиці інструмент підтримки V&V доці-
льно обирати не лише за наявністю окремих функцій, а й за здатністю забезпечити
відтворюваний і доказовий процес перевірки моделі. До базових критеріїв нале-
жать:
1) трасованість і відтворюваність (provenance): збереження вхідних даних,
конфігурацій солвера, версій коду/середовища, журналів і артефактів запусків для
повторення результатів та аудиту;
2) автоматизація перевірок: можливість запуску MMS/еталонних кейсів, дос-
ліджень збіжності (в т.ч. із GCI), регресійних тестів із контрольованими допусками
та формалізованими правилами «pass/fail»;
3) підтримка UQ/SA: аналіз чутливості, невизначеності, довірчі інтервали та
статистичні метрики узгодженості з експериментом;
4) інтеграція з інфраструктурою проєкту: робота в CI/CD, оркестрація масо-
вих прогонів локально/на HPC, стандартизована звітність (PDF/HTML/машиночит-
ні формати);
5) ризик-орієнтованість: можливість масштабувати глибину V&V залежно
від критичності застосування моделі (регуляторні сценарії, безпека тощо).
Узагальнення.
У таблиці наведено вичерпний огляд поширених підходів, інструментів V&V
та їхнього поточного стану, а також обговорення недоліків і потреб у дослідженнях.
Огляд поширених підходів до верифікації і валідації
обчислювальних моделей, їхнього використання та поточні обмеження
Аспекти
верифікації
і валідації
Загальні методи
та інструменти
Сильні сторони/
Застосування
Обмеження та
виклики
Перевірка
коду Забезпе-
чення прави-
льності
реалізації
моделі
Аналітичні рішення та бенч-
марки: порівняння результа-
тів моделі з аналітичними рі-
шеннями.
Метод виготовлених рішень
(MMS): вводиться відоме то-
чне рішення, додавши вихі-
дні терміни.
Модульне тестування та
огляди: систематичне нала-
годження, рецензування та
тестування компонентів
коду.
Рано виявляє помилки
програмування та по-
милки реалізації мате-
матики.
MMS та бенчмарк-
тести можуть довести
правильність коду для
спрощених випадків.
Модульні тести та
огляди коду викорис-
товують експертну
думку для підвищення
надійності.
Аналітичні рішення мо-
жуть існувати лише для
простих випадків, а не
для складних реальних
моделей.
MMS вимагає проєкту-
вання промислових рі-
шень і може зайняти ба-
гато часу для застосу-
вання у великих кодах.
Перевірка рі-
шення Забез-
печення чис-
лових поми-
лок у
Дослідження уточнення сі-
тки/часу: виконується моде-
лювання з уточненою сіткою
або меншими часовими кро-
ками для перевірки збіжно-
сті (наприклад, екстраполя-
Кількісно визначає
числову похибку:
Тести на збіжність да-
ють об'єктивні показ-
ники похибки дискре-
тизації.
Інтенсивні обчислення:
потрібно кілька прого-
нів з високою розділь-
ною здатністю, особли-
во в 3D або мультифізи-
чному моделюванні.
О. О. Гейко, І. А. Варава
74
Аспекти
верифікації
і валідації
Загальні методи
та інструменти
Сильні сторони/
Застосування
Обмеження та
виклики
допустимих
межах
ція Річардсона та індекс кон-
вергенції сітки).
Оцінювачі помилок: деякі
програми для моделювання
(наприклад, пакети зі скін-
ченними елементами) нада-
ють апостеріорні оцінки по-
милок для розв’язку.
Аналіз чутливості та неви-
значеності: оцінюється, як
числові збурення або зміни
параметрів впливають на ре-
зультати.
Уточнення та показ-
ники похибок форму-
ють впевненість у
тому, що рішення на-
ближається до справ-
жньої неперервної мо-
делі.
Аналіз чутливості ви-
являє стійкість роз-
чину по відношенню
до змін.
Залежність від користу-
вача: аналітики повинні
вирішувати, коли кон-
вергенція є «прийнят-
ною» (немає суворої ав-
томатизації в багатьох
інструментах).
Не всі комерційні ін-
струменти мають на-
дійну оцінку помилок
для всіх сценаріїв; Ко-
ристувачі можуть ігно-
рувати або неправильно
використовувати ці по-
казники.
Валідація мо-
делі: Перевір-
ка моделі
з фізичною
реальністю
Експериментальне порів-
няння: порівнюються ре-
зультати моделювання з да-
ними лабораторних/польо-
вих експериментів або спос-
тережень.
Статистичні метрики валіда-
ції: використовуються кіль-
кісні показники (показники
помилок, кореляцію, довірчі
інтервали) для оцінки узго-
дженості.
Кількісна оцінка невизначе-
ності (UQ): поширення вхід-
ної невизначеність через мо-
дель, щоб побачити, чи охо-
плюють прогнози спостере-
жувану поведінку
(DAKOTA, UQToolkits).
Демонструє реальну
актуальність: безпосе-
редньо перевіряє, чи
може модель передба-
чати реальні явища з
необхідною точністю.
Статистичні метрики
надають валідності
об'єктивність (напри-
клад, помилка в межах
X% або в межах дові-
рчих меж).
UQ-аналіз допомагає
відрізнити неадекват-
ність моделі від неви-
значеності вхідних да-
них, підвищуючи до-
віру.
Обмеження даних: ви-
сокоякісні експеримен-
тальні дані можуть бути
дефіцитними або доро-
гими, що обмежує об-
сяг перевірки.
Моделі можуть відпові-
дати даним калібру-
вання, але все одно ви-
ходять з ладу поза пере-
віреними умовами; Не
існує строгого методу
для висновку про дос-
товірність за межами
спостережуваних да-
них.
Природна мінливість і
шум вимірювань ускла-
днюють порівняння,
вимагаючи ретельної
статистичної обробки.
Формальна
верифікація
Застосування
формальних
методів для
доведення
властивос-
тей моделей
Перевірка моделі: досліджу-
ються усі можливі стани
спрощеної моделі для пере-
вірки логічних властивостей
(інструменти: SPIN/Promela,
PRISM для імовірнісних мо-
делей).
Доведення теорем: викорис-
тання формальної логіки та
помічників доведення (Coq,
Isabelle) для доведення мате-
матичної правильності алго-
ритмів/рівнянь моделі.
Вичерпний (для даної
моделі): може гаран-
тувати дотримання
певних властивостей
(наприклад, умови
безпеки, інваріанти)
для всіх випадків у
спрощеній моделі.
Знаходить крайні ви-
падки або логічні по-
милки, які можуть
бути пропущені під
час тестування.
Проблеми масштабова-
ності: страждають від
вибуху в просторі ста-
нів для складних або
безперервних моделей
(навіть помірні агент-
ські мережі стають не-
розв’язними).
Вимагає радикальних
спрощень і абстракцій
реальних систем, щоб
вони відповідали фор-
мальним інструментам,
потенційно упускаючи
важливі динаміки.
Особливості програмних рішень в області верифікації і валідації чисельних моделей
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2025, Т. 27, № 3 75
Аспекти
верифікації
і валідації
Загальні методи
та інструменти
Сильні сторони/
Застосування
Обмеження та
виклики
Інтегровані
фреймворки
V&V Стан-
дарти, інст-
рукції і ком-
біновані на-
бори інстру-
ментів
Стандарти процесів V&V:
наприклад, ASME V&V 10,
керівні принципи Міністерс-
тва оборони VV&A — окре-
слюють формальні кроки
для планування, виконання
та документування V&V.
Фреймворки моделювання
та симуляції (M&S): такі
платформи, як DEVS
(Discrete Event System
Specification), які інтегрують
симуляцію з аналізом, вклю-
чаючи потенціал для поєд-
нання з перевіркою моделі.
Автоматизовані ланцюжки
інструментів: нові набори
інструментів, які автомати-
зують кілька етапів V&V
(наприклад, Model
Verification Toolkit (MVT)
для моделей на основі аген-
тів).
Стандарти заохочу-
ють строгість і повто-
рюваність, надаючи
спільну термінологію
та «найкращі прак-
тики» для проєктів.
Інтегровані фреймво-
рки (DEVS тощо) мо-
жуть представляти гі-
бридні системи та під-
тримувати спільне мо-
делювання, що полег-
шує тестування склад-
них взаємодій.
Автоматизація (як і в
MVT) може приско-
рити V&V і зменшити
кількість людських
помилок, спрощуючи
завдання верифікації
для дослідників.
Багато розробників не
повністю дотриму-
ються офіційних стан-
дартів через час, вар-
тість або проблеми з
обізнаністю.
Інтеграція фреймворків
залежить від предмет-
ної області або ще пере-
буває на стадії розро-
бки (наприклад, інстру-
менти на основі DEVS).
Автоматизовані пакети
можуть ще не охоплю-
вати всі аспекти V&V
(наприклад, MVT в да-
ний час обробляє детер-
міновані перевірки, але
не має деяких функцій
стохастичної переві-
рки).
Висновки та перспективи
Розвиток обчислювального моделювання був би неможливим без одночасної
розробки інструментів верифікації і валідації — це єдиний спосіб забезпечити дос-
товірність числових експериментів. Розробка стандартів і офіційних рекомендацій
(NASA, DOD, ASME, FDA тощо) спрямовує розробку таких інструментів та уніфі-
кує методи верифікації якості моделей у різних галузях.
Подальший розвиток галузі вимагає вирішення задачі автоматизації верифі-
кації: створити модульну підсистему, інтегровану з типовими солверами та проце-
сами CI/CD, яка забезпечує відтворюваність, трасованість і формалізовані критерії
«pass/fail». Ядро такої підсистеми має включати: а) єдину схему метаданих і збере-
ження артефактів (provenance) для відтворюваності запусків; б) автоматизований
запуск MMS/еталонних кейсів і досліджень збіжності (з оцінкою порядку збіжності
та GCI); в) регресійні тести з порівнянням із еталонними результатами та узгодже-
ними допусками; г) оркестрацію масових прогонів локально/HPC і стандартизо-
вану звітність, придатну для аудиту за бажаними стандартами (ISO, ДСТУ, тощо).
Окремими викликами залишаються перевірка багатофізичних і багатомасштабних
моделей, верифікація інтегрованих «цифрових двійників» складних об’єктів, керу-
вання якістю в сценаріях швидкої зміни версій солверів і середовищ, а також уні-
фікація форматів даних і метрик між різними інструментами.
Підсумовуючи, слід наголосити, що ключем до успішного застосування чис-
лового моделювання є прозорість і ретельність процедур його валідації. Сучасні
програмні рішення надають усі необхідні для цього інструменти — від бібліотек
тестових задач до інструментів оцінки невизначеності — і постійно вдосконалюю-
О. О. Гейко, І. А. Варава
76
ться. Ця тенденція сприяє підвищенню довіри до комп’ютерних моделей, розши-
ренню їхнього застосування в науці та техніці, а також дозволяє приймати обґрун-
товані рішення на основі результатів числових експериментів.
Внесок роботи полягає в узагальненні функціональних вимог до сучасних ін-
струментів V&V/VVUQ і формуванні практичного шаблону впровадження: крите-
рії вибору, мінімальний життєвий цикл перевірок і вимоги до модульної V&V-під-
системи (provenance, автотести, UQ, оркестрація, стандартизована звітність), інте-
грованої із CI/CD.
1. Verify Simulations with the Method of Manufactured Solutions. COMSOL Blog. URL:
https://www.comsol.com/blogs/verify-simulations-with-the-method-of-manufactured-solutions (Last ac-
cesses: 18.08.2025).
2. Verification, Validation and Uncertainty Quantification (VVUQ). ASME URL:
https://www.asme.org/codes-standards/publications-information/verification-validation-uncertainty (Last
accesse: 18.08.2025).
3. Standard for Models and Simulations (NASA-STD-7009). NASA Technical Standards Program.
URL: https://standards.nasa.gov/standard/NASA/NASA-STD-7009 (Last accesses: 18.08.2025).
4. United States Department of Defense. DoD Manual 5000.102 Modeling and Simulation
Verification, Validation, and Accreditation for Operational Test and Evaluation and Live Fire Test and
Evaluation. 9 December 2024. URL: https://www.esd.whs.mil/Portals/54/Documents/DD/issuances/
dodm/ 5000102m.PDF?ver=9JF3bqGJFcGiF3J3KgSTNg%3D%3D (Last accesses: 18.08.2025).
5. Center for Devices and Radiological Health (FDA). Method of Manufactured Solutions (MMS)
Code Verification source term generation tool. URL: https://cdrh-rst.fda.gov/method-manufactured-
solutions-mms-code-verification-source-term-generation-tool (Last accesses: 18.08.2025).
6. Ansys, Inc. Quality Assurance: Reliability & Accuracy. URL: https://www.ansys.com/company-
information/quality-assurance (Last accesses: 18.08.2025).
7. OpenCFD Ltd. OpenFOAM: User Guide: Verification and Validation. URL:
https://www.openfoam.com/documentation/guides/latest/doc/guide-verification-validation.html (Last ac-
cesses: 18.08.2025).
8. American Bureau of Shipping. Guidance Notes on Verification and Validation of Models,
Simulations, and Digital Twins. November 2024. URL: https://ww2.eagle.org/content/dam/eagle/rules-
and-guides/current/design_and_analysis/348-guidance-notes-on-verification-and-validation-of-models,-
simulations,-and-digital-twins-2024/348-vandv-gn-nov24.pdf (Last accesses: 18.08.2025).
9. Anderson A.E., Ellis B.J., Weiss J.A. Verification, validation and sensitivity studies in computa-
tional biomechanics. Computer Methods in Biomechanics and Biomedical Engineering. 2007. 10(3).
P. 171–184. DOI: 10.1080/10255840601160484. (PubMed, PMC)
10. Kwaśniewski L. On practical problems with verification and validation of computational models.
Archives of Civil Engineering. 2009. 55(3). P. 323–346. (repo.pw.edu.pl).
Надійшла до редакції 14.09.2025
https://www.comsol.com/blogs/verify-simulations-with-the-method-of-manufactured-solutions
https://www.asme.org/codes-standards/publications-information/verification-validation-uncertainty
https://standards.nasa.gov/standard/NASA/NASA-STD-7009
https://www.esd.whs.mil/Portals/54/Documents/DD/issuances/dodm/5000102m.PDF?ver=9JF3bqGJFcGiF3J3KgSTNg%3D%3D
https://www.esd.whs.mil/Portals/54/Documents/DD/issuances/dodm/5000102m.PDF?ver=9JF3bqGJFcGiF3J3KgSTNg%3D%3D
https://cdrh-rst.fda.gov/method-manufactured-solutions-mms-code-verification-source-term-generation-tool
https://cdrh-rst.fda.gov/method-manufactured-solutions-mms-code-verification-source-term-generation-tool
https://www.ansys.com/company-information/quality-assurance
https://www.ansys.com/company-information/quality-assurance
https://www.openfoam.com/documentation/guides/latest/doc/guide-verification-validation.html
https://ww2.eagle.org/content/dam/eagle/rules-and-guides/current/design_and_analysis/348-guidance-notes-on-verification-and-validation-of-models,-simulations,-and-digital-twins-2024/348-vandv-gn-nov24.pdf
https://ww2.eagle.org/content/dam/eagle/rules-and-guides/current/design_and_analysis/348-guidance-notes-on-verification-and-validation-of-models,-simulations,-and-digital-twins-2024/348-vandv-gn-nov24.pdf
https://ww2.eagle.org/content/dam/eagle/rules-and-guides/current/design_and_analysis/348-guidance-notes-on-verification-and-validation-of-models,-simulations,-and-digital-twins-2024/348-vandv-gn-nov24.pdf
https://pubmed.ncbi.nlm.nih.gov/17558646/?utm_source=chatgpt.com
https://pmc.ncbi.nlm.nih.gov/articles/PMC3361760/?utm_source=chatgpt.com
https://repo.pw.edu.pl/info.seam?cid=113534&id=WUT294256&lang=en&pn=1&ps=20&utm_source=chatgpt.com
|
| id | drspiprikievua-article-354592 |
| institution | Data Recording, Storage & Processing |
| keywords_txt_mv | keywords |
| language | Ukrainian |
| last_indexed | 2026-06-09T01:00:24Z |
| publishDate | 2025 |
| publisher | Інститут проблем реєстрації інформації НАН України |
| record_format | ojs |
| resource_txt_mv | drspiprikievua/19/81f23402d9f49285087740edcfceaf19.pdf |
| spelling | drspiprikievua-article-3545922026-06-08T07:18:31Z Features of Software Solutions in the Field of Verification and Validation of Numerical Models Особливості програмних рішень в області верифікації і валідації чисельних моделей Гейко, О. О. Варава , І. А. програмне забезпечення, верифікація, валідація, моделювання, моделювання процесів, інформаційні технології, контроль якос-ті, аналіз software, verification, validation, modeling, process modeling, information technology, quality control, analysis The numerical modeling increasingly replaces expensive experiments and physical prototypes in engineering and research, but the practical value of simulations depends on the demonstrated credibility of results. This study systematizes contemporary approaches and software capabilities for verification and validation (V&V) of numerical models in the context of widely used industry standards and guidance. The discussion considers standardization of the model life cycle and evidence requirements for V&V, including NASA practices (NASA-STD-7009), U.S. Department of Defense VV&A guidance, and the ASME V&V /VVUQ family, which also introduces uncertainty quantification (UQ) as an integral element of decision-grade modeling. There are summarized the core functions implemented in modern V&V-oriented software solutions: (1) libraries of verification test problems, including benchmarks with reference solutions and systematic grid/time refinement studies; (2) support for the Method of Manufactured Solutions (MMS) to uncover implementation errors when exact analytical solutions for real problems are unavailable; (3) repositories of validation datasets and workflows for comparison with experiments, including statistical metrics of agreement; (4) automation of regression checks and “continuous validation” integrated into development pipelines (CI/CD), enabling repeatable pass/fail criteria across code versions and computing environments; (5) UQ and sensitivity analysis modules (e.g., Monte Carlo-based propagation, confidence intervals, and multidimensional validation indicators) to separate model-form inadequacy from input and numerical uncertainties; and (6) risk-informed planning of V&V depth based on model criticality, including emerging scenarios of digital twins where models are updated and validated using operational data streams. Based on this synthesis, the investigation proposes a practical set of selection criteria for V&V tools and outlines requirements for a modular V&V subsystem integrated with numerical solvers and project infrastructure. Key requirements include provenance management for traceability and reproducibility (inputs, solver settings, code/environment versions, logs, artifacts), scalable orchestration of test campaigns locally and on HPC resources, standardized reporting suitable for audit, and formalized acceptance thresholds aligned with the intended use of the model. The contribution of the work is a consolidated view of functional requirements and an implementation template that helps teams build evidence-based, maintainable V&V processes for modern computational models. Tabl.: 1. Fig.: 2. Refs: 10 titles. Систематизовано сучасні підходи та програмні можливості для верифікації і валідації (V&V) чисельних моделей у контексті актуальних галузевих стандартів і настанов. Розглянуто стандартизацію життєвого циклу моделі та вимоги до доказовості V&V (зокрема практики NASA, DoD і серію ASME V&V/VVUQ), а також узагальнено ключові функції, що реалізуються в сучасних програмних рішеннях: бібліотеки тестових задач і метод виготовлених рішень (MMS), репозиторії валідаційних даних і зіставлення з експериментом, автоматизація регресійних перевірок і «безперервна» валідація, статистичні методи та кількісна оцінка невизначеності (UQ), ризик-орієнтоване планування глибини V&V і підтримка сценаріїв цифрових двійників. Запропоновано практичний набір критеріїв вибору інструментів і вимоги до модульної V&V-підсистеми, інтегрованої з чисельними розв’язувачами та процесами CI/CD, що забезпечує відтворюваність, трасованість артефак-тів і формалізовані критерії прийнятності результатів. Інститут проблем реєстрації інформації НАН України 2025-12-23 Article Article application/pdf https://drsp.ipri.kiev.ua/article/view/354592 10.35681/1560-9189.2025.27.3.354592 Data Recording, Storage & Processing; Vol. 27 No. 3 (2025): Special issue; 67-76 Регистрация, хранение и обработка данных; Том 27 № 3 (2025): Спецвипуск; 67-76 Реєстрація, зберігання і обробка даних; Том 27 № 3 (2025): Спецвипуск; 67-76 1560-9189 uk https://drsp.ipri.kiev.ua/article/view/354592/343182 Авторське право (c) 2025 Реєстрація, зберігання і обробка даних |
| spellingShingle | software verification validation modeling process modeling information technology quality control analysis Гейко, О. О. Варава , І. А. Features of Software Solutions in the Field of Verification and Validation of Numerical Models |
| title | Features of Software Solutions in the Field of Verification and Validation of Numerical Models |
| title_alt | Особливості програмних рішень в області верифікації і валідації чисельних моделей |
| title_full | Features of Software Solutions in the Field of Verification and Validation of Numerical Models |
| title_fullStr | Features of Software Solutions in the Field of Verification and Validation of Numerical Models |
| title_full_unstemmed | Features of Software Solutions in the Field of Verification and Validation of Numerical Models |
| title_short | Features of Software Solutions in the Field of Verification and Validation of Numerical Models |
| title_sort | features of software solutions in the field of verification and validation of numerical models |
| topic | software verification validation modeling process modeling information technology quality control analysis |
| topic_facet | програмне забезпечення верифікація валідація моделювання моделювання процесів інформаційні технології контроль якос-ті аналіз software verification validation modeling process modeling information technology quality control analysis |
| url | https://drsp.ipri.kiev.ua/article/view/354592 |
| work_keys_str_mv | AT gejkooo featuresofsoftwaresolutionsinthefieldofverificationandvalidationofnumericalmodels AT varavaía featuresofsoftwaresolutionsinthefieldofverificationandvalidationofnumericalmodels AT gejkooo osoblivostíprogramnihríšenʹvoblastíverifíkacííívalídacííčiselʹnihmodelej AT varavaía osoblivostíprogramnihríšenʹvoblastíverifíkacííívalídacííčiselʹnihmodelej |