Метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту
The paper develops a method of iterative multi-agent verification of grades that ensures transparency and reliability of automated open-response assessment in virtual learning environments (VLE). The relevance of the problem of opaque decision-making by large language models (LLMs) and their tendenc...
Збережено в:
| Дата: | 2026 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Англійська |
| Опубліковано: |
Kamianets-Podilskyi National Ivan Ohiienko University
2026
|
| Онлайн доступ: | https://mcm-tech.kpnu.edu.ua/article/view/354691 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Mathematical and computer modelling. Series: Technical sciences |
Репозитарії
Mathematical and computer modelling. Series: Technical sciences| _version_ | 1867026064108158976 |
|---|---|
| author | Колодій, Роман Виклюк, Ярослав |
| author_facet | Колодій, Роман Виклюк, Ярослав |
| author_sort | Колодій, Роман |
| baseUrl_str | http://mcm-tech.kpnu.edu.ua/index.php/2308-5916/oai |
| collection | OJS |
| datestamp_date | 2026-06-03T08:09:01Z |
| description | The paper develops a method of iterative multi-agent verification of grades that ensures transparency and reliability of automated open-response assessment in virtual learning environments (VLE). The relevance of the problem of opaque decision-making by large language models (LLMs) and their tendency to generate factually incorrect statements in educational assessment tasks is substantiated. A formal model of the VLE assessment subsystem as a multi-agent system comprising three specialized agents (evaluator agent, verifier agent, and explainer agent) is proposed. For each agent, input-to-output mapping functions are defined. The MultiAgentGrading algorithm implementing a four-phase assessment procedure is developed: initial generation using chain-of-thought strategy (ante-hoc component), critical analysis by the verifier (post-hoc component), iterative refinement, and pedagogical aggregation of the result. The method combines built-in and post-hoc explainability mechanisms in a unified agent interaction cycle, enabling minimization of hallucination risks and enhancement of assessment reproducibility. Convergence conditions for the iterative process and a safeguard mechanism against infinite loops are defined. The transition from a linear «more explanations means more trust» paradigm to a calibrated trust concept is justified, where user confidence aligns with the model’s actual capabilities. |
| doi_str_mv | 10.32626/2308-5916.2026-29.62-70 |
| first_indexed | 2026-05-27T01:05:55Z |
| format | Article |
| id | mcmtechkpnueduua-article-354691 |
| institution | Mathematical and computer modelling. Series: Technical sciences |
| keywords_txt_mv | keywords |
| language | English |
| last_indexed | 2026-06-04T01:00:05Z |
| publishDate | 2026 |
| publisher | Kamianets-Podilskyi National Ivan Ohiienko University |
| record_format | ojs |
| spelling | mcmtechkpnueduua-article-3546912026-06-03T08:09:01Z Method of Iterative Multi-Agent Verification of Grades in Virtual Learning Environments Based on Explainable Artificial Intelligence Метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту Колодій, Роман Виклюк, Ярослав The paper develops a method of iterative multi-agent verification of grades that ensures transparency and reliability of automated open-response assessment in virtual learning environments (VLE). The relevance of the problem of opaque decision-making by large language models (LLMs) and their tendency to generate factually incorrect statements in educational assessment tasks is substantiated. A formal model of the VLE assessment subsystem as a multi-agent system comprising three specialized agents (evaluator agent, verifier agent, and explainer agent) is proposed. For each agent, input-to-output mapping functions are defined. The MultiAgentGrading algorithm implementing a four-phase assessment procedure is developed: initial generation using chain-of-thought strategy (ante-hoc component), critical analysis by the verifier (post-hoc component), iterative refinement, and pedagogical aggregation of the result. The method combines built-in and post-hoc explainability mechanisms in a unified agent interaction cycle, enabling minimization of hallucination risks and enhancement of assessment reproducibility. Convergence conditions for the iterative process and a safeguard mechanism against infinite loops are defined. The transition from a linear «more explanations means more trust» paradigm to a calibrated trust concept is justified, where user confidence aligns with the model’s actual capabilities. У статті розроблено метод ітеративної мультиагентної верифікації оцінок, що забезпечує прозорість та надійність автоматизованого оцінювання відкритих відповідей у віртуальних навчальних середовищах (ВНС). Обґрунтовано актуальність проблеми непрозорості рішень великих мовних моделей (ВММ) та їх схильності до генерації фактологічно некоректних тверджень у задачах освітнього оцінювання. Запропоновано формальну модель підсистеми оцінювання ВНС як мультиагентної системи, що включає три спеціалізовані агенти: агент-оцінювач, агент-верифікатор та агент-пояснювач. Для кожного агента визначено функції відображення вхідних даних у проміжні або кінцеві результати. Розроблено алгоритм MultiAgentGrading, який реалізує чотирифазну процедуру оцінювання: первинна генерація з використанням стратегії ланцюжка думок (ante-hoc компонент), критичний аналіз верифікатором (post-hoc компонент), ітеративна корекція та педагогічна агрегація результату. Метод поєднує вбудовані та постфактум-механізми пояснюваності в єдиному циклі взаємодії агентів, що дозволяє мінімізувати ризик галюцинацій та підвищити відтворюваність оцінювання. Визначено умови збіжності ітеративного процесу та запобіжний механізм проти зацикленню. Обґрунтовано перехід від лінійної парадигми пояснень до концепції каліброваної довіри, за якої рівень впевненості користувача узгоджується з реальними можливостями моделі. Kamianets-Podilskyi National Ivan Ohiienko University 2026-05-15 Article Article Рецензована Стаття application/pdf https://mcm-tech.kpnu.edu.ua/article/view/354691 10.32626/2308-5916.2026-29.62-70 Mathematical and computer modelling. Series: Technical sciences; 2026: Mathematical and computer modelling. Series: Technical sciences. Issue 29; 62-70 Математичне та комп'ютерне моделювання. Серія: Технічні науки ; 2026: Математичне та комп'ютерне моделювання. Серія: Технічні науки. Випуск 29; 62-70 2308-5916 10.32626/2308-5916.2026-29 en https://mcm-tech.kpnu.edu.ua/article/view/354691/346602 Авторське право (c) 2026 Роман Колодій, Ярослав Виклюк https://creativecommons.org/licenses/by-nc-nd/4.0 |
| spellingShingle | Колодій, Роман Виклюк, Ярослав Метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту |
| title | Метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту |
| title_alt | Method of Iterative Multi-Agent Verification of Grades in Virtual Learning Environments Based on Explainable Artificial Intelligence |
| title_full | Метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту |
| title_fullStr | Метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту |
| title_full_unstemmed | Метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту |
| title_short | Метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту |
| title_sort | метод ітеративної мультиагентної верифікації оцінок у віртуальних навчальних середовищах на основі пояснюваного штучного інтелекту |
| url | https://mcm-tech.kpnu.edu.ua/article/view/354691 |
| work_keys_str_mv | AT kolodíjroman methodofiterativemultiagentverificationofgradesinvirtuallearningenvironmentsbasedonexplainableartificialintelligence AT viklûkâroslav methodofiterativemultiagentverificationofgradesinvirtuallearningenvironmentsbasedonexplainableartificialintelligence AT kolodíjroman metodíterativnoímulʹtiagentnoíverifíkacííocínokuvírtualʹnihnavčalʹnihseredoviŝahnaosnovípoâsnûvanogoštučnogoíntelektu AT viklûkâroslav metodíterativnoímulʹtiagentnoíverifíkacííocínokuvírtualʹnihnavčalʹnihseredoviŝahnaosnovípoâsnûvanogoštučnogoíntelektu |