Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу
Розглянуто метод оцінювання знань тих, кого навчають, шляхом порівняльного аналізу тексту відповіді із заданим еталонним текстом та визначенням їх релевантності, наведено практичні розрахунки. Особливу увагу приділено дослідженню лінгвістичної моделі подання знань на основі синонімії термінів предме...
Збережено в:
| Опубліковано в: : | Системні дослідження та інформаційні технології |
|---|---|
| Дата: | 2011 |
| Автори: | , |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України
2011
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/50097 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу / І.В. Замаруєва, Л.М. Бадьоріна // Систем. дослідж. та інформ. технології. — 2011. — № 2. — С. 41-46. — Бібліогр.: 4 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860070503558938624 |
|---|---|
| author | Замаруєва, І.В. Бадьоріна, Л.М. |
| author_facet | Замаруєва, І.В. Бадьоріна, Л.М. |
| citation_txt | Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу / І.В. Замаруєва, Л.М. Бадьоріна // Систем. дослідж. та інформ. технології. — 2011. — № 2. — С. 41-46. — Бібліогр.: 4 назв. — укр. |
| collection | DSpace DC |
| container_title | Системні дослідження та інформаційні технології |
| description | Розглянуто метод оцінювання знань тих, кого навчають, шляхом порівняльного аналізу тексту відповіді із заданим еталонним текстом та визначенням їх релевантності, наведено практичні розрахунки. Особливу увагу приділено дослідженню лінгвістичної моделі подання знань на основі синонімії термінів предметної галузі.
Рассмотрен метод оценки знаний обучающихся с помощью сравнительного анализа текстового ответа с заданным эталонным текстом и определением их релевантности, приведены практические расчеты. Особое внимание уделено исследованию лингвистической модели представления знаний на основе синонимии терминов предметной области.
Method of students knowledge assessment is considered with the help of comparative analysis of textual answer with a given standard text and determination of their relevance. There are given practical settlements. Particular attention is given to the research of the linguistic model of knowledge representation on the basis of term synonymy with subject area.
|
| first_indexed | 2025-12-07T17:10:30Z |
| format | Article |
| fulltext |
© І.В. Замаруєва, Л.М. Бадьоріна, 2011
Системні дослідження та інформаційні технології, 2011, № 2 41
УДК 658.012.56
МЕТОД КІЛЬКІСНОГО ОЦІНЮВАННЯ ВІДПОВІДЕЙ
У СИСТЕМАХ ТЕСТУВАННЯ ЗНАНЬ ВІДКРИТОГО ТИПУ
І.В. ЗАМАРУЄВА, Л.М. БАДЬОРІНА
Розглянуто метод оцінювання знань тих, кого навчають, шляхом порівняльно-
го аналізу тексту відповіді із заданим еталонним текстом та визначенням їх
релевантності, наведено практичні розрахунки. Особливу увагу приділено
дослідженню лінгвістичної моделі подання знань на основі синонімії термінів
предметної галузі.
ВСТУП
Одним із найважливіших критеріїв засвоєння навчального матеріалу є рі-
вень володіння майбутнім фахівцем понятійним апаратом із відповідної
навчальної дисципліни. Сьогодні оцінювання відповідей, написаних у
довільній формі, тими, кого навчають, є виключно прерогативою викладача,
що вносить певну долю суб’єктивізму. З іншого боку, розвиток сучасних
інформаційних технологій надає нові можливості щодо моделей, методів і
принципів побудови автоматизованих систем контролю знань для тих, хто
навчається. Одним із шляхів підвищення якості засвоєння навчального ма-
теріалу та об’єктивізації контролю знань тих, хто навчається, є розробка
знання-орієнтованого підходу до автоматизованого контролю знань. Вони
подані у вигляді довільного природномовного тексту (ПМТ) та базуються на
методах розпізнавання, вилучення і формалізації знань.
Загальна принципова особливість задачі оцінювання знань полягає в
тому, що предметом аналізу для викладача є саме зміст відповіді (тексту)
або знання, які там містяться. Урахування цієї особливості обумовлює необ-
хідність вирішення проблеми моделювання процесу розуміння людиною
текстової інформації. Основними компонентами знань із погляду їх форма-
лізованого подання є поняття, відношення між поняттями, характеристики
понять і відношень, а також модальності цих характеристик [1].
Отже, сутність знання-орієнтованого підходу до автоматизації задачі
оцінювання знань за довільним текстом полягає в тому, що текст має бути
підданий лінгвістичній обробці, спрямованій на розпізнавання в тексті ос-
новних компонент знань і встановлення логіко-семантичних зв’язків між
ними. Подання знань у вигляді пов’язаної визначеними відношеннями
сукупності понять із відповідними характеристиками та іншими атрибутами
будемо називати поняттєвою структурою (ПС) змісту вхідного тексту.
Аналіз стану теоретичних робіт у галузі комп’ютерної лінгвістики та
штучного інтелекту свідчить про те, що сьогодні відсутній теоретичний
апарат, реалізувавши який можна створити програмні засоби автоматизації
формування ПС. Водночас, створено достатній теоретичний доробок у цій
галузі, який є основою для його узагальнення і подальшого розвитку
І.В. Замаруєва, Л.М. Бадьоріна
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 42
в напрямі автоматизації розпізнавання та вилучення знань, які містяться в
ПМТ, їх формалізації в інтересах вирішення різноманітних задач, у тому
числі й задачі оцінювання знань тих, хто навчається, за відповідями, пред-
ставленими в ПМТ.
ОЦІНЮВАННЯ ТЕКСТОВИХ ВІДПОВІДЕЙ
Знання — орієнтований підхід до автоматизації оцінювання знань тих, хто
навчається, за текстовими відповідями передбачає наявність засобів приве-
дення еталонних відповідей, представлених природною мовою, і відповідей
тих, хто навчається, до формалізованого подання у вигляді моделі знань про
предметну галузь (ПС). Кожна модель відповіді тих, хто навчається, порів-
нюється на відповідність із еталонною моделлю. Як було сказано вище, ПС
може містити різноманітні логіко-семантичні відношення між поняттями, по
кожному з яких необхідно встановлювати ступінь відповідності. Введемо
такі обмеження на оцінювання відповідності відповідей еталонному зразку:
• розглядаємо в якості відповідей лише визначення (тлумачення) тер-
мінів і понять із певної навчальної дисципліни;
• на множині відношень, які задано для термінів та понять із відповід-
ної навчальної дисципліни, виділимо тільки родо-видові відношення та від-
ношення синонімії.
Визначення поняття — у самому широкому розумінні є логічна опера-
ція, в процесі якої розкривається зміст поняття. В основі правил еталонних
визначень термінів і понять покладено 7 правил, що вивчаються формаль-
ною логікою [2]:
• поняття визначається через родові й видові відмінності;
• визначення повинно мати такий же вимір, що і поняття, тобто обсяг
значення поняття, що визначається, і поняття, за допомогою якого здійсню-
ється визначення, мають відповідати одне одному;
• видовою відмінністю має бути ознака або група ознак, які притаман-
ні лише цьому поняттю, і відсутні в інших поняттях, що відносяться до того
ж родового поняття;
• визначення не має містити поняття, що визначається, не має визна-
чатися через поняття, яке стає зрозумілим лише через поняття, що визна-
чається;
• визначення не має бути тільки заперечним, оскільки заперечення
вказує на відсутні ознаки і не дає суттєвих ознак, що характеризують це по-
няття;
• визначення не має бути суперечливим з точки зору формальної логіки;
• визначення має бути ясним, чітким і не містити подвійного тлума-
чення.
Нехай S — множина всіх еталонних визначень понять і термінів із від-
повідної навчальної дисципліни, поданих у вигляді природно-мовного текс-
ту й укладених за визначеними вище правилами. Множина S є кінцевою й
неупорядкованою: }1:{ nisS i ≤≤= , де is — визначення терміна; n — ціле
число.
Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу
Системні дослідження та інформаційні технології, 2011, № 2 43
Сукупність відповідей тих, хто навчається, виражено також природною
мовою, позначимо як множину .T Ця множина є підмножиною множини S
та має всі її властивості: ST ⊂ ; }1:{ mitT i ≤≤= , де m — ціле число;
nm ≤ .
Кожна відповідь з множини T може містити терміни і поняття, які
пов’язані родо-видовими відношеннями, або відношеннями синонімії з по-
няттями відповідної еталонної відповіді множини S. Взаємозв’язок термінів
і понять у заданій предметній галузі (навчальній дисципліні) представимо у
вигляді тезаурусу. Тезаурус — словник, що відбиває семантичні відношення
між поняттями в певній предметній галузі й призначений для пошуку зада-
ного слова за його смисловими зв’язками з іншими словами [3].
Структура тезаурусу, як правило, включає такі відношення:
поняття:= <рід-вид> <частина-ціле> <синоніми> <антоніми> < асоціації>.
Відношення рід-вид дозволяє включити у пошукове поле більш абст-
рактні або конкретні поняття. Відношення частина-ціле включає у пошукове
поле частини цілого об’єкту. Відношення синонімії й антонімії дозволяє
здійснювати пошук синонімів й антонімів. Відношення асоціації різнома-
нітні та індивідуальні за своєю природою і вказують на контекстну залеж-
ність пошукового поняття.
Відповідь того, хто навчається, визначається певною структурою понять
і термінів, тобто ПС. З урахуванням визначених обмежень кожне поняття в
тлумачній частині може описуватися через синоніми.
Елемент e , відносно якого утворюється множина (тобто синонімічний
ряд) eD , назвемо базовим термом, інші елементи множини eD (слова-
синоніми) назвемо залежними термами. Необхідно встановити відповідність
між термами еталонного визначення і термами відповіді, спираючись на поняття
синонімічної відповідності термів, використовуючи тезаурус. І це, в свою чергу,
дасть змогу обчислити показник релевантності та визначити співвідношення
базових і еталонних термів.
Таким чином, еталонне визначення слід розглядати як сукупність базових
термів е, а відповідь як сукупність термів t, для кожного необхідно знайти від-
повідний базовий терм [4].
Якщо A — множина термів еталонного визначення, B — множина термів
відповіді, то формалізоване подання еталонного визначення і відповіді буде
мати такий вигляд:
}1,,,,{ 21 NieeeA i ≤≤= … ,
де N — кількість термів еталонного визначення;
}1,,,,{ 21 MitttB i ≤≤= … ,
де M — кількість термів відповіді.
У результаті ми можемо отримати одне з таких співвідношень між мно-
жинами A і B .
1. BA = — відповідь того, хто навчається, повністю збігається з ета-
лонною відповіддю.
2. BA⊂ — відповідь того, хто навчається, містить всі терми з ета-
лонної відповіді, а також додаткові терми.
І.В. Замаруєва, Л.М. Бадьоріна
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 44
3. AB ⊂ — відповідь того, хто навчається, частково відповідає еталон-
ній відповіді, у ній відсутні деякі базові терми.
4. ∅=∩ BA — відповідь того, хто навчається повністю не відповідає
еталонній відповіді.
5. ∅≠∩ BA — еталонна відповідь і поточна відповідь спільні тер-
ми [4].
Продемонструємо викладене вище на наступному прикладі. Припусти-
мо, що ми маємо еталонне визначення: «Програма — опис алгоритму
розв’язання задачі, заданий на мові обчислювальної машини» [3].
В еталонному визначенні виділено ключові базові терми, які відповіда-
ють умовам необхідності та достатності правильної відповіді для тих, хто
навчається. Інші поняття є додатковими. Вони також можуть мати сино-
німічні ряди, які не враховуються під час кількісного оцінювання відповіді
того, хто навчається. Тобто, для правильної відповіді визначається два необ-
хідних і достатніх поняття, які за правилами побудови тлумачної частини
терміну «програма» формують його унікальні відмінні ознаки. Для цих базо-
вих термів у тезаурісну можна побудувати такий синонімічний ряд:
Алгоритм =: {сукупність правил; послідовність операцій; сукупність дій};
Мова обчислювальної машини =: {мова програмування; штучна мова;
машинна мова; формальна мова, мова ЕОМ}.
Позначимо через A1 множину, що визначає синонімічний ряд для по-
няття «алгоритм», і через A2 — синонімічний ряд для поняття «мова об-
числювальної машини».
Тоді формалізоване подання еталонної відповіді буде мати такий вигляд:
Програма =:
опис{представлен}
⊂A1 {алгоритм; сукупн+правил; послідовн+операцій; сукупн+дій}
розв’язання{вирішення; обчислення}
задач
∧
задан{представлен;опис}
на ⊂A2 {мов+обчислювальн+машин; мов+програмування; машин +мов;
формальн+мов; мов+ЕОМ}.
У цьому прикладі поняття, через які відбувається тлумачення, подано
як пошукові образи через знак «+» поєднуються слова, які складають термін
для заданої навчальної дисципліни, а логічна операція ∧ вказує на
обов’язкову наявність двох базових термів. Інші відношення в силу введе-
них раніше обмежень пропущені.
Це представлення є основою для порівняння з поточними відповідями
тих, хто навчається. При цьому будемо вважати, терми a (з еталонної від-
повіді) і b (відповіді того, хто навчається) збігаються повністю, якщо для b
знайдено хоча б один пошуковий образ із синонімічного ряду терму .a Тоб-
то, для двох термів a та b можна визначити функцію .),( baf Вона характери-
зує показник повноти тлумачення терміну через поняття, що його описують по
відношенню синонімії, та приймає значення 1, якщо A⊂b , а також приймає
значення 0, якщо ∅=∩ bA .
Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу
Системні дослідження та інформаційні технології, 2011, № 2 45
Тоді для заданого еталонного зразка необхідну і достатню умови пра-
вильної відповіді, яку можна записати таким чином:
,1),( =baf якщо ( ∅=∩∧∅=∩ )()( B2A2B1A1 ). (1)
Оскільки, відповіді тих, хто навчається, можуть бути неповними, тобто
не всі ключові поняття, що описують термін, наявні в тлумачній частині, то
у випадку відсутності у відповіді хоча б одного ключового терму значення
0),( =baf . У той же час при кількісному оцінюванні того, хто навчається, є
потреба оцінити повноту відповіді за кожним ключовим термом тлумачної
частини. Для цього введемо інтервал оцінювання [0,1]. Функція ),( baf
приймає значення 0 або 1 для кожного ключового терму, що входить до ета-
лонного зразка, загальна сума балів за відповідь визначається за формулою:
N
baf
K
n
i ii∑ == 1 ),(
, (2)
де N — загальна кількість ключових термів тлумачної частини, що підля-
гають оцінюванню.
Нехай для визначеного еталонного зразка ми маємо таку фактичну від-
повідь того, хто навчається: «Програма — послідовність операцій над дани-
ми, необхідними для обробки інформації та реалізації заданого алгоритму».
Ця відповідь приводиться до формалізованого подання. При цьому
формуються пошукові образи кожного слова, що входять до тлумачної час-
тини терміну, і порівнюються з елементами множини A1 (визначає синоні-
мічний ряд для терму «алгоритм»), і A2 (визначає синонімічний ряд для
терму «мова обчислювальної машини»). Інші слова також можуть перевіря-
тися із синонімічними рядами термів, які не є ключовими для тлумачення
терміну «програма», але вони не враховуються під час оцінювання відповіді
того, хто навчається. Після необхідних перетворень формалізоване подання
відповіді того, хто навчається буде мати такий вигляд:
Програма =:
A1 {послідовн+операцій}
над дан
необхідн
обробк/обробок
інформац
реалізац
A1 {алгоритм}.
Із наведеного прикладу видно, що поняття тлумачної частини терміну
«програма» збігаються тільки з множиною A1 еталонного зразку. Причому
у відповіді знайдено 2 еквіваленти, оскільки з формули (1) випливає, що во-
на приймає значення 1, якщо знайдено хоча б один відповідник, тому згор-
тання всіх знайдених відповідників з однієї множини дає значення 1, тобто
,1),( 1 =baf .0),( 2 =baf
Кількісна оцінка обчислюється за формулою (2): .5,0=K
Таким чином, якщо привести інтервал [0,1] до десятибальної шкали
оцінювання, то ця відповідь буде мати оцінку 5.
І.В. Замаруєва, Л.М. Бадьоріна
ISSN 1681–6048 System Research & Information Technologies, 2011, № 2 46
ВИСНОВКИ
Запропоновано метод кількісного оцінювання відповідей тих, хто навчаєть-
ся, який дозволяє визначити і надати кількісну оцінку семантичній відповід-
ності між текстовими відповідями й еталонним визначенням. Сутність тер-
міну полягає у визначенні так званих опорних понять у тлумачній частині
еталонної відповіді, пошуку і встановлення відповідності цих понять у від-
повідях тих, хто навчається, та приведення отриманого результату до
кількісної шкали оцінювання. Особливістю методу є урахування тезаурус-
них відношень між поняттями тлумачної частини, зокрема, рід-вид, частина-
ціле, причина-наслідок, а також відношення синонімії.
Це дає змогу певним чином об’єктивізувати процес оцінювання рівня
володіння тими, хто навчається, та понятійним апаратом із заданої предмет-
ної галузі.
ЛИТЕРАТУРА
1. Замаруєва І.В. Комп’ютерна модель розуміння природно-мовної текстової
інформації // Проблемы программирования. — 1999. — № 2. — С. 96–102.
2. Кондаков Н.И. Логический словарь-справочник. — М.: Наука, 1975. — 719 с.
3. Словарь по кибернетике: Св. 2000 ст. / Под ред. В.С. Михалевича. — 2-е изд. —
Киев: Гл. ред. УСЭ им. М.П. Бажана, 1989. — 751 с.
4. Бадьоріна Л.М. Метод оцінювання довільних відповідей у комп’ютерних
системах тестування знань // Математичнi машини і системи. — 2006. —
№ 4. — С. 138–144.
Надійшла 09.06.2010
|
| id | nasplib_isofts_kiev_ua-123456789-50097 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1681–6048 |
| language | Ukrainian |
| last_indexed | 2025-12-07T17:10:30Z |
| publishDate | 2011 |
| publisher | Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| record_format | dspace |
| spelling | Замаруєва, І.В. Бадьоріна, Л.М. 2013-10-04T22:15:32Z 2013-10-04T22:15:32Z 2011 Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу / І.В. Замаруєва, Л.М. Бадьоріна // Систем. дослідж. та інформ. технології. — 2011. — № 2. — С. 41-46. — Бібліогр.: 4 назв. — укр. 1681–6048 https://nasplib.isofts.kiev.ua/handle/123456789/50097 658.012.56 Розглянуто метод оцінювання знань тих, кого навчають, шляхом порівняльного аналізу тексту відповіді із заданим еталонним текстом та визначенням їх релевантності, наведено практичні розрахунки. Особливу увагу приділено дослідженню лінгвістичної моделі подання знань на основі синонімії термінів предметної галузі. Рассмотрен метод оценки знаний обучающихся с помощью сравнительного анализа текстового ответа с заданным эталонным текстом и определением их релевантности, приведены практические расчеты. Особое внимание уделено исследованию лингвистической модели представления знаний на основе синонимии терминов предметной области. Method of students knowledge assessment is considered with the help of comparative analysis of textual answer with a given standard text and determination of their relevance. There are given practical settlements. Particular attention is given to the research of the linguistic model of knowledge representation on the basis of term synonymy with subject area. uk Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України Системні дослідження та інформаційні технології Прогресивні інформаційні технології, високопродуктивні комп’ютерні системи Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу Метод количественного оценивание ответов в системах тестирования знаний открытого типа Method of quantative answers assessment in the knowledge testing system of open type Article published earlier |
| spellingShingle | Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу Замаруєва, І.В. Бадьоріна, Л.М. Прогресивні інформаційні технології, високопродуктивні комп’ютерні системи |
| title | Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу |
| title_alt | Метод количественного оценивание ответов в системах тестирования знаний открытого типа Method of quantative answers assessment in the knowledge testing system of open type |
| title_full | Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу |
| title_fullStr | Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу |
| title_full_unstemmed | Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу |
| title_short | Метод кількісного оцінювання відповідей у системах тестування знань відкритого типу |
| title_sort | метод кількісного оцінювання відповідей у системах тестування знань відкритого типу |
| topic | Прогресивні інформаційні технології, високопродуктивні комп’ютерні системи |
| topic_facet | Прогресивні інформаційні технології, високопродуктивні комп’ютерні системи |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/50097 |
| work_keys_str_mv | AT zamaruêvaív metodkílʹkísnogoocínûvannâvídpovídeiusistemahtestuvannâznanʹvídkritogotipu AT badʹorínalm metodkílʹkísnogoocínûvannâvídpovídeiusistemahtestuvannâznanʹvídkritogotipu AT zamaruêvaív metodkoličestvennogoocenivanieotvetovvsistemahtestirovaniâznaniiotkrytogotipa AT badʹorínalm metodkoličestvennogoocenivanieotvetovvsistemahtestirovaniâznaniiotkrytogotipa AT zamaruêvaív methodofquantativeanswersassessmentintheknowledgetestingsystemofopentype AT badʹorínalm methodofquantativeanswersassessmentintheknowledgetestingsystemofopentype |