Features of the modern automation systems of education quality control. Comparative analysis
The article provides an overview and comparative analysis of the features of modern systems of testing process automation and of its results’ processing for the efficient knowledge control. Their benefits and drawbacks, advices on making choice are given.
Збережено в:
| Дата: | 2017 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
PROBLEMS IN PROGRAMMING
2017
|
| Теми: | |
| Онлайн доступ: | https://pp.isofts.kiev.ua/index.php/ojs1/article/view/142 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Problems in programming |
| Завантажити файл: |  |
Репозитарії
Problems in programming| id |
pp_isofts_kiev_ua-article-142 |
|---|---|
| record_format |
ojs |
| resource_txt_mv |
ppisoftskievua/2b/7861ac5be0ebd4ccb89a4e829e55722b.pdf |
| spelling |
pp_isofts_kiev_ua-article-1422018-07-18T21:06:07Z Features of the modern automation systems of education quality control. Comparative analysis Функциональные возможности современных систем автоматизации контроля качества обучения. Сравнительный анализ Функціональні можливості сучасних систем автоматизації контролю якості навчання. Порівняльний аналіз Gajtan, E.N. UDC 681.3:378.146 УДК 681.3:378.146 УДК 681.3:378.146 The article provides an overview and comparative analysis of the features of modern systems of testing process automation and of its results’ processing for the efficient knowledge control. Their benefits and drawbacks, advices on making choice are given. В статье проведен обзор и сравнительный анализ функциональных возможностей современных систем автоматизации процесса тестирования и обработки его результатов для оперативного контроля знаний, рассмотрены их преимущества и недостатки, приведены рекомендации по их выбору. У статті проведено огляд та порівняльний аналіз функціональних можливостей сучасних систем автоматизації процесу тестування і обробки його результатів для оперативного контролю знань, розглянуті їх переваги та недоліки, наведені рекомендації по їх вибору. PROBLEMS IN PROGRAMMING ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ ПРОБЛЕМИ ПРОГРАМУВАННЯ 2017-06-14 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/142 PROBLEMS IN PROGRAMMING; No 2 (2015) ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 2 (2015) ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 2 (2015) 1727-4907 ru https://pp.isofts.kiev.ua/index.php/ojs1/article/view/142/135 Copyright (c) 2017 ПРОБЛЕМИ ПРОГРАМУВАННЯ |
| institution |
Problems in programming |
| baseUrl_str |
https://pp.isofts.kiev.ua/index.php/ojs1/oai |
| datestamp_date |
2018-07-18T21:06:07Z |
| collection |
OJS |
| language |
Russian |
| topic |
UDC 681.3:378.146 |
| spellingShingle |
UDC 681.3:378.146 Gajtan, E.N. Features of the modern automation systems of education quality control. Comparative analysis |
| topic_facet |
UDC 681.3:378.146 УДК 681.3:378.146 УДК 681.3:378.146 |
| format |
Article |
| author |
Gajtan, E.N. |
| author_facet |
Gajtan, E.N. |
| author_sort |
Gajtan, E.N. |
| title |
Features of the modern automation systems of education quality control. Comparative analysis |
| title_short |
Features of the modern automation systems of education quality control. Comparative analysis |
| title_full |
Features of the modern automation systems of education quality control. Comparative analysis |
| title_fullStr |
Features of the modern automation systems of education quality control. Comparative analysis |
| title_full_unstemmed |
Features of the modern automation systems of education quality control. Comparative analysis |
| title_sort |
features of the modern automation systems of education quality control. comparative analysis |
| title_alt |
Функциональные возможности современных систем автоматизации контроля качества обучения. Сравнительный анализ Функціональні можливості сучасних систем автоматизації контролю якості навчання. Порівняльний аналіз |
| description |
The article provides an overview and comparative analysis of the features of modern systems of testing process automation and of its results’ processing for the efficient knowledge control. Their benefits and drawbacks, advices on making choice are given. |
| publisher |
PROBLEMS IN PROGRAMMING |
| publishDate |
2017 |
| url |
https://pp.isofts.kiev.ua/index.php/ojs1/article/view/142 |
| work_keys_str_mv |
AT gajtanen featuresofthemodernautomationsystemsofeducationqualitycontrolcomparativeanalysis AT gajtanen funkcionalʹnyevozmožnostisovremennyhsistemavtomatizaciikontrolâkačestvaobučeniâsravnitelʹnyjanaliz AT gajtanen funkcíonalʹnímožlivostísučasnihsistemavtomatizacííkontrolûâkostínavčannâporívnâlʹnijanalíz |
| first_indexed |
2025-07-17T09:48:53Z |
| last_indexed |
2025-07-17T09:48:53Z |
| _version_ |
1850410193746132992 |
| fulltext |
Правові, навчальні та соціальні аспекти програмування
© Е.Н. Гайтан, 2015
ISSN 1727-4907. Проблеми програмування. 2015. № 2 101
УДК 681.3:378.146
Е.Н. Гайтан
ФУНКЦИОНАЛЬНЫЕ ВОЗМОЖНОСТИ СОВРЕМЕННЫХ
СИСТЕМ АВТОМАТИЗАЦИИ КОНТРОЛЯ КАЧЕСТВА
ОБУЧЕНИЯ. СРАВНИТЕЛЬНЫЙ АНАЛИЗ
В статье проведен обзор и сравнительный анализ функциональных возможностей современных систем
автоматизации процесса тестирования и обработки его результатов для оперативного контроля знаний,
рассмотрены их преимущества и недостатки, приведены рекомендации по их выбору.
Введение
Одна из приоритетных задач на пу-
ти повышения качества образования –
обеспечение эффективного контроля зна-
ний обучаемых. Самым объективным и
простым способом проверки уровня зна-
ний является тестирование, которое вы-
полняет три взаимосвязанные функции:
диагностическая (основная) – за-
ключается в выявлении уровня знаний,
умений, навыков учащегося. По объектив-
ности, широте и скорости диагностиро-
вания тестирование превосходит осталь-
ные формы педагогического контроля;
обучающая – состоит в мотиви-
ровании учащегося к активизации работы
по усвоению учебного материала. Для
усиления обучающей функции можно ис-
пользовать дополнительные меры стиму-
лирования, такие, как раздача преподава-
телем примерного перечня вопросов для
подготовки, наличие в тесте подсказок и
т. д.;
воспитательная – проявляется в
периодичности и неизбежности тестового
контроля. Это дисциплинирует, организует
и направляет деятельность учащихся.
При правильном отборе контроль-
ного материала содержание теста может
быть использовано не только для конт-
роля, но и для обучения, позволяя учаще-
муся самостоятельно обнаруживать пробе-
лы в структуре своих знаний и принимать
меры по их ликвидации. Следовательно,
можно говорить о значительном обучаю-
щем потенциале тестовых заданий, ис-
пользование которого представляет собой
эффективное направление практической
реализации принципа единства и взаимо-
связи обучения и контроля.
Ручное проведение тестирования
имеет определенные недостатки, к кото-
рым можно отнести трудоемкость состав-
ления тестов и проверки результатов пре-
подавателем. Автоматизация контроля ка-
чества обучения студентов позволяет
быстро и объективно оценивать их зна-
ния, получать и анализировать статистику
результатов. Современные системы тести-
рования предлагают различные механиз-
мы обеспечения объективности процесса
тестирования, например, случайный по-
рядок вопросов и ответов в тесте, произ-
вольную выборку вопросов заданной
мощности по темам курса, гибкую нас-
тройку процесса тестирования и шкалы
оценивания и т. д.
В настоящее время существует не-
сколько подходов к созданию тестов, от-
вечающих критериям качества [1]. Пер-
вый подход базируется на применении
стандартных для математической стати-
стики корреляционных и факторных ме-
тодов анализа. Второй подход зародился в
рамках теории латентно-структурного
анализа, основная цель которого – оце-
нить латентные параметры тестируемых.
Пионерской работой в области второго
подхода является работа Г. Раша [2], ко-
торая вышла в 1960 г. и дала толчок раз-
витию теоретической базы тестирования,
вылившейся в современную теорию те-
стирования – Item Response Theory (IRT).
Сведения по IRT на русском языке появи-
лись только в 1995 г. в работе Р. Хамбле-
тона [3, 4].
Таким образом, использование тес-
Правові, навчальні та соціальні аспекти програмування
102
товой компьютерной системы контроля
знаний является довольно успешным ин-
струментом при обучении и проверке ква-
лификационных навыков студентов.
Постановка задачи
Для определения оптимальных тре-
бований, предъявляемых к системе тести-
рования в конкретной организации, необ-
ходимо предварительно провести анализ и
сравнение характеристик существующих
систем, имеющих русский/украинский ин-
терфейс пользователя или возможность ру-
сификации и поддерживающих задание
шкалы оценивания, принятой в данной ор-
ганизации. Кроме того, необходимо учи-
тывать стоимость программного продукта,
разграничение прав преподавателей, групп
и студентов, необходимость установки и
наличие клиент-серверной архитектуры.
На данный момент разработано
множество подобных систем; в данной ста-
тье рассмотрена выборка из 11 основных,
которые используются в учебном процессе
(по результатам опроса преподавателей).
Целью данного исследования явля-
ется анализ современных систем автомати-
зации контроля знаний, их сравнение, оп-
ределение функциональных возможностей,
границ распространения, преимуществ и
недостатков.
Обзор программных продуктов
MyTestX (разработчик – Башла-
ков А.С.) – программный комплекс для со-
здания и проведения компьютерного тес-
тирования знаний, сбора и анализа резуль-
татов [5]. С помощью MyTestX возможна
организация и проведение тестирования,
экзаменов в образовательных учреждениях
с целью выявить уровень знаний по учеб-
ным дисциплинам или для обучения.
Программа работает в нескольких
режимах: обучающем, штрафном, свобод-
ном и монопольном.
Программа состоит из модулей:
MyTestStudent – модуль тестиро-
вания;
MyTestEditor – редактор тестов;
MyTestServer – журнал тестиро-
вания.
MyTestX позволяет организовать
как локальное, так и сетевое тестирование.
При наличии компьютерной сети можно,
используя модуль журнала, организовать
централизованный сбор и обработку ре-
зультатов тестирования; раздачу тестов
учащимся через сеть; непосредственное
наблюдение за процессом тестирования.
Версии системы:
а) простая (MyTestX) – учебное за-
ведение может бесплатно использовать
программу;
б) более функциональная расши-
ренная версия (MyTestXPro) является ус-
ловно-бесплатной программой и распро-
страняется по принципу «попробуй перед
тем, как купить» (shareware).
Программа MyTest работает на
Windows-платформах. Для работы под
Linux можно использовать Wine.
К достоинствам программы можно
отнести: максимально простой интерфейс,
благодаря которому составлять и редакти-
ровать тесты может пользователь компью-
тера с любым уровнем подготовки; боль-
шой выбор типов вопросов; возможности
импорта/экспорта тестов, запуск програм-
мы без инсталляции; наличие различных
режимов тестирования.
К недостаткам программы можно
отнести ограниченные настройки по фор-
матированию тестов в стандартной версии;
отсутствие поддержки адаптивных тестов;
отсутствие необходимости авторизации
при запуске теста; ограниченная статисти-
ка по результатам тестирования.
SunRav TestOfficePro (разработчик
– SunRav Software) – программный пакет
для создания и проведения тестов по ака-
демическим дисциплинам, определения
профессиональной компетенции, аттеста-
ции персонала, психологического тестиро-
вания [6].
Программа позволяет организовать
тестирование и обучение пользователей в
локальной сети или работающих за отдель-
ным компьютером.
Пакет включает следующие про-
граммы:
tMaker – редактор тестов;
tTester – модуль тестирования;
tAdmin – программа для удален-
ного администрирования пользователей и
http://sunrav.ru/tmaker.html
http://sunrav.ru/ttester.html
http://sunrav.ru/tadmin.html
Правові, навчальні та соціальні аспекти програмування
103
обработки результатов тестирования.
Составлять и редактировать тесты в
tMaker может пользователь с любым уров-
нем подготовки.
Есть несколько способов устано-
вить модуль тестирования на компьютер: с
помощью полного пакета SunRav Test-
OfficePro, инсталляционного файла про-
граммы tTester или копированием необхо-
димых файлов на компьютер.
Дополнительные возможности про-
граммы: интеграция в электронные учеб-
ники, созданные в SunRav BookOffice; за-
пуск внешних программ с панели инстру-
ментов программы для тестирования во
время прохождения теста; создание ком-
пакт-дисков для распространения тестов и
проведения тестирования.
Программа платная. Стандартная
лицензия (6490 руб.) включает 25 компью-
теров для тестирования пользователей и 3
рабочих места администратора. Корпора-
тивная лицензия (49000 руб.) включает не-
ограниченное количество компьютеров
для тестирования и рабочих мест админи-
стратора. Если программное обеспечение
приобретается для образовательного заве-
дения, необходимо купить академическую
лицензию: стандартную (5192 руб.) или
корпоративную (39200 руб.)
К достоинствам программы можно
отнести: легкость установки, простой ин-
терфейс, встроенный текстовый редактор,
поддержку адаптивных тестов, механизм
подсказок и комментариев к вопросам,
различные варианты реакций на ответ
пользователя, возможность настройки про-
цесса тестирования и видимой в ходе те-
стирования информации, импорт тестов.
Недостаток программы – стоимость
лицензии, ограниченный набор типов во-
просов.
Онлайн-тестирование возможно с
помощью системы SunRav WEBClass.
SunRav WEB Class − это комплекс-
ный программный пакет, предназначенный
для организации дистанционного тестиро-
вания и предоставления доступа к онлайн-
библиотеке [6].
Функциональные возможности Sun-
Rav WEB Class во многом идентичны па-
кету SunRav TestOfficePro.
SunRav WEB Class поставляется в
трех редакциях:
SunRav WEB Class.Test позволя-
ет создавать тесты, проводить тестирова-
ние с помощью браузера, создавать и печа-
тать отчеты по результатам тестирования;
SunRav WEB Class.Book позволя-
ет создавать электронные книги и органи-
зовывать их в онлайн-библиотеки для про-
смотра с помощью браузера;
SunRav WEB Class.Complete
включает первые две редакции.
AVELife TestGold (разработчик –
ООО АВЕЛайф) – профессиональная сис-
тема тестирования, обеспечивающая со-
здание и проведение тестов при аттестации
сотрудников и контроле знаний учащихся,
проведение опросов, психологическое тес-
тирование [7].
Дополнительная возможность – соз-
дание простых обучающих курсов на ос-
нове теста, где можно задать в качестве
вступления к тесту или вопросу обучаю-
щий блок, ограничить время отображения
блока и период его доступности, опре-
делить обратную связь для вопроса.
Программа поддерживает локаль-
ное и сетевое тестирование.
При локальном тестировании ре-
зультаты сохраняются во внешнем файле
(в файловом хранилище или локальной ба-
зе данных MS Access) или отправляются
по электронной почте для включения в
общую базу данных.
При дистанционном тестировании
результаты сохраняются в серверной базе
данных MS Access или Microsoft SQL
Server для последующего анализа с любого
сетевого рабочего места, подключенного к
серверу.
Методики сетевого тестирования:
e-mail (по завершении тестирова-
ния результаты, полученные на удаленном
компьютере, автоматически отправляются
куратору по электронной почте для вклю-
чения в общую базу данных);
SAB (Smart Assessment Bridge) –
технология удаленного тестирования обес-
печивает организацию доступа удаленного
тестируемого к серверу тестирования.
Стоимость лицензии на рабочее ме-
сто AVELife TestGold Studio 2008 – 25000
http://sunrav.ru/bookoffice.html
Правові, навчальні та соціальні аспекти програмування
104
руб. Серверная лицензия (установка на
сервер локальной сети и неограниченный
доступ с подключенных к серверу сетевых
рабочих мест) – 250000 руб.
Достоинства программы: встроен-
ный тестовый редактор, поддержка адап-
тивного тестирования, механизм подска-
зок, обучающее тестирование, комплекс-
ная система выводов, учет тестируемых.
Недостаток данной системы – слож-
ный интерфейс пользователя.
x-TLS – программа для создания
автоматизированных обучающих систем и
программ для контроля знаний на основе
расширенных мультимедийных тестовых
заданий с использованием корпоративной
сети учебного заведения или Интернет [8].
Система выполнена в виде трех мо-
дулей на основе технологии клиент-сервер.
Данные хранятся на сервере тестирования
в базе данных MySQL, непосредственный
доступ к которой (и, соответственно, к ре-
зультатам тестирования) есть у службы,
реализующей модуль тестирования. Для
остальных доступ выполняется посред-
ством шлюза (модуль редактора).
Особенность x-TLS – использова-
ние на компьютере, на котором произво-
дится тестирование, в качестве клиентско-
го программного обеспечения браузера.
Единственный вид соединения – по http-
протоколу, таким образом, можно исполь-
зовать x-TLS в интранет и в Интернет.
Создание и редактирование тестов
выполняется в специальном модуле, кото-
рый находится у администратора системы
и модулях для удаленного создания зада-
ний, выполненных в виде обычной про-
граммы для Windows.
В системе реализован механизм по-
строения разных сценариев тестирования
на основе одного набора вопросов (без
дублирования основного контента).
Х-TLS изначально разрабатывалась
как WYSIWYG-система проектирования с
возможностями использования существу-
ющей базы тестовых заданий и поддерж-
кой заданий с графическим интерфейсом.
x-TLS реализует оригинальные под-
ходы к обучению: тестирование по прин-
ципу пирамиды и игровые модели тести-
рования по принципу «о, счастливчик».
Преимущества системы: бесплат-
ность, отказоустойчивость: при сбое на
сервере во время тестирования или при
выключении питания тестирование про-
должится с того же места. Также достоин-
ством системы является использование
подсказок и полноценной помощи.
Недостатки системы: специфич-
ность программы (узкая ориентация на
мультимедийный контент), неудобный ин-
терфейс пользователя, ограничения по ти-
пу вопросов, невозможность настройки
шкалы оценивания.
Тесториум – это онлайн-система по
созданию тестов и проведению тестирова-
ния, предназначенная для учебных заведе-
ний [9]. Основная цель создания системы –
предоставить учащимся возможность са-
мостоятельно проверить свои знания в он-
лайн-режиме.
Возможности учителя: настройка
прав доступа к тестам; доступ к результа-
там тестирования учеников при их регист-
рации в системе и статистическим данным
по результатам тестирования группы.
Возможности ученика: тестирова-
ние (как зарегистрированный или аноним-
ный пользователь) на предложенных учи-
телем или открытых тестах; просмотр сво-
их результатов по окончании тестирования
и определение своего уровня среди других.
Основные достоинства системы:
бесплатность, отсутствие необходимости
установки клиентского ПО для создания
или проведения тестирования, доступ с
любого компьютера, подключенного к Ин-
тернет, через Web-интерфейс.
К недостаткам системы можно от-
нести ориентацию исключительно на шко-
лу, невозможность настройки процесса те-
стирования, отсутствие группировки тес-
тов по предметам и импорта/экспорта дан-
ных, формирования бумажных тестов.
INDIGO (разработчик – Indigo
Software Technologies) – это профес-
сиональный инструмент автоматизации
процесса тестирования и обработки ре-
зультатов, предназначенный для решения
широкого спектра задач: тестирование и
контроль знаний учащихся, определение
профессионального уровня сотрудников,
психологическое тестирование, проведе-
Правові, навчальні та соціальні аспекти програмування
105
ние опросов, организация олимпиад и кон-
курсов [10].
Программа представляет собой
комплекс серверного и прикладного про-
граммного обеспечения, который включает
в себя систему управления базой данных,
Web-сервер, средства кэширования данных
и балансировки нагрузки, интерфейсы ад-
министратора и пользователей.
Сервер тестирования устанавлива-
ется на компьютер в сети или работает в
облаке. Данные хранятся на сервере под
управлением системы управления базой
данных. Помимо этого, устанавливается
Web-сервер, предоставляющий пользо-
вателям для работы Web-интерфейс. Если
необходимо обновить данные или систему,
действия необходимо произвести на сер-
вере. Данная схема – наиболее удобная с
точки зрения развертывания и админи-
стрирования информационной системы.
Возможности администрирования
INDIGO предоставлены через интерфейс
программы-клиента, которая включает в
себя следующие модули: Тесты, Редактор
тестов, Пользователи, Правила, Сервер,
Результаты, Отчеты, Статистика. С помо-
щью программы для администрирования
можно удаленно подключиться к серверу.
Функции администратора: созда-
ние и редактирование тестов; управление
базами тестов / пользователей / результа-
тов; назначение тестов пользователям;
управление Web-сервером; построение от-
четов и анализ статистики.
Функции пользователя: регистра-
ция и авторизация; выбор теста; прохож-
дение тестирования; просмотр результатов
и ошибок. Пользователей может добавлять
администратор или они могут регистри-
роваться через Web-интерфейс, если это не
запрещено администратором.
Правила тестирования устанавлива-
ют, каким пользователям или группам
пользователей какие тесты будут доступны
для прохождения, для каждого правила
можно задать расписание тестирования.
Лицензия определяет максимальное
количество одновременно тестируемых
пользователей. Количество рабочих мест
администраторов неограниченно. Стои-
мость академической лицензии на 10 сое-
динений – 7500 руб., на 20 – 13500 руб., на
30 – 18000 руб., на 50 – 26250 руб.
Преимущества программы: удоб-
ный интерфейс пользователя, встроенный
текстовый редактор, организация тестов и
пользователей в многоуровневой иерархии
произвольной структуры, настройка нави-
гации и процесса тестирования, использо-
вание сообщений и пояснений, задание
различных шкал оценивания с использова-
нием формул расчета баллов (арифме-
тические операции, математические функ-
ции и условный оператор), создание отче-
тов и статистики по произвольной выбор-
ке, произвольное задание шаблона резуль-
татов, импорт вопросов.
OpenTest (разработчик – ООО
Милдсофт) – это система онлайн-оценки
персонала и тестирования знаний [11].
OpenTest позволяет разрабатывать тесты,
проводить промежуточное и итоговое тес-
тирование, осуществлять подготовку к эк-
заменам и анализировать результаты.
Особенность системы – управление
версиями заданий: версии позволяют со-
хранить сделанные изменения в тестовом
задании и вернуться к каждому из них в
любой момент времени.
Система включает редактор тестов
и виртуальный центр тестирования.
Достоинства программы: произ-
вольные выборки заданий, собственное
оформление страницы тестирования, им-
порт заданий, функция коллективного со-
здания тестов, настройка статистики тести-
рования, оценка качества теста тестируе-
мыми с помощью комментариев.
Для некоммерческих компаний
предлагается бесплатный тариф, в котором
можно использовать 5 тестов и проводить
100 сеансов тестирования в месяц.
Недостаток данной системы – слож-
ный интерфейс пользователя. Непосвящен-
ному пользователю трудно разобраться да-
же в том, где создавать вопросы к тесту.
KTest V3 (разработчик – Полтав-
ский национальный технический универ-
ситет имени Юрия Кондратюка) – сред-
ство автоматизации процесса подготовки
тестовых заданий и оперативной проверки
знаний [12]. Основное назначение систе-
мы – облегчение и повышение производи-
Правові, навчальні та соціальні аспекти програмування
106
тельности труда преподавателя при тес-
товом контроле знаний.
Система имеет два режима работы:
интерактивный и автоматизированный,
созданный на основе Pattern-технологий.
Система KTest состоит из двух про-
граммных модулей:
Maker – модуль редактора;
Tester – модуль тестирования.
Система работает на Windows-плат-
форме и не требует инсталляции, доста-
точно скопировать программные модули в
выбранную директорию.
К достоинствам программы можно
отнести: бесплатность, максимально прос-
той и интуитивно понятный интерфейс
пользователя, отсутствие необходимости
установки программы, наличие встроенно-
го редактора формул и генератора заданий
на основе шаблонов.
В редакторе формул системы фор-
мула записывается и сохраняется в виде
строки, а вид математического выражения
принимает синхронно введению в специ-
альном окне.
В автоматизированном режиме на
основе шаблона преподаватель создает
шаблоны заданий и ответов с помощью
текстового редактора. На основании этого
шаблона система автоматически генериру-
ет заданное количество заданий с задан-
ным количеством вариантов ответа.
Недостатки программы: ограничен-
ные возможности форматирования тестов,
минимальный выбор типов вопросов, от-
сутствие поддержки адаптивных тестов и
настройки шкалы оценивания.
eTest (разработчик – ООО еТест) –
программный комплекс, предназначенный
для подготовки и проведения тестирования
на компьютере [13].
eTest состоит из двух модулей:
eTeditor – редактор тестов (рабо-
чее место преподавателя);
eTester – модуль тестирования
(рабочее место учащегося).
В бесплатно распространяемой вер-
сии предусмотрена возможность только
локального тестирования с возможностью
просмотра результатов по окончании тес-
тирования на компьютере учащегося.
К достоинствам программы можно
отнести: иерархическую структуру вопро-
сов теста, возможность добавлять коммен-
тарии к вопросам и группам вопросов.
Основные недостатки программы –
неудобный интерфейс пользователя, не-
возможность настройки процесса тести-
рования и шкалы оценивания, проблемы с
экспортом/импортом данных.
Let’s test – это онлайн-сервис для
проведения тестирований через интернет
[14]. Он позволяет построить изолирован-
ную среду для проверки знаний с помо-
щью тестов.
К основным достоинствам сервиса
можно отнести: бесплатность; отсутствие
необходимости установки клиентского
ПО; доступ с любого компьютера, под-
ключенного к Интернет, с помощью Web-
интерфейса; управление правами доступа;
группировку пользователей; иерархичес-
кую структуру тестов; использование под-
сказок и аннотаций к вопросам; возмож-
ность пользователям оставлять коммента-
рии к тестовым заданиям; использование
сценариев тестирования; настройку пара-
метров тестирования.
Дополнительные возможности в
платной версии: добавление логотипа и
фирменного стиля организации, встраива-
ние процесса тестирования на свой сайт.
К недостаткам системы можно от-
нести отсутствие импорта/экспорта дан-
ных, формирования бумажных тестов.
Сравнительная характеристика
возможностей систем
тестирования
Основные возможности настрой-
ки тестов, предлагаемые исследуемыми
системами тестирования (табл. 1).
1. Разбивка теста на несколько тем
с возможностью автоматического выбора
заданного числа вопросов по каждой теме
при тестировании. Например, в тест по
информатике можно включить вопросы,
относящиеся к темам «Операционная сис-
тема», «Текстовый редактор», «Электрон-
ные таблицы» и т. д. Такое разделение
позволяет оценивать знания как по тесту в
целом, так и по теме в отдельности, прово-
дить анализ овладения материалом по от-
Правові, навчальні та соціальні аспекти програмування
107
Таблица 1. Настройка режимов тестирования в системах
Критерий
M
y
T
es
tX
S
u
n
R
av
T
es
t
O
ff
ic
eP
ro
S
u
n
R
av
W
E
B
C
la
ss
K
T
es
t
A
V
E
L
if
e
T
es
tG
o
ld
S
tu
d
io
x
-T
L
S
T
es
to
ri
u
m
O
p
en
T
es
t
In
d
ig
o
e-
te
st
L
et
's
t
es
t
Подсказки /
справочные
материалы
+ / + / + + / + + / + + + / + /
Использование
тем
+ + + + + + + +
Режимы
прохождения
теста
Обучающий;
штрафной;
свободный;
монопольный
Обучающий /
экзаменаци-
онный
Механизм
сценариев
+ +
Дополнитель-
ные параметры
Генератор
тестов по
шаблону
Многоуровне-
вая иерархия
вопросов
дельной теме в определенной группе.
В INDIGO и Let’s test тесты можно
хранить в произвольных иерархических
структурах, например, по подтемам.
Поддержка многоуровневой иерар-
хической группировки вопросов дает сис-
теме ряд преимуществ:
удобство навигации по тесту в
редакторе тестов;
возможность задания для каждой
группы индивидуальных настроек;
использование баллов за группы
вопросов при задании шкал оценивания;
выдача результатов по каждой
группе в отдельности и анализ статистики
по выборке результатов.
2. Задание подсказок для отдель-
ных вопросов повышает эффективность
использования теста в обучающих целях,
позволяет конкретизировать вопрос. Кро-
ме того, можно настроить ограничения на
количество выдаваемых подсказок и сис-
тему штрафов за их использование.
3. Использование разных режимов
прохождения теста.
Так, MyTestX поддерживает не-
сколько режимов: обучающий, штрафной,
свободный и монопольный. В обучающем
режиме выводятся сообщения об ошибках,
может быть показано объяснение к зада-
нию. В штрафном режиме за неверные от-
веты снимаются баллы. В свободном ре-
жиме можно отвечать на вопросы в любом
порядке. В монопольном режиме окно про-
граммы занимает весь экран и его невоз-
можно свернуть.
А, например, в SunRav предусмот-
рен экзаменационный режим, параметры
которого можно настроить.
4. Использование механизма сцена-
риев для формирования разных тестов на
общей базе вопросов. Каждому сценарию
можно задать индивидуальные настройки.
Концепция сценариев тестирования
на основе общей базы тестовых заданий
имеет такие преимущества:
возможность создания новых
курсов на основе имеющегося материала
без его модификации;
реализация курсов, сочетающих
элементы нескольких учебных дисциплин;
сокращение объема базы за счет
уменьшения «повторяемости» заданий.
Таким образом, на основе одних и
тех же вопросов возможно создание не-
скольких сценариев с использованием раз-
личных алгоритмов тестирования.
Объективность теста повышается
за счет возможностей (табл. 2, ч. 1, ч. 2).
1. Перемешивание вопросов и от-
ветов в тесте позволит генерировать одно
Правові, навчальні та соціальні аспекти програмування
108
задание с разными позициями вопросов и
ответов. Достаточно большое количество
вопросов исключает передачу информа-
цию о позиции правильного ответа во из-
бежание списывания другими участни-
ками тестирования.
2. Тестирование можно ограничить
по времени, так как каждый тест имеет оп-
тимальное время тестирования, превыше-
ние которого снижает качественные по-
казатели теста.
3. Адаптивное тестирование. В
обычном тесте последовательность вопро-
сов линейная и не зависит от ответа поль-
зователя. В адаптивном тесте последова-
тельность может быть нелинейной и зави-
сеть от ответа пользователя.
В TestGold реализованы 2 методи-
ки адаптивного тестирования: ветвление и
предварительная оценка. Ветвление обес-
печивает автоподбор следующего вопроса
в зависимости от правильности ответа на
текущий. При предварительной оценке
набор вопросов подбирается автомати-
чески по результатам предварительного
тестирования для определения уровня
обучаемого.
В SunRav TestOfficePro для каждо-
го варианта ответа можно задать номер
следующего вопроса.
x-TLS реализует следующие страте-
гии тестирования:
1) с использованием предопреде-
ленного набора вопросов – для проведения
единовременных экзаменов/зачетов для
снижения различий в сложности заданий;
Таблица 2. Возможности настройки тестирования по обеспечению объективности. Часть 1
Тип вопроса MyTestX
SunRav
TestOfficePro
SunRav
WEBClass
KTest
AVELife
TestGold Studio
Произвольный
порядок
вопросов /
ответов
+ / + + / + + / +
Авто-
мати-
чески
+ / +
Адаптивные
тесты
Следующий
вопрос
Ветвление, пред-
варительная
оценка
Временные рамки
теста / вопроса
+ / + + / + + / + / + / +
Ограничение
попыток
тестирования
+ + + +
Настройка
навигации
Зависит от
режима
Запрет возврата к вопросам, продол-
жение только при правильном ответе
Запрет возврата
к вопросам
Настройка
процесса
тестирования
Зависит от
режима
Запрет досрочного завершения, от-
ключение доступа к рабочему столу
и панели задач, закрытие программы
после тестирования
Настройка
видимой в ходе
тестирования
информации
Количество правильных ответов,
оставшееся время, номер вопроса,
общее количество вопросов
Правильность
ответа,
подсказки
Сообщение Объяснение
в случае
ошибки (в
обучающем
режиме)
При правильном / неправильном
ответе
При правильном
/ неправильном
ответе, звуковое
сопровождение
Уведомление
по электронной
почте
По выбору
пользовате-
ля
По выбору
пользователя
Автоматически
По выбору
пользователя
Правові, навчальні та соціальні аспекти програмування
109
Часть 2
Тип вопроса
x
-T
L
S
T
es
to
ri
u
m
O
p
en
T
es
t
In
d
ig
o
e-
te
st
L
et
's
t
es
t
Произвольный
порядок
вопросов / ответов
+ / + + /
Авто-
мати-
чески
+ /
Адаптивные тесты
Пирамида;
«О,
счастливчик»
Временные рамки
теста / вопроса
+ / + / + / + /
Ограничение
попыток
тестирования
+ +
Настройка
навигации
Пропуск
вопросов
Линейный /
произвольный
порядок
заданий
Запрет пропуска
вопросов;
возврата
Пропуск
вопросов
Настройка
процесса
тестирования
Запрет досроч-
ного завершения,
расписание
тестирования
Использование
подсказок
Настройка
видимой в
ходе тестирования
информации
Правиль-
ность ответа,
подсказки,
оценка
Подробности
хода тестиро-
вания
Сообщение
При выборе пояс-
нения, непра-
вильном ответе;
просмотре
результатов
При
про-
пуске
ответа
При непра-
вильном ответе
– пояснение,
ответ, статус
ответа
Уведомление по
электронной
почте
2) с использованием случайной
выборки заданного количества вопросов с
учетом уровней сложности и тем;
3) по принципу пирамиды – фор-
мирование выборки как в предыдущем
случае, но при ошибке задание повторя-
ется до получения верного ответа. Прин-
цип эффективен при обучающем тестиро-
вании;
4) по принципу «О, счастливчик» –
последовательность заданий с возрастаю-
щим уровнем сложности до первого невер-
ного ответа. Метод позволяет сократить
время контроля исходного уровня знаний.
В версии разработчика x-TLS при-
сутствует возможность создания курсов с
тестированием по списку или графу кон-
цептуальных единиц курса; по списку наи-
более сложных вопросов; выявлением про-
блемных моментов в структуре знаний.
Типы заданий. Для обеспечения
объективной оценки знаний, повышения
качества теста и придания ему разнооб-
разия система тестирования должна под-
держивать применение различных типов
вопросов и технологий выбора ответа.
Общая классификация возможных
типов вопросов показана на рис. 1.
В исследованных системах тестиро-
вания реализованы комбинации следую-
щих типов вопросов (табл. 3).
1. Одиночный выбор – выбор од-
ного варианта ответа из нескольких.
Правові, навчальні та соціальні аспекти програмування
110
Рис. 1. Классификация тестовых вопросов
2. Множественный выбор – вы-
бор одного или нескольких вариантов.
3. Соответствие – упорядочива-
ние высказываний в двух списках так, что-
бы они соответствовали друг другу.
4. Упорядоченный список – рас-
становка ответов в определенной последо-
вательности.
5. Истинность высказывания: вы-
бор из двух вариантов «да» или «нет».
6. Ввод числа или диапазона в ка-
честве ответа на вопрос.
7. Заполнение пропусков в тек-
сте – выбор вариантов или написание от-
вета вручную.
8. Выбор определенной области
на изображении в качестве ответа.
9. Открытая форма вопроса:
ввод ответа пользователя с клавиатуры.
При использовании открытой фор-
мы вопроса предусматриваются такие ва-
рианты задания ответа:
оценка ответа пользователя пре-
подавателем вручную;
использование системы шабло-
нов на основе регулярных выражений;
перечисление ответов, которые
можно засчитать как правильные – уче-
нику необходимо указать один из них;
список правильных ответов –
необходимо указать все правильные от-
веты в произвольном порядке;
список правильных ответов –
необходимо указать все правильные от-
веты в требуемом порядке.
Правові, навчальні та соціальні аспекти програмування
111
Таблица 3. Типы вопросов
Тип вопроса
M
y
T
es
tX
S
u
n
R
av
T
es
tO
ff
ic
eP
ro
S
u
n
R
av
W
E
B
C
la
ss
K
T
es
t
A
V
E
L
if
e
T
es
t
G
o
ld
S
tu
d
io
x
-T
L
S
T
es
to
ri
u
m
O
p
en
T
es
t
In
d
ig
o
e-
te
st
L
et
's
t
es
t
одиночный выбор + + + + + + + + + + +
множественный выбор + + + + + + + + + + +
установление порядка
следования
+ + + + + + + + + +
установление соответствия + + + + + + + + +
указание истинности
утверждений
+ +
ручной ввод числа + + +
открытый вопрос 2,4 1 1 1-6 2 2 1,4 2,4 4,6
выбор места на изображении +
перестановка букв +
заполнение пропусков +
набор суммы +
Примечание: 1 – система шаблонов; 2 – перечисление правильных ответов; 3 – проверка
ответа преподавателем вручную; 4 – указание правильного ответа; 5 – свободный ввод тести-
руемым с клавиатуры нескольких значений в произвольной последовательности, 6 – свобод-
ный ввод тестируемым с клавиатуры нескольких значений в требуемой последовательности.
Оценивание результатов теста.
Для эффективного оценивания выполнен-
ного теста система должна обладать воз-
можностями гибкой настройки расчета
баллов за задание с переводом набранных
баллов в произвольную шкалу оценивания.
1. Задание для каждого вопроса и
вариантов ответа индивидуального веса
позволяет начислять пользователю больше
баллов за правильные ответы на сложные
вопросы и меньше баллов – за ответы на
легкие вопросы, что способствует большей
объективности результатов тестирования.
2. Присвоение уровня сложности
заданию позволяет использовать различ-
ные стратегии адаптивного тестирования,
например, принцип пирамиды. Чем мень-
ше вероятность выполнения задания пра-
вильно, тем выше его уровень сложности.
3. Некоторые системы позволяют
настраивать правила начисления баллов.
Так, в MyTest можно задать показ
подсказки за штрафные баллы и засчиты-
вать в качестве правильного только 100%-
верный результат.
Системы SunRav, Testorium и Open-
Test предусматривают задание таких спо-
собов оценки результатов:
дихотомическая оценка – балл
присваивается за правильный ответ;
оценка рассчитывается как сум-
ма баллов за выбранные ответы.
Однако данные системы имеют раз-
ный механизм начисления штрафных бал-
лов для заданий, в которых возможно час-
тично правильное выполнение, например,
множественный выбор или поиск соответ-
ствия. Например, в OpenTest варианту от-
вета можно задать собственный балл как
положительный, так и отрицательный; в
Testorium за каждую ошибку снимается 1
балл; SunRav не поддерживает начисление
штрафных баллов. В KTest при правиль-
ном выборе добавляется 1 балл, а при не-
правильном – вычитается 0,5 баллов.
Например, AVELife TestGold пред-
лагает многоуровневую комплексную си-
стему оценивания с настраиваемыми пра-
вилами начисления балла. Системы начис-
ления баллов: упрощенная (за правильный
ответ дается 1 балл или балл, определяе-
Правові, навчальні та соціальні аспекти програмування
112
мый весом вопроса); стандартная (учи-
тывается вес вопроса, можно определить
балл за отказ от ответа, правильный и не-
правильный ответ, штраф за использова-
ние подсказок); расширенная (гибкая схе-
ма оценивания, где балл начисляется с
учетом типа вопроса, числа вариантов от-
вета, частичной правильности ответа).
4. Все системы тестирования пред-
ставляют конечную оценку в виде про-
центного уровня (процентное отношение
полученного балла к максимальному), од-
нако важным вопросом является возмож-
ность дополнительной настройки конеч-
ной шкалы оценивания, при этом жела-
тельно использование шкалы, принятой в
конкретном учебном заведении. Так, на-
пример, Полтавский национальный техни-
ческий университет имени Юрия Кондра-
тюка использует кредитно-модульную сис-
тему оценивания ECTS (табл. 4).
В AVELife TestGold Studio преду-
смотрены 4 типа конечной оценки: про-
центный уровень; числовая оценка в диа-
Таблица 4. Система баллов ECTS
Баллы ECTS-оценки Национальная шкала
90 – 100 А Отлично Отлично
За-
чтено
81 – 89 В
Очень
хорошо Хорошо
74 – 80 С Хорошо
64 – 73 D
Удовле-
творительно
Удовлетво-
рительно
60 – 63 E Достаточно
35 – 59 FX
Неудовле-
творительно
Неудовле-
творительно
Не
зачте-
но
0 – 34 F
пазоне 1…max; числовая оценка в диапазо-
не max…1 (германская система); буквен-
ная оценка (американская система). Каж-
дой оценке соответствует определенный
процентный уровень.
В системе Testorium предусмотрен
вывод результата оценивания в виде чис-
ловой оценки в диапазоне от min до max,
где min – минимальный балл, max – макси-
мальный балл за задание. Варианты оцени-
вания: по проценту выполненных заданий
и по набранным тестовым баллам.
Такие же варианты оценивания
предлагает пользователю система SunRav.
Отличие в системе оценивания состоит в
том, что в данной системе реализована
оценка теста по каждой теме отдельно, а
также общая оценка по тесту в целом.
В INDIGO реализована возмож-
ность задания нескольких шкал оценива-
ния для одного теста с произвольной фор-
мулой расчета баллов для каждой шкалы с
использованием арифметических опера-
ций, математических функций и условного
оператора. Результаты можно подставлять
в редактируемый шаблон результатов.
Большинство рассмотренных сис-
тем позволяет настраивать соответствие
процентного уровня и числовой оценки,
кроме KTest и e-test, и только половина
систем поддерживают текстовое обозна-
чение оценки (MyTestX, SunRav, AVELife,
OpenTest, Indigo, Let's test).
Параметры систем по оцениванию
ответов приведены в табл. 5, ч. 1, ч. 2.
Таблица 5. Настройка шкалы оценивания результатов тестирования. Часть 1
Критерий
My
TestX
SunRav Test
Office Pro
SunRav
WEB Class
KTest
AVELife TestGold
Studio
Настройка веса
вопроса/ответа
+ / + + / + + / + + /
Настройка слож-
ности заданий
+
Штрафные
баллы за …
Подсказ-
ка
Неправиль-
ный ответ
Подсказка,
отказ ответа,
неправильный ответ
Оценка тестово-
го вопроса
Дихотомическая, сумма баллов
Сумма бал-
лов
Упрощенная, стан-
дартная, расширенная
Произвольная
шкала
оценивания
Процент-
ная
Процентная, балльная
Процентная, числовая,
германская
Числовая шкала Произвольная 5-ти бальная Произвольная
Буквенная шкала + + + +
Правові, навчальні та соціальні аспекти програмування
113
Часть 2
Критерий
x
-T
L
S
T
es
to
ri
u
m
O
p
en
T
es
t
In
d
ig
o
e-
te
st
L
et
's
t
es
t
Настройка веса
вопроса/ответа
+ / + / + + + /
Настройка
сложности
+ +
Штрафные баллы
за …
неправильный ответ
Оценка тестового
вопроса
Дихотомическая,
сумма баллов
Сумма
баллов
Дихотоми-
ческая
Произвольная
шкала оценивания Процентная Процентная, балльная
Расчетная,
формульная
Процент-
ная,
балльная
Числовая шкала 5-ти
бальная
Произвольная
Произ-
вольная
Сумма баллов
Буквенная
шкала
+ + +
Импорт-экспорт данных включает:
импорт-экспорт тестов в/из дру-
гих форматов данных, возможность сохра-
нения их в файл на локальном диске;
подготовку тестов для печати це-
лью проведения тестирования без исполь-
зования компьютера;
вывод теста с правильными отве-
тами или вывод ключей проверки к каждо-
му случайному варианту для проверки от-
ветов преподавателем.
Некоторые системы позволяют экс-
портировать в другие форматы не только
вопросы теста, а и результаты тестирова-
ния. Отчеты по результатам могут исполь-
зоваться для фиксации данных на «твер-
дом носителе» для разрешения возможных
спорных моментов или передачи данных.
Полученные результаты можно использо-
вать для детальной статистической обра-
ботки или импорта в корпоративную ин-
формационную систему организации или
систему дистанционного обучения.
слияние тестов поддерживают:
MyTestX, SunRav, KTest, Indigo и e-test. В
x-TLS и Let's test объединение тестов осу-
ществляется через механизм сценариев
(табл. 6).
Безопасность и защита данных. В
системе важно зашифровать данные теста
для защиты от несанкционированных из-
менений, преждевременного выяснения
учащимися структуры и правильных отве-
тов. При необходимости защищаются ре-
зультаты тестирования и ограничивается
возможность проведения пробного или по-
вторного тестирования. Отдельный вопрос
– разграничение прав доступа к тесту.
Рассмотрим, как реализована защи-
та данных и управление доступом в иссле-
дуемых системах. Данные получены опыт-
ным путем и из справочных материалов.
MyTestX. В программе обеспечива-
ется защита как тестовых заданий, так и
результатов тестирования. Параметры тес-
тирования, задания и изображения к зада-
ниям для каждого теста хранятся в одном
файле, который зашифрован и сжат. Для
теста можно задать пароли на: открытие,
редактирование, тестирование, поэтому
получить доступ к тесту лицам, не имею-
щим на это право, практически невозмож-
но. Результаты тестирования также хра-
нятся в защищенном файле, который не-
возможно отредактировать. Для защиты
от потерь данных результаты тестирова-
ния могут копироваться на ПК тестолога.
SunRav Software. В программах
семейства SunRav тесты и результаты тес-
тирования шифруются методами стойкой
Правові, навчальні та соціальні аспекти програмування
114
криптографии, что исключает возмож-
ность их подделки. На тест можно устано-
вить пароли на: редактирование; прос-
мотр. Попытки тестирования отслежива-
ются в программе tAdmin.
AVELife TestGold Studio. В про-
грамме тесты, файлы настроек и важные
данные хранятся в зашифрованном виде с
использованием различных методов крип-
тографии, в т.ч. метода стойкой криптогра-
фии AES Rijndael. Можно установить па-
роли на изменение настроек ПО, редакти-
рование теста, включение теста в реестр
тестов, тестирование, редактирование
учетной записи центра тестирования.
При запуске системы производится
аутентификация пользователя. Профили
доступа определяют уровни привилегий на
выполнение определенных функций в сис-
теме. Для каждого пользователя заводится
аккаунт с заданным профилем доступа.
Действия пользователя отслежива-
ются системой безопасности с протоколи-
рованием в системном журнале, доступном
для просмотра и анализа администратору,
что позволяет своевременно отслеживать
потенциально опасные действия.
KTest и eTest. В программе можно
установить пароль на открытие теста.
Testorium. Незарегистрированный
пользователь может проходить тестиро-
вание на открытых для всех тестах.
Для создания и редактирования тес-
тов необходимо зарегистрироваться в сис-
теме как Учитель. После проверки адми-
нистратор сайта предоставляет пользова-
телю-учителю возможность: создавать тес-
ты по предмету; настраивать доступ к тес-
там определенной группе пользователей.
Для теста можно задать индивиду-
альные настройки доступа или открыть его
для всех учителей, зарегистрированных
пользователей или всех пользователей. Ин-
дивидуальные настройки доступа включа-
ют права на прохождение; редакти-
рование теста; просмотр результатов.
Зарегистрировавшись как Ученик,
пользователь имеет право проходить тес-
тирование на предложенных учителем или
открытых для всех тестах.
Let’s test. В программе можно заре-
гистрировать свою организацию и полу-
чить изолированную систему тестирования
с полным контролем над ней. В настрой-
ках безопасности организации можно ог-
раничить процесс вступления в нее специ-
альным паролем или, наоборот, открыть ее
для всех желающих, знающих название
организации или ее идентификатор.
Можно открыть доступ к тестиро-
ванию для всех или выбранных пользова-
телей организации, ограничить паролем
или открыть доступ всем желающим.
Чтобы тестируемый начинал тести-
рование без регистрации, программа гене-
рирует ссылку на страницу тестирования,
которую можно отправить учащимся вруч-
ную или воспользовавшись функцией ав-
томатической отправки уведомлений.
OpenTest. В центрах тестирования
доступны такие функции защиты тестов:
защита теста паролем на запуск; ограниче-
ние по лимиту сеансов тестирования,
предварительная регистрация участников
(система генерирует им индивидуальные
ссылки на тест).
INDIGO. В системе реализованы
следующее средства ограничения доступа:
установка паролей на открытие и им-
порт/ экспорт тестов, шифрование тестов.
Управление сервером включает на-
стройку IP-адресов и портов, на которых
будет доступен Web-сервер; ограничений
доступа к Web-серверу по IP-адресам и их
диапазонам, гибкую настройку Web-интер-
фейса (запрет самостоятельной регистра-
ции пользователей, просмотра журнала ре-
зультатов и смены пароля; ввод провероч-
ного кода при регистрации для защиты от
роботов), мониторинг подключенных
пользователей, редактирование учетных
записей администраторов системы.
Правила тестирования устанавлива-
ют, каким пользователям или их группам
какие тесты будут доступны для прохож-
дения. Для каждого правила можно задать
расписание тестирования по времени.
Интерфейс. Форматирование тек-
ста вопросов / ответов. Среди характерис-
тик систем тестирования особое место за-
нимают возможности редактора тестов по
настройке дизайна и форматированию тес-
та. Редактор тестов должен иметь встро-
енный текстовый процессор, позволяющий
Правові, навчальні та соціальні аспекти програмування
115
Таблица 6. Импорт-экспорт данных
M
y
T
es
tX
S
u
n
R
av
T
es
t
O
ff
ic
e
P
ro
S
u
n
R
av
W
E
B
C
la
ss
K
T
es
t
A
V
E
L
if
e
T
es
tG
o
ld
S
tu
d
io
x
-T
L
S
O
p
en
T
es
t
In
d
ig
o
e-
te
st
Импорт
Данных с
других
форматов
RTF, XLS,
TXT
RTF,
XLS,
TXT,
XML
ТXT,
QST
RTF,
TXT
ТХТ TXT TXT
XML,
TXT
Учетных
записей
пользователей
CSV
TXT,
XLS
Экспорт
Сохранение
теста в файл
+ + + + + + + +
Экспорт
данных
RTF
RTF, XLS,
TXT, XML
ТXT ТХТ ТХТ RTF
XML,
TXT
Экспорт
отчетов /
статистики
* CSV Excel
XLS,
XML,
ZIP
Excel,
Word
Бумажный вариант
Бумажный
вариант
теста/печать
+ / + + / + + / + / + + / + + / + PDF + / + **
Перемешива-
ние вопросов
Нет /
наст-
ройка
теста
Как в настройках
теста
Автома-
тически
Автома-
тически
Нет /
наст-
ройка
теста
Выборка
вопросов
+
Ключ
правильных
ответов
В
конце
файла
В конце файла
Тест с
ключом
+ тест
без
ключа
Тест с
клю-
чом /
без
ключа
Ответы
с клю-
чом или
в конце
файла
Ответы
с клю-
чом или
в конце
файла
Нумерация
вопросов /
ответов
Авто-
мати-
чески
По выбору
По
выбору
По
выбору
Автома-
тически
Настройка
шапки/
подвала
+ + + / + / +
Указание типа
вопросов
Авто-
мати-
чески
По выбору
Генерация
нескольких
вариантов
+ +
Примечания: * PDF, CSV, Excel, JPG, Word, HTML, BMP, Open Document.
** Начиная с версии 04/2008.
Правові, навчальні та соціальні аспекти програмування
116
произвольно форматировать текст, осу-
ществлять вставку изображений, таблиц,
данных различных форматов, в том числе
видео и аудио файлы. Преимуществом сис-
темы является возможность настройки ди-
зайна тестов.
Встроенным текстовым редактором
обладают SunRav, AVELife TestGold,
Indigo и Let's test, MyTestXPro. Не поддер-
живают форматирование KTest и е-test, ос-
тальные системы позволяют настраивать
шрифт и подключать различные объекты.
Графический интерфейс таких ре-
дакторов основан на интерфейсе MS Word.
Что касается вставки формул, KTest
имеет встроенный редактор; SunRav,
AVELife TestGold Studio и Indigo позво-
ляют вставлять формулы в виде ole-объек-
та; остальные программы – изображения.
Отдельно нужно отметить x-TLS
как WYSIWYG-систему с графическим ин-
терфейсом, конструктор тестов которой
позволяет оформить рабочее поле теста.
Архитектура сетевых систем тес-
тирования. Поддержка локального и сете-
вого тестирования в системах представле-
на в табл. 7. При удаленном тестировании
возможно одновременное подключение к
серверу большого количества пользовате-
лей через протокол TCP-IP (рис. 2, 3).
При размещении на сервере при-
кладного программного обеспечения (в
том числе тестовых заданий) реализуется
технология «тонкий клиент – толстый сер-
вер». На клиенте размещается только ло-
кальное коммуникационное программное
обеспечение. Это увеличивает сетевой
трафик, но избавляет пользователя от не-
обходимости устанавливать прикладные
программы и хранить большие объемы
данных, упрощает администрирование.
Для локальной сети наиболее рас-
пространенным решением является сервер
под управлением Windows благодаря про-
стоте организации сервера; стандартному
интерфейсу; интеграции приложений; вы-
сокой скорости обмена данными.
Для работы через Интернет более
целесообразным с точки зрения надеж-
ности является использование сервера под
управлением UNIX, в том числе сервера
баз данных. В базе данных хранится ин-
формация о пользователях, поэтому она
должна быть защищена от несанкциониро-
ванного доступа. Информация включает
паспорт пользователя, данные о состоянии
процесса обучения и другие сведения.
а б
Рис. 2. Типовая схема системы тестирования: а – онлайн; б – на локальном Web-сервере
Рис. 3. Подключение к серверу через протокол TCP-IP
Правові, навчальні та соціальні аспекти програмування
117
Таблица 7. Локальное и сетевое тестирование в системах
M
y
T
es
tX
S
u
n
R
av
T
es
t
O
ff
ic
e
P
ro
S
u
n
R
av
W
E
B
C
la
ss
x
-T
L
S
In
d
ig
o
A
V
E
L
if
e
T
es
tG
o
ld
S
tu
d
io
T
es
to
ri
u
m
O
p
en
T
es
t
L
et
’s
t
es
t
Web-интерфейс
Клиент-серверная
архитектура
Web-интерфейс
Локальное
тестирование
+ + + + + +
Сетевое
тестирование
Онлайн-тестирование;
на локальном Web-сервере
Онлайн-
тестирование
Выводы
На сегодняшний день не сущест-
вует идеальной системы автоматического
контроля знаний. Каждая система имеет
преимущества и недостатки, реализует
важные для тестирования функции. Поль-
зователи выдвигают различные тре-
бования к системам, поскольку имеют
разные навыки работы с компьютером,
аппаратные и программные возможности,
подходы к выбору и функциональные
требования.
Отпечаток на выбор накладывает
предметная область, по которой создают-
ся тесты. Так, историки работают в ос-
новном с текстовым контентом, при со-
здании теста по физике возникает необхо-
димость в использовании формул и расче-
тов, а, например, начертательная геомет-
рия в основном ориентирована на графи-
ческие способы ввода и работу с изобра-
жениями.
Существующие системы условно
можно разделить на такие категории: ло-
кальные; сетевые; онлайн-сервисы; комби-
нированные (локальные+сетевые). При-
надлежность системы к определенному
классу определяет набор ее характеристик.
Так, онлайн-сервисы не требуют
установки программного обеспечения на
компьютер и доступны через web-интер-
фейс. Такие программы или предельно
просты и имеют малый набор функций,
либо обладают достаточно сложным для
обычного пользователя интерфейсом, так
как не имеют хорошо структурированного
главного меню. Большинство таких серви-
сов не поддерживает печать теста и воз-
можность сохранения теста на диск,
вследствие чего автор теста не имеет его
копии и зависит от работоспособности
сервера. В случае повреждения сервера
или закрытия сайта тест теряется. Однако
большинство онлайн-сервисов бесплатны.
Локальные системы включают:
установку с помощью инсталляционного
пакета, перенос копированием, их комби-
нацию. Инсталляция программы предъяв-
ляет определенные требования к архитек-
туре компьютера и наличие прав админи-
стратора. В этом случае использование ко-
пирования предпочтительнее.
Сетевые системы, как правило, раз-
работаны, на основе клиент-серверной ар-
хитектуры. Варианты: подключение адми-
нистраторов и пользователей к серверу че-
рез web-интерфейс; создание тестов в ло-
кальном модуле и тестирование на сервере
с помощью web-интерфейса; создание те-
стов в локальном модуле, тестирование – в
локальном модуле, отправка данных на
сервер – по электронной почте.
Кроме рассмотренных, отдельные
системы предлагают оригинальные воз-
можности, например, комментарии тести-
руемыми тестовых заданий, что позволяет
преподавателю повысить качество теста,
скорректировав неудачно сформулирован-
ные задания. Однако чем больше функций
поддерживает система, тем выше ее стои-
мость. Также на цену влияет популяр-
ность разработчика и распространение
системы.
Кроме систем тестирования, функ-
ции автоматического контроля знаний под-
держивают также обучающие системы и
Правові, навчальні та соціальні аспекти програмування
118
системы дистанционного обучения.
По мнению автора, среди рассмот-
ренных локальных систем лидируют My-
TestX и SunRav, сетевых – Indigo, онлайн –
Let’s test. Учителей может заинтересовать
Testorium, достаточно простой сервис с на-
бором готовых школьных тестов.
Результаты исследования могут
быть использованы при выборе или раз-
работке системы тестирования.
1. Белоус Н.В., Куцевич И.В. Дифференци-
альное оценивание знаний при дистанци-
онном тестировании // Штучний інтелект.
– 2009. – № 1. – С. 63–73.
2. Rash G. Probabilistick Models for Some Intel-
ligence and Attainment Tests // Copenhagen:
Danish Institute for Educational Research,
1960. – 184 p.
3. Челышкова М.Б. Разработка педагогичес-
ких тестов на основе современных матема-
тических моделей. – М., 1995. – С. 31.
4. Win J.van der Linden., Hambleton R.K.
Handbook of Modern Item Response Theory.
– New York: Springer-Verlag, 1997. –
510 p.
5. MyTestX [электронный ресурс]. – Режим
доступа: http://mytest.klyaksa.net.
6. SunRav Software [электронный ресурс]. –
Режим доступа: http://sunrav.ru/
7. AVELife TestGold Studio [электронный ре-
сурс]. – Режим доступа: http://avelife.ru.
8. Конструктор тестов x-TLS [электронный
ресурс]. – Режим доступа: http://xtls.org.ua.
9. Testorium [електронний ресурс]. – Режим
доступу: http://www.testorium.net.
10. INDIGO [электронный ресурс]. – Режим
доступа: http://indigotech.ru.
11. OpenTest [электронный ресурс]. – Режим
доступа: http: //www.opentest.ru.
12. Ляхов О.Л., Захаров С.О. Система опера-
тивного контролю знань KTest V2+. – Пол-
тава: ПолтНТУ, 2009. – 27 с.
13. http://www.etest.ru/
14. Let’s test [электронный ресурс]. – Режим
доступа: letstest.ru.
Получено 02.12.2014
Про автора:
Гайтан Елена Николаевна,
старший преподаватель.
Место работы автора:
Полтавский национальный технический
университет имени Юрия Кондратюка,
36011, г. Полтава,
пр. Первомайский 24.
Тел. (0532) 56 1896.
E-mail: azalie@mail.ru.
http://www.testorium.net/
http://www.etest.ru/
|