Оценка интерфейсов тестовых систем электронных учебников
В статье рассматривается проблема оценки интерфейсов систем тестирования электронных учебников. Производится сравнение интерфейсов двух электронных учебников с помощью количественного метода GOMS. Приводятся результаты расчета, обсуждаются варианты интерфейсов систем тестирования знаний электронных...
Збережено в:
| Опубліковано в: : | Штучний інтелект |
|---|---|
| Дата: | 2011 |
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут проблем штучного інтелекту МОН України та НАН України
2011
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/60068 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Оценка интерфейсов тестовых систем электронных учебников / А.С. Звенигородский, А.В. Бойко, С.Б. Иванова // Штучний інтелект. — 2011. — № 3. — С. 449-455. — Бібліогр.: 3 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860078522110836736 |
|---|---|
| author | Звенигородский, А.С. Бойко, А.В. Иванова, С.Б. |
| author_facet | Звенигородский, А.С. Бойко, А.В. Иванова, С.Б. |
| citation_txt | Оценка интерфейсов тестовых систем электронных учебников / А.С. Звенигородский, А.В. Бойко, С.Б. Иванова // Штучний інтелект. — 2011. — № 3. — С. 449-455. — Бібліогр.: 3 назв. — рос. |
| collection | DSpace DC |
| container_title | Штучний інтелект |
| description | В статье рассматривается проблема оценки интерфейсов систем тестирования электронных учебников. Производится сравнение интерфейсов двух электронных учебников с помощью количественного метода GOMS. Приводятся результаты расчета, обсуждаются варианты интерфейсов систем тестирования знаний электронных учебников.
У статті розглядається проблема оцінки інтерфейсів систем тестування електронних підручників. Проводиться порівняння інтерфейсів двох електронних підручників за методикою GOMS. Наводяться результати розрахунку, обговорюються варіанти інтерфейсів систем тестування знань електронних підручників.
In the article the problem of estimating test system interface of electronic textbooks is examined. The comparison of two electronic textbooks by the GOMS methodology is made. The calculation results are given and alternative electronic textbook interfaces are discussed.
|
| first_indexed | 2025-12-07T17:14:22Z |
| format | Article |
| fulltext |
«Штучний інтелект» 3’2011 449
7-З
УДК 004.89:004.93
А.С. Звенигородский1, А.В. Бойко1, С.Б. Иванова2
1Государственный университет информатики и искусственного интеллекта,
г. Донецк, Украина
2Институт проблем искусственного интеллекта МОН Украины и НАН Украины, г. Донецк
sbi@iai.dn.ua, zas@suiai.edu.ua, boykoav4@gmail.com
Оценка интерфейсов тестовых систем
электронных учебников
В статье рассматривается проблема оценки интерфейсов систем тестирования электронных учебников.
Производится сравнение интерфейсов двух электронных учебников с помощью количественного метода
GOMS. Приводятся результаты расчета, обсуждаются варианты интерфейсов систем тестирования знаний
электронных учебников.
Введение
На данный момент существует огромное количество методов анализа пользова-
тельских интерфейсов, которые делятся на количественные и эвристические. В эвристи-
ческих методах с помощью пассивного наблюдения за тестированием нового интерфейса с
участием нескольких добровольцев опытный разработчик интерфейсов может узнать
столько же ценной информации, сколько можно получить с помощью любого метода
количественного анализа, но количественные методы помогают понять важнейшие
аспекты взаимодействия человека с машиной [1].
Одним из лучших подходов к количественному анализу моделей интерфейсов яв-
ляется классическая модель GOMS (Goals, Operators, Methods, and Selection rules), разра-
ботанная в 1983 г. Stuart Card, Thomas P. Moran и Allen Newell [2]. Существуют различные
модели анализа пользовательских интерфейсов, которые базируются на GOMS: CPM-
GOMS, KLM-GOMS, NGOMSL. Эти модели имеют универсальное применение и ис-
пользуются для оценки систем мониторинга, контроля объектов, текстовых и графи-
ческих редакторов и т.д. Следует отметить, что в интерфейсах электронных учебников
необходимо учитывать процессы, происходящие в сознании человека при приобретении
знаний. Одним из таких процессов является фокус внимания. Если интерфейс не продуман,
то пользователю приходится при переключении фокуса внимания тратить много времени
на интерфейс, в ущерб сосредоточения внимания на учебном материале. В целом электрон-
ный учебник – сложная система со многими интерфейсами, в которых роль фокуса вни-
мания различна, поэтому и требования к ним также различны. Наиболее интенсивное
внимание при работе с электронными учебниками требуется при тестировании, поэтому
интерфейс систем тестирования имеет существенное влияние на результаты обучения.
Целью данной работы является исследование количественных методов анализа
моделей пользовательских интерфейсов систем тестирования электронных учебников и
разработка рекомендаций по их улучшению.
Модель GOMS
Анализ пользовательского интерфейса по модели GOMS основывается на том,
что время, требующееся для выполнения какой-то задачи системой «пользователь –
компьютер», является суммой всех временных интервалов, которые потребовались
Звенигородский А.С., Бойко А.В., Иванова С.Б.
«Искусственный интеллект» 3’2011 450
7-З
системе для выполнения последовательности элементарных жестов, составляющих дан-
ную задачу [1]. С помощью лабораторных исследований был получен набор временных
интервалов, требуемых для выполнения различных жестов (табл. 1) [2].
Таблица 1 – Набор временных интервалов, требуемых для выполнения различных
жестов
Обозначение / Время Описание
K = 0.2 с
Нажатие клавиши. Время, необходимое для того, чтобы
нажать клавишу.
P = 1.1 с Указание. Время, необходимое пользователю для того, чтобы
указать на какую-то позицию на экране монитора.
H = 0.4 с Перемещение. Время, необходимое пользователю для того,
чтобы переместить руку с клавиатуры на ГУВ или с ГУВ на
клавиатуру
M = 1.35 с Ментальная подготовка. Время, необходимое пользователю
для того, чтобы умственно подготовиться к следующему шагу.
R Ответ. Время, в течение которого пользователь должен ожи-
дать ответ компьютера
На практике эти значения могут быть разными для неопытного или опытного Поль-
зователя ПК, но с помощью этих типичных значений мы можем сделать правильную
сравнительную оценку между двумя интерфейсами по уровню эффективности их исполь-
зования [2].
Для сравнительной оценки интерфейсов пользователя были выбраны два электронных
учебника (ЭУ) разработки Отдела электронных учебников Государственного универси-
тета информатики и искусственного интеллекта (г. Донецк): «Практикум по физике» и
«Мультимедиа-математика». Электронные материалы ЭУ «Практикум по физике» имеют
представление в виде семантической сети и помещены в базу знаний LYK [3].
Модель GOMS для интерфейсов систем
тестирования ЭУ
Проведем анализ пользовательского интерфейса системы тестирования с помощью
модели GOMS двух ЭУ. Как правило, в системах тестирования на каждый ответ от-
водится определенное время. В общем случае это время складывается из времени
обдумывания вопроса, времени работы с интерфейсом и времени переключения вни-
мания с вопроса на интерфейс и с интерфейса на вопрос. При оценке рассматривалась
ситуация, когда пользователь уже находится в режиме тестирования, подготовился к
прохождению оценки знаний, дает ответы на вопрос не задумываясь, т.е. тратит на об-
думывание ноль секунд. Количество вопросов в тесте равно четырем. Рассматривается сце-
нарий, когда пользователь дает на первый вопрос верный ответ, а на второй – неверный.
При тестировании знаний в ЭУ «Мультимедиа-математика» следует выполнить
следующие действия: прочесть вопрос, перевести указатель манипулятора мышь на
правильный вариант ответа, подтвердить правильный ответ на вопрос (рис. 1), про-
честь сообщение о том, что ответ верный (рис. 2) и закрыть окно с сообщением.
Оценка интерфейсов тестовых систем электронных учебников
«Штучний інтелект» 3’2011 451
7-З
Рисунок 1 – Интерфейс тестирования в ЭУ «Мультимедиа-математика»
Рисунок 2 – Интерфейс тестирования в ЭУ «Мультимедиа-математика»
при правильном ответе на вопрос
После этого происходит автоматический переход на следующий вопрос. Теперь в
соответствии с заявленным сценарием необходимо перевести указатель манипулятора
мышь на неверный вариант ответа, подтвердить выбор, получить сообщение, что ответ
неверный и закрыть сообщение (рис. 3).
Рисунок 3 – Интерфейс тестирования в ЭУ «Мультимедиа-математика»
при неправильном ответе на вопрос
Звенигородский А.С., Бойко А.В., Иванова С.Б.
«Искусственный интеллект» 3’2011 452
7-З
Таким образом, по модели GOMS пользователь потратит на эти действия время:
ТМ = Н + Р + К + Р + К + Р + К + Р + К + Р + К + Р + К = Н + М + Р + М + К
+ М + Р + М + К + М + Р + М + К + М + Р + М + К + М + Р + М + К + М + Р + М
+ К = Н + М + Р + К + М + Р + К + М + Р + К + М + Р + К + М + Р + К + М + Р +
К = Н + 6(М + Р + К) = 0.4с + 6(1.35с + 1.1с + 0.2с) = 16.3с.
При тестировании знаний в ЭУ «Практикум по физике» следует выполнить следующие
действия: прочесть вопрос, перевести указатель манипулятора мышь на правильный ва-
риант ответа, подтвердить правильный ответ на вопрос (рис. 3), перейти на следующий
вопрос, перевести указатель манипулятора мышь на неверный вариант ответа, подтвердить
выбор и нажать на кнопку «Проверить тест».
В соответствии с моделью GOMS в данном случае пользователь потратит на эти
действия время:
ТФ = Н + Р + К + Р + К + Р + К = Н + М + Р + М + К + М + Р + М + К + М +
Р + М + К = Н + М + Р + К + М + Р + К + М + Р + К = Н + 3(М + Р + К) = 0.4с +
3(1.35с + 1.1с + 0.2с) = 8,35с.
Рисунок 4 – Интерфейс тестирования в ЭУ «Практикум по физике»
Оценка интерфейсов тестовых систем электронных учебников
«Штучний інтелект» 3’2011 453
7-З
Обсуждение
То, что ТМ>ТФ означает, что пользователь со средними навыками и способностями
тратит больше времени на работу с интерфейсом системы тестирования ЭУ «Мульти-
медиа-математика», чем с интерфейсом системы тестирования ЭУ «Практикум по физике».
Эта количественная оценка пользовательских интерфейсов ЭУ совпадает с опытными
данными, полученными при работе с учебниками группы студентов. Большинству ис-
пытуемых интерфейс тестирования ЭУ «Практикум по физике» показался более удобным,
чем интерфейс ЭУ «Мультимедиа-математика». Для ЭУ «Мультимедиа-математика» это
связано в первую очередь с затратами времени при работе с модальными диалоговыми
окнами, которые выдаются после каждого вопроса и содержат сообщение о правиль-
ности / неправильности ответа, а также страничном представлении теста.
Дальнейший анализ интерфейсов показывает, что в обоих случаях переключение
внимания на интерфейс в течение 16 и 8 секунд негативно сказывается не только на
общем времени, отведенном на ответ, но и на восстановлении внимания на следующем
вопросе, т.е. на процессе прохождения тестирования в целом. Поэтому рациональным
является сокращение времени работы с интерфейсом.
К сожалению, создается впечатление, что современные интерфейсы разрабатываются
программистами, которые стремятся все, что только можно, перенести на экран монитора,
забывая, что многие функции можно выполнять с помощью клавиатуры гораздо быстрее,
чем с помощью мыши, а следовательно, меньше времени занимать фокус внимания.
Известно, что через зрительный канал человек получает наибольшее количество
информации. В интерфейсах с «мышками» зрительный канал неоправданно часто пере-
ключается на движение курсора и поиск требуемой «кнопки», т.е. в этот промежуток
времени человек не получает никакой полезной информации. Кроме того, тратится до-
полнительное время на восстановление фокуса внимания после работы с «мышкой», что
приводит к более быстрой утомляемости и снижению работоспособности.
Отметим один из недостатков «кнопок» на экране монитора – «мышкой» очень
трудно научиться работать «вслепую», как этому можно научиться на клавиатуре.
При «слепом» методе зрительный канал, а точнее фокус внимания, направлен и со-
средоточен на получение информации и не отвлекается на посторонние функции.
Однако научиться «слепому» методу вообще-то непросто, если кнопок на клавиатуре
четыре десятка. С другой стороны, если кнопок 12, то сделать это гораздо проще.
Например, с клавиатурой калькулятора или отдельной цифровой клавиатурой 101
клавишной клавиатуры персонального компьютера можно работать одной рукой, не
глядя.
В целом системы тестирования построены на принципе выбора правильного ответа
из предлагаемого набора. При этом оптимальным количеством ответов в наборе является
4 – 5 ответов. При меньшем количестве возрастает вероятность угадывания, при боль-
шем увеличивается время анализа ответов, особенно, если ответы близки по содержанию.
То есть, если пользоваться клавиатурой, то достаточно 5-и клавиш. Эти клавиши (кнопки)
мы и видим на экране электронных учебников.
Отметим также, что количество функций при тестировании невелико. Их можно
свести к следующим: вернуться на предыдущий вопрос, если пользователь решил по-
менять ответ; перейти на следующий вопрос после ответа, отменить выбор ответа; по-
лучить результирующую оценку. Таким образом, вместе с номерами вопросов требуется
всего 9 клавиш, даже меньше, чем для калькулятора. При условии, что в системах тести-
Звенигородский А.С., Бойко А.В., Иванова С.Б.
«Искусственный интеллект» 3’2011 454
7-З
рования предусмотрен такой режим и человек часто ими пользуется, получить навык
работы «вслепую» несложно, так как с 9-ю клавишами удобно работать тремя пальцами.
На рис. 4 приведен вариант раскладки такой клавиатуры.
Возможно это рудимент программистов, когда в первых интерфейсах нас, как
пользователей, удивляло и завораживало, что перемещение рукой мыши вызывает пере-
мещение курсора на экране монитора. При этом все наше внимание поглощается этим
действием.
Рисунок 5 – Раскладка «клавиатуры» системы тестирования
С позиций модели GOMS использование такой клавиатуры в интерфейсе тестиро-
вания в несколько раз эффективнее использования манипулятора мышь. В данном случае
зрительный канал человека не отвлекается на непроизводительные посторонние действия,
к тому же время нажатия клавиш исчисляется долями секунды. При этом мы не на-
стаиваем на отказе от графических интерфейсов. Пользователь вправе выбрать тот,
который для него комфортнее для достижения главной цели – получения и оценки знаний.
Выводы
Результаты исследований показали, что модель GOMS применима для оценки
пользовательских интерфейсов систем тестирования электронных учебников.
Результаты методологии GOMS дают разработчикам подобных средств важную
информацию для поиска новых идей в интерфейсах систем тестирования.
Последнее время широкую популярность получили сенсорные экраны с Touch-
интерфейсами. Предложенный подход к разработке «раскладки» клавиатуры можно
использовать для различных приложений, использующих сенсорные экраны. Недостатком
является то, что такой «клавиатуре» требуется дополнительная площадь на экране.
Это будет уменьшать площадь для размещения полезной информации, кроме этого дви-
жения руки и пальцев могут заслонять полезную информацию. Таким образом, Touch-
1
answer
2
answer
3
answer
4
answer
5
answer
Undo
Previews
question
Estimate
Next
question
Оценка интерфейсов тестовых систем электронных учебников
«Штучний інтелект» 3’2011 455
7-З
интерфейсы будут эффективнее, чем графические интерфейсы, но будут уступать
клавиатурным.
Литература
1. Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем / Раскин Д. ;
[пер. с англ.]. – СПб. : Символ-Плюс, 2004. – 272 с.
2. Card Stuart. Moran and Allen Newell / Stuart Card, P. Thomas // The Psychology of Human Computer
Interaction. Lawrence Erlbaum Associates. – 1983. – ISBN 0-89859-859-1
3. Бойко А.В. Представление структуры ППС в виде семантической сети на базе формата хранения
данных LYK / А.В. Бойко, Н.М. Коротыч // «Искусственный интеллект. Интеллектуальные
системы – 2010» : материалы Восьмой международной научно-технической конференции. –
Кацивели, Крым, 22 – 26 сентября 2010 г. – Донецк. – 2010.
Literatura
1. Raskin D. Interfejs: novye napravlenija v proektirovanii komp’juternyh sistem. SPb.: Simvol-Pljus. 2004. 272 s.
2. Card S. The Psychology of Human Computer Interaction. Lawrence Erlbaum Associates. 1983.
3. Bojko A.V. Predstavleniestruktury PPS v vide semanticheskoj seti na baze formata hranenija dannyh LYK.
“Iskusstvennyj intellekt. Intellektual’nye sistemy – 2010”: materially Vos’moj mezhdunarodnoj nauchno-
tehnicheskoj konferencii. Kaciveli. Krym. 22-26 sentjabrja 2010 g. Doneck. 2010.
О.С. Звенігородський, А.В. Бойко, С.Б. Іванова
Оцінка інтерфейсів тестових систем електронних підручників
У статті розглядається проблема оцінки інтерфейсів систем тестування електронних підручників.
Проводиться порівняння інтерфейсів двох електронних підручників за методикою GOMS. Наводяться
результати розрахунку, обговорюються варіанти інтерфейсів систем тестування знань електронних
підручників.
A.S. Zvenigorodsky, A.V. Bojko, S.B. Ivanova
Estimation of Test System Interface of Electronic Textbooks
In the article the problem of estimating test system interface of electronic textbooks is examined. The comparison
of two electronic textbooks by the GOMS methodology is made. The calculation results are given and alternative
electronic textbook interfaces are discussed.
Статья поступила в редакцию 16.06.2011.
|
| id | nasplib_isofts_kiev_ua-123456789-60068 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1561-5359 |
| language | Russian |
| last_indexed | 2025-12-07T17:14:22Z |
| publishDate | 2011 |
| publisher | Інститут проблем штучного інтелекту МОН України та НАН України |
| record_format | dspace |
| spelling | Звенигородский, А.С. Бойко, А.В. Иванова, С.Б. 2014-04-11T11:39:02Z 2014-04-11T11:39:02Z 2011 Оценка интерфейсов тестовых систем электронных учебников / А.С. Звенигородский, А.В. Бойко, С.Б. Иванова // Штучний інтелект. — 2011. — № 3. — С. 449-455. — Бібліогр.: 3 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/60068 004.89:004.93 В статье рассматривается проблема оценки интерфейсов систем тестирования электронных учебников. Производится сравнение интерфейсов двух электронных учебников с помощью количественного метода GOMS. Приводятся результаты расчета, обсуждаются варианты интерфейсов систем тестирования знаний электронных учебников. У статті розглядається проблема оцінки інтерфейсів систем тестування електронних підручників. Проводиться порівняння інтерфейсів двох електронних підручників за методикою GOMS. Наводяться результати розрахунку, обговорюються варіанти інтерфейсів систем тестування знань електронних підручників. In the article the problem of estimating test system interface of electronic textbooks is examined. The comparison of two electronic textbooks by the GOMS methodology is made. The calculation results are given and alternative electronic textbook interfaces are discussed. ru Інститут проблем штучного інтелекту МОН України та НАН України Штучний інтелект Обучающие и экспертные системы Оценка интерфейсов тестовых систем электронных учебников Оцінка інтерфейсів тестових систем електронних підручників Estimation of Test System Interface of Electronic Textbooks Article published earlier |
| spellingShingle | Оценка интерфейсов тестовых систем электронных учебников Звенигородский, А.С. Бойко, А.В. Иванова, С.Б. Обучающие и экспертные системы |
| title | Оценка интерфейсов тестовых систем электронных учебников |
| title_alt | Оцінка інтерфейсів тестових систем електронних підручників Estimation of Test System Interface of Electronic Textbooks |
| title_full | Оценка интерфейсов тестовых систем электронных учебников |
| title_fullStr | Оценка интерфейсов тестовых систем электронных учебников |
| title_full_unstemmed | Оценка интерфейсов тестовых систем электронных учебников |
| title_short | Оценка интерфейсов тестовых систем электронных учебников |
| title_sort | оценка интерфейсов тестовых систем электронных учебников |
| topic | Обучающие и экспертные системы |
| topic_facet | Обучающие и экспертные системы |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/60068 |
| work_keys_str_mv | AT zvenigorodskiias ocenkainterfeisovtestovyhsistemélektronnyhučebnikov AT boikoav ocenkainterfeisovtestovyhsistemélektronnyhučebnikov AT ivanovasb ocenkainterfeisovtestovyhsistemélektronnyhučebnikov AT zvenigorodskiias ocínkaínterfeisívtestovihsistemelektronnihpídručnikív AT boikoav ocínkaínterfeisívtestovihsistemelektronnihpídručnikív AT ivanovasb ocínkaínterfeisívtestovihsistemelektronnihpídručnikív AT zvenigorodskiias estimationoftestsysteminterfaceofelectronictextbooks AT boikoav estimationoftestsysteminterfaceofelectronictextbooks AT ivanovasb estimationoftestsysteminterfaceofelectronictextbooks |