Проектирование структуры многоуровневого жестового интерфейса
В данной работе проводятся исследования по построению системы распознавания жестов для интерактивного человеко-компьютерного взаимодействия в процессе обучения. Рассматривается задача разработки структуры жестового интерфейса и используемых жестов с учетом специфики использования. Предложенный жес...
Saved in:
| Published in: | Искусственный интеллект |
|---|---|
| Date: | 2014 |
| Main Authors: | , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут проблем штучного інтелекту МОН України та НАН України
2014
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/85256 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Проектирование структуры многоуровневого жестового интерфейса / Е.А. Шевченко, К.А. Ручкин // Искусственный интеллект. — 2014. — № 2. — С. 85–94. — Бібліогр.: 9 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859717856112934912 |
|---|---|
| author | Шевченко, Е.А. Ручкин, К.А. |
| author_facet | Шевченко, Е.А. Ручкин, К.А. |
| citation_txt | Проектирование структуры многоуровневого жестового интерфейса / Е.А. Шевченко, К.А. Ручкин // Искусственный интеллект. — 2014. — № 2. — С. 85–94. — Бібліогр.: 9 назв. — рос. |
| collection | DSpace DC |
| container_title | Искусственный интеллект |
| description | В данной работе проводятся исследования по построению системы распознавания жестов для интерактивного
человеко-компьютерного взаимодействия в процессе обучения. Рассматривается задача разработки структуры жестового интерфейса и используемых жестов с учетом специфики использования. Предложенный
жестовый интерфейс основан на взаимодействии с контекстом изучаемого материала и имеет многоуровневую
структуру. Изучены вопросы эргономики и юзабилити используемых жестов в жестовом интерфейсе.
Приведен пример набора жестов для данной жестовой системы.
У даній роботі проводяться дослідження з побудови системи розпізнавання жестів для інтерактивного
людино-комп’ютерної взаємодії в процесі навчання. Розглядається задача розробки структури жестового
інтерфейсу і жестів, що використовуються з урахуванням специфіки використання. Запропонований
жестовий інтерфейс заснований на взаємодії з контекстом досліджуваного матеріалу і має багаторівневу
структуру. Вивчено питання ергономіки і юзабіліті використовуваних жестів в жестовому інтерфейсі.
Наведено приклад набору жестів для даної жестової системи.
In this paper, studies on the construction of gesture recognition for interactive human-computer interaction in the
learning process. The problem of developing the structure of the interface and use of sign gestures specific to use.
Proposed gestural interface based on interaction with the context of the studied material and has a layered structure.
Studied ergonomics and usability of gestures used in sign-interface. An example of a set of gestures for this gesture system.
|
| first_indexed | 2025-12-01T08:33:56Z |
| format | Article |
| fulltext |
ISSN 1561-5359 «Штучний інтелект» 2014 № 2 85
3Ш
УДК 004.932.751
Е.А. Шевченко, К.А. Ручкин
Донецкий национальный технический университет, г. Донецк
Украина, 83050, пр. Б. Хмельницкого, 84
Проектирование структуры
многоуровневого жестового интерфейса
E.A. Shevchenko, К.А. Ruchkin
Donetsk National Technical University, Donetsk
Ukraine, 83050, Avenue Khmelnitsky, 84
Designing Multi-Level Structure of Sign Interface
Є.О. Шевченко, К.А. Ручкін
Донецький національний технічний університет, м. Донецьк
Україна, 83050, пр. Б. Хмельницького, 84
Проектування структури багаторівневого жестового інтерфейсу
В данной работе проводятся исследования по построению системы распознавания жестов для интерактивного
человеко-компьютерного взаимодействия в процессе обучения. Рассматривается задача разработки струк-
туры жестового интерфейса и используемых жестов с учетом специфики использования. Предложенный
жестовый интерфейс основан на взаимодействии с контекстом изучаемого материала и имеет многоуровневую
структуру. Изучены вопросы эргономики и юзабилити используемых жестов в жестовом интерфейсе.
Приведен пример набора жестов для данной жестовой системы.
Ключевые слова: юзабилити, эргономика жеста, многоуровневый жестовый интерфейс.
In this paper, studies on the construction of gesture recognition for interactive human-computer interaction in the
learning process. The problem of developing the structure of the interface and use of sign gestures specific to use.
Proposed gestural interface based on interaction with the context of the studied material and has a layered structure.
Studied ergonomics and usability of gestures used in sign-interface. An example of a set of gestures for this gesture system.
Keywords: usability, ergonomics gesture, multilevel gestural interface.
У даній роботі проводяться дослідження з побудови системи розпізнавання жестів для інтерактивного
людино-комп’ютерної взаємодії в процесі навчання. Розглядається задача розробки структури жестового
інтерфейсу і жестів, що використовуються з урахуванням специфіки використання. Запропонований
жестовий інтерфейс заснований на взаємодії з контекстом досліджуваного матеріалу і має багаторівневу
структуру. Вивчено питання ергономіки і юзабіліті використовуваних жестів в жестовому інтерфейсі.
Наведено приклад набору жестів для даної жестової системи.
Ключові слова: юзабіліті, ергономіка жесту, багаторівневий жестовий інтерфейс.
Введение
Одним из актуальных направлений современной индустрии компьютерных игр
является создание новых беспроводных периферийных устройств для персональных
компьютеров, так называемых controller-free gaming контроллеров, которые позволяют
пользователю взаимодействовать с игровой консолью без помощи игрового контроллера,
только через устные команды, положение тела и отдельных его частей, например с
помощью рук. Прогресс в этом направлении ведется благодаря новым разработкам
таких крупных производителей, как Sony Computer Entertainment, Nintendo Company,
Шевченко Е.А., Ручкин К.А.
«Искусственный интеллект» 2014 № 2 86
3Ш
В
Microsoft и др [1]. Однако, несмотря на большое количество технических решений,
предназначенных для распознавания жестов, актуальной остаётся задача построения
системы распознавания жестов и жестовых интерфейсов на основе получения инфор-
мации с веб-камеры, поскольку важными критериями являются цена устройства и его
распространённость. Также следует отметить, что в настоящее время жестовые
интерфейсы приобретают все большую популярность не только в игровой индустрии,
но и в других областях. Они находят свое применение в задачах управления робо-
тами и медицинским оборудованием, в обучающих приложениях, во взаимодействии
с разнообразными специфическими компьютерными программами и приложениями и др.
Особый интерес представляют жестовые интерфейсы манипуляционного и управ-
ляющего предназначения, который применяется в обучающих играх и обучающих
программах. Использование жестовых интерфейсов в обучающих средах позволяет
расширить возможность восприятии мультимедийного материала и повысить качество
его восприятия, за счет внесения интерактивной составляющей. Таким образом, за-
дача проектирования и разработки систем распознавания жестов для организации
взаимодействия в процессе обучения является важной и актуальной задачей.
Постановка задачи
В настоящее время в процессе обучения, кроме текстовой информации,
обучаемый все чаще сталкивается с огромным объемом разнородной мультимедий-
ной информации. К этой информации относятся рисунки, видео- и аудиоролики, flash-
анимация и трехмерные модели. Наличие такой информации вызывает у обучаемого
определенные ассоциации, настраивает на нужный лад, помогает быстрее вникнуть в
суть той области, которую он изучает, и в конечном счете увеличивает объем
запоминаемого материала. Однако наибольшим эффектом при этом обладает такое
обучение, при котором присутствует интерактивная составляющая. Появление большого
количества интерактивных учебников, интерактивных лабораторных работ, интер-
активных игр и т.д. является подтверждением этой тенденции. Особенно успешно в
этом направлении развиваются технологии взаимодействия человека с компьютером
с помощью жестового языка. Разработке и использованию жестового интерфейса в
интерактивных мультимедийных обучающих средствах будет посвящена данная работа.
Целью данной работы является проектирование многоуровневого жестового
интерфейса, ориентированного на работу с интерактивным мультимедийным материалом
(интерактивные электронные учебники).
Для достижения поставленной цели необходимо решить следующие задачи:
проанализировать существующее состояние вопроса, проанализировать элементы
типового интерфейса для работы с мультимедийным контентом, рассмотреть вопросы
юзабилити и эргономики жестового интерфейса, спроектировать многоуровневый
жестовый интерфейс для работы с интерактивным мультимедийным контентом.
Построением жестовых интерфейсов занимаются многие исследователи, среди
которых отметим работы [2-6].
В работе [2] рассматривается возможность использования жестов рук в качестве
нового способа ввода информации для управления различными автоматизированными
устройствами. В работе [3] обсуждается новый подход построения системы распозна-
вания жестов, основанный на обнаружении некоторых форм ладони и их особен-
ностей. Технически система состоит из одной камеры, предназначенной для захвата
жеста и алгоритма по распознаванию жеста. Общий алгоритм делится на четыре
Проектирование структуры многоуровневого жестового интерфейса
«Штучний інтелект» 2014 № 2 87
3Ш
основных этапа: и включает в себя сегментацию, обнаружение ориентации, выделение
признаков и классификацию. Предлагаемый алгоритм не зависит от характеристик
ладони пользователя. Он не требует какой-либо подготовки выборочных данных.
Предлагаемый алгоритм реализован и протестирован на 390 изображениях. Результаты
тестирования показывают, что скорость распознавания на 92% изображений менее 2,76 с.
В работе [4] рассматривается использование многоуровневых трехмерных интер-
активных интерфейсов с целью максимально реалистичного представления визуальных
образов объектов культурного наследия. Основная часть интерфейса разрабатывается
как трехмерная городская (ландшафтная) среда, отражающая основные визуальные
характеристики того или иного города (ландшафта) с точностью, присущей гео-
информационным системам, с целью интеграции в нее различных самостоятельных
контент-проектов, сервисных служб, предприятий интернет-бизнеса, искусства и
культуры, ориентированных на массового пользователя. То есть эта среда должна
стать продолжением реальности, где есть то, что нужно и интересно для всех групп
пользователей. Это своеобразный навигатор по существующим WWW ресурсам в
привычной для пользователя среде. Данная разработка основывается на интел-
лектуальных и технологических решениях в области создания и управления 3D-
образов, а также программных и программно-аппаратных решениях и методиках в
области систем виртуальной реальности в среде INTERNET.
Жестовые языки были рассмотрены в работах украинских ученых. Так, в работе
К.М. Нюнькина [5] рассматривается задача обнаружения и распознавания жестов,
используемых при управлении мобильными роботами. Основное внимание уделено
жестам, фигуры которых представляют собой спирали, а также определению пара-
метров этих спиралей. Система распознавания жестов предназначена для идентифи-
кации определенных человеческих жестов с целью использования их для передачи
информации или для управления различными устройствами. Прием жестов человека
осуществляется с помощью видеокамеры (аналогично человеческому зрению) и не
требует применения специальных устройств. Жесты подаются одной рукой с помощью
предмета либо надетой на нее перчатки определенного насыщенного цвета. В данной
реализации набор жестов соответствует командам, с помощью которых можно управлять
мобильными роботами, разработанными в ИПИИ.
При распознавании жестов необходимо обнаруживать на изображении руки
человека и прослеживать изменение их положения или формы с течением времени.
Для этого обычно используют либо детектирование движения [6], либо обнаружение
областей, имеющих цвет кожи, [7] либо оба этих подхода совместно [8]. Как правило,
обнаруживаемые жесты имеют достаточно большой масштаб. В таких ситуациях
обычно наряду с цветом используется детектирование областей движения. При рас-
познавании мелкомасштабных жестов, в которых задействованы отдельные пальцы,
кисть руки занимает существенную часть кадра [7]. Фон в этих случаях однородный
и контрастирует по цвету с кожей человека.
В настоящий момент основными технологиями построения систем распознава-
ния жестов являются технологии Motion Tracking and Capture Technologies (MTCT),
Gesture Recognition, Hand Tracking и т.д.
Основной целью методов и алгоритмов, лежащих в основе технологий построения
систем распознавания жестов, являются измерение конфигурации и положения модели
в любой момент времени. В качестве входных данных используются изображения,
полученные с одной камеры или от пары камер (стереокамеры). Жесты создаются
статической рукой или телом, и благодаря физическому движению в двух или трех
измерениях могут быть интерпретированы компьютером в любую символическую
Шевченко Е.А., Ручкин К.А.
«Искусственный интеллект» 2014 № 2 88
3Ш
В
команду или в команды траектории движения. Примеры символических жестов-команд –
это окончание, начало и поворот. Также жесты могут быть интерпретированы как
буквы алфавита, слова языка или команды. Кроме того, кинематическое и динамическое
содержание жеста может представлять команду как траекторию движения. Комбинации
символических команд и команд-траекторий возможны в одном жесте. Таким образом, в
направлении распознавания человеческих жестов можно выделить три основные за-
дачи: первая связана с построением качественных алгоритмов по распознаванию кисти
человека, вторая – с построением адекватной математической модели кисти, и третья –
с созданием статического и\или динамического языка жестов. Решению третьей задачи
будут посвящены дальнейшие исследования.
Анализ типового графического интерфейса
пользователя в электронных учебниках
Наличие интерактивной составляющей в мультимедийном учебнике означает, что
обучаемый может взаимодействовать с материалом учебника в свободном режиме (в
режиме игры), а не только в фиксированном режиме (в режиме фильма). Обычно процесс
взаимодействия обучаемого с интерактивным мультимедийным средством (электронным
учебником) происходит через графический интерфейс пользователя с помощью клавиату-
ры и мыши. В интерактивном режиме пользователю доступны различные элементы
управления процессом обучения (ускорение обучения, замедление обучения, повто-
рение материала, детальный разбор материала и т.д). Эта функциональность достигается
с помощью соответствующих кнопок GUI, например, перейти на страницу вперед,
вернуться на страницу назад, запустить аудио- или видеоролик, увеличить или умень-
шить картинку, вращать трехмерную модель и т.д. Рассмотрим более подробно ис-
пользование интерактивного графического интерфейса пользователя и выявим, какие
элементы этого интерфейса можно будет использовать в жестовом интерфейсе.
Основными элементами интерактивного интерфейса учебника являются нави-
гация по учебнику, навигация по странице, управление аудио/видео контентом, управле-
ние flash-роликами и 3d-моделями [9]. Рассмотрим их более подробно.
1. Элементы навигации по учебнику:
– начать /окончить обучение,
– вызвать настройки обучения;
– вызвать справку;
– перейти к оглавлению учебника;
– перейти на следующую страницу;
– вернуться на предыдущую страницу;
– отметить / снять закладку страницы.
2. Элементы навигации по странице:
– перемещение по странице вниз/ вверх/ влево/ вправо;
– включить/ выключить маркер.
3. Элементы управления аудио- и видеоконтентом (Flash-ролики):
– начать/ остановить воспроизведение;
– пауза;
– перемотка (ускоренная перемотка) вперед/ назад;
– громкость увеличить/уменьшить;
4. Элементов управления графическим контентом (2D/3D):
– увеличение/ уменьшение изображения объекта 2D/3D;
– поворот объекта 3D вокруг оси OX/ OY /OZ;
Проектирование структуры многоуровневого жестового интерфейса
«Штучний інтелект» 2014 № 2 89
3Ш
Данный набор элементов реализует минимальную функциональность и в раз-
личных учебниках может быть расширен. Обычно эти элементы реализуются с помощью
соответствующих кнопок меню, доступ к которым происходит через клавиатуру или
мышь. Выберем эти элементы за основу при проектировании жестового интерфейса.
Вопросы юзабилити и эргономики
жестового интерфейса
Важным аспектом при проектировании жестового интерфейса являются свойства
юзабилити и эргономики жестового интерфейса и самих жестов. Часто свойства юза-
билити и эргономики жестов путают, однако это разные понятия. Свойство юзабилити
жеста означает то, что данный жест используется достаточно часто. Например, жест
покачивания рукой в горизонтальном положении, если ладонь направлена вверх,
используется часто. А жест покачивания рукой, если ладонь находится внизу редко.
Это означает, что использование первого жеста в жестовом интерфейсе будет более
приемлемым, чем использование второго жеста. Поэтому целесообразно при проекти-
ровании жестового интерфейса выбирать такие жесты, которые обладают свойством
юзабилити.
Свойство эргономики жеста означает, то насколько удобно его использовать.
Некоторые жесты, выполненные рукой, человеку не всегда удобно использовать. Напри-
мер, покачивание рукой, если ладонь обращена от человека, является более удобным
жестом, чем покачивание рукой, если ладонь обращена к человеку. Важным свойством
эргономики жеста является скорость его выполнения. При использовании динамиче-
ских жестов необходимо дискретизировать время, то есть разделить на временные
интервалы. Это позволит отличать один динамический жест от другого. На выполне-
ние динамического жеста должно выделяться такое время, за которое человек сможет
физически его совершить и это будет удобно для человека (1 – 3 с.).
Следует отметить, если разрабатываемый жестовый интерфейс будет использо-
ваться для определенной категории пользователей (например, ученики в школе), то
жесты должны обладать свойствами интуитивности и узнаваемости. Так как, очевидно,
что школьники не смогут запомнить и выполнить сложные жесты. Для проектирова-
ния соответствующего жестового интерфейса был проведен экспериментальный анализ
и выявлены жесты, которые обладают необходимыми свойствами (юзабилити, эрго-
номики, интуитивности) и которые составят основу для проектируемого жестового
интерфейса.
Структура жестового интерфейса
При разработке жестового интерфейса будем использовать многоуровневую кон-
цепцию. Суть этой концепции состоит в следующем. Как известно, типовое мульти-
медийное обучающее средство обладает разнообразным мультимедийным контентом
(мультимедийными полями): обычный текст, двухмерная графика и двухмерные
картинки, трехмерная графика и трехмерные модели, анимационные флеш-ролики,
аудио- и видеоконтент. Поскольку каждое данное мультимедийное поле имеет свою
смысловую нагрузку (контекст) и предназначено для работы с определенными типами
информации, то целесообразно для каждого поля в отдельности использовать свой
интерактивный жестовый интерфейс (набор жестов). Таким образом, общий жестовый
интерфейс будет содержать различные подуровни, каждый из которых содержит
свои управляющие жесты. Однако эти подуровни могут содержать не только раз-
Шевченко Е.А., Ручкин К.А.
«Искусственный интеллект» 2014 № 2 90
3Ш
В
личные, но и одинаковые элементы (одинаковые жесты). Например, для работы с
аудио- и видеоконтентом используются одинаковые жесты. Это позволит сократить
количество используемых жестов и упростить использование жестового интерфейса.
Для перехода с одного уровня на другой необходимо разработать систему специаль-
ных «сигнальных» жестов.
В интерактивном обучающем средстве выделим следующие типы контента:
текстовый, аудио-видео, графический, Flash-анимация и трехмерные модели. Для работы
с интерактивным мультимедийным контентом выделим группы жестов соответст-
вующие типу контента и соответствующий уровень жестового интерфейса.
1. Для работы с текстовым контентом вводится текстовый жестовый интер-
фейс (Text Gesture Interface).
2. Для работы с мультимедиа аудио-, видеоконтентом вводится (AV Multimedia
Gesture Interface).
3. Для работы с двумерной и трехмерной графикой (Graphics Gesture Interface).
4. Для работы с Flash-анимацией (Flash Gesture Interface).
5. Для работы с трехмерными моделями (3D Model Gesture Interface).
6. Для перехода между подуровнями используется (Special Gesture Interface).
На рис. 1 представлена структурная схема многоуровневого жестового интер-
фейса и его взаимодействие с элементами интерактивного мультимедийного контента
электронного обучающего средства. Опишем эту структуру более детально. В много-
уровневом жестовом интерфейсе (Multilevel Gesture Interface) можно выделить три
основных блока первого уровня: блок навигации по страницам (Page Gesture Interface),
блок управления курсором (Mouse Gesture Interface) и блок управления контентом
(Content Gesture Interface). Рассмотрим каждый из них подробнее.
Mouse Gesture Interface – это подуровень жестового интерфейса, предназначен
для управления курсором на экране с помощью жестов. Это означает, что такие
жесты, как движение руки по заданной траектории (влево, вправо, вверх, вниз) будет
интерпретироваться системой как движение курсора по экрану влево, вправо, вверх,
вниз.
Page Gesture Interface – это подуровень жестового интерфейса предназначен
для навигации по страницам обучающего средства. Набор жестов будет аналогичен
жестам, которые мы использовали выше. Однако на данном подуровне он будет
интерпретироваться по-другому. Например, как переход к следующей и предыдущей
странице, а также перемещение по странице вверх, вниз.
Content Gesture Interface – это подуровень жестового интерфейса предназначен
для управления аудио- и видеоконтентом, двумерной и трехмерной графикой, Flash-
анимацией, трехмерными моделями. В зависимости от контекста обучающего средства
существует возможность подключить соответствующую жестовую систему управления.
Content Gesture Interface содержит следующие подуровни: Text Gesture Interface, AV
Multimedia Gesture Interface, Graphics Gesture Interface, Flash Gesture Interface, 3D
Model Gesture Interface.
В дальнейшем в различных подуровнях управления обучающим средством, будем
использовать одинаковые жесты, что позволит значительно сократить общее коли-
чество жестов и упростить управление электронным обучающим средством в целом.
Text Gesture Interface – это подуровень управления текстовой информацией.
Набор жестов, необходимый для управления текстовой информацией, поставлен в
соответствии с основными функциями электронного обучающего средства. Выбраны
основные функции работы с текстом, а именно: перемещение курсора по текстовой
(вверх, вниз, вправо, влево), включить и выключить режим выделение.
Проектирование структуры многоуровневого жестового интерфейса
«Штучний інтелект» 2014 № 2 91
3Ш
AV Multimedia Gesture Interface – это подуровень управления аудио- и видео-
контентом. Основные функции работы с аудио- и видеоинформацией и поставленные в
соответствие жесты: начать/остановить воспроизведение, пауза, перемотка (ускоренная
перемотка) вперед/назад (движение рукой вправо/влево), громкость увеличить/ уменьшить
(движение рукой вверх/вниз).
Рисунок 1 – Структурная схема многоуровневого жестового интерфейса
Graphics Gesture Interface – это подуровень управления графической инфор-
мацией. В данном подуровне предлагается использовать в качестве жестов две руки.
Основные функции работы с графической информацией и поставленные в соответст-
вие жесты: увеличение/уменьшение изображения объекта 2D/3D (две руки расходятся/
сходятся). Когда изображение в увеличенном состоянии и не помещается в области
видимости, перемещение по изображению осуществляется с помощью одной руки
(вверх/вниз, влево/вправо).
Flash Gesture Interface – это подуровень управления Flash-роликами. Он будет
частично подобен подуровню AV Multimedia Gesture Interface. Основные функции
работы с Flash-информацией и поставленные в соответствие жесты: начать/ остано-
вить воспроизведение, пауза, перемотка (ускоренная перемотка) вперед/назад (движение
рукой вправо/влево), громкость увеличить/уменьшить (движение рукой вверх/вниз).
Шевченко Е.А., Ручкин К.А.
«Искусственный интеллект» 2014 № 2 92
3Ш
В
3D Model Gesture Interface – это подуровень управления 3D-объектами. В данном
подуровне, как и в Graphics Gesture Interface, будут использоваться две руки: увели-
чение/уменьшение 3D-объекта (две руки расходятся/сходятся), поворот 3D-объекта
вокруг оси OX/OY/OZ (две руки двигаются по дугам окружности в плоскости
перпендикулярной оси вращения). Когда объект в увеличенном состоянии и не по-
мещается в области видимости, перемещение по изображению осуществляется с
помощью одной руки (вверх/вниз, влево/вправо).
Переход между уровнями осуществляется с помощью отдельного блока Special
Gesture Interface. Чтобы перейти в какой-либо из трех уровней (уровень выбирается в
зависимости от содержания обучающего средства) для управления содержимым,
необходимо сжать ладонь в кулак, для того чтобы выйти необходимо этот же жест
повторить два раза (либо круговое движение рукой). Также переход между уровнями
будет реализован с помощью кнопки, на которой будет необходимо задержать руку,
в результате чего будет появляться расширенное меню.
Рассмотрим пример жестового интерфейса для работы с аудио- и видеоконтен-
том (табл. 1). Используемый набор жестов является ориентировочным и может быть
расширен или изменён при дальнейшей проектировке.
Таблица 1 – Описание жестов для работы с аудио и видеоконтентом
Описание жестов для работы с аудио- и видеоконтентом
Смысл Описание жеста
1 Перемотка
вперед
Для выполнения ускоренной перемотки вперед необходимо
провести движение рукой слева направо (2-3 с)
2 Перемотка назад Для выполнения ускоренной перемотки вперед необходимо
провести движение рукой справа налево (2-3 с)
3 Ускоренная
перемотка вперед
Для выполнения ускоренной перемотки вперед необходимо
провести движение рукой слева направо (1 с)
4 Ускоренная
перемотка назад
Для выполнения ускоренной перемотки вперед необходимо
провести движение рукой справа налево (1 с)
5 Воспроизведение Для выполнения воспроизведения необходимо повернуть ладонь влево
6 Пауза Для включения режима пауза необходимо повернуть ладонь
вверх и удерживать в течение 1-3 с
7 Остановить
воспроизведение
Для включения режима пауза необходимо повернуть ладонь
вверх и удерживать в течение 3-5 с
8 Громкость
увеличить
Для выполнения увеличения громкости необходимо провести
движение рукой снизу вверх 1-3 с
9 Громкость
уменьшить
Для выполнения уменьшения громкости необходимо провести
движение рукой сверху вниз 1-3 с
10 Увеличить кадр Для выполнения увеличения кадра необходимо развести руки
в стороны
11 Уменьшить кадр Для выполнения уменьшения кадра необходимо свести руки в центр
12 Восстановить
исходный размер
Для выполнения уменьшения кадра необходимо свести руки в
центр, а затем развести их
Выводы
В данной работе рассмотрен многоуровневый жестовый интерфейс для работы
мультимедийным материалом. Спроектирована его структура. Предложенный жестовый
интерфейс основан на взаимодействии с контекстом изучаемого материала и имеет
многоуровневую структуру. Изучены вопросы эргономики и юзабилити исполь-
Проектирование структуры многоуровневого жестового интерфейса
«Штучний інтелект» 2014 № 2 93
3Ш
зуемых жестов в жестовом интерфейсе. Дано описание жестов для работы с аудио- и
видеоконтентом. В дальнейших работа планируется дать описание всех уровней
жестового интерфейса.
Список литературы
1. Шевченко Е.А. Технологии видеозахвата и отслеживания движений в компьютерной индустрии /
Е.А. Шевченко, К.А. Ручкин // Искусственный интеллект. Интеллектуальные системы : материалы
XII Международной научно-технической конференции. − Донецк: ИПИИ «Наука і освіта». − 2011. −
Т. 2. – 440 с.
2. Абакумов В.Г. Современные средства взаимодействия человека с компьютером / В.Г. Абакумов,
В.В Васильева, Е.Ю. Ломакина. // Электроника и связь. – 2010. – № 4-5, Электроника и
нанотехнологии. – С. 128-137.
3. Meenakshi Panwar. Hand Gesture Recognition for Human Computer Interaction / Meenakshi Panwar
and Pawan Singh Mehra // Proc. of IEEE International Conference on Image Information Processing
(ICIIP 2011). – Waknaghat, India, November 2011.
4. Белобородов О.Г. Использование многоуровневых трехмерных интерактивных интерфейсов с
целью максимально реалистичного представления визуальных образов объектов культурного
наследия / Олег Геннадьевич Белобородов // Культурное наследие для всех: новые технологии в
музеях, галереях, библиотеках, архивах : материалы конференции (3-8 декабря 2001, Москва) /
Центр по проблемам информатизации сферы культуры Министерства культуры РФ,
Государственная Третьяковская галерея. – М., 2001. - С. 13~15~1 - 13~15~4. - (EVA'2001 Москва.
Электронные изображения и визуальные искусства).
5. Нюнькин К.М. Система распознавания жестов / К.М. Нюнькин // Программные продукты и
системы. – 2004. – №1. – С. 30-35.
6. Gupta D. Computer Gesture Recognition: Using the Constellation Method / D. Gupta // Caltech
Undergraduate Research Journal. – 2001. – Vol. 1, № 1. – P. 26-31.
7. Bretzner L., LaptevI., Lindeberg T. Hand Gesture Recognition using Multi-Scale Colour Features,
Hierarchical Models and Particle Filtering. // Proc. of the 5th Int. Conf. on Automatic Face and Gesture
Recognition, 2002.
8. McKenna S., Gong S. Gesture Recognition for Visually Mediated Interaction using Probabilistic Event
Trajectories. // Proc. of BMVC'98, 14-17 September 1998, Southampton, England.
9. Пользовательские интерфейсы электронных учебников [Electronic resourse] / Интернет-ресурс. -
Режим доступа : www/ URL: http://treningionline.com/for-tutors/manuals/interfeisy-elektronnyh-uchebnikov-
?start=7. - Загл. с экрана.
References
1. Shevchenko E. A., Ruchkin K.A. Tehnologii videozahvata i otslezhivaniya dvizheniy v komp'yuternoy industrii /
E.A. Shevchenko, K.A. Ruchkin // Iskusstvennyj intellekt. Intellektual'nye sistemy: Materialy XII
Mezhdunarodnoy nauchno-tehnicheskoy konferentsii. − Donetsk: IPII «Nauka і osvіta». − 2011. − T. 2. – 440 s.
2. V.G. Abakumov, V.V Vasil'eva, E.Yu. Lomakina. Sovremennye sredstva vzaimodeystviya cheloveka s
komp'yuterom // zhurnal “Elektronika i svyaz'” №4-5, tematicheskiy vypusk “Elektronika i
nanotehnologii”, 2010, 128-137s.
3. Meenakshi Panwar and Pawan Singh Mehra , "Hand Gesture Recognition for Human Computer
Interaction", in Proceedings of IEEE International Conference on Image Information Processing(ICIIP
2011), Waknaghat, India, November 2011.
4. Beloborodov, O. G. Ispol'zovanie mnogourovnevyh trehmernyh interaktivnyh interfeysov s tsel'yu
maksimal'no realistichnogo predstavleniya vizual'nyh obrazov obektov kul'turnogo naslediya / Oleg
Gennad'evich Beloborodov // Kul'turnoe nasledie dlya vseh: novye tehnologii v muzeyah, galereyah,
bibliotekah, arhivah: Materialy konferentsii (3-8 dekabrya 2001, Moskva) / Tsentr po problemam
informatizatsii sfery kul'tury Ministerstva kul'tury RF, Gosudarstvennaya Tret'yakovskaya galereya. - M.,
2001. - S. 13~15~1 - 13~15~4. - (EVA'2001 Moskva. Elektronnye izobrazheniya i vizual'nye iskusstva).
5. Nyun'kin K.M. Sistema raspoznavaniya zhestov // Programmnye produkty i sistemy. – 2004. – №1. – S. 30-35.
6. Gupta D. Computer Gesture Recognition: Using the Constellation Method. // Caltech Undergraduate
Research Journal, 2001, vol.1, N1. - pp.26-31.
Шевченко Е.А., Ручкин К.А.
«Искусственный интеллект» 2014 № 2 94
3Ш
В
7. Bretzner L., LaptevI., Lindeberg T. Hand Gesture Recognition using Multi-Scale Colour Features,
Hierarchical Models and Particle Filtering. // Proc. of the 5th Int. Conf. on Automatic Face and Gesture
Recognition, 2002.
8. McKenna S., Gong S. Gesture Recognition for Visually Mediated Interaction using Probabilistic Event
Trajectories. // Proc. of BMVC'98, 14-17 September 1998, Southampton, England.
9. Pol'zovatel'skie interfeysy elektronnyh uchebnikov [Electronic resourse] / Internet-resurs. - Rezhim
dostupa : www/ URL: http://treningionline.com/for-tutors/manuals/interfeisy-elektronnyh-uchebnikov-
?start=7. - Zagl. s ekrana.
RESUME
E.A. Shevchenko, К.А. Ruchkin
Designing Multi-Level Structure of Sign Interface
Currently in the process of learning the learner besides textual information is
frequently confronted with the huge volume of heterogeneous multimedia information.
This information includes pictures, video and audio clips, flash animation and three-
dimensional models. Having this information makes certain student unions, sets the right
mood, helps to quickly grasp the essence of the field that he is studying, and ultimately
increases the amount of memorized material. However, the greatest effect while delivering
such training in which there is an interactive component. The emergence of a large number
of interactive tutorials, interactive labs, interactive games, etc. confirms this trend.
Particularly successful in this area develop the technology of human computer interaction
using sign language. Development and use of sign interface in interactive multimedia
training tools will be devoted to this work.
The aim of this work is to design a multi-level sign -oriented interface to work with
interactive multimedia material (interactive electronic textbooks).
To achieve this goal it is necessary to solve the following tasks: to analyze the
current state of the problem, analyze the elements of a typical interface to work with
multimedia content, consider usability and ergonomics sign interface design layered
gestural interface for interactive multimedia content.
Статья поступила в редакцию 03.04.2014.
|
| id | nasplib_isofts_kiev_ua-123456789-85256 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1561-5359 |
| language | Russian |
| last_indexed | 2025-12-01T08:33:56Z |
| publishDate | 2014 |
| publisher | Інститут проблем штучного інтелекту МОН України та НАН України |
| record_format | dspace |
| spelling | Шевченко, Е.А. Ручкин, К.А. 2015-07-23T12:50:23Z 2015-07-23T12:50:23Z 2014 Проектирование структуры многоуровневого жестового интерфейса / Е.А. Шевченко, К.А. Ручкин // Искусственный интеллект. — 2014. — № 2. — С. 85–94. — Бібліогр.: 9 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/85256 004.932.751 В данной работе проводятся исследования по построению системы распознавания жестов для интерактивного человеко-компьютерного взаимодействия в процессе обучения. Рассматривается задача разработки структуры жестового интерфейса и используемых жестов с учетом специфики использования. Предложенный жестовый интерфейс основан на взаимодействии с контекстом изучаемого материала и имеет многоуровневую структуру. Изучены вопросы эргономики и юзабилити используемых жестов в жестовом интерфейсе. Приведен пример набора жестов для данной жестовой системы. У даній роботі проводяться дослідження з побудови системи розпізнавання жестів для інтерактивного людино-комп’ютерної взаємодії в процесі навчання. Розглядається задача розробки структури жестового інтерфейсу і жестів, що використовуються з урахуванням специфіки використання. Запропонований жестовий інтерфейс заснований на взаємодії з контекстом досліджуваного матеріалу і має багаторівневу структуру. Вивчено питання ергономіки і юзабіліті використовуваних жестів в жестовому інтерфейсі. Наведено приклад набору жестів для даної жестової системи. In this paper, studies on the construction of gesture recognition for interactive human-computer interaction in the learning process. The problem of developing the structure of the interface and use of sign gestures specific to use. Proposed gestural interface based on interaction with the context of the studied material and has a layered structure. Studied ergonomics and usability of gestures used in sign-interface. An example of a set of gestures for this gesture system. ru Інститут проблем штучного інтелекту МОН України та НАН України Искусственный интеллект Анализ и синтез коммуникационной информации Проектирование структуры многоуровневого жестового интерфейса Проектування структури багаторівневого жестового інтерфейсу Designing multi-level structure of sign interface Article published earlier |
| spellingShingle | Проектирование структуры многоуровневого жестового интерфейса Шевченко, Е.А. Ручкин, К.А. Анализ и синтез коммуникационной информации |
| title | Проектирование структуры многоуровневого жестового интерфейса |
| title_alt | Проектування структури багаторівневого жестового інтерфейсу Designing multi-level structure of sign interface |
| title_full | Проектирование структуры многоуровневого жестового интерфейса |
| title_fullStr | Проектирование структуры многоуровневого жестового интерфейса |
| title_full_unstemmed | Проектирование структуры многоуровневого жестового интерфейса |
| title_short | Проектирование структуры многоуровневого жестового интерфейса |
| title_sort | проектирование структуры многоуровневого жестового интерфейса |
| topic | Анализ и синтез коммуникационной информации |
| topic_facet | Анализ и синтез коммуникационной информации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/85256 |
| work_keys_str_mv | AT ševčenkoea proektirovaniestrukturymnogourovnevogožestovogointerfeisa AT ručkinka proektirovaniestrukturymnogourovnevogožestovogointerfeisa AT ševčenkoea proektuvannâstrukturibagatorívnevogožestovogoínterfeisu AT ručkinka proektuvannâstrukturibagatorívnevogožestovogoínterfeisu AT ševčenkoea designingmultilevelstructureofsigninterface AT ručkinka designingmultilevelstructureofsigninterface |