Параметризация движений кисти руки человека для моделирования дактилем

Розглянуто підхід до дослідження рухів пальців руки людини з метою побудови специфікацій жестів дактильної жестової мови. Запропоновано інформаційно-параметричну модель кисті руки людини для опису можливих рухів при дактилировании елементів жестової мови. Досліджено дактильні абетки десяти жестових...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2011
Hauptverfasser:	Кривонос, Ю.Г., Крак, Ю.В., Барчукова, Ю.В., Троценко, Б.А.
Format:	Artikel
Sprache:	Russian
Veröffentlicht:	Інститут кібернетики ім. В.М. Глушкова НАН України 2011
Schriftenreihe:	Проблемы управления и информатики
Schlagworte:	Роботы и системы искусственного интеллекта
Online Zugang:	https://nasplib.isofts.kiev.ua/handle/123456789/207386
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:	Параметризация движений кисти руки человека для моделирования дактилем / Ю.Г. Кривонос, Ю.В. Крак, Ю.В. Барчукова, Б.А. Троценко // Проблемы управления и информатики. — 2011. — № 6. — С. 134–143. — Бібліогр.: 17 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-207386
record_format	dspace
spelling	irk-123456789-2073862025-10-07T00:18:14Z Параметризация движений кисти руки человека для моделирования дактилем Параметризація рухів кисті руки людини для моделювання дактилем Human Hand Movement Parametrization for Dactilemes Modeling Кривонос, Ю.Г. Крак, Ю.В. Барчукова, Ю.В. Троценко, Б.А. Роботы и системы искусственного интеллекта Розглянуто підхід до дослідження рухів пальців руки людини з метою побудови специфікацій жестів дактильної жестової мови. Запропоновано інформаційно-параметричну модель кисті руки людини для опису можливих рухів при дактилировании елементів жестової мови. Досліджено дактильні абетки десяти жестових мов, проведено порівняльний аналіз їх подібності і відмінності. Наведено приклад навчальної програми для української дактильної жестової абетки, реалізованої з використанням технології .Net і Windows Presentation Foundation компанії Microsoft. An approach to the study of fingers movements to build specifications of fingerspelling units of sign language is studied. An informational-parametric model of the hand that describes the possible motions in fingerspelling process of sign language is proposed. Ten fingerspelling alphabets of sign languages are researched, and a comparative analysis in terms of their similarities and differences in building movements is carried out. An example of the training program for Ukrainian fingerspelling alphabet developed using the technology .Net and Windows Presentation Foundation of Microsoft is proposed. 2011 Article Параметризация движений кисти руки человека для моделирования дактилем / Ю.Г. Кривонос, Ю.В. Крак, Ю.В. Барчукова, Б.А. Троценко // Проблемы управления и информатики. — 2011. — № 6. — С. 134–143. — Бібліогр.: 17 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/207386 004.9 10.1615/JAutomatInfScien.v43.i12.10 ru Проблемы управления и информатики application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Russian
topic	Роботы и системы искусственного интеллекта Роботы и системы искусственного интеллекта
spellingShingle	Роботы и системы искусственного интеллекта Роботы и системы искусственного интеллекта Кривонос, Ю.Г. Крак, Ю.В. Барчукова, Ю.В. Троценко, Б.А. Параметризация движений кисти руки человека для моделирования дактилем Проблемы управления и информатики
description	Розглянуто підхід до дослідження рухів пальців руки людини з метою побудови специфікацій жестів дактильної жестової мови. Запропоновано інформаційно-параметричну модель кисті руки людини для опису можливих рухів при дактилировании елементів жестової мови. Досліджено дактильні абетки десяти жестових мов, проведено порівняльний аналіз їх подібності і відмінності. Наведено приклад навчальної програми для української дактильної жестової абетки, реалізованої з використанням технології .Net і Windows Presentation Foundation компанії Microsoft.
format	Article
author	Кривонос, Ю.Г. Крак, Ю.В. Барчукова, Ю.В. Троценко, Б.А.
author_facet	Кривонос, Ю.Г. Крак, Ю.В. Барчукова, Ю.В. Троценко, Б.А.
author_sort	Кривонос, Ю.Г.
title	Параметризация движений кисти руки человека для моделирования дактилем
title_short	Параметризация движений кисти руки человека для моделирования дактилем
title_full	Параметризация движений кисти руки человека для моделирования дактилем
title_fullStr	Параметризация движений кисти руки человека для моделирования дактилем
title_full_unstemmed	Параметризация движений кисти руки человека для моделирования дактилем
title_sort	параметризация движений кисти руки человека для моделирования дактилем
publisher	Інститут кібернетики ім. В.М. Глушкова НАН України
publishDate	2011
topic_facet	Роботы и системы искусственного интеллекта
url	https://nasplib.isofts.kiev.ua/handle/123456789/207386
citation_txt	Параметризация движений кисти руки человека для моделирования дактилем / Ю.Г. Кривонос, Ю.В. Крак, Ю.В. Барчукова, Б.А. Троценко // Проблемы управления и информатики. — 2011. — № 6. — С. 134–143. — Бібліогр.: 17 назв. — рос.
series	Проблемы управления и информатики
work_keys_str_mv	AT krivonosûg parametrizaciâdviženijkistirukičelovekadlâmodelirovaniâdaktilem AT krakûv parametrizaciâdviženijkistirukičelovekadlâmodelirovaniâdaktilem AT barčukovaûv parametrizaciâdviženijkistirukičelovekadlâmodelirovaniâdaktilem AT trocenkoba parametrizaciâdviženijkistirukičelovekadlâmodelirovaniâdaktilem AT krivonosûg parametrizacíâruhívkistírukilûdinidlâmodelûvannâdaktilem AT krakûv parametrizacíâruhívkistírukilûdinidlâmodelûvannâdaktilem AT barčukovaûv parametrizacíâruhívkistírukilûdinidlâmodelûvannâdaktilem AT trocenkoba parametrizacíâruhívkistírukilûdinidlâmodelûvannâdaktilem AT krivonosûg humanhandmovementparametrizationfordactilemesmodeling AT krakûv humanhandmovementparametrizationfordactilemesmodeling AT barčukovaûv humanhandmovementparametrizationfordactilemesmodeling AT trocenkoba humanhandmovementparametrizationfordactilemesmodeling
first_indexed	2025-10-07T01:12:53Z
last_indexed	2025-10-08T01:07:34Z
_version_	1845373859813916672
fulltext	© Ю.Г. КРИВОНОС, Ю.В. КРАК, Ю.В. БАРЧУКОВА, Б.А. ТРОЦЕНКО, 2011 134 ISSN 0572-2691 РОБОТЫ И СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА УДК 004.9 Ю.Г. Кривонос, Ю.В. Крак, Ю.В. Барчукова, Б.А. Троценко ПАРАМЕТРИЗАЦИЯ ДВИЖЕНИЙ КИСТИ РУКИ ЧЕЛОВЕКА ДЛЯ МОДЕЛИРОВАНИЯ ДАКТИЛЕМ Введение Интеграция в общество людей с нарушениями слуха означает предоставление им прав, реальных и равных возможностей участвовать во всех видах и формах об- щественных отношений наравне со всеми членами общества [1]. Информатизация общества, где компьютерные технологии занимают все большее место в жизни каждого человека, открывает новые возможности для реализации прав людей с не- достатками слуха на полноценное образование и социальное развитие. Одним из средств коммуникации таких людей между собой и с другими людьми есть жесто- вый язык, который изучается в специализированных школах. Обучение жестовому языку осуществляется с использованием словесных описаний жестов, фотоизобра- жений жестов, видеословарей. Также ведутся разработки интернет-технологий, с помощью которых возможно просматривать набор фотоматериалов [2–4] и ви- деословарей [5, 6]. Современные компьютерные технологии позволяют развивать новые подходы к передаче (визуализации) информации на жестовом языке, а имен- но — моделирование трехмерных персонажей и анимацию движений [7]. Основными каналами передачи информации в жестовом языке являются: по- ложение тела, жесты рук, пантомимика, скорость показа жеста и другие невер- бальные характеристики. Эти компоненты играют важную роль при построении реалистичной трехмерной модели человека для правильной передачи нужной ин- формации, т.е. таким образом, чтобы процесс визуализации был близким к факти- ческому процессу общения на жестовом языке. Детальное изучение каждого ком- понента жестовой речи улучшает имеющиеся технологии в данной области, а также является основой для решения обратной задачи — распознавание жестов. Системы распознавания жестов базируются, в основном, на использовании спе- циальных устройств [8] или на учете специфических характеристик жеста, например цветных маркеров, цвета кожи, движения в кадре, особенности формы жеста и др. Такой подход рассматривается в работе [9] при получении изобра- жения с веб-камеры и использовании цветной перчатки для распознавания дак- тилем. В открытой библиотеке OpenCV [10] приведена реализация поиска объ- екта по шаблону, который, в частности, позволяет эффективно проводить поиск руки на изображении. Для правильного понимания жестовой информации необходимо детальное изучение процесса построения жестовой речи и синтеза ее элементов. Описание движений человека для таких целей — довольно сложная задача с большой долей неопределенности относительно знаний о строении человеческого тела и его фи- зиологии. Данная работа посвящена исследованию дактилем как базовых компонентов жестовых единиц, поскольку они используются для обозначения имен, названий, Международный научно-технический журнал «Проблемы управления и информатики», 2011, № 6 135 слов, для которых не существует жестов; дактилемы изучают вначале каждого курса жестового языка, поскольку формы кисти руки, построенные в процессе дактилирования, — основа для отображения большинства жестов [11]. Для описания жеста имеется несколько различных систем нотации жес- тов [12–14], которые позволяют определять жест в той или иной форме. Одна из первых систем нотации жестов приведена в работе [12], на базе которой разрабо- таны другие системы для более наглядного описания жестов. Для американского жестового языка создана система SignWriting [15]. Знаки в этой системе описы- вают мимику, движения рук и тела и записываются сверху вниз. SignWriting бази- руется на иконическом представлении жестов. Наиболее широкое распростране- ние получила система HamNoSys [16], которая включает в себя разнообразные графические обозначения, ее можно использовать в различных компьютерных приложениях, поскольку ее знаки переведены в систему кодировки Unicode. Следует отметить, что для задачи параметризации движений руки человека при моделировании дактилем данные системы избыточны и не позволяют прове- сти структурный анализ жеста. Поэтому ставится задача построения такой систе- мы спецификаций, которая позволила бы исследовать процесс построения жестов с точки зрения формализации движений для задач моделирования трехмерной модели кисти руки. В дальнейшем знания о структуре жестов, конфигурации руки послужат основой для выделения признаков при построении алгоритмов распо- знавания жестов. Постановка задачи Задача заключается в том, чтобы на основе текстового описания дактилемы, ее изображения (фото, видео) получить полную информацию о жесте, который требуется отобразить на трехмерной модели кисти руки человека, а также по- строить классификацию основных параметров кисти руки для однозначной идентификации жеста. В данной работе основное внимание уделяется исследо- ванию движений пальцев рук человека при дактилировании азбуки жестового языка. Сложность задачи состоит в том, что вербальное описание дактилем, их фотографическое и видеоизображение не передают пространственную структуру, и, следовательно, возникает сложность определения положений пальцев в закры- тых и сложных позициях. Поэтому нужно получить такое описание дактилем, ко- торое позволило бы однозначно определять как положение пальцев руки, так и дактилему. Другая сложность заключается в том, что каждый человек-носитель жестового языка, в силу своего понимания вербального описания жестов, изучает и осваивает язык не однозначным образом, а добавляет свой «диалект» к жестам. Отсюда возникает проблема определения некоторого правильного стандартного воспроизведения дактилем. В этой связи существует необходимость создания та- кой модели руки и анимации дактилем, которые соответствовали бы установлен- ным нормам дактилирования. При построении информационно-параметрической модели руки человека важно учитывать эти особенности и одновременно прене- брегать несущественными признаками при отображении дактилем. Например, уровень изогнутости пальца может быть разным у каждого человека при показе одной и той же дактилемы, но это не означает, что существует такое количество вариантов показа одной и той же дактилемы. Следовательно, задача заключается в том, чтобы на основе формального описания дактилемы получить ее компью- терное представление в виде анимации трехмерной модели руки человека, клас- сифицировать основные параметры кисти руки при построении дактилем для за- дач моделирования и распознавания жестов по ключевым характеристикам. На основе исследований разработать компьютерные технологии для обучения дак- тильному жестовому языку. 136 ISSN 0572-2691 Формализация дактилем на основе естественных характеристик У. Стокоу (W. Stokoe) выделил три главных компонента, из которых состоит каждый жест: конфигурация, пространственное положение и движение [12]. Су- ществуют и другие классификации структуры жеста, где те или иные характери- стики жеста объединяются в различные классы. Так, в работе [14] приведена классификация каждого жеста по двум основным компонентам: конфигурации и движению (здесь пространственное положение считается одним из характеристик движения). Задача спецификации структуры жеста заключается в выделении связей меж- ду компонентами жеста. Анализ данных компонентов позволяет разработать си- стему формализации, с помощью которой возможна однозначная, информативная и достаточно точная фиксация жеста. На базе классификации [12] для формализации дактилем выделено три ос- новных параметра: а) конфигурация пальцев руки; б) ориентация руки в про- странстве; в) характер движения. Что касается пространственного положение ру- ки, то предполагается, что при дактилировании рука согнута в локтевом суставе и поднята вверх, локоть прижат к туловищу, кисть руки находится на уровне клю- чицы, сбоку от лица [17]. Поскольку исследования проводятся в контексте задачи компьютерного моделирования, особое внимание уделяется конфигурации кисти руки, в силу того, что в процессе построения трехмерной модели руки человека главным является определение правильной конфигурации пальцев руки, а затем ориентации руки в пространстве и анимация движения. Конфигурация пальцев — это множество следующих параметров: набор пальцев, задействованных в построении дактилемы; конфигурация пальцев (уро- вень наклона, изогнутости); взаимное расположение относительно друг друга. Таким образом, каждая дактилема схематически определяется посредством структуры, приведенной на рис. 1. Дактилема  Конфигурация пальцев  Ориентация руки  Движение Ґ    П    Движение отсутствует Рис. 1 Для эффективного представления формального описание дактилем создана информационно-параметрическая модель, которая отображается в виде таблиц спецификаций жестовых единиц. Не уменьшая общности, процесс построения информацинно-параметричес- кой модели визуализации дактилем продемонстрируем на украинской дактильной азбуке. Украинская дактильная азбука (UA) состоит из 33 дактилем. В соответ- ствии с введенными параметрами можно определить, что 24 дактилемы (из 33) имеют различную конфигурацию пальцев (А, Б, В, Г, Е, Є, Ж, З, И, І, Л, М, Н, О, П, Р, С, Т, У, Ф, Х, Ч, Ю, Я), остальные 9 имеют аналогичную конфигурацию Международный научно-технический журнал «Проблемы управления и информатики», 2011, № 6 137 пальцев и отличаются от предыдущих ориентацией руки (например, Ш) и (или) движением (например Ь, Ї, К). Пример дактилем с одинаковой конфигурацией пальцев, но различной ориентацией руки в пространстве и движением приведен на рис. 2. Для полноты исследования рассмотрено десять дактильных азбук различных жестовых языков, подобную структуру имеют и другие жестовые дактильные азбуки. Дактилемы Конфигурация руки П – Ц – Д Рис. 2 Информационно-параметрическая модель дактилем Информационно-параметрическая модель дактилемы — это упорядоченная тройка },,,{ MOK где параметр K описывает конфигурацию пальцев, O — ори- ентацию руки в пространстве, М — движение. Параметр K — упорядоченная шестерка },,,,,,{ 54321 cfffff где параметры ,if ,5,1i описывают конфигу- рации каждого пальца отдельно, а именно: 1f — конфигурация большого пальца, 2f — указательного, 3f — среднего, 4f — безымянного, 5f — конфигурация мизинца, c — взаимное расположение пальцев (за исключением большого), ко- торые используются для построения дактилемы. Значение параметра 1f (большой палец) указано в табл. 1. Параметры ,if ,5,2i изменяются в следующих пределах: ],[yxfi  ,5,2i где ],1,0[x ].1,0[y Здесь x — уровень наклона i-го пальца относительно ровного состоя- ния ),1( x y — уровень изогнутости пальца (параметр y может отсутствовать в описании). Таблица 1 Значение f1 Описание Пример (дактильная азбука) 1 Ровно А (украинская) 2 – Отклоняется в плоскости ладони на  градусов Г (украинская) 3 – 1 Поверх кулака (или поверх нескольких пальцев) Я, І (украинская) 3 – 2 Поверх указательного пальца R (шведская) 3 – 3 Поверх среднего пальца Р (украинская) 3 – 4 Поверх безымянного пальца Н (украинская) 3 – 5 Поверх мизинца Т (украинская) 4 В середине кулака (на ладони) В, Х (украинская) 5 – 0 Образует дугу с другими пальцами (не замкнутую) С (украинская) 5 – 1 Образует дугу с другими пальцами (замкнутую) О (украинская) 5 – 2 Образует перекрест с пальцами Т (польская) 6 Горизонтально, подпирает пальцы Е (американская) 7 – 3 Подушечкой упирается на средний палец T (американская) 7 – 4 Подушечкой упирается на безымянный палец N (американская) 7–5 Подушечкой упирается на мизинец M (американская) 8 Параллельно плоскости ладони K (американская) 138 ISSN 0572-2691 Параметр c определяется следующим образом:             .плоскостяхразныхвсмещаютсяпальцыесли4, другого,поверходиннаходятсяпальцыесли3, другу,кдругяприкасаютснепальцыесли2, другу,кдругприжатыиливверхровноподнятыпальцыесли,1 вовсе,анызадействовнеили одинанзадействованимациивпальцевчетырехизесли,0 c Ровное состояние )1,1 ,1 ,5,2( 1  cffi i соответствует конфигура- ции, когда все пальцы выпрямлены и находятся в плоскости ладони (например, дактилема «В»). При закрытом состоянии )0,1,0,5,2( 1  cffi i пальцы согнуты в кулак (например, дактилема «А»). Пример определения спецификаций для конфигурации пальцев руки приве- ден в табл. 2. Таблица 2 Дактилема 5f 4f 3f 2f 1f c Конфигурация У 1 0 0 0 2 – 45 2 А 0 0 0 0 3 – 1 0 І 1 0 0 0 3 – 1 0 С 0,2 [0,2] 0,2 [0,2] 0,2 [0,2] 0,2 [0,2] 5 – 0 1 Параметр O — упорядоченная тройка },,,{  где  ,, — углы поворота руки в пространстве относительно начального состояния. Под начальным состоянием понимается ориентация руки }0,0,0{ O — тыльной стороной ладони к собеседнику. Например, при показе дактилемы «В» рука поворачивается на угол ,180 т.е. ладонью к собеседнику. Параметр M описывает характер движения. На данном этапе построения спе- цификации параметр движения определяется следующим образом:           другой.кпальцевииконфигурацоднойотпереход4, поворот,ве,пространствсмещение3, характера,огоописательндвижение2, руки,частьюетсяосуществлядвижение1, т,отсутствуедвижение,0 M На основе определенных параметров построена таблица спецификаций с 12 параметрами для украинской дактильной азбуки, пример которой приведен в табл. 3. Международный научно-технический журнал «Проблемы управления и информатики», 2011, № 6 139 Таблица 3 Язык Дактилема 5f 4f 3f 2f 1f c    M Украинский И 1 1 0 0 3–1 2 180 0 0 0 Данные описания информативны и довольно просты для восприятия в кон- тексте моделирования движений и позволяют построить спецификации для дру- гих дактильных азбук. Анализ дактилем с помощью системы спецификаций С помощью данного подхода к формализации дактилем украинской дак- тильной азбуки исследованы следующие дактильные азбуки: русская (RU), польская (PL), греческая (GR), американская (US), немецкая (DE), француз- ская (FR), испанская (ES), японская (JP), шведская (SE). Построены таблицы спе- цификаций для указанных жестовых азбук, и каждая их них исследована на пред- мет наличия уникальных конфигураций. В табл. 4 приведены результаты поиска уникальных конфигураций для каждой дактильной азбуки. Таблица 4 Дактильная азбука Количество повторяю- щихся конфигураций Количество уникальных конфигураций Общее количество конфигураций UA 9 24 33 US 3 23 26 PL 13 19 32 RU 9 24 33 DE 7 23 30 FR 5 21 26 SE 9 20 29 JP 20 26 46 ES 10 20 30 GR 4 20 24 Для выявления общих характеристик среди различных дактилем (в том числе и среди разных дактильных азбук) проведен сравнительный анализ украинской дактильной азбуки с другими азбуками по полученным спецификациям. Сравни- вались определенные ранее параметры конфигурации пальцев руки. При этом ориентация руки в пространстве и движение не учитывались, поскольку любая дактилема может быть образована построением конфигурации пальцев и опреде- лением конкретной ориентации руки в пространстве и добавлением движения. На рис. 3 показано количество уникальных конфигураций в конкретном язы- ке и количество конфигураций, совпадающих с 24 уникальными конфигурациями украинской дактильной азбуки. 0 5 10 15 20 25 30 Количество конфигураций Количество совпадений US PL RU DE FR SE JP ES GR Рис. 3 140 ISSN 0572-2691 Также проведен сравнительный анализ каждой из этих дактильных азбук попар- но. Каждой конфигурации соответствует конфигурация из определенной дактильной азбуки (если такая конфигурация имеется в данной азбуке), как указано на рис. 4. Конфигурация Азбука, конфигурация MO  Дактилема Азбука, конфигурация Рис. 4 Всего исследовано 309 дактилем. Из 220 конфигураций пальцев (сумма су- ществующих уникальных конфигураций в каждом рассмотренном дактильном алфавите), которые определяют все дактилемы десяти жестовых языков, уникаль- ными являются 59 конфигураций (обозначим это множество через U ). Отсюда следует, что любую дактилему из рассмотренных дактильных алфавитов можно однозначным образом получить из множества U, изменив ориентацию руки в пространстве и (или) добавив движение. Для эффективного процесса идентификации дактилем построена таблица ви- зуализации полученных результатов. Каждая конфигурация имеет свое обозначе- ние и описание, что позволяет быстро и эффективно проводить поиск конфигура- ции (дактилемы), сравнение дактилем и определять принадлежность той или иной дактилемы к классу уже определенных конфигураций. В табл. 5 представлен спи- сок из 14 наиболее распространенных кон- фигураций, которые встречаются в иссле- дованных дактильных азбуках. Отметим, что в данном сравнении не учитывается число дактилем, которые можно получить по определенной конфигурации. Отсюда следует, что существует такое множество конфигураций пальцев руки, из которого можно построить дактилему пу- тем изменения ориентации руки (если тре- буется) и (или) добавлением движения, а также смены конфигурации руки (как элемент движения). Полученное множество из 59 конфигураций может использоваться для описания исследованных дактильных азбук. Множество U можно расширять, до- бавляя новые конфигурации. Программная реализация процесса моделирования трехмерной модели руки и анимация процесса дактилирования Для обучения дактильной азбуке разработана информационная технология, которая имплементирует трехмерную модель кисти руки человека, основанной на построенной информационно-параметрической модели. Использование трехмер- ной модели позволяет наблюдать за рукой с разных сторон, в том числе в процес- се дактилирования. Программная реализация «Украинская дактильная азбука» данной информационной технология разработана с использованием технологии .Net и Windows Presentation Foundation компании Microsoft. Благодаря новому подходу к построению компьютерных интерфейсов технологии WPF, которая ба- Таблица 5 Язык Дактилема Количество азбук, в которых конфигурация встречается UA Л 10 UA М 10 UA Я 10 UA Е 9 UA Г 9 UA А 8 UA І 8 UA П 8 US D 8 UA С 7 UA В 6 UA Ж 6 US В 6 UA О 6 Международный научно-технический журнал «Проблемы управления и информатики», 2011, № 6 141 зируется на технологии отображения графических данных DirectX, программная реализация (далее программа) использует эффекты полупрозрачности, различные анимации появления и исчезновения элементов управления, что делает процесс обучения более удобным, поскольку пользователями программы являются также дети раннего школьного возраста. На рис. 5 изображено главное окно программы «Украинская дактильная азбука» 9 8 1 2 3 4 5 6 7 Рис. 5 Примечание: 1 — область показа дактилем; 2 — панель отображения прогресса вос- произведения дактилемы или слова, 3 — панель ввода слов для дактилирования; 4 — спи- сок дактилем; 5 — кнопка «показать», при нажатии происходит дактилирование введенно- го слова; 6 — панель для вывода словесного описания конфигурации руки, что соответ- ствует текущей дактилеме; 7 — панель с рисунком, соответствует текущей дактилеме; 8 — индикатор положения поворота руки, 9 — режимы скорости произнесения дактилем. В программе реализовано изменение угла обзора за рукой, что позволяет рас- смотреть процесс дактилирования в пространстве. Смена угла обзора происходит с помощью «мыши». Углу наблюдения соответствует визуальный элемент (8), ко- торый изменяет свое положение вместе с углом, что позволяет определять, как именно показывается рука: прямо, слева или справа (рис. 6) Каждой дактилеме соответствует набор слов, в которых содержится данная буква. Эта буква и слово в виде картинки отображаются в программе на пане- ли (7) при дактилировании буквы. Примеры соответствия конфигурации руки, буквы и картинки для дактилем «О» и «Б» соответственно приведены на рис 7. Такая комбинация визуализации процесса дактилирования повышает уровень за- поминания у детей, которые изучают азбуку данным образом. Рис. 6 142 ISSN 0572-2691 О Огурец Б Белка Рис. 7 Словесное описание процесса дактилирования каждой дактилемы показано в отдельном окне (6). Показ дактилем проводится с помощью выделения опреде- ленной дактилемы из списка (4) «мышкой» либо нажатием на клавиатуре буквы, которая соответствует выбранной дактилеме. При необходимости повтора — нажать пробел. Данная функция позволяет выполнять интерактивное обучение дактильной азбуке, когда права рука (обучаемая) находится в свободном положе- нии, а левая осуществляет взаимодействие с программой. Для удобства изучения дактилем в программе предусмотрен анимированный элемент управления пере- ключения скорости дактилирования (9). Есть возможность установить медлен- ный, нормальный и быстрые режимы показа дактилем. Предусмотрена функция дактилирования слова: его нужно ввести в текстовое поле ввода (3). Данная возможность помогает не только изучать отдельные буквы, а и обучаться самому процессу показа слов. В программе существует возмож- ность «спрятать» панели словесного описания дактилемы и панель ее идентифи- кации, что позволяет проводить проверку знаний учеников. На основе данной ин- формационной технологии можно создавать обучающие программы для любой одноручной дактильной азбуки. На данный момент разработаны программы для украинской, русской, польской и американской дактильных азбук. Заключение При анализе дактилем десяти дактильных алфавитов выделены основные параметры кисти руки, которые характеризируют процесс построения дактилем. На основе данных характеристик построена информационно-параметрическая модель, с помощью которой можно формализовать процесс построения жестов кисти руки. Полученная информационно-параметрическая модель дактилем позволяет эффективно строить спецификации для дактильних алфавитов разных жестовых языков. Благодаря созданным спецификациям выделены основные за- кономерности построения дактильных жестовых единиц и разработана система классификации дактилем по конфигурации пальцев руки, ориентации руки и дви- жению. Созданная база данных уникальных конфигураций позволяет эффективно выполнять процесс поиска и идентификации дактилем. Данные исследования способствует разработкам компьютерных технологий обучения дактильному же- стовому языку. Построение спецификаций дактильных алфавитов разных жесто- вых языков и их сравнительный анализ служат основой для таких разработок. Информационная технология имплементации трехмерной модели кисти руки человека подтвердила свою эффективность в процессе обучения украинскому дактильному жестовому языку. Универсальность данных разработок позволяет создавать обучающие программы различных дактильных азбук. Международный научно-технический журнал «Проблемы управления и информатики», 2011, № 6 143 Ю.Г. Кривонос, Ю.В. Крак, Ю.В. Барчукова, Б.А. Троценко ПАРАМЕТРИЗАЦІЯ РУХІВ РУКИ ЛЮДИНИ ДЛЯ МОДЕЛЮВАННЯ ДАКТИЛЕМ Розглянуто підхід до дослідження рухів пальців руки людини з метою побудо- ви специфікацій жестів дактильної жестової мови. Запропоновано інформацій- но-параметричну модель кисті руки людини для опису можливих рухів при дак- тилюванні елементів жестової мови. Досліджено дактильні абетки десяти жес- тових мов, проведено порівняльний аналіз їх подібності і відмінності. Наведено приклад навчальної програми для української дактильної жестової абетки, реа- лізованої з використанням технології .Net і Windows Presentation Foundation компанії Microsoft. Yu.G. Krivonos, Yu.V. Krak, Yu.V. Barchukova, B.A. Trotsenko HUMAN HAND MOVEMENT PARAMETRIZATION FOR DACTILEMES MODELING An approach to the study of fingers movements to build specifications of finger- spelling units of sign language is studied. An informational-parametric model of the hand that describes the possible motions in fingerspelling process of sign language is proposed. Ten fingerspelling alphabet of sign languages are researched and a com- parative analysis in terms of their similarities and differences in building movements are carried out. An example of the training program for Ukrainian fingerspelling al- phabet developed by using the technology .Net and Windows Presentation Founda- tion of Microsoft is proposed. 1. Евсеев С.П., Шапков Л.В. Адаптивная физическая культура: Уч. пособие. — М. : Сов. спорт, 2000. — 240 с. 2. Spreadthesign («Распространим жест»). — http://www.spreadthesign.com. 3. FingerSpell FlashCards. — http://fingerspell.sierra-charlie.com. 4. Дактиль, Язык жестов. — http://www.dacktil.ru/. 5. Сурдосервер. — http://surdoserver.ru/. 6. Handspeak. — http://www.handspeak.com. 7. Кривонос Ю.Г., Крак Ю.В., Бармак О.В. та ін. Інформаційна технологія для моделювання української мови жестів // Штучний інтелект. — 2009. — № 3. — С. 186–197. 8. Matthew Tang. Hand gesture recognition using microsoft’s kinect // Paper written for CS228: Winter. — 2010. — 12 p. 9. Крак Ю.В., Шкільнюк Д.В. Технологія розпізнавання елементів дактильно-жестової мови // Штучний інтелект. — 2009. — № 3. — С. 564–572. 10. Bradski G., Kaehler A. Learning OpenCV. — Beijing; Cambridge; Farnhaim; Köln; Sebastopol; Taipei; Tokyo : O’Reilly Media, 2008. — 555 p. 11. Flodin M. Signing illustrated : The complete learning guide. — New York : Perigee reference — the Berkley publ. group, 1994. — 288 p. 12. William C. Stokoe Jr. Sign language structure: An outline of the visual communication systems of the American deaf // J. of Deaf Education. — 2005. — 10, N 1. — P. 3–37. 13. Краєвський Р.Г. Мова жестів глухих. — Київ : Рад. шк., 1964. — 219 с. 14. Зайцева Г.Л. Жестовая речь. Дактилология. — М. : ВЛАДОС, 2000. — 192 с. 15. Sign Writing. — http://www.signwriting.org/. 16. Hamburg Notation System: HamNoSys. — http://www.sign-lang.uni-hamburg.de/projects/ hamnosys.html. 17. Кульбіда C. Українська дактилологія: Науково-метод. посібник. — Київ : Пед. думка, 2007. — 256 с. Получено 22.08.2011 http://www.spreadthesign.com/ http://fingerspell.sierra-charlie.com/ http://www.dacktil.ru/ http://surdoserver.ru/ http://www.handspeak.com/ http://www.signwriting.org/ http://www.sign-lang.uni-hamburg.de/projects/%0bhamnosys.html http://www.sign-lang.uni-hamburg.de/projects/%0bhamnosys.html

Параметризация движений кисти руки человека для моделирования дактилем

Institution

Ähnliche Einträge