Конструирование и идентификация элементов жестовой коммуникации
Запропоновано математичні моделі і інформаційну технологію конструювання рухів віртуального персонажа для відтворення жестової мови на основі отриманої множини жестових одиниць і переходів між ними. Реалізація відтворення рухів на віртуальній моделі дозволяє отримати анімацію жестової інформації у р...
Saved in:
| Published in: | Кибернетика и системный анализ |
|---|---|
| Date: | 2013 |
| Main Authors: | , , , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2013
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/86209 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Конструирование и идентификация элементов жестовой коммуникации / Ю.Г. Кривонос, Ю.В. Крак, А.В. Бармак, Д.В. Шкильнюк // Кибернетика и системный анализ. — 2013. — Т. 49, № 2. — С. 3-14. — Бібліогр.: 12назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860163053560004608 |
|---|---|
| author | Кривонос, Ю.Г. Крак, Ю.В. Бармак, А.В. Шкильнюк, Д.В. |
| author_facet | Кривонос, Ю.Г. Крак, Ю.В. Бармак, А.В. Шкильнюк, Д.В. |
| citation_txt | Конструирование и идентификация элементов жестовой коммуникации / Ю.Г. Кривонос, Ю.В. Крак, А.В. Бармак, Д.В. Шкильнюк // Кибернетика и системный анализ. — 2013. — Т. 49, № 2. — С. 3-14. — Бібліогр.: 12назв. — рос. |
| collection | DSpace DC |
| container_title | Кибернетика и системный анализ |
| description | Запропоновано математичні моделі і інформаційну технологію конструювання рухів віртуального персонажа для відтворення жестової мови на основі отриманої множини жестових одиниць і переходів між ними. Реалізація відтворення рухів на віртуальній моделі дозволяє отримати анімацію жестової інформації у режимі реального часу. Ефективність запропонованого підходу показано на прикладі моделювання і ідентифікації дактильної інформації.
The authors propose mathematical models and an information technology to construct movement of a virtual person and reproduce a sign language based on a set of gesture units and transitions between them. Motions implemented in a virtual model allow obtaining a real-time animation of sign information. The efficiency of the proposed approach is shown on the example of modeling and identification of dactyl information.
|
| first_indexed | 2025-12-07T17:55:37Z |
| format | Article |
| fulltext |
Þ.Ã. ÊÐÈÂÎÍÎÑ, Þ.Â. ÊÐÀÊ, À.Â. ÁÀÐÌÀÊ, Ä.Â. ØÊÈËÜÍÞÊ
ÓÄÊ 004.8 ÊÎÍÑÒÐÓÈÐÎÂÀÍÈÅ È ÈÄÅÍÒÈÔÈÊÀÖÈß
ÝËÅÌÅÍÒÎÂ ÆÅÑÒÎÂÎÉ ÊÎÌÌÓÍÈÊÀÖÈÈ
Êëþ÷åâûå ñëîâà: æåñòîâàÿ ðå÷ü, æåñòîâàÿ íîòàöèÿ, ìîäåëèðîâàíèå, ðàñ-
ïîçíàâàíèå æåñòîâîé ðå÷è.
ÂÂÅÄÅÍÈÅ È ÏÎÑÒÀÍÎÂÊÀ ÇÀÄÀ×È
Ðàññìàòðèâàåìàÿ â äàííîé ñòàòüå æåñòîâàÿ ðå÷ü (ÆÐ) ÿâëÿåòñÿ ñðåäñòâîì îáùåíèÿ
ëþäåé ñ íåäîñòàòêàìè ñëóõà êàê ìåæäó ñîáîé, òàê è ñ äðóãèìè ëþäüìè, â òîì
÷èñëå ñëûøàùèìè.  ÆÐ äëÿ ïåðåäà÷è èíôîðìàöèè èñïîëüçóþòñÿ âèçóàëüíî-êèíå-
òè÷åñêèå ñðåäñòâà (æåñòû ðóê, àðòèêóëÿöèÿ ãóá, ìèìè÷åñêèå ïðîÿâëåíèÿ ýìîöèé).
Íàïðèìåð, óêðàèíñêàÿ ÆÐ ñî÷åòàåò â ñåáå íåñêîëüêî ðàçíîâèäíîñòåé æåñòîâîé
êîììóíèêàöèè: äàêòèëüíóþ àçáóêó äëÿ ïåðåäà÷è áóêâ óêðàèíñêîãî àëôàâèòà,
à òàêæå äëÿ ïåðåäà÷è ñëîâ, ÿçûêîâûõ êîíñòðóêöèé è ñåìàíòè÷åñêèõ êîíöåïòîâ.
Äàêòèëüíàÿ àçáóêà (âîñïðîèçâîäÿùàÿ áóêâû ñ ïîìîùüþ ïàëüöåâ) âûïîëíÿåò âñïî-
ìîãàòåëüíóþ ôóíêöèþ (äëÿ ïåðåäà÷è èìåí, íàçâàíèé è ò.ä.).  ÆÐ êàæäîìó ñìûñ-
ëîâîìó ïîíÿòèþ ñîîòâåòñòâóåò îïðåäåëåííûé óíèêàëüíûé æåñòîâûé ýêâèâàëåíò.
Ñèñòåìà ÆÐ ïîäðàçäåëÿåòñÿ íà äâå ïîäñèñòåìû: íåïîñðåäñòâåííî ÆÐ è êàëüêèðó-
þùóþ ÆÐ. Êàëüêèðóþùàÿ ÆÐ ïîëíîñòüþ êîïèðóåò ðàçãîâîðíûé ÿçûê.
Îñíîâíîå, ÷òî îáúåäèíÿåò âñå æåñòîâûå ñèñòåìû îáùåíèÿ, — ýòî ñïîñîá ïå-
ðåäà÷è è âîñïðèÿòèå èíôîðìàöèè. Áàçîâîé ñìûñëîâîé åäèíèöåé çäåñü âûñòóïàåò
æåñò (âèçóàëüíî-êèíåòè÷åñêèé àêò), â êîòîðîì çàäåéñòâîâàíû ðóêè, ìèìèêà ëèöà
è àðòèêóëÿöèÿ ãóá. Êèíåòè÷åñêàÿ ïðèðîäà æåñòà è åãî âèçóàëüíîå âîñïðèÿòèå
ïðåäîïðåäåëÿþò îñîáåííîñòè ÆÐ: âîçìîæíîñòü îïðåäåëåííûì îáðàçîì ðàñïîëî-
æèòü æåñò â ïðîñòðàíñòâå, âûïîëíèòü îäíîâðåìåííî äâà æåñòà äâóìÿ ðóêàìè è ò.ä.
Ñïåöèôèêà óêðàèíñêîé ÆÐ (êàê è ðóññêîé, áåëîðóññêîé) çàêëþ÷àåòñÿ â òîì,
÷òî äèàëåêòû ðàçíûõ ðåãèîíîâ íåñêîëüêî îòëè÷àþòñÿ ìåæäó ñîáîé. Ñîâðåìåí-
íûå ñðåäñòâà âû÷èñëèòåëüíîé òåõíèêè, WEB-òåõíîëîãèé ïîçâîëÿò ïðåîäîëåòü
ýòè äèàëåêòè÷åñêèå ðàçëè÷èÿ. Äëÿ ýòîãî íåîáõîäèìû ñîâðåìåííûå òåõíîëî-
ãèè — ìóëüòèìåäèéíûå êîìïüþòåðíûå ñðåäñòâà äëÿ îïèñàíèÿ è âîñïðîèçâîä-
ñòâà ÆÐ. Äëÿ óêðàèíñêîé ÆÐ òàêèõ ñðåäñòâ íåò. Ïîýòîìó àêòóàëüíîé ïðîáëåìîé
ÿâëÿåòñÿ ñîçäàíèå ñîâðåìåííûõ òåõíîëîãèé íîòàöèè è âîñïðîèçâåäåíèÿ ÆÐ.
Ëåêñè÷åñêèå æåñòîâûå ýëåìåíòû è â ñàìîé ÆÐ, è â äàêòèëüíîé àçáóêå ôîð-
ìèðóþòñÿ ïðàêòè÷åñêè îäèíàêîâî è ìîãóò áûòü ôîðìàòèçèðîâàíû ñëåäóþùèì
îáðàçîì: ïî êîíôèãóðàöèè (ôèãóðà ðóêè èëè ðóê); ïî ìåñòó èñïîëíåíèÿ (ìåñòî
ïîëîæåíèÿ ðóêè â ìîìåíò âûïîëíåíèÿ æåñòà); ïî õàðàêòåðó äâèæåíèÿ (êàêèå
äâèæåíèÿ âûïîëíÿþò ðóêè). Òàêîå îïèñàíèå âïåðâûå ïðåäëîæåíî â ðàáîòå [1]
äëÿ àìåðèêàíñêîé ÆÐ (AMSLEN).
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2 3
� Þ.Ã. Êðèâîíîñ, Þ.Â. Êðàê, À.Â. Áàðìàê, Ä.Â. Øêèëüíþê, 2013
Äëÿ ïðàêòè÷åñêîãî ïðèìåíåíèÿ (âêëþ÷àÿ êîìïüþòåðíîå) ó÷åíûå ðàçðàáîòàëè
íåñêîëüêî ñèñòåì íîòàöèè, ÿâëÿþùèõñÿ íàãëÿäíûìè è â òî æå âðåìÿ óíèôèöèðî-
âàííûìè äëÿ áûñòðîãî ââîäà æåñòîâ â ñëîâàðü. Îäíà èç íàèáîëåå èçâåñòíûõ ñèñ-
òåì íîòàöèè — SignWriting [2], çíàêè â êîòîðîé ñèìâîëèçèðóþò ìèìèêó, äâèæå-
íèÿ ðóê, òåëà è ïèøóòñÿ ñâåðõó âíèç. Ýòà ñèñòåìà îòëè÷àåòñÿ áîëüøåé ïðîðàáî-
òàííîñòüþ è îäíîçíà÷íîñòüþ çàïèñè, îäíàêî ó íåå ÷ðåçâû÷àéíî áîëüøîé íàáîð
çíàêîâ (áîëåå òûñÿ÷è), ÷òî äåëàåò åå ìàëîïðèãîäíîé äëÿ ïðèìåíåíèÿ â êîìïüþòåð-
íûõ òåõíîëîãèÿõ (äàæå ñ èñïîëüçîâàíèåì âîçìîæíîñòåé Unicode-êîäèðîâàíèÿ).
Íà ïðàêòèêå áîëåå ïðåäïî÷òèòåëüíî èñïîëüçîâàòü ìåíüøåå êîëè÷åñòâî îò-
äåëüíûõ ñëó÷àåâ êîíôèãóðàöèè ðóêè, îïèñûâàÿ èõ êàê ïåðåìåííûå (íàïðèìåð,
êîëè÷åñòâî çàäåéñòâîâàííûõ ïàëüöåâ) ïðè îäíîé êîíñòàíòå (ôîðìå ëàäîíè). Òà-
êîìó òðåáîâàíèþ, íàïðèìåð, óäîâëåòâîðÿåò ñèñòåìà íîòàöèè æåñòîâ, ïðåäëîæåí-
íàÿ â [3]. Â ýòîé íîòàöèè âûäåëÿåòñÿ áîëåå 30 êîíôèãóðàöèé ðóê, îêîëî 50 õà-
ðàêòåðèñòèê ìåñòà âûïîëíåíèÿ æåñòà è áîëåå 70 õàðàêòåðèñòèê ëîêàëèçàöèè.
Çà ïîñëåäíèå ãîäû øèðîêîå ðàñïðîñòðàíåíèå ïîëó÷èëà ãàìáóðãñêàÿ ñèñòåìà
íîòàöèè HamNoSys (Hamburg Notation System) [4], ðàçðàáîòàííàÿ â êîíöå
XX âåêà â Ãåðìàíèè. Îíà îòëè÷àåòñÿ íàèáîëüøåé ïðîðàáîòàííîñòüþ è ïðèãîäíà
äëÿ èñïîëüçîâàíèÿ â êîìïüþòåðíûõ ïðîãðàììàõ, òàê êàê åå çíàêè ïåðåâåäåíû
â êîäèðîâêó Unicode ñ ñîîòâåòñòâóþùèìè êîìïüþòåðíûìè øðèôòàìè. Èíâåí-
òàðü HamNoSys ïîçâîëÿåò çàïèñàòü ïðàêòè÷åñêè ëþáîé æåñò, ÷òî äåëàåò ýòó
ñèñòåìó óíèâåðñàëüíîé è ïðèãîäíîé äëÿ ëþáîé ÆÐ ìèðà.
Îäíèì èç íàèáîëåå ýôôåêòèâíûõ ñðåäñòâ îáó÷åíèÿ è ÷åëîâåêî-ìàøèííîãî
âçàèìîäåéñòâèÿ ÿâëÿþòñÿ ìóëüòèìåäèéíûå êîìïüþòåðíûå ïðîãðàììû, ïîýòîìó
ñîçäàíèå èíôîðìàöèîííûõ ïðîãðàìì, ñïîñîáíûõ ðàáîòàòü ñ ÆÐ (ñèíòåçèðîâàòü
è ðàñïîçíàâàòü), ÿâëÿåòñÿ îäíîé èç ïðèîðèòåòíûõ çàäà÷ ïðè ðàáîòå ñ íåñëûøà-
ùèìè è ñëàáîñëûøàùèìè ëþäüìè. Âîçìîæíûì âàðèàíòîì êîìïüþòåðíîãî ñèí-
òåçà ÆÐ ÿâëÿåòñÿ èñïîëüçîâàíèå àíèìèðîâàííîãî àâàòàðà ÷åëîâåêà, êîòîðûé
óïðàâëÿåòñÿ ñ ïîìîùüþ ñèìâîëîâ æåñòîâîé íîòàöèè, îïèñûâàÿ íåîáõîäèìûå
êîíôèãóðàöèè ðóê è ðàçëè÷íûå òèïû äâèæåíèé. Æåñòû èç ëåêñèêîíà â òàêîé
ñèñòåìå ñèíòåçà ïðåäñòàâëÿþò öåïî÷êó ñèìâîëîâ â âûáðàííîé íîòàöèè, ïîýòîìó
ñëîâàðü æåñòîâ ìîæåò ëåãêî ìîäèôèöèðîâàòüñÿ è ðàñøèðÿòüñÿ áåç èñïîëüçîâà-
íèÿ ñïåöèàëüíîãî îáîðóäîâàíèÿ.
Äëÿ óêðàèíñêîé ÆÐ ïðåäëîæåíà êîíöåïöèÿ [5] èíôîðìàöèîííîé òåõíîëîãèè
íåâåðáàëüíîãî îáùåíèÿ ëþäåé ñ íåäîñòàòêàìè ñëóõà. Êîíöåïöèÿ çàêëþ÷àåòñÿ â
èñïîëüçîâàíèè ìóëüòèìåäèéíûõ âîçìîæíîñòåé ñîâðåìåííîé êîìïüþòåðíîé òåõ-
íèêè è ñèñòåì êîììóíèêàöèé, à èìåííî èñïîëüçîâàíèè ïðîñòðàíñòâåííûõ ìîäå-
ëåé ëþäåé äëÿ âîñïðîèçâåäåíèÿ ÆÐ. Â ðàìêàõ ýòîé êîíöåïöèè ïðåäëîæåíû ìà-
òåìàòè÷åñêàÿ ìîäåëü è åå êîìïüþòåðíàÿ ðåàëèçàöèÿ äëÿ ïîëó÷åíèÿ è âîñïðîèç-
âåäåíèÿ ÆÐ ñ ïîìîùüþ òðåõìåðíûõ ìîäåëåé ëþäåé. Äëÿ ðåàëèçàöèè
âîçìîæíîñòåé ãåíåðàöèè àíèìàöèè ïðîöåññà âåùàíèÿ ñ ïîìîùüþ ÆÐ ñ èñïîëü-
çîâàíèåì âèðòóàëüíûõ ìîäåëåé ëþäåé áûëè ðàçðàáîòàíû ñëåäóþùèå èíôîðìà-
öèîííûå è ìàòåìàòè÷åñêèå ìîäåëè [6]:
1) èíôîðìàöèîííàÿ è ìàòåìàòè÷åñêàÿ ìîäåëè äëÿ ôèêñàöèè ìîðôåì (ìèíè-
ìàëüíî çíà÷èìûõ åäèíèö) æåñòîâîãî ÿçûêà;
2) òåõíîëîãèÿ è ñîîòâåòñòâóþùåå ïðîãðàììíîå îáåñïå÷åíèå äëÿ ïîëó÷åíèÿ,
ñîõðàíåíèÿ è âîñïðîèçâåäåíèÿ æåñòîâ.
Ïðåäëîæåííàÿ òåõíîëîãèÿ ìîäåëèðîâàíèÿ äâèæåíèé âèðòóàëüíîãî ïåðñîíà-
æà äëÿ ïðîñòðàíñòâåííîãî âîñïðîèçâåäåíèÿ æåñòîâîãî ÿçûêà ïîìèìî ÿâíûõ ïðå-
èìóùåñòâ ïåðåä äðóãèìè ñèñòåìàìè ñîäåðæèò ñóùåñòâåííûé íåäîñòàòîê: íåîá-
õîäèìîñòü îöèôðîâêè âñåãî ìíîæåñòâà æåñòîâ ñ ïîìîùüþ íîñèòåëÿ ÆÐ äëÿ êàæ-
äîé íîâîé ìîäåëè. Ðåñóðñîåìêîñòü òàêîãî ïîäõîäà êàê ïî âðåìåíè, òàê è ïî
4 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2
ñòîèìîñòè ïîáóæäàåò ê ïîèñêó äðóãèõ ïîäõîäîâ, ó÷èòûâàþùèõ òàêèå îãðàíè÷å-
íèÿ. Êðîìå òîãî, ñóùåñòâîâàíèå ñèñòåì íîòàöèé äëÿ ÆÐ [2–4] ïîáóæäàåò
ê ñîçäàíèþ òàêîé ìîäåëè ôîðìàëèçàöèè ÆÐ, êîòîðàÿ ïîçâîëèëà áû îïèñûâàòü
æåñòû â ýòèõ ñèñòåìàõ. Öåëü íàñòîÿùåé ñòàòüè — ðàçðàáîòêà òàêîé ìîäåëè
ôîðìàëèçàöèè äëÿ óêðàèíñêîé ÆÐ.
Ñôîðìóëèðóåì ñëåäóþùóþ ïîñòàíîâêó çàäà÷è: ïðåäëîæèòü ìîäåëü äëÿ
ôîðìàëèçàöèè æåñòîâûõ åäèíèö ñ öåëüþ:
� îïèñàíèÿ æåñòîâûõ åäèíèö â íîòàöèè ïðåäëîæåííîé ìîäåëè;
� ñîçäàíèÿ ïðîèçâîëüíîãî æåñòà íà îñíîâå ôèêñèðîâàííûõ ìíîæåñòâ êëþ-
÷åâûõ ñîñòîÿíèé, òðàåêòîðèé è ò.ä. ñ âîçìîæíîñòÿìè åãî ðàñïîçíàâàíèÿ.
ÌÅÒÎÄ ÏÐÎÅÊÒÈÐÎÂÀÍÈß ÄÂÈÆÅÍÈÉ ÂÈÐÒÓÀËÜÍÎÃÎ ÏÅÐÑÎÍÀÆÀ
Ïðîöåññ âîñïðîèçâåäåíèÿ æåñòà 3D ìîäåëüþ ÷åëîâåêà ìîæíî ñ÷èòàòü àíèìà-
öèåé ñ ñîîòâåòñòâóþùåé ÷àñòîòîé ðàçëè÷íûõ ñîñòîÿíèé ñêåëåòíîé ìîäåëè ÷å-
ëîâåêà. Ñêåëåòíàÿ ìîäåëü ÷åëîâåêà óïðîùåííî âîñïðîèçâîäèò ñêåëåò æèâîãî
÷åëîâåêà. Åå ìîæíî ôîðìàëèçîâàòü êàê èåðàðõè÷åñêóþ ñòðóêòóðó, ñîñòîÿùóþ
èç ñîåäèíåííûõ êèíåìàòè÷åñêèõ ïàð, êîòîðûå âîñïðîèçâîäÿò ñòðóêòóðó îñíîâ-
íûõ êîñòåé ñêåëåòà ÷åëîâåêà. Ñîâðåìåííûå ïàêåòû òðåõìåðíîãî ìîäåëèðîâà-
íèÿ (Poser, 3D Studio Max) ïîçâîëÿþò ãåíåðèðîâàòü àíèìàöèþ ñ ïîìîùüþ
âèðòóàëüíîé ñòàòè÷åñêîé ìîäåëè è èíôîðìàöèè îá èçìåíåíèè ñîîòâåòñòâóþ-
ùèõ óãëîâ ñî÷ëåíåíèé ñêåëåòà.
Äëÿ ïðîåêòèðîâàíèÿ äâèæåíèé àíèìèðîâàííîãî ïåðñîíàæà â çàäà÷àõ ïðî-
ñòðàíñòâåííîãî âîñïðîèçâåäåíèÿ íàèáîëåå ÷àñòî ïðèìåíÿåòñÿ ñõåìà ïðåäñòàâëå-
íèÿ âèðòóàëüíîãî ïåðñîíàæà â âèäå äåðåâà. Ñóòü ýòîé ñõåìû çàêëþ÷àåòñÿ â ìîäå-
ëèðîâàíèè ñêåëåòà ïåðñîíàæà ñ ïîìîùüþ äåðåâà S D V E� ( , ) , ãäå V — ìíîæåñ-
òâî çâåíüåâ ñêåëåòà, E — ìíîæåñòâî ñîåäèíåíèé (ðåáåð äåðåâà). Òàêîå äåðåâî
íàçûâàþò êèíåìàòè÷åñêîé ñõåìîé [7]. Çà îñíîâó ïðèíèìàþò óçåë, ñîâïàäàþùèé
ñ öåíòðîì ìàññ ïåðñîíàæà, ñ êîòîðûì ñîåäèíåíû âåòâè ðóê, íîã è ò.ä. Ñ êàæäûì
çâåíîì ñâÿçûâàþòñÿ ëîêàëüíàÿ ñèñòåìà êîîðäèíàò è ìàòðèöà ïåðåõîäà îò ïðåäû-
äóùåãî çâåíà ê òåêóùåìó çâåíó. Ìàòðèöû ïåðåõîäà çàâèñÿò îò çíà÷åíèé îáîá-
ùåííûõ êîîðäèíàò, îïðåäåëÿþùèõ ñâÿçè ìåæäó çâåíüÿìè, âõîäÿùèìè â äàííóþ
êèíåìàòè÷åñêóþ ïàðó. Äëÿ îñíîâíîãî (êîðíåâîãî) óçëà ñêåëåòà ìàòðèöà ïåðåõîäà
îïðåäåëÿåò ïåðåõîä èç ãëîáàëüíîé ñèñòåìû îòñ÷åòà â ñèñòåìó îòñ÷åòà ïåðñîíà-
æà. Òàêîé ïîäõîä óäîáåí äëÿ îïèñàíèÿ äâèæåíèÿ ïåðñîíàæà è èñïîëüçóåòñÿ
â ñèñòåìàõ è ìåòîäàõ àíèìàöèè. Â íàèáîëåå èçâåñòíûõ ìåòîäàõ ìîäåëèðîâàíèÿ
äâèæåíèé, èñïîëüçóåìûõ â ñîâðåìåííûõ ñèñòåìàõ 3D ãðàôèêè, ïðîöåññ äâèæå-
íèÿ ïåðñîíàæà ìîæåò áûòü ïðåäñòàâëåí ñ ïîìîùüþ ñåìåéñòâà ôóíêöèé
m t m t1 2( ), ( ),� , ( )mn t — èçìåíåíèé çíà÷åíèé îáîáùåííûõ êîîðäèíàò çà âðåìÿ t,
ãäå n — ÷èñëî îáîáùåííûõ êîîðäèíàò êèíåìàòè÷åñêîé öåïè ñêåëåòà. Êðîìå ýòî-
ãî, ïðîöåññ äâèæåíèÿ ïåðñîíàæà ìîæåò áûòü îïèñàí íà îñíîâå ìåòîäîâ ìîäåëè-
ðîâàíèÿ ôèçèêè è áèîìåõàíèêè [8, 9]. Òîãäà äâèæåíèÿ ïåðñîíàæà ìîãóò áûòü
ïðåäñòàâëåíû ñåìåéñòâîì ôóíêöèé f t f t fn t1 2( ), ( ), , ( )� — èçìåíåíèåì çíà÷å-
íèé íàïðÿæåíèé â ìûøöàõ. Íî òàêîé ïîäõîä òðåáóåò áîëüøîãî êîëè÷åñòâà ïàðà-
ìåòðîâ, îïèñûâàþùèõ äèíàìè÷åñêóþ ñõåìó ïåðñîíàæà. Ê ïðåèìóùåñòâàì òàêî-
ãî ïîäõîäà ìîæíî îòíåñòè óìåíüøåíííûé îáúåì èíôîðìàöèè î äâèæåíèè è èñ-
ïîëüçîâàíèè ôèçè÷åñêèõ ñâîéñòâ ïåðñîíàæà â ïðîöåññå äâèæåíèÿ.
Äëÿ ïîëíîöåííîãî âîñïðîèçâåäåíèÿ æåñòîâîãî ÿçûêà ïðåäëàãàåòñÿ èñïîëü-
çîâàòü ìîäåëü óïðîùåííîãî ñêåëåòà ÷åëîâåêà, èñïîëüçóÿ 56 çâåíüåâ (êîñòåé).
Îñîáàÿ äåòàëèçàöèÿ ñäåëàíà â îáëàñòè ðóê ââèäó èõ îñíîâíîé íàãðóçêè ïî ðåà-
ëèñòè÷íîìó âîññîçäàíèþ æåñòîâ — çàäåéñòâîâàíû ïî÷òè âñå êîñòè ñêåëåòà ÷åëî-
âåêà. Ñ êàæäûì çâåíîì ñâÿçàíà ñâîÿ åâêëèäîâà ñèñòåìà êîîðäèíàò. Ïîâîðîò îä-
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2 5
íîãî çâåíà îòíîñèòåëüíî äðóãîãî õàðàêòåðèçóåòñÿ ïàðàìåòðàìè èçìåíåíèÿ ïîëî-
æåíèÿ äàííîãî çâåíà îòíîñèòåëüíî ïðåäûäóùåãî ïðè óñëîâèè, ÷òî ñèñòåìà
êîîðäèíàò ïðåäûäóùåãî çâåíà ôèêñèðîâàíà. Ýòè ïàðàìåòðû ÿâëÿþòñÿ
îáîáùåííûìè êîîðäèíàòàìè. Ïîëîæåíèå âñåãî ñêåëåòà èñ÷èñëÿåòñÿ â ôèêñèðî-
âàííîé (àáñîëþòíîé) ñèñòåìå êîîðäèíàò.
 êà÷åñòâå îáîáùåííûõ êîîðäèíàò ïðåäëîæåíî èñïîëüçîâàòü óãëû Ýéëåðà.
Òàêîé âûáîð îáóñëîâëåí òåì, ÷òî ïîäàâëÿþùåå áîëüøèíñòâî ñèñòåì çàõâàòà
äâèæåíèé ïðîäóöèðóåò èíôîðìàöèþ î äâèæåíèè â âèäå BVH ôàéëîâ, êîòîðûå
èñïîëüçóþò óãëû Ýéëåðà [10]. Ñëåäîâàòåëüíî, äëÿ ôîðìàëüíîãî îïèñàíèÿ ïðî-
öåññà ôèêñàöèè æåñòà ìîæíî èñïîëüçîâàòü ìíîæåñòâî, ñîäåðæàùåå óïðîùåííûé
ñêåëåò ÷åëîâåêà, çíà÷åíèÿ óãëîâ Ýéëåðà è ïîðÿäîê èõ ïðèìåíåíèÿ äëÿ ñîîòâåò-
ñòâóþùèõ êîñòåé ýòîãî ñêåëåòà ñ òå÷åíèåì âðåìåíè (äèñêðåòíî, ñ ñîîòâåòñòâóþ-
ùåé ÷àñòîòîé (1/30 ñåê) è ò.ä.).
Äëÿ ïîëó÷åíèÿ ìíîæåñòâà óãëîâ, âîñïðîèçâîäÿùèõ ïðîöåññ àíèìàöèè æåñ-
òîâ, èñïîëüçîâàëàñü òåõíîëîãèÿ çàõâàòà äâèæåíèÿ (motion capture) [10,11]. Ìíî-
æåñòâî óãëîâ èçìåíåíèÿ äâèæåíèÿ ñ÷èòûâàëîñü ñ ÷åëîâåêà-íîñèòåëÿ ÆÐ. Ýòî ïî-
çâîëèëî ïîëó÷èòü äîñòàòî÷íî ðåàëèñòè÷íûå äâèæåíèÿ.
Ìíîæåñòâà óãëîâ (� � � � � � � �� � �( ), : ( , , )j j
i
j
i
j
iX iY iZ{ }), õàðàêòåðèçóþ-
ùèõ èçìåíåíèÿ ïîëîæåíèÿ êîñòåé îòíîñèòåëüíî èñõîäíîãî ñîñòîÿíèÿ ñêåëåòà,
îïðåäåëÿëèñü ïî ñëåäóþùåìó àëãîðèòìó.
1. Ñ ïîìîùüþ òðåõ êàìåð ïðîâîäèëàñü ñúåìêà ÷åëîâåêà, âîñïðîèçâîäÿùåãî
êîíêðåòíûé æåñò. Êàìåðû óñòàíàâëèâàëèñü íà îäèíàêîâîì ôîêóñíîì ðàññòîÿíèè
(L) îò îáúåêòà ñúåìêè è ôèêñèðîâàëè ïðîåêöèè — ôðîíòàëüíóþ, ëåâóþ è ïðàâóþ.
2. Äëÿ îïðåäåëåíèÿ óãëîâ â ñî÷ëåíåíèÿõ
ñêåëåòà äëÿ êîíêðåòíîãî ñîñòîÿíèÿ âîñïðîèç-
âîäèëèñü ñîîòâåòñòâóþùèå êàäðû ñúåìêè â òðåõ
ïëîñêîñòÿõ, ðàñïîëîæåííûõ íà çàäíåì ïëàíå
òðåõìåðíîé ñöåíû (ðèñ. 1). Ñêåëåò ðàñïîëàãàëñÿ
íà ôîíå ïîâåðõíîñòåé. Íà ïîâåðõíîñòè ïðîå-
öèðîâàëèñü êîñòè ïîä îïðåäåëåííûìè óãëàìè,
êîòîðûå íåîáõîäèìî îïðåäåëèòü.
Ïîëàãàåì, ÷òî îáúåì ñöåíû îãðàíè÷åí êó-
áîì ñ êîîðäèíàòàìè òî÷åê âåðøèí ïî äèàãîíà-
ëÿì ( ; ; )� � �1 1 1 è ( ; ; )1 1 1 . Òîãäà ïëîñêîñòè äëÿ
îòîáðàæåíèÿ êàäðîâ ñúåìêè ïðîåêöèé êîñòåé áóäóò îãðàíè÷åíû êîîðäèíàòàìè
(çäåñü îáîçíà÷åíî c() cos()� ): A( , ; , ; )� �0 5 0 5 1 , B ( , ; , ; )0 5 0 5 1� , C ( , ; , ; )� � �0 5 0 5 1 ,
D( , ; , ; )0 5 0 5 1� � , F c c( ( ); , ; ( ))� � �45 0 5 1 45� � , E c c( ( ); , ; ( ))� � � �45 0 5 1 45� � , G c( ( );45�
0 5 1 45, ; ( ))� � c � , H c c( ( ); , ; ( )).45 0 5 1 45� �� � � Êîîðäèíàòû òî÷åê äëÿ ïîñòðîåíèÿ
ïðîåêöèé êîñòåé íà ýòè ïëîñêîñòè ïîëó÷àåì ñëåäóþùèì îáðàçîì:
� òî÷êè ñêåëåòà ïîâîðà÷èâàåì âîêðóã îñè Y íà 180� (÷òîáû ñêåëåò «ñìîò-
ðåë» íà ôðîíòàëüíóþ ïëîñêîñòü): ( , , ) ( , , )x y z x y z Ri i i i i i y
180 180 180� � �
� , ãäå R y —
ìàòðèöà ïîâîðîòà íà 180� âîêðóã îñè Y ;
� äëÿ ïëîñêîñòè, îãðàíè÷åííîé êâàäðàòîì ñ âåðøèíàìè A B D C, , , , òî÷êè
ñî÷ëåíåíèÿ êîñòåé ñêåëåòà ( , , )x y zi i i
180 180 180� � �
ïðîåöèðóþòñÿ â òî÷êè
( , , )x yi i
180 180 1
� �
� ;
� äëÿ ïëîñêîñòåé, îãðàíè÷åííûõ ïðÿìîóãîëüíèêàìè FACE è GBDH , èñõîäÿ
èç òîãî, ÷òî îíè ðàñïîëîæåíû ïîä óãëîì 45� ê ôðîíòàëüíîé ïëîñêîñòè, òî÷êè
6 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2
Ðèñ. 1
A B
G
DC
F
HE
ñî÷ëåíåíèÿ êîñòåé ñêåëåòà ( , , )x y zi i i
180 180 180� � �
ïðîåöèðóþòñÿ â òî÷êè
( , , )* *x y zi i i
180�
. Ó÷èòûâàÿ, ÷òî ïðÿìàÿ, ïðîõîäÿùàÿ ÷åðåç òî÷êó ( , , )x y zi i i
180 180 180� � �
è ïåðïåíäèêóëÿðíàÿ ïðÿìîé z ax b� � , îïèñûâàåòñÿ óðàâíåíèåì z �
� � � �( ) /x x a zi i , òî÷êà ïåðåñå÷åíèÿ ýòèõ ïðÿìûõ (ò.å. òî÷êà ïðîåêöèè) îïðå-
äåëÿåòñÿ êàê x az x ab ai i i
* ( ) / ( )� � � �2 1 , z a z ax b ai i i
* ( ) / ( )� � � �2 2 1 . Çäåñü
äëÿ ëåâîé ïðîåêöèè óðàâíåíèå ïðÿìîé, ïðîõîäÿùåé ÷åðåç òî÷êè
( , ) ( ( ), ( ) )x z c c1 1 45 1 45� � � �� � è ( , ) ( . , )x z2 2 0 5 1� � � ), èìååò âèä ( , )z z� �1
� � � �( )( ) / ( )z z x x x x2 1 1 2 1 . Îòñþäà z x� � �3 414211 2 707106, , , ò.å. a � �3 414211,
è b � �2 70711. . Äëÿ ïðàâîé ïðîåêöèè òî÷åê ( ( ), ( ))c c45 1 45� �� � è ( , ; )0 5 1� èìååì
a � 3 414211, è b � �2 70711, .
3. Ñîïîñòàâëÿåì òî÷êè ïðîåêöèé êîñòåé ñêåëåòà ñ ñîîòâåòñòâóþùèì èì èçî-
áðàæåíèåì ðåàëüíîãî ÷åëîâåêà (äëÿ ôðîíòàëüíîãî, ëåâîãî è ïðàâîãî êàäðîâ), ò.å.
ïîëó÷àåì íîâûå êîîðäèíàòû: ( , , )x yi i
front front �1 — äëÿ ôðîíòàëüíîé ïðîåêöèè,
( , , )x y zi i i
left left180�
— äëÿ ëåâîé ïðîåêöèè è ( , , )x y zi i i
right right180�
— äëÿ ïðàâîé
ïðîåêöèè, ãäå
x x offi i i
xfront front� �180�
, y y offi i i
yfront front
� �180�
, x x offi i i
xleft left� �* ,
z z offi i i
zleft left� �* , x x offi i i
xright right� �* , z z offi i i
zright right� �* . (1)
Ïîëó÷åííûå òàêèì îáðàçîì çíà÷åíèÿ ñìåùåíèé off èñïîëüçóþòñÿ äëÿ âñåõ
êàäðîâ, îòîáðàæàþùèõ æåñò.
4. Äëÿ êàæäîãî êàäðà íà ïàðå èçîáðàæåíèé (ôðîíòàëüíîå è ëåâîå èëè ôðîí-
òàëüíîå è ïðàâîå) óêàçûâàåì òî÷êè ñî÷ëåíåíèé êîñòåé, êîòîðûå èçìåíèëè ïîëî-
æåíèå (( , ), ,x yi inew
front
new
front è ( , ), ,x yi inew
left or right
new
left or right
), è îïðåäåëÿåì èõ òðåõìåðíûå
êîîðäèíàòû (â ñèñòåìå êîîðäèíàò, ñâÿçàííîé ñ êîðíåâîé òî÷êîé ñêåëåòà):
( , , )x y zi i i
new new new �
� � �( , ,, , , ,x off y offi i x i i ynew
front front
new
front front x offi i x, , )new
left or right left or right� . (2)
Èìåÿ òðåõìåðíûå êîîðäèíàòû íîâîãî ïîëîæåíèÿ òî÷åê ñî÷ëåíåíèÿ êîñòåé,
îïðåäåëèì çíà÷åíèÿ óãëîâ Ýéëåðà, íà êîòîðûå ïîâîðà÷èâàþò êàæäóþ êîñòü èç
ïðåäûäóùåãî ñîñòîÿíèÿ â òåêóùåå. Äëÿ ýòîãî íåîáõîäèìî ðåøèòü ñëåäóþùóþ
çàäà÷ó. Ïóñòü â ñèñòåìå êîîðäèíàò, â êîòîðîé èìåþòñÿ äâà åäèíè÷íûõ âåêòîðà:
r x y z1 1 1 1� ( , , ) è r x y z2 2 2 2� ( , , ), íåîáõîäèìî íàéòè óãëû Ýéëåðà � � �x y z, , âðà-
ùåíèÿ âîêðóã ñîîòâåòñòâóþùèõ îñåé ÎX ÎY ÎZ, , , êîòîðûå ïåðåâîäÿò âåêòîð r1
â âåêòîð r2 . Ñëåäóåò ó÷åñòü, ÷òî óìíîæåíèå ìàòðèö íå êîììóòàòèâíî, ïîýòîìó
áóäåì ðàññìàòðèâàòü øåñòü âîçìîæíûõ âàðèàíòîâ, õàðàêòåðèçóþùèõ ïîðÿäîê
âðàùåíèÿ âîêðóã îñåé: ÎZYX , ÎYXZ, ÎYZX , ÎXYZ, ÎXZY , ÎZXY .
Óãëû Ýéëåðà, íàïðèìåð, êîãäà ïîðÿäîê âðàùåíèÿ ZYX îïðåäåëÿþòñÿ ïî
ôîðìóëàì (çäåñü îáîçíà÷åíî a() ()� arctg ), èìåþò âèä
� �x a t t n� �( / )32 33 , � �y a t t t n� � ��
�
�
� �31 11
2
21
2/ ,
� �z a t t n� �( / )21 11 , (3)
ãäå
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2 7
t x x y y z z11 1 2 1 2 1 2� � � , t y x x y d y z z d21 1 2 1 2 1 1 1 2 1� � � �/ / , t z x z d31 1 2 2 1� � ,
t z y y z d d32 1 2 2 2 1 2� � � / , t jz z d d33 1 2 1 2� � , d x y1 1
2
1
2� � , d x y2 2
2
2
2� � .
Äëÿ äðóãèõ ïîðÿäêîâ âðàùåíèÿ óãëû îïðåäåëÿþòñÿ àíàëîãè÷íî.
Äëÿ ñèíòåçà ïðîöåññà àíèìàöèè æåñòîâ è ìèìèêè òðåõìåðíîé ìîäåëüþ ÷å-
ëîâåêà áûëî ïðåäëîæåíî ñëåäóþùåå ôîðìàëüíîå îïèñàíèå, èñïîëüçóþùåå ñîîò-
âåòñòâóþùèå ìíîæåñòâà ïàðàìåòðîâ è àëãîðèòìû ðàáîòû ñ íèìè. Òðåõìåðíàÿ
ìîäåëü ÷åëîâåêà, íà êîòîðîé ðåàëèçóåòñÿ ïðîöåññ àíèìàöèè æåñòîâ è ìèìèêè,
èìååò ñëåäóþùèå àòðèáóòû: V v v x y zi i� �{ { }}: , , — ìíîæåñòâî âåðøèí
òðåóãîëüíèêîâ äëÿ òðèàíãóëÿöèè ïîâåðõíîñòè òðåõìåðíîé ìîäåëè ÷åëîâåêà;
N n n x y zi i� �{ { }}: , , — ìíîæåñòâî íîðìàëåé ê âåðøèíàì; T t t t si i� �{ { }}: , —
ìíîæåñòâî òåêñòóðíûõ êîîðäèíàò ê âåðøèíàì; V V V k k ki i
ind ind ind{ { }}� �: , ,1 2 3
— ìíîæåñòâî èíäåêñîâ, êîòîðûå óêàçûâàþò ïîðÿäîê ïîñòðîåíèÿ òðåóãîëüíèêîâ
èç ìíîæåñòâà âåðøèí; I I I imgi i� �{ { }}: — ìíîæåñòâî ôîòîãðàôè÷åñêèõ èçî-
áðàæåíèé ýëåìåíòîâ ìîäåëè — òåêñòóðû.
Äëÿ ôîðìàëèçàöèè ïðåäëàãàåòñÿ ðàçëîæèòü æåñò íà ñëåäóþùèå ñîñòàâëÿþ-
ùèå, êîòîðûå åãî îäíîçíà÷íî õàðàêòåðèçóþò: 1) êîíôèãóðàöèÿ ïàëüöåâ ðóêè,
2) ëîêàëèçàöèÿ âûïîëíåíèÿ, 3) òðàåêòîðèÿ (íàïðàâëåíèå) è õàðàêòåð äâèæåíèÿ.
ÏÎÑÒÐÎÅÍÈÅ ÄÂÈÆÅÍÈÉ È ÐÀÑÏÎÇÍÀÂÀÍÈÅ ÄÀÊÒÈËÜÍÎÉ ÈÍÔÎÐÌÀÖÈÈ
Ðàññìîòðèì áîëåå äåòàëüíî îñíîâíûå êîíôèãóðàöèè ïàëüöåâ ðóêè ÷åëîâåêà,
êîòîðûå çàâèñÿò îò êëþ÷åâûõ ïîëîæåíèé êàæäîãî ïàëüöà è ëàäîíè. Èòîãîâàÿ
êîíôèãóðàöèÿ áóäåò ñóïåðïîçèöèåé êîíêðåòíûõ çíà÷åíèé ïîëîæåíèé. Ïðåä-
ñòàâèì êîíôèãóðàöèþ ïàëüöåâ ñëåäóþùèì ìíîæåñòâîì:
F
F t F t L L t
F F L
i
k
i
k
i
k
i
k
�
�
�
{ { }},
{ { }},
beg end
beg
( ): ( ) , ,
:
�
�
(4)
ãäå Fi
k — i-ÿ êîíôèãóðàöèÿ k-ãî ïàëüöà (i p k� �0 1 5, , , ); Lbeg , Lend — ìíî-
æåñòâà íàçâàíèé êîñòåé è çíà÷åíèé óãëîâ Ýéëåðà â ýòèõ êîñòÿõ ñîîòâåòñòâåííî
äëÿ íà÷àëüíîãî è êîíå÷íîãî ñîñòîÿíèé êîíôèãóðàöèè ïàëüöà; t — èíòåðïî-
ëÿöèîííûé êîýôôèöèåíò äëÿ ðàñ÷åòà ïðîìåæóòî÷íîãî ñîñòîÿíèÿ (t �[ , ]0 1 ), p —
íåêîòîðîå ôèêñèðîâàííîå ïîëîæèòåëüíîå ÷èñëî.
 òàáë. 1 äàíû îïèñàíèÿ ïîêàçàòåëåé âîçìîæíûõ êîíôèãóðàöèé áîëüøîãî
ïàëüöà ðóêè (k �1). Äëÿ îñòàëüíûõ ïàëüöåâ îïðåäåëåíû ñëåäóþùèå êîíôèãóðà-
öèè: äëÿ óêàçàòåëüíîãî ïàëüöà (k � 2): F t
0
2 ( ) — îò ïðèæàòîãî ñîñòîÿíèÿ ê âû-
ïðÿìëåííîìó, F
1
2 — âûòÿíóò â ãîðèçîíòàëüíîì ïîëîæåíèè, F
2
2 — óêàçàòåëüíûé
è áîëüøîé ðàçâåäåíû; äëÿ ñðåäíåãî ïàëüöà (k � 3) : F t
0
3 ( ) — îò ïðèæàòîãî ñîñòî-
ÿíèÿ ê âûïðÿìëåííîìó, F
1
3 — âûòÿíóò â ãîðèçîíòàëüíîì ïîëîæåíèè, F
2
3 — óêà-
çàòåëüíûé è ñðåäíèé ðàçâåäåíû, F
3
3 — ñðåäíèé ëåæèò íà ïðÿìîì óêàçàòåëüíîì;
äëÿ áåçûìÿííîãî ïàëüöà (k � 4): F t
0
4 ( ) — îò ïðèæàòîãî ñîñòîÿíèÿ ê âûïðÿìëåí-
íîìó, F
1
4 — âûòÿíóò â ãîðèçîíòàëüíîì ïîëîæåíèè, F
2
4 — ñðåäíèé è áåçûìÿí-
íûé ðàçâåäåíû; äëÿ ìèçèíöà (k � 5): F t
0
5 ( ) — îò ïðèæàòîãî ñîñòîÿíèÿ ê
âûïðÿìëåííîìó, F
1
5 — âûòÿíóò â ãîðèçîíòàëüíîì ïîëîæåíèè, F
2
5 —
áåçûìÿííûé è ìèçèíåö ðàçâåäåíû.
8 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2
Äëÿ óêàçàíèÿ êîíôèãóðàöèè ïàëüöåâ ðóêè, êðîìå êîíôèãóðàöèé ñàìèõ ïàëü-
öåâ, îïðåäåëèì ïîëîæåíèå ëàäîíè. Ïîëîæåíèå ëàäîíè îäíîçíà÷íî îïðåäåëÿåòñÿ
ñîîòâåòñòâóþùèìè çíà÷åíèÿìè óãëîâ Ýéëåðà:
D D Di i i
x
i
y
i
z� �{ { }}: , ,� � � . (5)
Îïðåäåëèì ñëåäóþùèå êîíêðåòíûå ïîëîæåíèÿ ëàäîíè: D1 — ââåðõ, D2 —
ñòàíäàðòíîå, D3 — âíèç, D4 — ê ñåáå, D5 — â ñòîðîíó. Íà ðèñ. 2 ïîêàçàíû íåêî-
òîðûå ïîëîæåíèÿ ëàäîíè, íåîáõîäèìûå äëÿ îïèñàíèÿ äàêòèëüíîé àçáóêè.
Äëÿ ëîêàëèçàöèè âûïîëíåíèÿ æåñòà ôèêñèðóþòñÿ ñîñòîÿíèÿ êîñòåé ñêåëåòà
äëÿ îáëàñòåé, íàõîäÿùèõñÿ íà ïåðåñå÷åíèè óðîâíåé ãîðèçîíòàëüíûõ (íàä ìàêóø-
êîé ãîëîâû, íà óðîâíå ëáà, ëèíèÿ áðîâåé, ëèíèÿ ãëàç, óðîâåíü ïðàâîãî è ëåâîãî
óõà, óðîâåíü ùåê, ðòà, ïîäáîðîäêà, ïîä ïîäáîðîäêîì, ëèíèÿ øåè, ïëå÷è, ãðóäü,
òàëèÿ, ëèíèÿ íèæå òàëèè) è âåðòèêàëüíûõ (ñëåâà, â öåíòðå, ñïðàâà). Äëÿ êàæäîé
ëîêàëèçàöèè óêàçûâàåòñÿ ïðèçíàê — ñ ïðèêîñíîâåíèåì èëè áåç ïðèêîñíîâåíèÿ:
L L L Ki i i� �{ { }}( ): ( ) ,� � � , (6)
ãäå Li — ñîñòîÿíèå, îòâå÷àþùåå çà êîíêðåòíóþ ëîêàëèçàöèþ; Ki — íàçâàíèÿ êîñ-
òåé è çíà÷åíèÿ óãëîâ Ýéëåðà äëÿ íèõ; � — ïðèçíàê êàñàíèÿ (1) èëè íå êàñàíèÿ (0).
Îïèøåì èçëîæåííûì ñïîñîáîì íåñêîëüêî çíàêîâ äàêòèëüíîé àçáóêè (òàáë. 2).
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2 9
F t
i
k ( )
Îïèñàíèå
êîíôèãóðàöèé
ïàëüöåâ
Êîîðäèíàòû ïàëüöåâ è èõ ïîëîæåíèå
F t0
1 ( )
Îò ïðèæàòîãî
ñîñòîÿíèÿ
(t � 0) ê
âûïðÿìëåííîìó
(t � 1)
Thumbl
[3.5, –7.9, –5.7]
Thumb2
[17, –19.5, 28.5]
Thumb3
[24.1, –28.2, 0.5]
Thumbl
[10.1, 20.3, 7.9]
Thumb2
[3.5, 6.4, –8.9]
Thumb3
[3.7, 30.5, – 8.7]
F1
1
Áîëüøîé ïàëåö
ñîåäèíåí
ïîäóøå÷êîé ñ
óêàçàòåëüíûì
Thumbl [37.1, 7.9, –10.8]
Thumb2 [22.8, 8.6, 4.6]
Thumb3 [23.4, 0.5, –15.05]
Index1 [26.4, –10.4, 39.3]
Index2 [26.8, 7.8, 31.2]
Index3 [26.8, 7.8, 31.2]
F2
1
Áîëüøîé ïàëåö
ïðèæàò ê
ëàäîíè
Thumbl
[36.7, –39.6, 19.4]
Thumb2
[23.6, –23.5, 5.05]
Thumb3
[19.03, 1.3, –1.7]
Ò à á ë è ö à 1
Ðèñ. 2
D2D1 D3 D4 D5
Ïðåäëîæåííàÿ ôîðìàëèçàöèÿ îïèñàíèÿ êîíôèãóðàöèè ðóê ïîçâîëÿåò ðàçðà-
áàòûâàòü ìåòîäû ðàñïîçíàâàíèÿ ïðîèçâîëüíûõ åäèíèö æåñòîâîãî ÿçûêà. Ðàñ-
ñìîòðèì, íàïðèìåð, ðàñïîçíàâàíèå äàêòèëåì. Ïîñêîëüêó èìååòñÿ ìíîæåñòâî
êëþ÷åâûõ êîíôèãóðàöèé (4), òî â êà÷åñòâå âåêòîðà õàðàêòåðèñòè÷åñêèõ ïðèçíà-
êîâ ýôôåêòèâíî èñïîëüçîâàòü ãåîìåòðè÷åñêèå ïàðàìåòðû ýòèõ êîíôèãóðàöèé:
êîíòóð êèñòè ðóêè, åå öåíòð ìàññ, êîìïàêòíîñòü, îðèåíòàöèþ, ðàñòÿæåíèå, ìî-
ìåíòíûå çíà÷åíèÿ è ò.ï. [12]. Âàæíûì äëÿ çàäà÷ ðàñïîçíàâàíèÿ ÿâëÿåòñÿ èñïîëü-
çîâàíèå êîíòóðíîãî àíàëèçà èçîáðàæåíèÿ, êîòîðîå ïîçâîëÿåò çàäà÷ó ðàñïîçíàâà-
íèÿ ñâåñòè ê çàäà÷å èäåíòèôèêàöèè ýëåìåíòîâ äàêòèëüíîãî ÿçûêà. Îòìåòèì, ÷òî
ïðè ðàñïîçíàâàíèè äàêòèëåì êîíòóðíûé àíàëèç ïîçâîëÿåò ó÷èòûâàòü ðàçíûå ðàç-
ìåðû ðóêè íà ðàçíûõ ôîêóñíûõ ðàññòîÿíèÿõ. Äëÿ ïðîâåðêè ýôôåêòèâíîñòè èñ-
ïîëüçîâàíèÿ ãåîìåòðè÷åñêèõ ïðèçíàêîâ èçîáðàæåíèÿ äëÿ ðàñïîçíàâàíèÿ äàêòè-
ëåì áûëè ïðîâåäåíû ýêñïåðèìåíòû, â êîòîðûõ ïðèíèìàëè ó÷àñòèå ëþäè ðàçíîãî
âîçðàñòà è ñ ðàçíûìè ðàçìåðàìè ðóêè.  ïðîöåññå ýêñïåðèìåíòà ÷åëîâåê ïîêàçû-
âàë îïðåäåëåííóþ äàêòèëåìó 50 ðàç íà ðàçíûõ ôîêóñíûõ ðàññòîÿíèÿõ, ïðè ýòîì
ïîäñ÷èòûâàëîñü êîëè÷åñòâî ïðàâèëüíî ðàñïîçíàííûõ äàêòèëåì. Ðåçóëüòàòû ðà-
áîòû ñèñòåìû ïî ðàñïîçíàâàíèþ áóêâ äàêòèëüíîé àçáóêè æåñòîâîãî ÿçûêà ïðî-
äåìîíñòðèðîâàëè, ÷òî ïðè èñïîëüçîâàíèè ïðåäëîæåííûõ õàðàêòåðèñòè÷åñêèõ
ïðèçíàêîâ ìîæíî îñóùåñòâèòü ðàñïîçíàâàíèå íà óðîâíå 80%, ÷òî ïîäòâåðæäàåò
ýôôåêòèâíîñòü ïðåäëîæåííîãî ïîäõîäà.
ÏÎÑÒÐÎÅÍÈÅ ÒÐÀÅÊÒÎÐÈÉ-ÏÅÐÅÕÎÄÎÂ ÌÅÆÄÓ ÆÅÑÒÎÂÛÌÈ ÝËÅÌÅÍÒÀÌÈ
 ðàáîòàõ [5, 6] äàíà òåõíîëîãèÿ äëÿ ñèíòåçà ïðîìåæóòî÷íûõ òðàåêòîðèé-ïå-
ðåõîäîâ ìåæäó æåñòîâûìè åäèíèöàìè â êîíñòðóêöèÿõ-ïðåäëîæåíèÿõ. Â ðàì-
êàõ èñïîëüçóåìîé ìîäåëè áûë íàéäåí ôóíêöèîíàëüíûé ïåðåõîä îò êîíå÷íî-
ãî ñîñòîÿíèÿ óïðîùåííîãî ñêåëåòà (íà÷àëüíûé âåêòîð âåêòîð îáîáùåííûõ
êîîðäèíàò — çíà÷åíèÿ óãëîâ âðàùåíèÿ âîêðóã ñîîòâåòñòâóþùèõ îñåé äëÿ
êàæäîé êîñòè) îäíîãî æåñòà ê èñõîäíîìó ñîñòîÿíèþ (äðóãîé âåêòîð îáîá-
ùåííûõ êîîðäèíàò) èíîãî æåñòà. Íàéäåííûé ôóíêöèîíàëüíûé ïåðåõîä ïî-
ðîæäàë òðàåêòîðèþ, âèçóàëüíî áëèçêóþ ê òðàåêòîðèè äâèæåíèÿ ÷åëîâåêà ïðè
àíàëîãè÷íîì ïåðåõîäå.
10 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2
Áóêâà
Ôîðìóëà äëÿ îïðåäåëåíèÿ
ïîëîæåíèÿ ðóêè è åå îïèñàíèå
Òåõíîëîãèÿ
motion capture
Ïî ôîðìóëå
Â
R L D F F( ( ), , ( . ), ( )1 1 0
1
0
20 0 5 1 ,
F F F0
3
0
4
0
51 1 1( ), ( ), ( ));
ïðàâàÿ ðóêà:
â ðàéîíå ãðóäè,
ñïðàâà, áåç êàñàíèÿ,
ëàäîíü â ñòîðîíó
âñå ïàëüöû âûïðÿìëåíû
Ã
R L D F F( ( ), , ( ), ( )1 5 0
1
0
20 1 1 ,
F F F0
3
0
4
0
50 0 0( ), ( ), ( ));
ïðàâàÿ ðóêà:
â ðàéîíå ãðóäè, ñïðàâà, áåç êàñàíèÿ,
ëàäîíü ââåðõ, áîëüøîé ïàëåö
âûïðÿìëåí íàïîëîâèíó, îñòàëüíûå
ïàëüöû â ïðèæàòîì ñîñòîÿíèè
Ò à á ë è ö à 2
Äëÿ ôîðìàëèçàöèè æåñòà è ñ öåëüþ äàëüíåéøåãî ïðèìåíåíèÿ ìåõàíèçìà àã-
ãëþòèíàöèè (äëÿ ñîçäàíèÿ æåñòîâûõ êîíñòðóêöèé òèïà ïðåäëîæåíèé) áûëî èñ-
ïîëüçîâàíî ìíîæåñòâî
G G G f f S Si i i i i i i� �{ { }}beg end beg end: , , , , � , (7)
ãäå Gi — êîíêðåòíûé æåñò (i � � � � �0, , ), îòâå÷àþùèé ïîñëåäîâàòåëüíîñòè èç-
ìåíåíèÿ ñîñòîÿíèé óïðîùåííîãî ñêåëåòà ñ äèñêðåòíûì (ñ ñîîòâåòñòâóþùåé
÷àñòîòîé) òå÷åíèåì âðåìåíè; f i
beg è f i
end — ñîñòîÿíèÿ, îòâå÷àþùèå ñîîòâåò-
ñòâåííî íà÷àëó è êîíöó æåñòà; S i
beg è S i
end — êîîðäèíàòû êîíöîâ êîñòåé
óïðîùåííîãî ñêåëåòà äëÿ ñîñòîÿíèé f i
beg è f i
end ñîîòâåòñòâåííî (â ñèñòåìå
êîîðäèíàò, ñâÿçàííîé ñ êîðåíåâîé êîñòüþ óïðîùåííîãî ñêåëåòà); � i — ìíîæåñò-
âî èçìåíåíèé óãëîâ Ýéëåðà.
Äëÿ îïðåäåëåíèÿ òðàåêòîðèè (�) ìåæäó æåñòàìè Gl è Gm ïðåäëîæåíî ðàñ-
ñ÷èòûâàòü çíà÷åíèÿ îáîáùåííûõ êîîðäèíàò ñëåäóþùèì îáðàçîì:
� � � �i i m lG G k i k� � � � ��1 1 1( ( ) ( )) / , ,beg end , (8)
ãäå � � �end ( )Gl 0 , �end ( )Gl — çíà÷åíèÿ îáîáùåííûõ êîîðäèíàò äëÿ êîíå÷íî-
ãî ñîñòîÿíèÿ ( f i
end ) æåñòà Gl ; � beg ( )Gm — çíà÷åíèÿ îáîáùåííûõ êîîðäèíàò
äëÿ íà÷àëüíîãî ñîñòîÿíèÿ ( f i
beg ) æåñòà Gm ; k — êîëè÷åñòâî ñîñòîÿíèé ìåæäó
ýòèìè äâóìÿ æåñòàìè.
Ñîñòîÿíèå ìåæäó äâóìÿ æåñòàìè ÿâëÿåòñÿ ôàêòè÷åñêè âðåìåíåì, â òå÷åíèå
êîòîðîãî íåîáõîäèìî ïåðåéòè èç êîíå÷íîãî ïîëîæåíèÿ îäíîãî ñîñòîÿíèÿ â èñ-
õîäíîå ïîëîæåíèå äðóãîãî. Äëÿ àâòîìàòè÷åñêîãî îïðåäåëåíèÿ ÷èñëà ñîñòîÿíèé
ðàññ÷èòûâàåòñÿ êîýôôèöèåíò, êîòîðûé ÿâëÿåòñÿ îòíîøåíèåì ÷èñëà ñîñòîÿíèé
ïåðåõîäà ìåæäó äâóìÿ æåñòàìè ê ðàññòîÿíèþ, íà êîòîðîå ñäåëàíî ïåðåìåùåíèå
íåêîé òî÷êè íà ñêåëåòå,
koef � k L* / , (9)
ãäå k * — êîëè÷åñòâî ñîñòîÿíèé ïåðåõîäà ìåæäó äâóìÿ ïîëîæåíèÿìè (ïîëó-
÷åííûìè îò ÷åëîâåêà-íîñèòåëÿ ÆÐ ïðè ôèêñèðîâàííîé ñêîðîñòè âîñïðîèçâåäåíèÿ
æåñòà), L — ðàññòîÿíèå, íà êîòîðîå ïåðåìåñòèëàñü òî÷êà íà ñêåëåòå.
Ñ ïîìîùüþ êîýôôèöèåíòà koef è ñ ó÷åòîì êîîðäèíàò (äëÿ êàæäîãî æåñòà) íà-
÷àëà êîñòåé óïðîùåííîãî ñêåëåòà S i
beg äëÿ ñîñòîÿíèÿ f i
beg è ñêåëåòà S i
end äëÿ ñî-
ñòîÿíèÿ f i
end îïðåäåëÿåòñÿ ÷èñëî ñîñòîÿíèé ïåðåõîäà îò îäíîãî æåñòà ê äðóãîìó:
k L� �koef max , (10)
ãäå L S G S Gi l i mmax max ( ( ) ( ))� �
�
�
�
�
�
end beg 2 — ìàêñèìàëüíîå ðàññòîÿíèå ìåæ-
äó äâóìÿ ñîîòâåòñòâóþùèìè òî÷êàìè-îêîí÷àíèÿìè êàæäîé êîñòè óïðîùåííî-
ãî ñêåëåòà (i N� �1 1, , N — êîëè÷åñòâî êîñòåé â ñêåëåòå), ò.å. ñîñòîÿíèÿìè
f
l
end (äëÿ æåñòà Gl ) è f m
beg (äëÿ æåñòà Gm ).
Ïîñêîëüêó ñóùåñòâóþò íåêîòîðûå äîâîëüíî ñëîæíûå æåñòû (âîñïðîèçâîäÿ-
ùèå äâóìÿ ðóêàìè ñëîæíûå àññîöèàöèè èç ðåàëüíîé æèçíè), âîçìîæíû ñèòóà-
öèè, êîãäà ïîëó÷åííàÿ óêàçàííûì îáðàçîì òðàåêòîðèÿ (8) ïðèâåäåò ê êîëëèçèè
ïðè âîñïðîèçâåäåíèè ïðîñòðàíñòâåííîé ìîäåëè (íååñòåñòâåííûå ïåðåñå÷åíèÿ
ðóê, âêëàäûâàíèå îäíîé ðóêè â äðóãóþ è ò.ä.). Äëÿ èñêëþ÷åíèÿ òàêèõ ñèòóàöèé
ïðåäëàãàåòñÿ âû÷èñëÿòü òðàåêòîðèè ñ èñïîëüçîâàíèåì ïðîìåæóòî÷íûõ ñîñòîÿ-
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2 11
íèé, ò.å. äëÿ òàêèõ ñëîæíûõ äâèæåíèé ââîäÿòñÿ äîïîëíèòåëüíûå ïðîìåæóòî÷íûå
ñîñòîÿíèÿ, ðàñ÷åò òðàåêòîðèè ÷åðåç êîòîðûå íå áóäåò ïðèâîäèòü ê êîëëèçèÿì.
Ïðè òåñòèðîâàíèè àëãîðèòìà ñèíòåçà ïðîìåæóòî÷íûõ òðàåêòîðèé-ïåðåõîäîâ
ìåæäó æåñòàìè âûÿâëåíû èõ ðåàëèñòè÷íîñòü äëÿ âîñïðîèçâåäåíèÿ æåñòîâûõ êî-
íñòðóêöèé. Ìîæíî êîíñòàòèðîâàòü, ÷òî ïîñòðîåííûå ñ ïîìîùüþ ïðåäëîæåííîãî
ïîäõîäà òðàåêòîðèè ðåàëèñòè÷íû è ñîîòâåòñòâóþò îöèôðîâàííûì òðàåêòîðè-
ÿì-ïåðåõîäàì.
Åñëè ðàçëîæèòü æåñò íà ýëåìåíòû, êîòîðûå îäíîçíà÷íî åãî õàðàêòåðèçóþò
(êîíôèãóðàöèþ ïàëüöåâ ðóêè, ëîêàëèçàöèþ âûïîëíåíèÿ, òðàåêòîðèþ (íàïðàâëå-
íèå) è õàðàêòåð äâèæåíèÿ), òî ñòàíîâèòñÿ âîçìîæíûì ïîëó÷èòü ïðîèçâîëüíûé
æåñò (7) íå ñ ïîìîùüþ îöèôðîâêè äâèæåíèÿ íîñèòåëÿ ÆÐ, à ñèíòåçèðîâàííûì
ïóòåì. Ïðåäëîæåííîå ôîðìàëüíîå îïèñàíèå æåñòà ñîñòîèò èç îïðåäåëåííûõ
êëþ÷åâûõ ñîñòîÿíèé îáîáùåííîãî ñêåëåòà (ïîëó÷åííûõ îöèôðîâêîé äâèæåíèÿ
íîñèòåëÿ ÆÐ) è ôóíêöèîíàëüíî ðàññ÷èòàííûõ òðàåêòîðèé-äâèæåíèé. Ìíîæåñòâà
ýòèõ ñîñòîÿíèé è òðàåêòîðèé ôèêñèðîâàíû. Ñ èõ èñïîëüçîâàíèåì è ñ ïîìîùüþ
àëãîðèòìà ñèíòåçà ïðîìåæóòî÷íûõ òðàåêòîðèé ñòàíîâèòñÿ âîçìîæíûì
ñèíòåçèðîâàòü ïðîèçâîëüíûé æåñò (7).
Òàêèì îáðàçîì, ñ ïîìîùüþ íîñèòåëåé ÆÐ ñîçäàåòñÿ ôèêñèðîâàííîå ìíî-
æåñòâî ñîñòîÿíèé îáîáùåííîãî ñêåëåòà äëÿ ïðîèçâîëüíîãî êîëè÷åñòâà âèðòóàëü-
íûõ ìîäåëåé. Èñïîëüçóÿ ôîðìàëèçîâàííîå ïîäîáíûì îáðàçîì îïèñàíèå ïðîèç-
âîëüíîãî æåñòà, àâòîìàòè÷åñêè ñèíòåçèðóåòñÿ ìíîæåñòâî æåñòîâ äëÿ ÆÐ.
ÏÐÎÃÐÀÌÌÍÀß ÐÅÀËÈÇÀÖÈß ÆÅÑÒÎÂÎÉ ÐÅ×È
Äëÿ íåâåðáàëüíîãî îáùåíèÿ ëþäåé ñ íåäîñòàòêàìè ñëóõà ïðåäëîæåíî ñîçäàòü
on-line ðåñóðñ, âêëþ÷àþùèé ñëîâàðü îñíîâíûõ æåñòîâ è âàðèàíòû èõ èñïîëü-
çîâàíèÿ â æåñòîâûõ êîíñòðóêöèÿõ. Ñ ïîìîùüþ òàêîãî ðåñóðñà âîçìîæíî ðå-
øèòü ñëåäóþùèå çàäà÷è; 1) ðàñøèðåíèå êðóãà ñïåöèàëèñòîâ â îáëàñòè ñóðäî-
ïåðåâîäà; 2) ñîçäàíèå àâòîìàòèçèðîâàííîãî ïåðåâîäà ñ æåñòîâîãî ÿçûêà â ðåæè-
ìå on-line äëÿ îáëåã÷åíèÿ êîììóíèêàöèè ãëóõèõ è ñëûøàùèõ; 3) óíèôèêàöèÿ
æåñòîâ äëÿ ðàçíûõ ãðóïï ëþäåé ñ îãðàíè÷åííûì ñëóõîì; 4) ñîçäàíèå íîâûõ
æåñòîâ äëÿ ðàçëè÷íûõ îáëàñòåé çíàíèé.
Äëÿ ðåàëèçàöèè on-line ðåñóðñà ïðåäëîæåíà WEB-ðåàëèçàöèÿ äëÿ âîñïðîèç-
âåäåíèÿ òðåõìåðíîãî èçîáðàæåíèÿ â ñåòè Èíòåðíåò, èñïîëüçóþùàÿ ïðåäëîæåí-
íóþ ìàòåìàòè÷åñêóþ è èíôîðìàöèîííóþ ìîäåëè äëÿ îòîáðàæåíèÿ ÆÐ ñ ïî-
ìîùüþ âèðòóàëüíîé ìîäåëè.
Êëèåíòñêàÿ ÷àñòü on-line ðåñóðñà ðàçðàáîòàíà ñ èñïîëüçîâàíèåì ñëåäóþùèõ òåõíîëîãèé:
� HTML5 — ïîñêîëüêó â íåì ðåàëèçîâàíà âîçìîæíîñòü ïîäêëþ÷åíèÿ êîí-
òåêñòà WebGL;
� WebGL — äëÿ ðåíäåðèíãà òðåõìåðíîé ãðàôèêè;
� JavaScript — äëÿ âûçîâà ôóíêöèé WebGL è ìàíèïóëÿöèé ñ âåðøèíàìè
ìîäåëè ïðè ñêèííèãå;
� áèáëèîòåêà webgl-utils.js — äëÿ ïðåîáðàçîâàíèé íàä ìàòðèöàìè.
Ñåðâåðíàÿ ÷àñòü ðåàëèçîâàíà íà Microsoft ASP.NET 4.0.
Íîðìàëè, òåêñòóðíûå êîîðäèíàòû, èíäåêñû âåðøèí çàãðóæàþòñÿ â âèäåîïà-
ìÿòè òîëüêî îäèí ðàç — íà ýòàïå èíèöèàëèçàöèè, ïîñêîëüêó îíè íå èçìåíÿþòñÿ
â ïðîöåññå âûïîëíåíèÿ.
Ïàðàìåòðû ìîäåëè è èíôîðìàöèÿ ïî êëþ÷åâûì ïàðàìåòðàì çíà÷åíèé óãëîâ
õðàíÿòñÿ â áàçå äàííûõ è èñïîëüçóþòñÿ äëÿ îòïðàâêè êëèåíòó ñ ïîìîùüþ ñîîò-
âåòñòâóþùåãî http-hendler.
12 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2
Âîñïðîèçâåäåííàÿ âèðòóàëüíàÿ ìîäåëü ïîçâîëÿåò ïîëó÷èòü àíèìàöèþ ÆÐ â
ðåàëüíîì âðåìåíè íà êîìïüþòåðàõ ñ ìèíèìàëüíûìè òðåáîâàíèÿìè: íàëè÷èå âè-
äåîêàðòû è áðàóçåðà, ïîääåðæèâàþùåãî HTML5 è WebGL.
 òåñòîâîì ïðèëîæåíèè (ðèñ. 3) ðåàëèçîâàí îïèñàííûé ìåõàíèçì äëÿ ïî-
ñòðîåíèÿ ïðîèçâîëüíîãî æåñòà.
ÇÀÊËÞ×ÅÍÈÅ
Ñ ïîìîùüþ ìîäåëè äëÿ ôèêñàöèè äâèæåíèé ÆÐ è íîñèòåëÿ ÆÐ áûëè îöèôðî-
âàíû íåêîòîðûå æåñòû. Èñïîëüçóÿ îïðåäåëåííûå ñîñòîÿíèÿ ýòîãî ìíîæåñòâà æå-
ñòîâ, áûëè ñèíòåçèðîâàíû àíàëîãè÷íûå æåñòû. Ñðàâíåíèå è âîñïðîèçâåäåíèå
æåñòîâ êàê ñ îöèôðîâàííîãî, òàê è ñèíòåçèðîâàííîãî ìíîæåñòâ ïîêàçàëî ñïî-
ñîáíîñòü ïðåäëîæåííîé òåõíîëîãèè äîñòàòî÷íî ðåàëèñòè÷íî âîñïðîèçâîäèòü
äâèæåíèÿ íà òðåõìåðíûõ ìîäåëÿõ. Ñèíòåç ïðîìåæóòî÷íûõ òðàåêòîðèé ìåæäó
ëþáûìè æåñòàìè ïîçâîëèë ñòðîèòü ïðîèçâîëüíûå æåñòîâûå êîíñòðóêöèè —
ïðåäëîæåíèÿ èç ìíîæåñòâà ñèíòåçèðîâàííûõ æåñòîâûõ åäèíèö.
Äàííûé ïîäõîä ê ôîðìàëèçàöèè ñèíòåçà æåñòîâ ïîçâîëèò ïîëó÷àòü ìíî-
æåñòâî åäèíèö ÆÐ è ïîääåðæèâàòü èõ â àêòóàëüíîì ñîñòîÿíèè (äîáàâëåíèå íî-
âûõ åäèíèö ÆÐ íå òðåáóåò ïðèâëå÷åíèÿ íîñèòåëåé ÆÐ, à ñèíòåçèðóåòñÿ êàê êîì-
ïîçèöèÿ óñòîé÷èâûõ ñîñòîÿíèé è ñîåäèíåíèå óñòîé÷èâûõ òðàåêòîðèé-äâèæåíèé).
Äàëüíåéøèå èññëåäîâàíèÿ íàïðàâëåíû íà ñîâåðøåíñòâîâàíèå ïðåäëîæåí-
íîé òåõíîëîãèè äëÿ ôîðìàëèçàöèè îïèñàíèÿ æåñòîâ:
— íîðìèðîâàíèå íåîáõîäèìûõ ìíîæåñòâ, à èìåííî ñîñòîÿíèé ïàëüöåâ, âçàèì-
íîãî ïîëîæåíèÿ ïàëüöåâ è ëàäîíè, ïîëîæåíèé ëàäîíè è íàïðàâëåíèå ïàëüöåâ;
îïðåäåëåíèå äëÿ ýòèõ ìíîæåñòâ ñîîòâåòñòâóþùèõ çíà÷åíèé óãëîâ ïîëîæåíèÿ
êîñòåé îáîáùåííîãî ñêåëåòà;
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2 13
Ðèñ. 3
— íîðìèðîâàíèå íåîáõîäèìîãî ìíîæåñòâà ëîêàëèçàöèé æåñòîâ è îïðåäåëå-
íèå ñîîòâåòñòâóþùèõ çíà÷åíèé óãëîâ ïîëîæåíèÿ êîñòåé îáîáùåííîãî ñêåëåòà;
— ôîðìàëèçàöèÿ ôóíêöèîíàëüíûõ ïîñòðîèòåëåé òðàåêòîðèé ñ ó÷åòîì íà-
ïðàâëåíèÿ è õàðàêòåðà äâèæåíèÿ;
— ðàñïîçíàâàíèå æåñòîâîé èíôîðìàöèè ñ èñïîëüçîâàíèåì ìíîæåñòâà êëþ-
÷åâûõ êîíôèãóðàöèé.
ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ
1. S t o k o e W . C . Sign language structure: An outline of the visual communication systems of the
american deaf // Studies in Linguistics. — 1960. — N 8. — 78 p.
2. Ñ è ñ ò å ì à æåñòîâîé íîòàöèè SignWriting. — http://www.signwriting.org/about/.
3. Ä è ì ñ ê è ñ Ë . Ñ . Èçó÷àåì æåñòîâûé ÿçûê. — Ì.: Àêàäåìèÿ, 2002. — 128 c.
4. P r i l l w i t z S . , H a n k e T . , e t a l . HamNoSys. Version 2.0; Hamburg Notation System for
Sign Languages / An introductory guide. Hamburg: Signum, 1989. — 46 p.
5. Ê ð è â î í î ñ Þ . Ã . , Ê ð à ê Þ . Â . , Á à ð ì à ê À . Â . è ä ð . Èíôîðìàöèîííàÿ òåõíîëîãèÿ
äëÿ ìîäåëèðîâàíèÿ óêðàèíñêîãî ÿçûêà æåñòîâ // Èñêóññòâåííûé èíòåëëåêò. — 2009. — ¹ 3.
— Ñ. 186–197.
6. Ê ð è â î í î ñ Þ . à . , Ê ð à ê Þ .  . , Á à ð ì à ê Î .  . Ìîäåëþâàííÿ ðóõ³â â³ðòóàëüíîãî
ïåðñîíàæà äëÿ ïðîñòîðîâîãî â³äòâîðåííÿ æåñòîâî¿ ìîâè // Ðåºñòðàö³ÿ, çáåð³ãàííÿ ³ îáðîáêà
äàíèõ. — 2010. — 12, ¹ 2. — Ñ. 181–189.
7. Ê è ð è ÷ å í ê î Ì . Ô . , Ê ð à ê Þ .  . , Ñ î ð î ê à Ð . Î . Îïòèì³çàö³ÿ ìàí³ïóëÿö³éíèõ
ðîáîò³â. — Êè¿â: Ëèá³äü, 1990. — 144 ñ.
8. Á à ð ì à ê À . Â . Èíôîðìàöèîííàÿ êîìïüþòåðíàÿ òåõíîëîãèÿ äëÿ ìîäåëèðîâàíèÿ è
óïðàâëåíèÿ ìàíèïóëÿöèîííûìè è âèðòóàëüíûìè ñèñòåìàìè // Ïðîáëåìû óïðàâëåíèÿ è
èíôîðìàòèêè. — 2003. — ¹ 5. — Ñ. 143–154.
9. Á å ð í ø ò å é í Í . À . Î÷åðêè ïî ôèçèîëîãèè äâèæåíèé è ôèçèîëîãèè àêòèâíîñòè. — Ì.:
Ìåäèöèíà, 1966. — 350 c.
10. L a n d e r J . Working with motion capture file formats // Game Developer. — 1998. — N 1. —
P. 30–37.
11. S i l v a V . A new interface paradigm for motion capture based animation systems. —
www.visgraf.impa.br/Projects /mcapture/publ/cas97.pdf.
12. Ê ð à ê Þ . Â . , Ø ê è ë ü í þ ê Ä . Â . Àíàëèç ýëåìåíòîâ äàêòèëüíîãî æåñòîâîãî ÿçûêà //
Èñêóññòâåííûé èíòåëëåêò. — 2010 — ¹ 3. — C. 322–328.
Ïîñòóïèëà 23.11.2012
14 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 2
|
| id | nasplib_isofts_kiev_ua-123456789-86209 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0023-1274 |
| language | Russian |
| last_indexed | 2025-12-07T17:55:37Z |
| publishDate | 2013 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Кривонос, Ю.Г. Крак, Ю.В. Бармак, А.В. Шкильнюк, Д.В. 2015-09-09T17:48:07Z 2015-09-09T17:48:07Z 2013 Конструирование и идентификация элементов жестовой коммуникации / Ю.Г. Кривонос, Ю.В. Крак, А.В. Бармак, Д.В. Шкильнюк // Кибернетика и системный анализ. — 2013. — Т. 49, № 2. — С. 3-14. — Бібліогр.: 12назв. — рос. 0023-1274 https://nasplib.isofts.kiev.ua/handle/123456789/86209 004.8 Запропоновано математичні моделі і інформаційну технологію конструювання рухів віртуального персонажа для відтворення жестової мови на основі отриманої множини жестових одиниць і переходів між ними. Реалізація відтворення рухів на віртуальній моделі дозволяє отримати анімацію жестової інформації у режимі реального часу. Ефективність запропонованого підходу показано на прикладі моделювання і ідентифікації дактильної інформації. The authors propose mathematical models and an information technology to construct movement of a virtual person and reproduce a sign language based on a set of gesture units and transitions between them. Motions implemented in a virtual model allow obtaining a real-time animation of sign information. The efficiency of the proposed approach is shown on the example of modeling and identification of dactyl information. ru Інститут кібернетики ім. В.М. Глушкова НАН України Кибернетика и системный анализ Кибернетика Конструирование и идентификация элементов жестовой коммуникации Конструювання і ідентифікація елементів жестової комунікації Construction and identification of gesture communication elements Article published earlier |
| spellingShingle | Конструирование и идентификация элементов жестовой коммуникации Кривонос, Ю.Г. Крак, Ю.В. Бармак, А.В. Шкильнюк, Д.В. Кибернетика |
| title | Конструирование и идентификация элементов жестовой коммуникации |
| title_alt | Конструювання і ідентифікація елементів жестової комунікації Construction and identification of gesture communication elements |
| title_full | Конструирование и идентификация элементов жестовой коммуникации |
| title_fullStr | Конструирование и идентификация элементов жестовой коммуникации |
| title_full_unstemmed | Конструирование и идентификация элементов жестовой коммуникации |
| title_short | Конструирование и идентификация элементов жестовой коммуникации |
| title_sort | конструирование и идентификация элементов жестовой коммуникации |
| topic | Кибернетика |
| topic_facet | Кибернетика |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/86209 |
| work_keys_str_mv | AT krivonosûg konstruirovanieiidentifikaciâélementovžestovoikommunikacii AT krakûv konstruirovanieiidentifikaciâélementovžestovoikommunikacii AT barmakav konstruirovanieiidentifikaciâélementovžestovoikommunikacii AT škilʹnûkdv konstruirovanieiidentifikaciâélementovžestovoikommunikacii AT krivonosûg konstruûvannâíídentifíkacíâelementívžestovoíkomuníkacíí AT krakûv konstruûvannâíídentifíkacíâelementívžestovoíkomuníkacíí AT barmakav konstruûvannâíídentifíkacíâelementívžestovoíkomuníkacíí AT škilʹnûkdv konstruûvannâíídentifíkacíâelementívžestovoíkomuníkacíí AT krivonosûg constructionandidentificationofgesturecommunicationelements AT krakûv constructionandidentificationofgesturecommunicationelements AT barmakav constructionandidentificationofgesturecommunicationelements AT škilʹnûkdv constructionandidentificationofgesturecommunicationelements |