Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации
Запропоновано інформаційні та математичні моделі для реалізації можливості анімації процесу спілкування за допомогою жестової мови на базі використання віртуальної моделі людини. Розроблено модель для фіксації морфем жестової мови, на основi якої створено технологію і відповідне програмне забезпечен...
Saved in:
| Published in: | Кибернетика и системный анализ |
|---|---|
| Date: | 2011 |
| Main Authors: | , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2011
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/84228 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации / Ю.Г. Кривонос, Ю.В. Крак // Кибернетика и системный анализ. — 2011. — Т. 47, № 4. — С. 3-8. — Бібліогр.: 8 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859624959818596352 |
|---|---|
| author | Кривонос, Ю.Г. Крак, Ю.В. |
| author_facet | Кривонос, Ю.Г. Крак, Ю.В. |
| citation_txt | Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации / Ю.Г. Кривонос, Ю.В. Крак // Кибернетика и системный анализ. — 2011. — Т. 47, № 4. — С. 3-8. — Бібліогр.: 8 назв. — рос. |
| collection | DSpace DC |
| container_title | Кибернетика и системный анализ |
| description | Запропоновано інформаційні та математичні моделі для реалізації можливості анімації процесу спілкування за допомогою жестової мови на базі використання віртуальної моделі людини. Розроблено модель для фіксації морфем жестової мови, на основi якої створено технологію і відповідне програмне забезпечення для отримання, зберігання і відтворення жестів. Запропоновано алгоритмічні рішення щодо розрахунку властивих людині траєкторій руху рук і корпусу моделі при переходах від одного жесту до другого, а також анімації міміки і артикуляції обличчя людини.
Information and mathematical models are proposed for the animation of body language communication based on a virtual human model. A model is developed to fix morphemes of the body language and is used to create a technology and software to generate, store, and reproduce gestures. Algorithmic solutions are proposed for the analysiscomputation of human-like trajectories of hands and bodymovement at transitions from a gesture to the gesture, and facial expression and articulation.
|
| first_indexed | 2025-11-29T10:21:21Z |
| format | Article |
| fulltext |
Þ.Ã. ÊÐÈÂÎÍÎÑ, Þ.Â. ÊÐÀÊ
ÓÄÊ 004.93 ÌÎÄÅËÈÐÎÂÀÍÈÅ ÄÂÈÆÅÍÈÉ ÐÓÊ, ÌÈÌÈÊÈ È
ÀÐÒÈÊÓËßÖÈÈ ËÈÖÀ ×ÅËÎÂÅÊÀ ÄËß ÑÈÍÒÅÇÀ
È ÂÈÇÓÀËÈÇÀÖÈÈ ÆÅÑÒÎÂÎÉ ÈÍÔÎÐÌÀÖÈÈ
Êëþ÷åâûå ñëîâà: ìîäåëèðîâàíèå, æåñòîâûé ÿçûê, èíôîðìàöèîííàÿ òåõíîëîãèÿ.
ÂÂÅÄÅÍÈÅ
Ìîäåëèðîâàíèå äâèæåíèÿ ðóê, ìèìèêè è àðòèêóëÿöèè ëèöà ÷åëîâåêà ÿâëÿåòñÿ
àêòóàëüíîé çàäà÷åé, ïîñêîëüêó åå ðåøåíèå îáóñëîâëèâàåò ñîçäàíèå èííîâàöè-
îííûõ òåõíîëîãèé, êîòîðûå ìîãóò ñóùåñòâåííî ïîâëèÿòü íà òàêèå ïðèêëàäíûå
íàïðàâëåíèÿ, êàê êîìïüþòåðíàÿ òåõíèêà, ìåäèöèíà, ðîáîòîòåõíèêà, êîìïüþ-
òåðíàÿ ãðàôèêà, ñèñòåìû âèðòóàëüíîé ðåàëüíîñòè. Êàê îòìå÷àë Ñòèâ Áàëëìåð,
ãåíåðàëüíèé äèðåêòîð Microsoft Corporation, «…ìû íà÷èíàåì âèäåòü ïîÿâëå-
íèå èíòåðôåéñîâ, êîòîðûå óïðàâëÿþò ïðèêîñíîâåíèåì è æåñòàìè» [1]. Âàæ-
íûì ïðàêòè÷åñêèì ïðèìåíåíèåì èññëåäóåìîé ïðîáëåìû åñòü ñîçäàíèå êîì-
ïüþòåðíûõ ñèñòåì îáùåíèÿ äëÿ ëþäåé ñ äåôåêòàìè ñëóõà, êîòîðûå îáùàþòñÿ
êàê ìåæäó ñîáîé, òàê è ñî ñëûøàùèìè ëþäüìè â ôîðìàõ è îáðàçàõ, áëèçêèõ
è ïîíÿòíûõ äëÿ âñåõ. Ðàçâèòèå ñîâðåìåííîé íàóêè, êîìïüþòåðèçàöèÿ îáùå-
ñòâà, èñïîëüçîâàíèå ìóëüòèìåäèéíûõ è èíòåðíåò-òåõíîëîãèé ñîçäàëè äîñòà-
òî÷íûå óñëîâèÿ äëÿ ðàçðàáîòêè òàêèõ ñèñòåì êîììóíèêàöèè [2].
Ëþäè ñ äåôåêòàìè ñëóõà äëÿ îáùåíèÿ ìåæäó ñîáîé ïðèìåíÿþò æåñòîâûé
ÿçûê, â êîòîðîì äëÿ ïåðåäà÷è èíôîðìàöèè èñïîëüçóþòñÿ äâèæåíèÿ ðóê, ìèìèêà è
àðòèêóëÿöèÿ ëèöà. Îòìåòèì, ÷òî îñíîâíûìè âèçóàëüíûìè ñðåäñòâàìè äëÿ âîñïðî-
èçâåäåíèÿ ýòîãî ÿçûêà åñòü ôîòîãðàôè÷åñêèå è âèäåîèçîáðàæåíèÿ æåñòîâ, íà áàçå
êîòîðûõ ðàçðàáàòûâàòü ñîâðåìåííûå ó÷åáíûå è êîììóíèêàöèîííûå êîìïüþòåð-
íûå ñèñòåìû [3] äîñòàòî÷íî ïðîáëåìàòè÷íî, ïîñêîëüêó ôîòîãðàôè÷åñêîå èçîáðà-
æåíèå íå îòðàæàåò íóæíîé äèíàìèêè æåñòîâ, à â âèäåîèçîáðàæåíèè íåâîçìîæíî
ïîëó÷èòü íåîáõîäèìóþ èíôîðìàòèâíîñòü æåñòà (íåëüçÿ óâèäåòü âîñïðîèçâåäåíèå
æåñòà ñ ðàçíûõ ðàêóðñîâ). Ýòè æåñòêèå îãðàíè÷åíèÿ ñóùåñòâóþùèõ ñðåäñòâ âîñ-
ïðîèçâåäåíèÿ æåñòîâîãî ÿçûêà ïðèâîäÿò ê íåîáõîäèìîñòè ñîçäàíèÿ êîìïëåêñíîé
èíôîðìàöèîííîé òåõíîëîãèè, êîòîðàÿ âêëþ÷àëà áû ôóíêöèîíàëüíîñòü ïî ñèíòåçó
äâèæåíèé æåñòîâîãî ÿçûêà íà ïðîñòðàíñòâåííîé ìîäåëè ÷åëîâåêà.
Öåëü íàñòîÿùåé ñòàòüè — ñîçäàíèå ñîîòâåòñòâóþùèõ èíôîðìàöèîííûõ è
ìàòåìàòè÷åñêèõ ìîäåëåé äëÿ ðåàëèçàöèè âîçìîæíîñòè àíèìàöèè ïðîöåññà îáùå-
íèÿ ñ ïîìîùüþ æåñòîâîãî ÿçûêà, èñïîëüçóÿ âèðòóàëüíóþ ìîäåëü ÷åëîâåêà. Ðàç-
ðàáîòàíà ìîäåëü äëÿ ôèêñàöèè ìîðôåì (ìèíèìàëüíî çíà÷èìûõ åäèíèö) æåñòîâî-
ãî ÿçûêà; â ðàìêàõ ýòîé ìîäåëè ñîçäàíà òåõíîëîãèÿ è ñîîòâåòñòâóþùåå ïðîãðàì-
ìíîå îáåñïå÷åíèå äëÿ ïîëó÷åíèÿ, ñîõðàíåíèÿ è âîñïðîèçâåäåíèÿ æåñòîâ.
Ïðåäëîæåíû àëãîðèòìè÷åñêèå ðåøåíèÿ äëÿ ðàñ÷åòà ñâîéñòâåííûõ ÷åëîâåêó òðà-
åêòîðèé äâèæåíèÿ ðóê è êîðïóñà ìîäåëè ïðè ïåðåõîäàõ îò îäíîãî æåñòà
ê äðóãîìó, à òàêæå äëÿ àíèìàöèè ìèìèêè è àðòèêóëÿöèè ëèöà ÷åëîâåêà.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 4 3
© Þ.Ã. Êðèâîíîñ, Þ.Â. Êðàê, 2011
ÑÒÐÓÊÒÓÐÀ ÏÐÎÑÒÐÀÍÑÒÂÅÍÍÎÉ ÌÎÄÅËÈ ×ÅËÎÂÅÊÀ
ÄËß ÔÈÊÑÀÖÈÈ ÅÄÈÍÈÖ ÆÅÑÒÎÂÎÃÎ ßÇÛÊÀ
Ïîñòðîåíèå ïðîöåññà âîñïðîèçâåäåíèÿ æåñòà íà ïðîñòðàíñòâåííîé ìîäåëè ÷å-
ëîâåêà ìîæíî ñ÷èòàòü àíèìàöèåé ñ ñîîòâåòñòâóþùåé ÷àñòîòîé ðàçëè÷íûõ ñî-
ñòîÿíèé ñêåëåòíîé ìîäåëè ÷åëîâåêà, êîòîðàÿ óïðîùåííî âîññîçäàåò ñêåëåò
æèâîãî ÷åëîâåêà. Åå ìîæíî ôîðìàëèçîâàòü êàê èåðàðõè÷åñêóþ ñòðóêòóðó, ñî-
ñòîÿùóþ èç çâåíüåâ, ñîåäèíåííûõ ìåæäó ñîáîé êèíåìàòè÷åñêèìè ïàðàìè ñî-
îòâåòñòâóþùåãî êëàññà [4], êîòîðûå ìîäåëèðóþò îñíîâíûå êîñòè ÷åëîâå÷åñêî-
ãî ñêåëåòà. Ñîâðåìåííûå ïàêåòû òðåõìåðíîãî ìîäåëèðîâàíèÿ (Poser, 3D Studio
Max) ïîçâîëÿþò ãåíåðèðîâàòü àíèìàöèþ ñ ïîìîùüþ âèðòóàëüíîé ñòàòè÷åñêîé
ìîäåëè ñ èñïîëüçîâàíèåì èíôîðìàöèè îá èçìåíåíèè ñîîòâåòñòâóþùèõ óãëîâ
ïîâîðîòîâ êîñòåé ñêåëåòà.
Äëÿ ôîðìàëüíîãî îïèñàíèÿ ïðîöåññà ìîäåëèðîâàíèÿ æåñòà ìîæíî èñïîëüçî-
âàòü ìíîæåñòâî, îòîáðàæàþùåå óïðîùåííûé ñêåëåò H ÷åëîâåêà, èçìåíåíèÿ çíà-
÷åíèé óãëîâ Ýéëåðà M è ïîðÿäêà èõ ïðèìåíåíèÿ äëÿ ïîñòðîåíèÿ ñîîòâåòñòâóþ-
ùèõ êîñòåé ýòîãî ñêåëåòà ñ èçìåíåíèåì âðåìåíè (äèñêðåòíî, ñ ñîîòâåòñòâóþùåé
÷àñòîòîé (íàïðèìåð, 1/30 ñ)):
H H H k d M Mi i i i� � �{ { }}: , , , (1)
ãäå H i — i-ÿ êîñòü â ñêåëåòå (i N� �0 1, ,� , N — êîëè÷åñòâî êîñòåé â ñêåëå-
òå); k — èíäåêñ êîñòè-ïðåäêà; d x y zi i i i
T
� [ , ], — êîîðäèíàòû òî÷êè êîíöà
êîñòè â ñèñòåìå êîîðäèíàò, ñâÿçàííîé ñ íà÷àëîì ýòîé êîñòè;
M M M orderi i i i� �{ }: ( , )� , (2)
ãäå M i — çíà÷åíèÿ óãëîâ Ýéëåðà è ïîðÿäîê ïðèìåíåíèÿ ïîâîðîòîâ ñ òå÷åíè-
åì âðåìåíè äëÿ i-é êîñòè; orderi �{ }1 6,� — ïîðÿäîê ïðèìåíåíèÿ ïîâîðîòîâ
âîêðóã ñîîòâåòñòâóþùèõ êîîðäèíàòíûõ îñåé äëÿ i-é êîñòè (1-XYZ, 2-XZY,
3-YXZ, 4-YZX, 5-ZXY, 6-ZYX); � �i i
j
� ( ) , � � � �i
j
i X
j
iY
j
i Z
j
� { }( , , ) — ìíîæå-
ñòâî óãëîâ Ýéëåðà äëÿ i-é êîñòè ( j K� �0 1, ,� , K — êîëè÷åñòâî êàäðîâ äëÿ
âîñïðîèçâåäåíèÿ äâèæåíèÿ ñ çàäàííîé ÷àñòîòîé).
Äëÿ ïîëó÷åíèÿ ìíîæåñòâà óãëîâ (2), õàðàêòåðèçóþùèõ èçìåíåíèå ïîëîæå-
íèÿ êîñòåé îò íà÷àëüíîãî ñîñòîÿíèÿ ñêåëåòà, èñïîëüçóåòñÿ òåõíîëîãèÿ çàõâàòà
äâèæåíèÿ (motion capture) [5]. Íà îñíîâàíèè ïðåäëîæåííîãî ïîäõîäà ñîçäàíî ñî-
îòâåòñòâóþùåå ïðîãðàììíîå îáåñïå÷åíèå [6], ñ ïîìîùüþ êîòîðîãî îñóùåñòâëÿ-
åòñÿ ôèêñàöèÿ è îöèôðîâêà æåñòîâ.
ÌÎÄÅËÈÐÎÂÀÍÈÅ ÌÈÌÈÊÈ È ÀÐÒÈÊÓËßÖÈÈ ËÈÖÀ
ÏÐÈ ÂÎÑÏÐÎÈÇÂÅÄÅÍÈÈ ÑËÎÂ
Äëÿ îòîáðàæåíèÿ ìèìèêè è àðòèêóëÿöèè ëèöà íà ïðîñòðàíñòâåííîé ìîäåëè
íåîáõîäèìî ïîñòðîèòü ìàòåìàòè÷åñêóþ ìîäåëü, â ðàìêàõ êîòîðîé âîçìîæíî
âûÿâèòü ðàçëè÷èÿ â ïîëîæåíèè êîíòóðà ãóá ÷åëîâåêà äëÿ ïîñòðîåíèÿ ñèñòåìû
îáó÷åíèÿ ïðàâèëüíîé àðòèêóëÿöèè ïðè âîñïðîèçâåäåíèè ñëîâ. Ìàòåìàòè÷åñêàÿ
ìîäåëü äîëæíà âêëþ÷àòü â ñåáÿ ðåàëèçàöèþ âîçìîæíîñòåé ñîçäàíèÿ âèçóàëü-
íîãî àëôàâèòà ÿçûêà, àíàëèçà âèçóàëüíîãî îòîáðàæåíèÿ ôîíåì ðå÷è, ïðèìåíå-
íèÿ ïîëó÷åííûõ ðåçóëüòàòîâ äëÿ ïðîèçâîëüíûõ ìîäåëåé ëèöà ÷åëîâåêà.
Äëÿ ñèíòåçà ìàòåìàòè÷åñêîé ìîäåëè ïåðåéäåì îò ïðîñòðàíñòâà ôîòîãðàôè÷åñ-
êèõ èçîáðàæåíèé ëèöà ÷åëîâåêà â ïðîöåññå ïðîãîâàðèâàíèÿ ê âåêòîðíîìó ïðî-
ñòðàíñòâó õàðàêòåðèñòè÷åñêèõ ïàðàìåòðîâ ñ öåëüþ îòîáðàæåíèÿ ëèöà ÷åëîâåêà íà
ïðîñòðàíñòâåííîé ìîäåëè. Òàêîé ïåðåõîä áóäåò îñóùåñòâëÿòüñÿ çà äâà ýòàïà.
1. Âûäåëåíèå íà èçîáðàæåíèè ëèöà ÷åëîâåêà âíóòðåííåãî êîíòóðà ãóá
Im L D� , (3)
ãäå Im { }L I I FSVk k� �: — óïîðÿäî÷åííîå ìíîæåñòâî êëþ÷åâûõ êàäðîâ âèäåî-
4 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 4
ïîòîêà FSV (Face Speech Video), ñôîðìèðîâàííîãî ïðè ñúåìêå ìèìè÷åñêèõ ïðî-
ÿâëåíèé íà ëèöå ÷åëîâåêà, à èìåííî ïîëîæåíèÿ ãóá ïðè ïðîãîâàðèâàíèè ñëîâ
( ,k K�1 — ïîðÿäêîâûé èíäåêñ êàäðà â âûáðàííîé ïîñëåäîâàòåëüíîñòè, ãäå
K — êîëè÷åñòâî êëþ÷åâûõ êàäðîâ); I k ij
k
� {col } , i m�1, , j n�1, , — èçîáðàæå-
íèå ðàçìåðà m n� ëèöà ñ ìèìè÷åñêèì ïîëîæåíèåì ãóá ïðè ïðîãîâàðèâàíèè ñëîâ,
m è n — äëèíà è øèðèíà èçîáðàæåíèÿ I k ñîîòâåòñòâåííî; col ij
k
kI i j� ( , ) — öâåò
ïèêñåëÿ â ñèñòåìå RGB ñ êîîðäèíàòàìè ( , )i j íà èçîáðàæåíèè I k ; D Dk� { :
D d dk
k k
� { }}top bot
, — ìíîæåñòâî âåðõíåãî d k
top è íèæíåãî d k
bot
êîíòóðîâ ãóá,
Dk — ïàðà òî÷å÷íûõ êðèâûõ — êîíòóðîâ ãóá äëÿ k-ãî êàäðà.
2. Àïïðîêñèìàöèÿ ïîëó÷åííîé òî÷å÷íîé êðèâîé âíóòðåííåãî êîíòóðà ãóá ñ
ïîìîùüþ íåðàâíîìåðíûõ áàçèñíûõ ñïëàéíîâ (NURBS) [7] — ïîëó÷åíèå âåêòîðà
õàðàêòåðèñòè÷åñêèõ ïðèçíàêîâ:
D P� , (4)
ãäå P p p Fk k
i
� �{ : , i s�1, } — ïðîñòðàíñòâî õàðàêòåðèñòè÷åñêèõ ïðèçíàêîâ, F —
õàðàêòåðèñòè÷åñêèå ïðèçíàêè îáúåêòà èññëåäîâàíèÿ, pk — õàðàêòåðèñòè÷åñêèé
âåêòîð, p
k
i — êîîðäèíàòû ýòîãî âåêòîðà, s — ðàçìåðíîñòü ïðîñòðàíñòâà P .
Ñ èñïîëüçîâàíèåì ïðåîáðàçîâàíèÿ (3),(4) ñîçäàíà èíôîðìàöèîííàÿ òåõíîëî-
ãèÿ [8], ñ ïîìîùüþ êîòîðîé îñóùåñòâëÿåòñÿ ìîäåëèðîâàíèå ìèìèêè è
àðòèêóëÿöèè ëèöà ÷åëîâåêà.
ÌÎÄÅËÈÐÎÂÀÍÈÅ ÏÐÎÖÅÑÑÀ ÀÍÈÌÀÖÈÈ ÆÅÑÒÎÂÎÃÎ ßÇÛÊÀ
Äëÿ ñèíòåçà ïðîöåññà àíèìàöèè æåñòîâ è ìèìèêè íà ïðîñòðàíñòâåííîé ìîäåëè ÷å-
ëîâåêà ïðåäëîæåíû ñëåäóþùåå ôîðìàëüíîå îïèñàíèå ñîîòâåòñòâóþùåãî ìíîæåñòâà
ïàðàìåòðîâ è àëãîðèòìû ðàáîòû ñ íèìè. Òðåõìåðíàÿ ìîäåëü ÷åëîâåêà, íà êîòîðîé
áóäåò ðåàëèçîâûâàòüñÿ ïðîöåññ àíèìàöèè æåñòîâ è ìèìèêè, èìååò ñëåäóþùèå ñî-
ñòàâëÿþùèå: V v v x y zi i� �{ }: ( , , ) — ìíîæåñòâî âåðøèí òðåóãîëüíèêîâ äëÿ òðè-
àíãóëÿöèè ïîâåðõíîñòè òðåõìåðíîé ìîäåëè ÷åëîâåêà; N n n x y zi i� �{ }: ( , , ) —
ìíîæåñòâî íîðìàëåé ê âåðøèíàì; T t t t ri i� �{ }: ( , ) — ìíîæåñòâî òåêñòóðíûõ êî-
îðäèíàò ê âåðøèíàì; V V V k k kind
i
ind
i
ind
� �{ }: ( , , )1 2 3 — ìíîæåñòâî èíäåêñîâ,
óêàçûâàþùèõ íà ïîðÿäîê ïîñòðîåíèÿ òðåóãîëüíèêîâ èç ìíîæåñòâà âåðøèí;
I I Ii i� �{ {img}}: — ìíîæåñòâî ôîòîãðàôè÷åñêèõ èçîáðàæåíèé ýëåìåíòîâ ìîäå-
ëè — òåêñòóðû; i S�1, , S — îïðåäåëåííîå ÷èñëî.
Äëÿ ìîäåëèðîâàíèÿ ñêåëåòíîé àíèìàöèè íåîáõîäèìî ðàññ÷èòûâàòü íî-
âûå çíà÷åíèÿ âåðøèí V òðåóãîëüíèêîâ. Äëÿ ýòîãî èñïîëüçóåòñÿ ìåõàíèçì
ñêèíèíãà — àëãîðèòì ïðèâÿçêè ìíîæåñòâà âåðøèí òðåóãîëüíèêîâ, îïðåäå-
ëÿþùèõ ïîâåðõíîñòü ìîäåëè, ê çíà÷åíèÿì óãëîâ ïîâîðîòîâ ñêåëåòà. Òîãäà
ìîäåëü ñêåëåòíîé àíèìàöèè ìîæíî ôîðìàëèçîâàòü ñëåäóþùèì îáðàçîì:
MH MH i� { : MH k l li m� { { }, , ,1 � , d Glb Orderi i i, , } — îïèñàíèå óïðîùåííîãî
ñêåëåòà ÷åëîâåêà (èåðàðõèÿ êîñòåé) äëÿ ðåàëèçàöèè ñêåëåòíîé àíèìàöèè, ãäå
MH i — i-ÿ êîñòü ñêåëåòà (i N� �0 1, , N — êîëè÷åñòâî êîñòåé â ñêåëåòå); k —
èíäåêñ êîñòè-ïðåäêà; { }l lm1, ,� — ìíîæåñòâî èíäåêñîâ äî÷åðíèõ êîñòåé,
d x y zi i i i
T
� [ , ], — êîîðäèíàòû òî÷êè êîíöà êîñòè â ñèñòåìå êîîðäèíàò, ñâÿçàí-
íîé ñ íà÷àëîì ýòîé êîñòè; Glbi — âåêòîð äëÿ îïðåäåëåíèÿ êîîðäèíàò êîñòè â ãëî-
áàëüíîé ñèñòåìå êîîðäèíàò, Orderi — ïîðÿäîê ïðèìåíåíèÿ ïîâîðîòîâ;
Skin Skin Skin IndexVertex Weighti i� �{ { }}: ( , ),1 1 � — ìíîæåñòâî âåðøèí, âëèÿþ-
ùèõ íà òåêóùóþ âåðøèíó ïðè èçìåíåíèè óãëîâ.
Ñêèíèíã ðàññ÷èòûâàåòñÿ äëÿ êàæäîé âåðøèíû V ñëåäóþùèì îáðàçîì:
v v IM TM wH H H
i
n
i i i
� �
�
�{ }( * * )*
0
, (5)
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 4 5
ãäå n — êîëè÷åñòâî êîñòåé, îòíîñÿùèõñÿ ê âåðøèíå V ; IM Hi
— èíâåðñíàÿ ìàò-
ðèöà äëÿ êîñòè H i ; TM Hi
— ìàòðèöà ïåðåìåùåíèÿ îòíîñèòåëüíî êîñòè H i ;
wHi
— âåñîâîé êîýôôèöèåíò âëèÿíèÿ òî÷åê êîñòè H i íà âåðøèíó V .
Äëÿ ìîäåëèðîâàíèÿ àíèìàöèè ïðîãîâàðèâàíèÿ è ýìîöèîíàëüíîãî îêðàøèâà-
íèÿ èñïîëüçóåòñÿ ìåõàíèçì ìîðôèíãà — ïëàâíîãî ïåðåõîäà îò îäíîãî ñîñòîÿíèÿ
îáúåêòà ê äðóãîìó. Ïðè ìîðôèíãå èñïîëüçóþòñÿ òîëüêî îïîðíûå ñîñòîÿíèÿ, ñ
ïîìîùüþ êîòîðûõ ðàññ÷èòûâàþòñÿ ïðîìåæóòî÷íûå ñîñòîÿíèÿ è ìîäåëèðóåòñÿ
ïðîöåññ àíèìàöèè.
Ìîäåëü ìîðôèíãà ìèìèêè ïðîãîâàðèâàíèÿ ñëîâ îïèøåì ñëåäóþùèì îáðà-
çîì. Âîñïðîèçâåäåíèå èëè ïîñòðîåíèå ìèìèêè íà ëèöå òðåõìåðíîé ìîäåëè äî-
ñòèãàåòñÿ ïóòåì ïðèìåíåíèÿ îòíîñèòåëüíîãî (ñåãìåíòíîãî) ìîðôèíãà ê ìîäåëè
ëèöà è ìèìè÷åñêîãî ïðîöåññà. Âûðàæåíèå äëÿ îòíîñèòåëüíîãî ìîðôèíãà,
ñîñòîÿùåãî èç R ìîðôîâ, â ôîðìàëèçìå ìîäåëè èìååò âèä
V V w RMm m
m
R
� �
�
�
1
, (6)
ãäå wm — âåñîâûå êîýôôèöèåíòû, V — ìíîæåñòâî âåðøèí áàçîâîé ìîäåëè,
RM m — âõîäíîé ìîðô äëÿ ñìåøèâàíèÿ (blending). Ðåçóëüòàò îïåðàöèè — ëè-
íåéíàÿ êîìáèíàöèÿ ìíîæåñòâà âåðøèí ìîäåëè è ìèìèêè.
Ìåòîä ñåãìåíòíîãî ìîðôèíãà äàåò âîçìîæíîñòü ôîðìèðîâàòü íåñêîëüêî âû-
ðàæåíèé ëèöà íà îñíîâå íåáîëüøîãî êîëè÷åñòâà ìîðôîâ è èçìåíÿòü ñîñòîÿíèå
ëèöà ïðè àíèìàöèè ïðîãîâàðèâàíèÿ. Ïðåèìóùåñòâîì ñåãìåíòíîãî ìîðôèíãà ÿâ-
ëÿåòñÿ âîçìîæíîñòü àíèìèðîâàíèÿ ÷åëþñòè íåçàâèñèìî îò âûðàæåíèÿ ãóá è ãëàç,
à òàêæå îò ýìîöèîíàëüíûõ ïðîÿâëåíèé íà ëèöå.
Ðàññìîòðèì ïðèìåð ñèíòåçà
ñîñòîÿíèé ëèöà ÷åëîâåêà ïîñðåä-
ñòâîì ìîðôèíãà âèçåì óêðàèí-
ñêîé ðå÷è (ðèñ. 1) â ïðîöåññå ïðî-
ãîâàðèâàíèÿ ãóáàìè ïåðåäàâàå-
ìîé ñëîâåñíîé èíôîðìàöèè.
Ìîðôèíã ñ èñïîëüçîâàíèåì áà-
çèñíûõ âèçåì îñóùåñòâëÿåòñÿ ñ
ó÷åòîì âåñîâûõ êîýôôèöèåíòîâ:
1) âû÷èñëÿåòñÿ êîëè÷åñòâî
êàäðîâ äëÿ àíèìàöèè;
2) îïðåäåëÿåòñÿ íàáîð ýìî-
öèé, ïðèñóòñòâóþùèõ â ñëîâå;
3) ðàññ÷èòûâàåòñÿ íàáîð âèçåì äëÿ âèçóàëèçàöèè ïðîöåññà àðòèêóëÿöèè;
4) âû÷èñëÿþòñÿ ïðîäîëæèòåëüíîñòè ýòàïîâ àíèìàöèè è òî÷êè ïîÿâëåíèÿ âèçåì.
Äëÿ ñèíõðîíèçàöèè àíèìàöèè æåñòà è ìèìèêè íåîáõîäèìî, ÷òîáû íà÷àëî è êî-
íåö àíèìàöèè ìèìèêè àðòèêóëÿöèè ñîâïàäàëè ñ íà÷àëîì è êîíöîì àíèìàöèè æåñòà.
ÈÍÔÎÐÌÀÖÈÎÍÍÀß ÒÅÕÍÎËÎÃÈß
ÄËß ÂÎÑÏÐÎÈÇÂÅÄÅÍÈß ÏÐÎÖÅÑÑÀ ÀÍÈÌÀÖÈÈ
Äëÿ âîñïðîèçâåäåíèÿ ïðîöåññà àíèìàöèè æåñòîâ è ìèìèêè òðåõìåðíîé ìî-
äåëüþ ÷åëîâåêà ñîçäàíî ïðîãðàììíîå îáåñïå÷åíèå, ðåàëèçóþùåå ñêåëåòíóþ
àíèìàöèþ äëÿ âîñïðîèçâåäåíèÿ æåñòà (ðèñ. 2, à) è ìîðôåìíóþ àíèìàöèþ äëÿ
âîñïðîèçâåäåíèÿ ìèìèêè ïðîãîâàðèâàíèÿ è ýìîöèé (ðèñ. 2, á). Ðåàëèçîâàíà
ñîîòâåòñòâóþùàÿ ïðîãðàììíàÿ ôóíêöèîíàëüíîñòü, êîòîðàÿ, èñïîëüçóÿ òðåõ-
ìåðíîå API OpenGL, âîñïðîèçâîäèò ïî çàäàííûì àòðèáóòàì 3Ä ìîäåëü ÷åëî-
âåêà. Íà ðèñ. 3 ïðèâåäåíà ìîäåëü àíèìàöèè æåñòà ñ èñïîëüçîâàíèåì àëãîðèò-
ìîâ ñêèíèíãà è ìîðôèíãà.
Íà áàçå ñîçäàííîé èíôîðìàöèîííîé òåõíîëîãèè ðåàëèçîâàíû óêðàèíñêèé
æåñòîâîãî ÿçûê è ìåòîäèêà ïðåïîäàâàíèÿ æåñòîâîãî ÿçûêà â ñïåöèàëèçèðîâàííûõ
îáùåîáðàçîâàòåëüíûõ øêîëàõ äëÿ íåñëûøàùèõ äåòåé.
6 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 4
Ðèñ. 1. Ïîëîæåíèå ëèöà ÷åëîâåêà ïðè ïðîãîâàðè-
âàíèè ãóáàìè èíôîðìàöèè: à — âèçåìà «ó»; á —
âîïðîñèòåëüíîå âûðàæåíèå ëèöà; â — ìîðôèíã
âèçåìû «ó» è âîïðîñèòåëüíîãî âûðàæåíèÿ ëèöà
à á â
Ôóíêöèîíàëüíî òåõíîëîãèÿ ñîñòîèò èç òðåõ
èíôîðìàöèîííûõ áëîêîâ (òåìû, ñëîâà è ïðåä-
ëîæåíèÿ) è áëîêà âîñïðîèçâåäåíèÿ æåñòà âèðòó-
àëüíîé ìîäåëüþ, êîòîðûé èìååò îïðåäåëåííîå
ïðåäíàçíà÷åíèå — ñ åãî ïîìîùüþ âîçìîæíî äå-
ìîíñòðèðîâàòü äèíàìèêó æåñòà â ó÷åáíîì ïðî-
öåññå. Ïîñêîëüêó æåñòû îöèôðîâûâàþòñÿ íîñè-
òåëÿìè æåñòîâîãî ÿçûêà, îíè, ïî ñóòè, ñòàíîâÿò-
ñÿ ñòàíäàðòàìè âîñïðîèçâåäåíèÿ æåñòà.
Ðåàëèçîâàííàÿ â áëîêå ôóíêöèîíàëüíîñòü äëÿ
ïîêàäðîâîé äåìîíñòðàöèè æåñòà ñëóæèò ñðå-
äñòâîì, ñ ïîìîùüþ êîòîðîãî ñòàíåò âîçìîæíûì
èçó÷åíèå æåñòà áåç êîíêðåòíîãî ïðåïîäàâàòåëÿ.
Ýòî ìîæåò ïîñëóæèòü îñíîâîé ñîçäàíèÿ ñòàí-
äàðòà æåñòîâîãî ÿçûêà äëÿ äåòåé èç øêîë ðàç-
íûõ ðåãèîíîâ. Ôàêòè÷åñêè ïðè òàêîì ïîäõîäå
æåñòîâûé ÿçûê (â îñíîâíîì ñâîåì ìíîæåñòâå) ìîæåò ñòàòü ñòàíäàðòíûì íà òåð-
ðèòîðèè Óêðàèíû.
ÇÀÊËÞ×ÅÍÈÅ
Ïðè èñïîëüçîâàíèè ðàññìîòðåííûõ ìîäåëåé äëÿ ôèêñàöèè äâèæåíèé, êîòîðûå
âîñïðîèçâîäÿò óêðàèíñêèé æåñòîâûé ÿçûê, áûëî îöèôðîâàíî íåñêîëüêî äåñÿò-
êîâ æåñòîâ. Áëàãîäàðÿ ðàçðàáîòàííîé òåõíîëîãèè âîñïðîèçâåäåíèÿ æåñòîâ èç
ýòîãî ìíîæåñòâà (ñ ïîìîùüþ ïðîñòðàíñòâåííîé ìîäåëè) ïîÿâèëàñü âîçìîæ-
íîñòü ìîäåëèðîâàòü äâèæåíèÿ, ïîëó÷åííûå ñ âèäåîèçîáðàæåíèÿ êîíêðåòíîãî
÷åëîâåêà — íîñèòåëÿ æåñòîâîãî ÿçûêà.
Ðåàëèçîâàíà òåõíîëîãèÿ, ñ ïîìîùüþ êîòîðîé âîñïðîèçâîäÿòñÿ óðîêè óêðà-
èíñêîãî æåñòîâîãî ÿçûêà. Ñîçäàííàÿ òåõíîëîãèÿ è ïðîãðàììíîå îáåñïå÷åíèå ïî-
çâîëÿþò óíèôèöèðîâàòü èçó÷åíèå æåñòîâîãî ÿçûêà è â ýòîì ñëó÷àå ìîãóò ñòàòü
îñíîâîé ñîçäàíèÿ ñòàíäàðòà æåñòîâîãî ÿçûêà.
Äàëüíåéøèå èññëåäîâàíèÿ íàïðàâëåíû íà óñîâåðøåíñòâîâàíèå ïðåäëàãàå-
ìîé òåõíîëîãèè:
• íàïîëíåíèå áàçû äàííûõ æåñòîâ;
• ñîçäàíèå ñðåäñòâ äëÿ ñåìàíòè÷åñêîãî ñâÿçûâàíèÿ ïðåäëîæåíèé îáû÷íîãî
ÿçûêà ñ ïðåäëîæåíèÿìè íà æåñòîâîì ÿçûêå;
• óñîâåðøåíñòâîâàíèå ïðîñòðàíñòâåííîé ìîäåëè ÷åëîâåêà ñ ó÷åòîì ñïåöè-
ôèêè ðåàëèçàöèè æåñòîâîãî ÿçûêà.
ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ
1. B a l l m e r S . The fifth revolution — keynote script // CeBIT, 4–9 March 2008. Èíòåðíåò-ðåñóðñ. —
www.cebit.de/7514?pm~=~cb08-168-e.
2. Ê ð è â î í î ñ Þ . Ã . , Ê ð à ê Þ . Â . , Á à ð ì à ê Î . Â . , Ò å ð í î â À . Ñ . Èíôîðìàöèîííàÿ òåõíîëîãèÿ
íåâåðáàëüíîãî îáùåíèÿ ëþäåé ñ ïðîáëåìàìè ñëóõà // Èñêóññòâåííûé èíòåëëåêò. — 2008. — ¹ 3. —
Ñ. 325–331.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 4 7
Ðèñ. 2. Ïðîñòðàíñòâåííàÿ ìîäåëü ÷å-
ëîâåêà (à) è ìîðôåìíàÿ ìîäåëü ëèöà
÷åëîâåêà (á)
à
á
Ðèñ. 3. Ìîäåëü ïðîöåññà àíèìàöèè æåñòà «òû»
3. Á å ë è ê î â Â . È . Æåñòîâûå ñèñòåìû êîììóíèêàöèÿ // Ñåìèîòèêà è èíôîðìàòèêà. — 1973. —
Âûï. 20. — Ñ. 127–148.
4. Ê è ð è ÷ å í ê î Ì . Ô . , Ê ð à ê Þ .  . , Ñ î ð î ê à Ð . Î . Îïòèì³çàö³ÿ ìàí³ïóëÿö³éíèõ ðîáîò³â. — Ê.:
Ëèá³äü, 1990. — 144 ñ.
5. L a n d e r J . Working with motion capture file formats. Game developer. — Miller Freeman Inc. USA,
1998. — Ð. 30–37.
6. Ê ð è â î í î ñ Þ . Ã . , Ê ð à ê Þ . Â . , Á à ð ì à ê Î . Â . , Ò å ð í î â À . Ñ . , Ò ð î ö å í ê î Á . À . Èíôîð-
ìàöèîííàÿ òåõíîëîãèÿ äëÿ ìîäåëèðîâàíèÿ óêðàèíñêîãî æåñòîâîãî ÿçûêà // Èñêóññòâåííûé èíòåë-
ëåêò. — 2009. — ¹ 3. — Ñ. 186–198.
7. P i e g l L . , T i l l e r W . The NURBS book, 2nd Edition. — Berlin, Germany: Springer-Verlag,
1996. — 645 p.
8. Ê ð à ê Þ .  . , Á à ð ì à ê Î .  . , Ò å ð í î â À . Ñ . Èíôîðìàöèîííàÿ òåõíîëîãèÿ äëÿ àâòîìàòè÷åñêîãî
÷òåíèÿ ïî ãóáàì óêðàèíñêîé ðå÷è // Êîìïüþòåðíàÿ ìàòåìàòèêà. — 2009. — ¹ 1. — Ñ. 86–95.
Ïîñòóïèëà 10.03.2011
|
| id | nasplib_isofts_kiev_ua-123456789-84228 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0023-1274 |
| language | Russian |
| last_indexed | 2025-11-29T10:21:21Z |
| publishDate | 2011 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Кривонос, Ю.Г. Крак, Ю.В. 2015-07-03T18:41:53Z 2015-07-03T18:41:53Z 2011 Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации / Ю.Г. Кривонос, Ю.В. Крак // Кибернетика и системный анализ. — 2011. — Т. 47, № 4. — С. 3-8. — Бібліогр.: 8 назв. — рос. 0023-1274 https://nasplib.isofts.kiev.ua/handle/123456789/84228 004.93 Запропоновано інформаційні та математичні моделі для реалізації можливості анімації процесу спілкування за допомогою жестової мови на базі використання віртуальної моделі людини. Розроблено модель для фіксації морфем жестової мови, на основi якої створено технологію і відповідне програмне забезпечення для отримання, зберігання і відтворення жестів. Запропоновано алгоритмічні рішення щодо розрахунку властивих людині траєкторій руху рук і корпусу моделі при переходах від одного жесту до другого, а також анімації міміки і артикуляції обличчя людини. Information and mathematical models are proposed for the animation of body language communication based on a virtual human model. A model is developed to fix morphemes of the body language and is used to create a technology and software to generate, store, and reproduce gestures. Algorithmic solutions are proposed for the analysiscomputation of human-like trajectories of hands and bodymovement at transitions from a gesture to the gesture, and facial expression and articulation. ru Інститут кібернетики ім. В.М. Глушкова НАН України Кибернетика и системный анализ Кибернетика Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации Моделювання рухів рук, міміки і артикуляції обличчя людини для синтезу і візуалізації жестової інформації Modeling human hand movements, facial expression, and articulation to synthesize and visualize gesture information Article published earlier |
| spellingShingle | Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации Кривонос, Ю.Г. Крак, Ю.В. Кибернетика |
| title | Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации |
| title_alt | Моделювання рухів рук, міміки і артикуляції обличчя людини для синтезу і візуалізації жестової інформації Modeling human hand movements, facial expression, and articulation to synthesize and visualize gesture information |
| title_full | Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации |
| title_fullStr | Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации |
| title_full_unstemmed | Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации |
| title_short | Моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации |
| title_sort | моделирование движений рук, мимики и артикуляции лица человека для синтеза и визуализации жестовой информации |
| topic | Кибернетика |
| topic_facet | Кибернетика |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/84228 |
| work_keys_str_mv | AT krivonosûg modelirovaniedviženiirukmimikiiartikulâciilicačelovekadlâsintezaivizualizaciižestovoiinformacii AT krakûv modelirovaniedviženiirukmimikiiartikulâciilicačelovekadlâsintezaivizualizaciižestovoiinformacii AT krivonosûg modelûvannâruhívrukmímíkiíartikulâcííobliččâlûdinidlâsintezuívízualízacíížestovoíínformacíí AT krakûv modelûvannâruhívrukmímíkiíartikulâcííobliččâlûdinidlâsintezuívízualízacíížestovoíínformacíí AT krivonosûg modelinghumanhandmovementsfacialexpressionandarticulationtosynthesizeandvisualizegestureinformation AT krakûv modelinghumanhandmovementsfacialexpressionandarticulationtosynthesizeandvisualizegestureinformation |