Моделювання мімічної складової для українського жестового мовлення

Розглянуто підхід для моделювання емоційної та артикуляційної складових обличчя віртуальної моделі людини в процесі відтворення нею українського жестового мовлення. Запропонований підхід дозволяє використовувати отриманні при моделюванні параметри для аналізу зображень обличчя людини в процесі відтв...

Повний опис

Збережено в:

Бібліографічні деталі
Опубліковано в: :	Штучний інтелект
Дата:	2012
Автори:	Кривонос, Ю.Г., Крак, Ю.В., Бармак, О.В., Тернов, А.С.
Формат:	Стаття
Мова:	Ukrainian
Опубліковано:	Інститут проблем штучного інтелекту МОН України та НАН України 2012
Теми:	Анализ и синтез коммуникационной информации
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/57175
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Моделювання мімічної складової для українського жестового мовлення / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов // Штучний інтелект. — 2012. — № 3. — С. 161-171. — Бібліогр.: 9 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	nasplib_isofts_kiev_ua-123456789-57175
record_format	dspace
spelling	Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Тернов, А.С. 2014-03-04T15:27:04Z 2014-03-04T15:27:04Z 2012 2012 Моделювання мімічної складової для українського жестового мовлення / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов // Штучний інтелект. — 2012. — № 3. — С. 161-171. — Бібліогр.: 9 назв. — укр. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/57175 004.8 Розглянуто підхід для моделювання емоційної та артикуляційної складових обличчя віртуальної моделі людини в процесі відтворення нею українського жестового мовлення. Запропонований підхід дозволяє використовувати отриманні при моделюванні параметри для аналізу зображень обличчя людини в процесі відтворення жестового мовлення. В статье предложен подход для моделирования эмоциональной и артикуляционной составляющей лица виртуальной модели человека в процессе воспроизведения украинской жестовой речи. Предложенный подход позволяет использовать полученные при моделировании параметры для анализа изображений лица человека в процессе воспроизведения жестовой речи. An approach to mimics and articulation modeling on a virtual model of a human face in a process of reproduction of the Ukrainian sign language is proposed in this paper. The proposed approach allows using parameters, which were obtained during modeling, for analysis of images of a human face during sign language reproduction. uk Інститут проблем штучного інтелекту МОН України та НАН України Штучний інтелект Анализ и синтез коммуникационной информации Моделювання мімічної складової для українського жестового мовлення Моделирование мимической составляющей для украинской жестовой речи Modeling of Mimic Components for the Ukrainian Sign Language Article published earlier
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
title	Моделювання мімічної складової для українського жестового мовлення
spellingShingle	Моделювання мімічної складової для українського жестового мовлення Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Тернов, А.С. Анализ и синтез коммуникационной информации
title_short	Моделювання мімічної складової для українського жестового мовлення
title_full	Моделювання мімічної складової для українського жестового мовлення
title_fullStr	Моделювання мімічної складової для українського жестового мовлення
title_full_unstemmed	Моделювання мімічної складової для українського жестового мовлення
title_sort	моделювання мімічної складової для українського жестового мовлення
author	Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Тернов, А.С.
author_facet	Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Тернов, А.С.
topic	Анализ и синтез коммуникационной информации
topic_facet	Анализ и синтез коммуникационной информации
publishDate	2012
language	Ukrainian
container_title	Штучний інтелект
publisher	Інститут проблем штучного інтелекту МОН України та НАН України
format	Article
title_alt	Моделирование мимической составляющей для украинской жестовой речи Modeling of Mimic Components for the Ukrainian Sign Language
description	Розглянуто підхід для моделювання емоційної та артикуляційної складових обличчя віртуальної моделі людини в процесі відтворення нею українського жестового мовлення. Запропонований підхід дозволяє використовувати отриманні при моделюванні параметри для аналізу зображень обличчя людини в процесі відтворення жестового мовлення. В статье предложен подход для моделирования эмоциональной и артикуляционной составляющей лица виртуальной модели человека в процессе воспроизведения украинской жестовой речи. Предложенный подход позволяет использовать полученные при моделировании параметры для анализа изображений лица человека в процессе воспроизведения жестовой речи. An approach to mimics and articulation modeling on a virtual model of a human face in a process of reproduction of the Ukrainian sign language is proposed in this paper. The proposed approach allows using parameters, which were obtained during modeling, for analysis of images of a human face during sign language reproduction.
issn	1561-5359
url	https://nasplib.isofts.kiev.ua/handle/123456789/57175
citation_txt	Моделювання мімічної складової для українського жестового мовлення / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов // Штучний інтелект. — 2012. — № 3. — С. 161-171. — Бібліогр.: 9 назв. — укр.
work_keys_str_mv	AT krivonosûg modelûvannâmímíčnoískladovoídlâukraínsʹkogožestovogomovlennâ AT krakûv modelûvannâmímíčnoískladovoídlâukraínsʹkogožestovogomovlennâ AT barmakov modelûvannâmímíčnoískladovoídlâukraínsʹkogožestovogomovlennâ AT ternovas modelûvannâmímíčnoískladovoídlâukraínsʹkogožestovogomovlennâ AT krivonosûg modelirovaniemimičeskoisostavlâûŝeidlâukrainskoižestovoireči AT krakûv modelirovaniemimičeskoisostavlâûŝeidlâukrainskoižestovoireči AT barmakov modelirovaniemimičeskoisostavlâûŝeidlâukrainskoižestovoireči AT ternovas modelirovaniemimičeskoisostavlâûŝeidlâukrainskoižestovoireči AT krivonosûg modelingofmimiccomponentsfortheukrainiansignlanguage AT krakûv modelingofmimiccomponentsfortheukrainiansignlanguage AT barmakov modelingofmimiccomponentsfortheukrainiansignlanguage AT ternovas modelingofmimiccomponentsfortheukrainiansignlanguage
first_indexed	2025-11-27T08:14:05Z
last_indexed	2025-11-27T08:14:05Z
_version_	1850807819799887872
fulltext	«Штучний інтелект» 3’2012 161 3К УДК 004.8 Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов Інститут кібернетики НАН України ім. В.М. Глушкова Україна, 03187, м. Київ, просп. Академіка Глушкова, 40 Моделювання мімічної складової для українського жестового мовлення Yu.G. Kryvonos, Iu.V. Krak, O.V. Barmak, A.S. Ternov V.M.Glishkov Institute of Cubernetics of NASU Ukraine, 03187, Kyiv, 40 Glushkova ave. Modeling of Mimic Components for the Ukrainian Sign Language Ю.Г. Кривонос, Ю.В. Крак, A.В. Бармак, А.С. Тернов Институт кибернетики НАН Украины им. В.М. Глушкова Украина, 03187, г. Киев, просп. Академика Глушкова, 40 Моделирование мимической составляющей для украинской жестовой речи Розглянуто підхід для моделювання емоційної та артикуляційної складових обличчя віртуальної моделі людини в процесі відтворення нею українського жестового мовлення. Запропонований підхід дозволяє використовувати отриманні при моделюванні параметри для аналізу зображень обличчя людини в процесі відтворення жестового мовлення. Ключові слова: віртуальна модель, жестове мовлення, ідентифікація емоцій та артикуляції. An approach to mimics and articulation modeling on a virtual model of a human face in a process of reproduction of the Ukrainian sign language is proposed in this paper. The proposed approach allows using parameters, which were obtained during modeling, for analysis of images of a human face during sign language reproduction. Key words: virtual model, sign language, emotion and articulation identification. В статье предложен подход для моделирования эмоциональной и артикуляционной составляющей лица виртуальной модели человека в процессе воспроизведения украинской жестовой речи. Предложенный подход позволяет использовать полученные при моделировании параметры для анализа изображений лица человека в процессе воспроизведения жестовой речи. Ключевые слова: виртуальная модель, жестовая речь, идентификация эмоций и артикуляции. Вступ Для синтаксису жестового мовлення характерна наявність немануального мар- кера: у запитальних реченнях, при загальному запитанні – підведені брови, при окремому (приватному) запитанні – опущенні брови та нахилена вперед голова. При запере- ченні – негативні рухи головою, відповідний вираз обличчя. Для розповідних речень характерна наявність на обличчі емоційного забарвлення, що відповідає смислу інфор- мації, що передається. Крім того, у жестовому мовленні присутня (зазвичай) артику- ляційна складова – промовляння за допомогою рухів губ відтворюваного жестами контенту звукової мови. Кривонос Ю.Г., Крак Ю.В., Бармак О.В., Тернов А.С. «Искусственный интеллект» 3’2012162 3К А Отже, синтез мімічної складової (для моделювання процесу відтворення жесто- вого мовлення за допомогою віртуальної моделі людини та за умови майбутнього аналізу (розпізнавання)) відіграє дуже важливу роль. Метою даної роботи є розширення запропонованих технологій для моделювання та аналізу мімічних проявів емоцій [1] та аналізу міміки губ при промовлянні [2] для синтезу та аналізу мімічної складової для українського жестового мовлення. На основі технологій [1], [2] потрібно побудувати загальну модель, яка буде використовуватись як для відтворення жестового мовлення віртуальною моделлю людини, так і для роз- пізнавання відповідних маркерів на обличчі звичайної людини. Міміка із засад концепції синтезу та аналізу жестового мовлення Суттєві обмеження існуючих засобів відтворення жестової мови, з одного боку, та розвиток сучасної обчислювальної техніки, з іншого боку, спонукають до розробки більш гнучких алгоритмів, за допомогою яких можна було б створювати нові комп’- ютерні системи навчання та комунікації для людей з вадами слуху. У роботах [3], [4] запропонована концепція інформаційної технології невербального спілкування людей з вадами слуху на базі використання мультимедійних можливостей сучасної комп’ю- терної техніки для відтворення жестової мови. Узагальнено концепція інформаційної технології зображена на рис. 1. Рисунок 1 – Узагальнена концепція інформаційної технології Основною ідеєю запропонованої концепції є синтез жестової мови через моде- лювання процесу її відтворення. З іншого боку, отримана при моделюванні жестової мови інформація використовується для розпізнавання (аналізу). Отримана таким чи- ном інформація є вхідною (як окремо, так і в поєднанні) для створення нових засобів комунікації, навчальних програм тощо. Синтезувати жестову мову пропонується за допомогою просторової моделі людини, яка дозволяє уникнути недоліків існуючих засобів відтворення жестової мови (фото- та відеозображення). Просторова модель повинна синтезувати основні канали невербального спілку- вання: міміку, жести та пантоміміку. Виходячи з природи жесту як довільного знака, що продукується головою, руками, тілом та виражає емоції і повідомляє інформацію, потрібно запропонувати технології як для отримання та збереження жестів (послі- довності зміни кутів скелета людини з плином часу), так і для формалізації мімічної складової (емоції тощо) (рис. 2). Жестова мова Синтез (моделювання) Аналіз (розпізнавння) Засоби комунікації, навчальні програми Моделювання мімічної складової для українського жестового мовлення «Штучний інтелект» 3’2012 163 3К Із запропонованої схеми (рис. 2), яка розкриває суть процесу синтезу жестової мови, з точки зору відображення на обличчі (як каналу невербальної інформації) випливають такі основні задачі (сигнали очей і брів можна звести до емоційної складової): 1) потрібно розробити інформаційну та математичну моделі для синтезу та ана- лізу емоційних проявів на обличчі; 2) потрібно розробити інформаційну та математичну моделі для синтезу та ана- лізу візуальних мімічних проявів при промовлянні усної мови (з урахуванням про- мовляння при виконанні жесту). Рисунок 2 – Схема концепції просторової моделі для моделювання візуалізації жестової мови Виходячи з того, що емоційні та артикуляційні прояви на обличчі людини мають одну природу – скорочення певних м’язів – пропонується розглядати задачу синтезу мімічних проявів комплексно: як для емоційної, так і для артикуляційної складових. Формалізація складових, що впливають на формування мімічних проявів Аналіз систематизації емоцій і їх виразів на обличчі, особливо методика FACS [5] дає змогу виділити ряд зовнішніх мімічних проявів на обличчі, суперпозиція яких формує емоційні та артикуляційні стани. Методика FACS оперує набором рухових одиниць обличчя, за допомогою яких відтворюються основні рухи, що здійснюються основними м’язами чи групами м’язів. Авторами методики FACS також розроблені емоційна система кодування рухів обличчя EmFACS [6]) і FACSAID [7], які розгля- дають тільки рухи обличчя, пов’язані з емоціями. За допомогою цих методик виведені відповідні формули (послідовності рухів (з певною інтенсивністю), суперпозиція яких відтворює певні емоції). За допомогою цих формул визначені такі емоції: зди- вування, страх, радість, смуток, відраза, зневага (презирство), гнів. Математична, інформаційна та алгоритмічна просторова модель людини Синтез жеста Синтез переходів між жестами у жестових конструкціях Синтез мімічних проявів на обличчі моделі Промовляння Емоції Сигнали очей Сигнали брів Синтез дактильної абетки Синтез переходів між дактилемами Математична, інформаційна та алгоритмічна модель дактилем Математична, інформаційна та алгоритмічна модель жеста Множина жестів Множина дактилем Математична, інформаційна та алгоритмічна модель емоцій Математична, інформаційна та алгоритмічна модель візуальної складової промовляння Синтез пантоміміки Кривонос Ю.Г., Крак Ю.В., Бармак О.В., Тернов А.С. «Искусственный интеллект» 3’2012164 3К А Після аналізу одиниць рухів м’язів обличчя для методики FACS були запропо- новані ознаки, за допомогою яких можна синтезувати мімічні прояви емоцій, нема- нуальні маркери синтаксису жестового мовлення та артикуляційні складові звукової мови. Основні з цих ознак (для брів та лоба) наведено у табл. 1. Ці мімічні ознаки, подані у вигляді віднормованих значень, створюють систему координат для кодування довільної експресії чи артикуляції на обличчі. Початкова точка цієї системи координат відповідає стану спокою обличчя. Таблиця 1 – Ознаки для синтезу мімічних проявів емоцій (для брів та лоба) № Ознака Інтенсивність Початкове значення Кінцеве значення 1. Брови (вертикаль) Стан спокою Підведені догори 2. Брови (горизонталь) Стан спокою Зміщені до перенісся 3. Куточки брів (зовнішні) Стан спокою Підведені догори 4. Куточки брів (внутрішні) Стан спокою Підведені догори 5. Лоб (вертикаль) Стан спокою Зморшки 6. Лоб (горизонталь) Стан спокою Зморшки Для формалізації емоцій пропонується перейти до вивчення ситуацій, в яких ці емоції виникають [1]. Тобто при визначенні емоцій в найбільш загальному вигляді описується ситуація, в якій вони виникають. Розрізнятимемо назву емоції і її позна- чення. Під позначенням будемо мати на увазі вектор (Em) (тобто абстрактне поняття) з такими ознаками:   8,1,,, 321  iEmi  , (1) де ξ – бінарні ознаки, які класифікують емоції: ξ1 – ознака, яка визначає знак емоції – позитивна (1) емоція чи негативна (0); ξ2 – ознака, яка визначає час виникнення емоції відносно події (передбачаюча (0) та констатуюча (1) емоції); ξ3 – ознака, яка визначає направленість емоції. За цією ознакою виділяють емоції, направлені на себе (1) та направлені на зовнішні об’єкти, на інших людей (0). Комбінуючи три описані бінарні ознаки, отримаємо 8 різних варіантів. Введемо 4-у ознаку (η). Ця ознака описує групи емоцій за джерелом їх походження: η=1 –емоції, пов’язані з задоволенням (незадоволенням) особистих потреб людини; η=2 – емоції, які виникають в результаті порівняння деякого об’єкта, самого себе або своїх дій зі своїми же нормами, стандартами, правилами, переконаннями; η=3 – емоції, які виникають в результаті порівняння об’єкта з суспільними пра- вилами та нормами; η=4 – емоції, які виникають у зв’язку з потребами інших людей; η=5 – емоції, які виникають у результаті взаємин з іншою людиною; η=6 – емоції, які виникають на основі презирства. Сполученням наведених ознак можна описати 48 якісно різних емоцій. Метою подальшої формалізації є вибір назв емоцій, які найбільш точно задоволь- няють набору класифікуючих ознак. Після призначення кожній емоції чотирьох кла- сифікуючих ознак цей набір стає її визначенням. Після формалізації емоцій у такий спосіб вони стають абстрактними об’єктами і з ними можна оперувати відповідно до їх означень, а не з особистим феноменологічним досвідом. Далі, використовуючи запропоновані ознаки, означимо емоції для першої групи (емоції, які виникають на основі особистих потреб, η=1) [1]. Горе (  1,1,01 3 Em ): під горем розумітимемо емоцію, яка виникає при втраті деяких цінностей. Радість (  1,1,11 7 Em ): емоція, яка виникає в результаті задоволення деякої особистої потреби Моделювання мімічної складової для українського жестового мовлення «Штучний інтелект» 3’2012 165 3К у широкому сенсі. Типовою ситуацією яка приводить до радості буде ситуація досяг- нення бажаної мети. Страх (  1,0,01 1 Em ): виникає в результаті передчуття втрати можливості задоволення деякої особистої потреби. Надія (  1,0,11 5 Em ): виникає в результаті передчуття задоволення особистої потреби. Гнів (  0,1,01 2 Em ): виникає в результаті незадоволення деякої особистої потреби, яка стимулює людину на подо- лання перешкоди, яка заважає її задоволенню. Задоволення (  0,1,11 6 Em ): виникає в результаті досягнення деякої мети, пов’язаної з особистою потребою, направлене на припинення дій з досягнення цієї мети. Інтерес (  0,0,11 4 Em ): емоція, яка виникає до об’єкта, з допомогою якого людина передбачає задовольнити свою потребу. Зневага (  0,0,01 0 Em ): виникає в передчутті того, що об’єкт не задовольнить деяку нашу потребу. Якщо людина повела себе неправильно, то ми робимо висновок про її нез- датність дати нам те, що потрібно, і можемо відчути до неї зневагу. Розглянутий набір векторів-емоцій ( 7,0,1 iEmi ) будемо називати базовим, і будь-яку іншу емоцію будемо подавати у вигляді опуклої комбінації базових емоцій. Використовуючи означені вектори емоцій ( 7,0,1 iEmi ), побудуємо векторну модель емоцій за наступною схемою: 1) означимо емоції через різноманітні сполуки 4 ознак ситуацій, в яких вони виникають; 2) кожній емоції поставимо у відповідність деякий елемент векторного простору; 3) з допомогою визначень через ознаки ситуацій між векторами вводиться опе- рація додавання; 4) множення на позитивне число моделює існування відносно більш сильних та більш слабких однакових емоцій; 5) множення на негативне число відображає факт існування протилежних емоцій. В [1] доведено, що емоції можна представити у вигляді опуклої комбінації двох емоцій із вже розглянутих ( 7,0,1 iEmi ). Виходячи з цього маємо:    ,61,70,7,0,6,2,,1,1   lkiEmEmEm i l ki  (2) де  iEm – i-а емоція для η-ї групи, 1 kEm – емоція із 1-ї групи для формування зсуву при генерації емоцій для η-ї групи, 1 iEm – емоція 1-ї групи, яка знаходиться на тій же вершині, що й емоція, яка генерується (тобто емоція, яка генерується, повинна мати такі ж ξ1, ξ2 і ξ3, що й емоція з 1-ї групи, і вона повинна мати більшу вагу, ніж 1 kEm (тому   )). Далі наведемо емоції, пов’язані з особистими нормами та правилами (η=2). Емоцією зсуву 1-ї групи є емоція задоволення ( 1 6Em ). Провина (   ,1 3 1 6 2 3 EmEmEm ) є Задоволення (своїми принципами) + Горе (від необхідності нести відповідальність за порушення принципів. Повага (   ,1 6 1 6 2 6 EmEmEm ) є Задоволення + Задоволення (від того, що інша людина відповідає цим принципам). Самоповага (   ,1 7 1 6 2 7 EmEmEm ) є Задоволен ня + Радість (від відповідності самого себе цим принципам). Презирство (   ,1 2 1 6 2 2 EmEmEm ) є Задоволення + Гнів (направлений на подолання ситуації невідповідності цим принципам). Симпатія (   ,1 4 1 6 2 4 EmEmEm ) є Задоволення + Інтерес (до людини, яка, можливо, буде задовольняти потреби індивіда). Антипа тія (   ,1 0 1 6 2 0 EmEmEm ) є Задоволення + Зневага (до людини, яка, мож Кривонос Ю.Г., Крак Ю.В., Бармак О.В., Тернов А.С. «Искусственный интеллект» 3’2012166 3К А ливо, не буде задовольняти потреби індивіда). Почуття відповідальності (   ,1 5 1 6 2 5 EmEmEm ) є Задоволення + Надія (на те, що індивід сам буде відпо- відати своїм нормам). Безвідповідальність (   ,1 1 1 6 2 1 EmEmEm ) є Задоволення + Страх (можливої невідповідності своїм нормам). Аналогічним чином можна означити й емоції для інших η. Для емоцій, які вини- кають в результаті відповідності (невідповідності) чиїмось або суспільним стандартам, нормам, правилам (η=3), емоцією зсуву 1-ї групи є емоція поваги ( 2 6Em ). Емоції, які виникають у зв’язку з чужими потребами (η=4), мають емоцією зсуву 1-ї групи захоп- лення ( 3 6Em ). Емоціям, які виникають на основі взаємних відносин з іншими людьми (η=5), зсувом 1-ї групи слугує емоція подяки ( 4 6Em ). Емоції на основі презирства (η=6) використовують, відповідно, для зсуву 1-ї групи емоцію презирства ( 2 2Em ). Для переходу від моделі емоцій, що містить психологічні ознаки, до моделі з мімічними ознаками застосуємо підхід, запропонований для методики FACS [5-7]. Скористаємося запропонованим набором ознак для синтезу мімічних проявів емоцій (табл. 1). За допомогою цих ознак побудуємо векторний простір. Екман [5] встановив, що існують сім основних виразів обличчя – конфігурацій (схем) міміки, які відтворюють сім емоцій: щастя, подив, страх, страждання, гнів, відраза (презирство) й інтерес. Екман виділив три автономні зони обличчя: область чола й брів, область очей (очі, повіки, основа носа) і нижня частина обличчя (ніс, щоки, рот, щелепи, підборіддя). Проведені дослідження дозволили розробити своєрідні «формули» мімічних виразів, які фіксують характерні зміни в кожній із трьох зон обличчя, а також сконструювати фотоеталони мімічних проявів ряду емоцій. Щоб змоделювати емоційні вирази обличчя, потрібно спочатку визначити більш детальні їх залежності від рухів м’язів обличчя. У [5-7] наведена система для опису всіх візуально помітних рухів обличчя. Використовуючи аналогічний підхід побудовані базиси векторного простору (з використанням набору ознак для синтезу мімічних проявів емоцій (табл. 1)). Для цілей синтезу та аналізу мімічних складових жестового мовлення запропоновані три базиси: 1) для основних емоційних станів (щастя, подив, страх, страждання, гнів, відраза й інтерес); 2) для немануальних маркерів синтаксису жестового мовлення (підняті брови, опущені брови тощо); 3) для артикуляційних мімік (15 візуальних портретів букв-візем та стан обличчя у спокої). За допомогою запропонованих ознак можливо побудувати відповідні вирази обличчя (як лінійну комбінацію) для віртуальних моделей та, з використанням базисів, отримати розклад довільної міміки обличчя людини на відповідні значення ознак та на вклад кожного вектора із означених базисів. Морфінг емоційних та артикуляційних складових для моделювання мімічних проявів на обличчі У жестовому мовленні, окрім самого жесту, каналами передачі інформації є емоційна, немануальна синтаксична та артикуляційна складові. Для правильної інтер- претації відтворення жестового мовлення необхідно враховувати весь комплекс інфор- мації, що супроводжує жест, бо один і той самий жест має багато значень в усному мовленні. Моделювання мімічної складової для українського жестового мовлення «Штучний інтелект» 3’2012 167 3К Для моделювання процесу анімації артикуляційної й емоційної складових вико- ристано механізм морфінгу – алгоритм плавного переходу від одного стану об’єкта до іншого. При застосуванні морфінгу використовуються тільки опорні стани, за допомогою яких розраховуються проміжні стани й моделюється процес анімації. Відображення або побудова міміки на обличчі тривимірної моделі досягається при застосуванні відносного (сегментного) морфінгу до моделі. Нехай розглядаються рівнопотужні множини точок 3 0 RX  та 3RX Morph i  , між точками яких існує строга відповідність. 0X буде базовим мешем моделі або задаватиме базовий стан моделі, а Morph iX – морфом: модель зі зміненим базовим станом. Формула відносного морфінгу для М морфів у формалізмі моделі буде мати такий вигляд:    M m m M m Morph mm wXwXwX 01 00 )( , (3) де mw – вагові коефіцієнти. Якщо під моделлю розглядати модель голови людини, а під Morph iX розуміти зміни в базовому стані моделі при мімічних проявах, то резуль- татом операції є лінійна комбінація мешів моделі й міміки. Для кожної точки Xxk  і відповідних цій точці Morph i k i Xx  при неврахуванні нерухомих точок формула (3) модифікується наступним чином:    M m mm M m k mmm kk gwxgwxwx 01 00 )( ,        k m k k m k m xx xx g 0 0 ,1 ,0 , (4) де  – поріг чутливості до зміни положення точки в просторі. Нехай      інакше bxa xbag ,0 ,1 )..( , ba  . Тоді при використанні параметричного рівняння прямої txtxx 10 )1(  для моделювання процесу переходу з початкового стану у кінцевий загальне рівняння переходу зі стану 1X до стану nX через проміжні стани 132 ,...,, nXXX в моменти часу nttt ,...,, 21 , в яких модель має приймати відповідні положення iX , матиме вигляд:   ),,1() 1 (),,( 111 1 1 1 1 1 1 1 tttgX tt tt X tt tt XtttgX n i ii i i ii i iii                , (5) де ],[ 1 nttt  . Метод сегментного морфінгу дає можливість формувати кілька виразів обличчя на основі невеликої кількості морфів і змінювати стан обличчя при анімації мовлення. Додатковою перевагою цього морфінгу є те, що можна анімувати щелепу незалежно від губ та очей (моргання), незалежно від емоційного прояву на обличчі. Для моделювання мімічних складових процесу анімації жестового мовлення важливо враховувати такі складові: артикуляційна візема, емоція, немануальний маркер синтаксису жестового мовлення. Артикуляційна візема – це характерний вираз обличчя, що є візуальним порт- ретом фонеми або іншої базової звукової одиниці в розмовній мові. Використовуючи віземи, люди з порушеннями слуху сприймають розмовну мову візуально. Морфінг- Кривонос Ю.Г., Крак Ю.В., Бармак О.В., Тернов А.С. «Искусственный интеллект» 3’2012168 3К А ціль віземи вважається одиницею візуальної інформації. Тому для розв’язання задачі синтезу правильної артикуляції при спілкуванні людей з дефектами слуху було про- ведено дослідження, спрямовані на отримання морфінг-цілей візем української мови [2]. В українській мові розрізняють 15 візем і стан спокою: 0) базовий стан моделі голови людини; 1) а; 2) е; 3) о; 4) у; 5) і, и; 6) й; 7) ш, ж, ч, дж; 8) к, г, х, ґ; 9) п, б, м; 10) в, ф; 11) т, д, н, л; 12) с, з, ц, дз; 13) р; 14) л', р'; 15) т', д', н'. За тестовою вибіркою фонем української мови було отримано відеоряд процесу артикуляції професійного сурдоперекладача, на основі якого з урахуванням будови моделі голови людини були змодельовані морфінг-цілі артикуляційних візем україн- ської мови. Для синтезу станів облич моделі з певними емоціями і немануальними марке- рами створені морфінг-цілі, що відповідають наведеним вище ознакам. Відповідні лінійні комбінації цих морфінг-цілей відповідають конкретним емоціям. Морфінг із використанням морфінг-цілей для фіксованого кадру здійснюється з урахуванням вагових коефіцієнтів: 1) визначається кількість кадрів для анімації; 2) визначається набір емоцій, присутніх у слові (і/або немануальний маркер); 3) за фонетичною транскрипцією розраховується набір візем для візуалізації процесу артикуляції; 4) для візем розраховуються тривалості етапів анімації й точки появи віземи. На основі отриманої інформації для кожного кадру будується набір артикуля- ційних візем й емоцій з їхніми ваговими коефіцієнтами. Формули розрахунку вагових коефіцієнтів подані графіками (рис. 3). для однієї віземи (емоції) для комбінації візем для процесу моргання Рисунок 3 – Алгоритм розрахунку вагових коефіцієнтів Для відтворення процесу анімації артикуляційної й емоційної міміки тривимір- ною моделлю людини створено базовий клас, що реалізує морфемну анімацію. У класі реалізовані відповідні методи, які, використовуючи тривимірне API OPENGL, від- творюють за описаними параметрами модель людини й з використанням алгоритмів спінінгу (для жестової кінематики) й морфінгу (для міміки) реалізують анімацію. У кожному кадрі може бути присутня емоція, артикуляційна візема або комбінація віземи і емоції. F w АМ F w Моделювання мімічної складової для українського жестового мовлення «Штучний інтелект» 3’2012 169 3К Підходи до аналізу мімічних проявів на обличчі людини при жестовому мовленні Для аналізу (розпізнавання) мімічних проявів на обличчі людини (за умови використання ознак запропонованого векторного простору для моделювання) потрібно виявити на зображенні значення ознак мімічних проявів (табл. 1). Для цього можливо застосувати різні підходи. Використовувались такі підходи (рис. 4): шаблони з NURBS- кривих [1-4], SURF-точки-особливості зображення [9], гнучкі шаблони для обличчя [8]. Шаблони з NURBS- кривих SURF-точки-особливості Гнучкий шаблон Рисунок 4 – Застосування різних підходів для побудови вектора ознак мімічного стану обличчя За допомогою зазначених підходів будувався базис B векторного простору, що складався з векторів, які відповідали базовим емоціям (радість, горе, надія, страх, задоволення, гнів, інтерес, зневага). Далі визначався вектор b , що відповідав конкрет- ній емоції. Значення елементів вектора x   bBBBx TT  1 (6) вказували на конкретний вклад кожної з базових емоцій у довільній емоції b , при цьому умова   0det BBT завжди досягалась. Для аналізу артикуляційної мімічної складової застосовувався аналогічний підхід. Будувався базис з 16 артикуляційних складових (15 артикуляційних візем і стану спокою). Отриманий базис був недостатньо лінійно-незалежним – не виконувалась умова 0)det(  BBT . Це випливає з того, що артикуляційні складові досить подібні. У такому випадку найбільш надійним методом для розв’язання задачі є метод сингу- лярного розкладу (SVD). Було введено поріг  близькості до нуля сингулярних чисел, який відображає помилки в початкових даних та обчисленнях. Тоді наближений роз- в’язок задачі (7) шукається наступним чином: bUVbBx T'  , (9) де  '' 2 ' 1 ' ,,, ndiag   , , 1' j j    для  j і ' j 0 для  j ; V , TU – матриці з ортонормованими стовпцями. Результатом є вектор розкладу x , на основі якого приймається рішення про відповідність вхідного вектора конкретним базовим мімікам при промовлянні українською мовою. Кривонос Ю.Г., Крак Ю.В., Бармак О.В., Тернов А.С. «Искусственный интеллект» 3’2012170 3К А Висновки У даній роботі запропонований комплексний підхід для моделювання та розпі- знавання мімічної складової для українського жестового мовлення. Синтез мімічної складової дозволяє досить реалістично відтворювати емоційну, артикуляційну та не- мануальну експресії на обличчі віртуальної моделі при відтворенні нею українського жестового мовлення. Отримана при моделюванні інформація (ознаки мімічних станів) використовується для розпізнавання відповідних мімічних складових на обличчі реаль- ної людини при відтворенні нею українського жестового мовлення. Подальші дослі- дження будуть направлені на удосконалення методів запропонованого підходу. Література 1. Кривонос Ю.Г. Моделювання та аналіз мімічних проявів емоцій / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак [та ін.] // Доповіді НАНУ. – 2008. – № 12. – С. 51-55. 2. Кривонос Ю.Г. Розпізнавання міміки губ при промовлянні слів українською мовою / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак [та ін.] // Доповіді НАНУ. – 2010. – № 5. – С. 41-44. 3. Кривонос Ю.Г. Інформаційна технологія для моделювання української мови жестів / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак [та ін.] // Штучний інтелект. – 2009. – № 3. – С. 186-197. 4. Кривонос Ю.Г. Інформаційна технологія невербального спілкування людей з вадами слуху / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак [та ін.] // Штучний інтелект. – 2008. – № 3. – С. 325-331. 5. P. Ekman. Facial Action Coding System: A Technique for the Measurement of Facial Movement / P. Ekman, W. Friesen. – Consulting Psychologists Press, Palo Alto, 1978. 6. Friesen W. EMFACS-7: Emotional Facial Action Coding System. Unpublished manual / W. Frisen, P. Ekman. – California : University of California, 1983. 7. Facial Action Coding System Affect Interpretation Dictionary (FACSAID) [Електронний ресурс]. – Режим доступу : http://www.face-and-emotion.com/dataface/facsaid/description.jsp 8. Saragih J. Deformable Model Fitting by Regularized Landmark Mean-Shifts / J. Saragih, S. Lucey, J. Cohn // International Journal of Computer Vision (IJCV). – 2010. 9. Bay H. SURF: Speeded Up Robust Features / Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool // Computer Vision and Image Understanding (CVIU). – 2008. – Vol. 110, № 3. – Р. 346-359. Literatura 1. Krivonos Y.G. Dopovidi NANU. 2008. № 12. S. 51-55. 2. Krivonos Y.G. Dopovidi NANU. 2010. № 5. S. 41-44. 3. Krivonos Y.G. Iskusstvennyj intellect. 2009. № 3. S. 186-197. 4. Krivonos Y.G. Iskusstvennyj intellect. 2008. № 3. S. 325-331 5. P. Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978. 6. Friesen, W.; Ekman, P. (1983). EMFACS-7: Emotional Facial Action Coding System. Unpublished manual, University of California, California. 7. Facial Action Coding System Affect Interpretation Dictionary (FACSAID) http://www.face-and-emotion.com/dataface/facsaid/description.jsp 8. J. Saragih, S. Lucey and J. Cohn, Deformable Model Fitting by Regularized Landmark Mean-Shifts, International Journal of Computer Vision (IJCV), 2010. 9. Bay H. SURF: Speeded Up Robust Features" / Herbert Bay , Andreas Ess, Tinne Tuytelaars, Luc Van Gool, // Computer Vision and Image Understanding (CVIU). - 2008. Vol. 110, No. 3, p. 346-359. http://www.face-and-emotion.com/dataface/facsaid/description.jsp http://www.face-and-emotion.com/dataface/facsaid/description.jsp Моделювання мімічної складової для українського жестового мовлення «Штучний інтелект» 3’2012 171 3К RESUME Yu.G. Kryvonos, Iu.V. Krak, O.V. Barmak, A.S. Ternov Modeling of Mimic Components for the Ukrainian Sign Language Modeling of a mimic component for the Ukrainian sign language is described in this paper. Mimic component plays an important or even crucial role in sign language of impaired hearing people. It should be noted that non-manual marker is a characteristic part of sign language syntax. In interrogative sentences in general question, it is raised eyebrows; in particular question, it is lowered eyebrows and head tilted forward. In negation, the negative movements of a head and corresponding facial expression take place. Emotions shown on a human face that corresponds to the information is a usual part of declarative sentences. In addition, there is usually an articulation component for pronunciation with a help of lips movement of a voice content of a gesture which is reproduced. The authors propose a concept of information technology for non-verbal communication of people with impaired hearing. The basic idea of the proposed conception is synthesis of sign language through the modeling of its reproduction process. On the other hand, the obtained information during modeling of sign language is used for recognition (analysis). Information obtained in such way is input (both separately and in combination) for creation of new means of communication, training programs. An approach to mimics and articulation modeling on a virtual model of a human face in the process of reproduction of the Ukrainian sign language is proposed in this paper. The proposed approach allows using parameters, which were obtained during modeling, for analysis of images of a human face during sign language reproduction. Стаття поступила в редакцію 02.07.2012.

Моделювання мімічної складової для українського жестового мовлення

Репозитарії

Схожі ресурси