Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека
В работе рассмотрен метод получения числовых параметров параметрической модели головы человека
 для задачи моделирования эмоциональных проявлений в жестовом языке. Описаны этапы получения
 модели эмоциональных проявлений, включая информационную и параметрическую модели. Предложен&...
Gespeichert in:
| Veröffentlicht in: | Искусственный интеллект |
|---|---|
| Datum: | 2013 |
| Hauptverfasser: | , , |
| Format: | Artikel |
| Sprache: | Russisch |
| Veröffentlicht: |
Інститут проблем штучного інтелекту МОН України та НАН України
2013
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/85107 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека / Ю.В. Крак, В.А. Кузнецов, А.С. Тернов // Искусственный интеллект. — 2013. — № 3. — С. 154–170. — Бібліогр.: 33 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860233382874578944 |
|---|---|
| author | Крак, Ю.В. Кузнецов, В.А. Тернов, А.С. |
| author_facet | Крак, Ю.В. Кузнецов, В.А. Тернов, А.С. |
| citation_txt | Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека / Ю.В. Крак, В.А. Кузнецов, А.С. Тернов // Искусственный интеллект. — 2013. — № 3. — С. 154–170. — Бібліогр.: 33 назв. — рос. |
| collection | DSpace DC |
| container_title | Искусственный интеллект |
| description | В работе рассмотрен метод получения числовых параметров параметрической модели головы человека
для задачи моделирования эмоциональных проявлений в жестовом языке. Описаны этапы получения
модели эмоциональных проявлений, включая информационную и параметрическую модели. Предложен
набор признаков, который может использоваться в задаче идентификации параметров на основании
признаков параметрической модели.
У роботі розглянуто метод отримання числових параметрів параметричної моделі голови людини для
задачі моделювання емоційних проявів у жестовій мові. Описані етапи отримання моделі емоційних
проявів, що включають інформаційну та параметричну моделі. Запропоновано набір ознак, який може
бути застосований в задачі ідентифікації параметрів на підставі ознак параметричної моделі.
Described in the article is the metod of retrieving the numerical values in parametrical head model in purpose
to model a facial emotion features in sign language. A several stages of retrieving the model of emotion
features including retrieving of informational and parametrical model described in the article. It also
proposed a set of features that can be applied in experiments in order to identify parameters on the basis of
this set.
|
| first_indexed | 2025-12-07T18:22:50Z |
| format | Article |
| fulltext |
ISSN 1561-5359 «Искусственный интеллект» 2013 № 3 154
3К
УДК 004.8
Ю.В. Крак, В.А. Кузнецов, А.С. Тернов
Институт кибернетики им. В.М. Глушкова НАН Украины, Украина
Украина, 03680, г. Киев, пр-т. ак. Глушкова, 40
Моделирование эмоциональных проявлений
с помощью параметрических моделей
головы человека
Iu.V. Krak, V.A. Kuznetsov, A.S. Ternov
V.M. Glushkov Institute of Cybernetics, Ukraine
Ukraine, 03680, Kyiv, Glushkov ave., 40
Facial Expressions Modeling Based on a Parametric
Models of a Human Head
Ю.В. Крак, В.А. Кузнєцов, А.С. Тернов
Інститут кібернетики імені В.М. Глушкова НАН України, Україна
Україна, 03680, г. Київ, пр-т. ак. Глушкова, 40
Моделювання емоційних проявів за допомогою
параметричних моделей голови людини
В работе рассмотрен метод получения числовых параметров параметрической модели головы человека
для задачи моделирования эмоциональных проявлений в жестовом языке. Описаны этапы получения
модели эмоциональных проявлений, включая информационную и параметрическую модели. Предложен
набор признаков, который может использоваться в задаче идентификации параметров на основании
признаков параметрической модели.
Ключевые слова: параметрическая модель, мимика, жестовый язык.
Described in the article is the metod of retrieving the numerical values in parametrical head model in purpose
to model a facial emotion features in sign language. A several stages of retrieving the model of emotion
features including retrieving of informational and parametrical model described in the article. It also
proposed a set of features that can be applied in experiments in order to identify parameters on the basis of
this set.
Key words: parametrical model, facial expressions, sign language.
У роботі розглянуто метод отримання числових параметрів параметричної моделі голови людини для
задачі моделювання емоційних проявів у жестовій мові. Описані етапи отримання моделі емоційних
проявів, що включають інформаційну та параметричну моделі. Запропоновано набір ознак, який може
бути застосований в задачі ідентифікації параметрів на підставі ознак параметричної моделі.
Ключові слова: параметрична модель, міміка, жестова мова.
Введение
Жестовый язык – природная форма общения неслышащих людей. Он включает
собственно жесты, артикуляцию и немануальные маркеры, такие как мимика, дви-
жения туловища и головы [1], [2]. В современном украинском жестовом языке достаточ-
но хорошо изучена область мануальных компонент [3], [4], но, в то же время почти не
Моделирование эмоциональных проявлений с помощью параметрических моделей…
«Штучний інтелект» 2013 № 3 155
3К
изучены немануальные компоненты, хотя подобные исследования проводились в
американском [5], французском [6] и немецком жестовом языке [7].
В работе [8] было показано, что мимика, представленная в виде текстовой информа-
ции, может быть описана в системе описания мимических компонент. Более полно
изучен этот вопрос был в исследовании, посвященном созданию аудиовизуальной
базы данных [9]. Были проанализированы словари жестовой речи, в результате чего
выделено 70 мимических выражений и 27 выражений, описывающих специфичные
для жестовых языков грамматические конструкции. Наличие такого объема данных
вызвало необходимость представления данных в другой форме, которая позволила
бы выполнять анализ и обработку данных.
Постановка задачи. Необходимо создать параметрическую модель головы, позво-
лявшую моделировать эмоциональные проявления в жестовой речи и апробировать
ее на тестовом наборе видеозаписей с целью получения временных характеристик изме-
нения каждого компонента лица, представленного в виде параметрической модели.
Для того чтобы получить такую модель, в первую очередь следует решить сле-
дующие задачи:
– каким образом следует выделять признаки на лице;
– какое минимальное количество признаков необходимо для получения модели,
достоверно описывающей мимику и артикуляцию;
– какое количество наборов элементов мимики и примеров каждого элемента
мимики в отдельности требуется для построения и апробации модели мимики лица
человека.
Создание параметрической модели
Общие сведения о параметрических моделях. Задача получения парамет-
рической модели головы разбивается на три подзадачи: получения набора
параметров, получение статической (3d-модели) и динамической модели (модели
анимации). Как правило, для описания формы лица используется статическая модель
в виде набора точек (сетка, «mesh» или просто 3d-модель) [10]. Динамическая
модель описывает правила изменения (моделирования) изменений мимики на
статической модели головы на основе входных параметров. После получения
статической и динамической модели производится получение числовых параметров,
которые характеризуют проявление на лице различных артикуляционных и
мимических единиц, что выполняется с применением методов компьютерного
зрения.
Получение набора ключевых точек. На основании описаний в системе FACS [11],
полученных в исследовании [9], был получен набор параметров, характеризующих
изменения в различных областях лица.
Несмотря на то, что типов динамических моделей не так много, существует
определенное разнообразие ключевых точек, в которых располагаются контроллеры
анимации и узловые точки костной или мышечной анимации [12]. Основное
назначение ключевых точек – выполнение роли промежуточного слоя между
элементами динамической модели и входными данными (т.е. параметрами пара-
метрической модели), т.к. не существует однозначного соответствия между коорди-
натой точки на лице в кадре исследуемого видео и координатой точки в координатах
динамической модели. С помощью математических преобразований (определяемых
свойствами динамической модели) координаты ключевых точек, полученные из входных
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 2013 № 3 156
3К
числовых параметров, преобразуются в координаты узлов динамической модели (костей,
морфов, мышц).
Для того чтобы получить набор параметров, был проведен эксперимент, в котором
была изучена внутренняя мимическая структура лица. Это стало возможным благодаря
наличию соответствия между параметрами в системе FACS и соответствующими мышца-
ми лица. На основании этого набора параметров получена табл. 1, описывающая соответ-
ствие между набором параметров параметрической модели и мышцами лица.
Таблица 1 – Соответствие между мышцами и полученным набором параметров
FACS Область Мышца (лат) Часть мышцы Мышца (рус)
1 Брови Frontalis Pars medialis Лобная мышца
2 Брови Frontalis Pars lateralis Лобная мышца
4 Брови Corrugator supercii Мышца, сморщивающая бровь
5 Брови Levator palpebrae superioris Мышца, поднимающая верхнее
веко
6 Веки Orbicularis oculi pars orbitalis Круговая мышца глаза
7 Веки Orbicularis oculi pars palpebralis Круговая мышца глаза
9 Губы Levator labii superioris alaqu ae nasi Подниматель верхней губы
носовой части
10 Губы Levator labii superioris Подниматель верхней губы
11 Губы Zygomaticus minor Малая скуловая мышца
12 Губы Zygomaticus major Большая скуловая мышца
13 Губы Caninus Мышца подъема уголка рта
14 Губы Buccinator Щечная мышца
15 Губы Triangularis Мышца опускания уголка рта
16 Губы Depressor labii inferioris Мышца, опускающая нижнюю
губу
17 Губы Mentalis Подбородочная мышца
18 Губы Incicivii labii superioris, inferioris Резцовые мышцы нижней и
верхней губы
20 Губы Risorus, Platysma Мышца смеха, Мышца шеи
22 Губы Orbicularis oris Круговая мышца рта
23 Губы Orbicularis oris Круговая мышца рта
24 Губы Orbicularis oris Круговая мышца рта
25 Губы Orbicularis oris Круговая мышца рта
26 Челюсть Masseter, Temporalis Жевательная, височная мышца
31 Челюсть Pterygoid, Digastric Латеральная крыловидная
мышца
34 Щеки
38 Нос
41 Веки Levator palpebrae superioris Мышца, поднимающая верхнее
веко
42 Веки Orbicularis oculi pars palpebralis Круговая мышца глаза
43 Веки Orbicularis oculi pars palpebralis Круговая мышца глаза
44 Веки Orbicularis oculi pars palpebralis Круговая мышца глаза
Примечание: мимические проявления, отвечающие за поворот головы и направ-
ления взгляда, не анализировались.
На основании табл. 1 был выбран набор внутренних мимических проявлений,
которые использовались в эксперименте по получению параметров. Для этого были
проанализированы анатомические разрезы из анатомических атласов [12], [13].
Моделирование эмоциональных проявлений с помощью параметрических моделей…
«Штучний інтелект» 2013 № 3 157
3К
Orbicularis oculi (круговая мышца глаза)
Frontalis (лобная мышца)
Procerus (мышца гордецов)
Caninus (мышца, поднимающая угол рта)
Zygomatic (большая скуловая мышца)
Triangularis (опускающая угол рта)
Buccinator (щечная мышца)
Orbicularis oris (круговая мышца рта)
Mentalis (подбородочная)
Corrugator (мышца, сморщивающая бровь)
Depressor septi (опускающая перегородку носа)
Nasalis (носовая мышца)
Dilator naris (мышца, расширяющая ноздри)
Platysma (подкожная мышца шеи)
Эти разрезы позволили установить следующее:
− на каких характерных точках (соединения костей, изменения рельефа и др.)
находятся соединения мышц с костями;
− по каким характерным точкам лица (внешним и внутренним) проходят мышцы.
На основе полученных данных на лицо реального человека были нанесены во-
дорастворимыми красками следующие объекты внутренней структуры лица:
− области расположения мышц и их вкраплений в кости головы;
− контуры костей головы.
Это позволило бы установить, как соотносятся контуры костей головы, мышц и
внешних контуров, а также области на внешней поверхности лица, в которых будет
наблюдаться максимальная амплитуда сокращений мышц (прим. концы мимических
мышц).
На основе фотографии лица с этими отметками была получена упрощенная модель
мышечной структуры лица (рис. 1) – контуры мышц лица были аппроксимированы
полиномами, проходящими через характерные точки лица (внешние и внутренние).
Рисунок 1 – Упрощенная схематическая модель мышечной структуры головы на
лице реального человека
На основании этой схемы был предложен набор ключевых точек, которые должны
быть включены в параметрическую модель. Ключевые точки расставлялись внутри
областей, соответствующих мышцам на лице. Они выбирались таким образом, чтобы их
плотность была величиной постоянной и не изменялась сильно по поверхности лица.
Для мышц, закрытых другими мышцами или костями (например, как мышца Temporalis)
ключевые точки не выставлялись, а мышцы, расположенные под большими углами к
анфасу лица, отображались меньшим числом точек (т.к. в противном случае поверх-
ностная плотность бы возрастала). Кроме того, выделялись точки, соответствующие
креплениям мышц к кости или в мягких тканях, и внутренние точки.
При первоначальной поверхностной плотности точек на областях мышц δ = 1 то-
чка/см
2
общее число точек составило 141 (рис. 2а.). Уменьшение линейной плотности то-
чек вдвое по одной из осей мышц (радиальной или латеральной) приводит к уменьшению
количества точек на 46. Таким образом, при плотности точек δr = 0,5 точка/см и δl = 1 то-
чка/см или δr = 1 точка/см, δl = 0,5 точка/см число точек составляет 95, а при δr = δl = 0,5
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 2013 № 3 158
3К
точка/см число точек составляет 49 (рис. 2б). Такое уменьшение плотности точек вызва-
но необходимостью обрабатывать меньшее количество точек на этапе получения число-
вых параметров.
а) б)
Рисунок 2 – Расположение точек при различной линейной плотности:
а) при плотности 1 точка/кв.см; б) и 0,5 точек/кв.см
Получение статической модели. После получения набора параметров пара-
метрической модели был проведен эксперимент по созданию статической модели.
Существует несколько методов создания статической модели [14]:
− создание статической модели вручную, с помощью средств компьютерной гра-
фики;
− создание модели из другой готовой модели головы, с адаптацией к голове реаль-
ного человека;
− использование методов фотограмметрии (реконструкция трехмерного изобра-
жения по фотографиям с разных ракурсов) для автоматического получения черновой
модели с последующей корректировкой.
Первые два варианта были отброшены по нескольким причинам: во-первых, они
сильно трудозатратны по времени и ресурсам, во-вторых, присутствует человеческий
фактор, который может сказаться при создании рельефа модели; в третьих, крайне
низкий уровень автоматизации обработки данных, что противоречит поставленным
задачам. Поэтому для создания статической параметрической модели было предло-
жено использовать одну из реализаций метода фотограмметрии в программном па-
кете Autodesk 123DCatch [15].
Для получения статической модели было сделано 30 снимков головы реального че-
ловека, выполненные с разных ракурсов, которые были загружены в программный пакет.
Полученная в результате высокополигональная трехмерная модель (рис. 3а) преобразовы-
валась в низкополигональную по определенным правилам (рис. 3б).
Необходимость данного шага была вызвана тем, что алгоритмы 3D реконструкции
в данной программе не отличали симметричные объекты от асимметричных и алгоритм
был плохо устойчив к шумам (блики на лице от внешних источников света), из-за чего
правая и левая часть лица имели разные геометрические параметры одних и тех же
областей, но с разных сторон лица.
Перед получением низкополигональной модели проводился вспомогательный этап.
Для этого та сторона модели лица, имеющая меньше всего искажений (правая), отра-
жалась зеркально по линии, проведенной по центру носа, губ и шеи.
Моделирование эмоциональных проявлений с помощью параметрических моделей…
«Штучний інтелект» 2013 № 3 159
3К
Кроме того, результаты 3D реконструкции очищались от других поверхностей,
которые не принадлежали голове (стены помещений, туловище), что позволило зна-
чительно сократить объем памяти, необходимый для обработки данной модели.
а) б)
Рисунок 3 – Сравнение топологии модели на разных этапах создания
Преобразование высокополигональной модели в низкополигональную (или иначе
аппроксимация поверхности больших порядков поверхностью более низких порядков)
позволило снизить случайные искажения поверхности, а также исправить неравномер-
ную плотность сетки модели, с приведением сетки из треугольников к сетке из четы-
рехугольников.
Такие преобразования обусловлены необходимостью оптимизации для работы мо-
дели на современных компьютерах, а также совместимостью с динамическими моделя-
ми головы, для которых требовалась особая структура сетки модели (топология модели).
Такая структура заключается в том, чтобы создать сетку, ориентированную относи-
тельно контуров лица – линии губ, век и бровей, ушей, овала лица [16]. Как правило,
ребра выстраиваются по структуре в виде колец из четырехугольников. Такая структура
позволяет ориентировать ребра четырехугольников вдоль направления деформации
(важно отметить, что имеются в виду не направления действия мышц, а направления, в
которых поверхность испытывает наибольшие сжатия или растяжения), с понижением
степени деформации от центров к краям, что позволяет повторять свойства некоторых
мышц (мышечной структуры лица, круговых мышц рта и глаз) и сделать деформации
некоторых областей лица менее резкими.
Преобразование выполнялось с помощью программного пакета TopoGun [17].
Топология была сделана таким образом, чтобы овал лица в фронтальной проекции обра-
зовывал 3 кольца четырехугольников, а также присутствовали аналогичные кольца вокруг
шеи, контуров глаз и губ (смотри рис. 3б).
Получение динамической модели. В динамических моделях часто приходится
абстрагироваться от некоторых особенностей лица человека (неравномерность растяже-
ния лица, появление складок при сжатии поверхности лица, нежесткое закрепление по-
верхности лица к мышцам, различное поведение мышц лица при сокращении и рассла-
блении и др.) [10].
Наиболее простым является метод перехода модели из одного состояния (с опре-
деленными координатами точек) в измененное состояние (с измененными координа-
тами точек). В программах, связанных с трехмерной графикой он также известен как
«изменяемая поверхность» (BlendShape). Данный метод может применяться, когда ме-
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 2013 № 3 160
3К
тод 3d-реконструкции позволяет быстрее получить несколько разных моделей состояния
лица одного человека, чем иные методы. Недостатком является то, что значение изменен-
ных координат хранится для всех состояний, что при высокополигональной модели
может требовать большого объема памяти.
Наиболее часто используемым методом является метод на основе контроллеров ани-
мации, управляющих определенными областями лица (morph targets). Контроллер подо-
бен направлению по производной поля точек модели. Характер изменения модели
определяется специальной картой (скиннинг модели), которая вычисляет насколько
влияет изменение направления и положения контроллера анимации на данную точку.
Таким образом, меняя положение одного контроллера, можно влиять на координаты
целой группы точек.
Несмотря на простоту, такие параметрические модели недостаточно точно отра-
жают свойства мышечной структуры лица, поэтому в тех случаях, когда требуется более
высокая точность и имитация сгибания поверхности и других особенностей лица при-
меняются методы на основе скелетной костной Анимации [12].
Методы скелетной костной анимации головы подобны тем, что применяются в
анимации движений тела человека, с той лишь разницей, что «кость» в данном
случае является абстракцией, не имеющей ничего общего с костями скелета
человека: кости скелета человека нерастяжимы, изменение их положения относи-
тельно друг друга приводит к растяжению или сжатию поверхности тела человека (в
реальности наоборот). В то же время, растяжение и сжатие мышц лица приводит к изме-
нению контуров лица, поэтому в костную модель вносятся корректировки. В первую
очередь, это обязательное наличие свойства растяжимости костей анимации, начала
и концы которых могут совпадать с некоторыми ключевыми точками на лице. Нема-
ловажным дополнением является взаимосвязь этих костей между собой (влияние сжатия
одной мышцы может приводить к растяжению другой), а также введение контроллеров
анимации, которые позволяют влиять на положение кости. Кости в такой модели могут
располагаться перпендикулярно направлению изменения мышц, а при использовании
модели мышечной структуры лица, образовывать сетку радиально и перпендикулярно
осям мышц.
При создании динамической модели было предложено использовать методы костной
анимации как такие, что наилучшим образом решают задачу моделирования мими-
ческих выражений.
Получение набора числовых параметров
Методы компьютерного зрения. Методы компьютерного зрения, используемые
для получения ключевых параметров, состоят из трех больших групп методов [18]:
− методы идентификации (feature detection);
− методы отслеживания точки (matchmoving);
− методы реконструкции положения точки в пространстве.
Первая группа методов заключается в автоматическом поиске особых точек
на изображении, по положению которых устанавливается координата соответст-
вующей точки динамической модели [19]. Отличие идентификации от отслеживания
заключается в том, что первая служит для нахождения наиболее выделяющихся то-
чек и фрагментов на изображении. Хотя лицо содержит достаточно много выделяю-
щихся элементов, (нос, морщины, глаза, губы), более предпочтительным является
использование специальных маркеров, расположенных на лице согласно ключевым
Моделирование эмоциональных проявлений с помощью параметрических моделей…
«Штучний інтелект» 2013 № 3 161
3К
точкам динамической модели. Данные маркеры имеют расцветку, отличную от цве-
та лица, что позволяет применять относительно простые методы сепарации областей
маркеров от области лица, такие как хромокей, также это сильно упрощает алгоритмы
отслеживания точки.
Вторая группа методов использует алгоритмы, которые по заданным примерам на
одном изображении, полученных с помощью алгоритмов идентификации, выполняется
поиск этих же особых точек на остальных кадрах видеопоследовательности. Данные
методы могут как анализировать все изображение (получая векторное поле переме-
щений всех точек на изображении или получая линии градиента цвета и яркости на
разных изображениях), так и небольшую окрестность точки, полученной с помощью
методов отслеживания или идентификации на предыдущих кадрах последовательности
(например, методы блочного сравнения или детекторы углов [20]). Применение
таких методов для анализа динамического состояния лица в случае отсутствия маркеров
вызывает ряд сложностей. В первую очередь, алгоритмы поиска ключевых точек по
фрагментам изображения дают худшие результаты, если требуется найти не пятно
яркости (как в случае с использованием маркеров), а фрагмент изображения по задан-
ному шаблону, который испытывает неоднородные искажения масштаба и поворота
(такие как вырождение дуги в отрезок и острого угла в дугу). Во вторую очередь, это
связано с малой частотой кадров большинства современных видеокамер и наличия
сильного сжатия изображения, в связи с чем естественные характерные точки лица
становятся сильно размытыми (что возникает даже при использовании маркеров), а
низкая частота кадров не позволяет точно установить траекторию движения характер-
ной точки (вырождение двух положений точек в отрезок или попадание точки вне
области поиска). С появлением современной аппаратуры, такой как скоростные видео-
камеры высокого разрешения, становится возможным применение и безмаркерных мето-
дов, но эти решения требуют больших финансовых ресурсов, поэтому применение таких
решений обоснованно, по крайней мере при использовании генеративных моделей
головы человека.
Третью группу методов можно условно поделить на 3 подгруппы: 2D методы,
2.5D методы, стереометоды.
2D методы позволяют получать множество точек в двухмерном пространстве
(2D реконструкция), которое впоследствии с помощью специальных алгоритмов может
преобразовываться в множество точек в трехмерном пространстве (т.е. по имеющимся
координатам точек можно получить искомую координату глубины точки на изобра-
жении), а координата Z (глубина) вычисляется на основании теоретической траектории
движения точки, которая, как правило, является кассательной к поверхности лица в точке
признака.
Они используются в случае, если видеокамера закреплена неподвижно относи-
тельно головы. В данном случае, траектория движения точки в динамической модели
совпадает с траекторией движения точки на видеопоследовательности.
2.5D методы используются в случае, когда нельзя обеспечить неподвижность
головы относительно камеры. Такие методы основываются на том, что часть точек
на лице могут оставаться неподвижными (например, уши, кончик носа, линия роста
волос) при возникновении мышечной активности. Зная координаты этих точек и рас-
стояние между ними, можно по проекции этих точек на одном кадре вычислить иска-
жения масштаба и поворота и восстановить исходное положение точек путем аффин-
ных преобразования поворота и наклона. Хотя такие методы позволяют использовать
только одну камеру, недостатком является перекрытие поверхностью лица части
признаков при значительных искажениях масштаба и поворота.
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 2013 № 3 162
3К
Стереометоды (которые по сути являются модификацией 2.5D методов) лик-
видируют этот недостаток, т.к. используется сразу несколько ракурсов камеры, на каждом
из которых присутствует большая часть признаков. Обычно используется 3 ракурса
(слева и справа под углом 45 градусов и спереди), но могут встречаться в профессиональ-
ных системах методы, использующие 8 и 16 ракурсов камер. В стереометодах, как и в
2.5D методах, на основании проекций трехмерного объекта (головы) устанавливается
с помощью математических преобразований истинное положение ключевого признака
динамической модели. Отличием является то, что наличие нескольких изображений
одного признака позволяет не использовать в системе уравнений расстояния между
признаками в статической модели, а также возможность установить положение ключе-
вого признака, даже при перекрытии его на части ракурсов.
Также следует отметить, что перечисленные методы с применением специаль-
ных алгоритмов преобразования масштаба позволяют получать числовые параметры
движений одного человека и переносить их на динамическую модель головы другого.
Исследование алгоритмов получения числовых параметров. При получении
числовых параметров движений динамической модели крайне важно знать количество
ошибок распознавания, а также практическое быстродействие программных средств.
Эти факторы следует учитывать при выборе ключевых параметров динамической моде-
ли, т.к. вычислительные возможности используемых систем ограничены. Поэтому этап
создания динамической модели следует проводить только после экспериментальной
проверки алгоритмов компьютерного зрения, используемых для получения числовых
параметров.
Для этих целей в ряде экспериментов анализировалось быстродействие и другие ха-
рактеристики алгоритмов компьютерного зрения: SIFT (Scale-invariant feature transform),
KLT (Kanade–Lucas–Tomasi feature tracker), SAD (Sum of absolute differences), NCC (Nor-
malized cross correlation), SSD (Sum of squared differences), Color Histogram (Histogram mat-
ching), на примере программных средств, содержащих в себе реализации этих алго-
ритмов: Blender [21], ACTS 1.5 [22], Voodoo 1.5 [23], VideoTrace [24], VooCAT [25],
Boujou [26], Matchmover 2012 [27], Mocha [28], SynthEyes [29], Fusion [30].
Важным параметром у этих средств является способ поиска признаков на изо-
бражении. Отличие заключается в возможности управлять процессом идентифика-
ции [20] и, следовательно, выбора ключевых признаков – в автоматических этот процесс
происходил по заданному алгоритму (т.е. ключевые признаки находились алгоритмом
автоматически), во вторых – с участием оператора, который мог ограничить множество
точек и их начальное расположение. Если первый удобен при достаточно большом
количестве точек, когда поиск точек с высоким уровнем ошибок выполнялся на основе
других точек и они могли исключаться из дальнейших вычислений, то второй исполь-
зуется, когда на объекте достаточно мало ключевых признаков и они заранее известны,
а расчет большего количества точек затруднителен из-за больших затрат машинного
времени, что будет показано ниже.
Было проведено несколько экспериментов по определению характеристик алго-
ритмов компьютерного зрения:
− первый должен был выявить, каким образом выбирать ключевые признаки,
чтобы время и количество ошибок захвата движений не превышало некоторого порога.
− второй должен был установить, какой из методов захвата дает большую ско-
рость захвата и, следовательно, лучшие результаты.
В первом эксперименте использовалось 4 видеопримера, содержащих лицо чело-
века с различными мимическими проявлениями, различной длительности и с различным
количеством признаков.
Моделирование эмоциональных проявлений с помощью параметрических моделей…
«Штучний інтелект» 2013 № 3 163
3К
Во время изучения ошибок идентификации был составлен подробный список
наиболее распространенных ошибок захвата движения. Ошибки были разбиты на не-
сколько групп: ошибки первичных данных и ошибки алгоритма.
Ошибки первичных данных:
− потеря или сдвиг признака из-за перехода оттенка признака в оттенок подложки;
− смазывание признаков при использовании алгоритмов сжатия с большим
уровнем потерь или при резких движениях;
− потеря признака из-за размытия изображения при низких разрешениях изображе-
ния (менее 640х480p).
Ошибки алгоритма:
− идентификация соседнего признака при попадании его в область поиска;
− потеря признаков при аффинных преобразованиях типа «поворот по оси Z» и
«поворот по оси Y».
Понятно, что ошибки первичных данных могут устраняться только при исполь-
зовании алгоритмов сжатия видео без потерь. Ошибки алгоритма могут устраняться
только подбором параметров (в т.ч. изменения области поиска).
Во втором эксперименте на примере видео, давшего наилучшие результаты, было
решено сопоставить в одинаковых условиях различные алгоритмы компьютерного
зрения на примере программных средств, содержащих эти алгоритмы.
Эксперимент проводился следующим образом:
− задавалось количество отслеживаемых точек на уровне 23 (как в тестовом видео);
− если алгоритм содержал только автоматическую идентификацию признаков,
то задавалось минимально возможное количество признаков;
− в течение 30 с (длительность тестового видео) определялось количество
полных кадров, которые успевала обработать программа;
− полученные значения заносились в таблицу, а в итоговую таблицу заносилось
среднее значение по всем имеющимся в программе алгоритмам отслеживания движений.
Для всех алгоритмов, количество кадров нормировалось по количеству точек – 33,
которое получалось на основе предположения о гиперболической зависимости вре-
мени обработки от количества точек. На основе полученных данных был построен
график (рис. 4), отображающий зависимость количества обрабатываемых кадров за
одну секунду от количества точек. Этот график смог показать, в частности, теорети-
ческую способность алгоритмов работать в реальном времени (изолиния 30 кадров в
секунду), а также сравнить их и выбрать среди них наилучший; такие результаты по-
казали алгоритмы, содержащиеся в программных средствах SynthEyes и VooCAT.
0
50
100
150
200
250
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 Число точек
Кадр/сек
Blender
ACTS
Voodoo
VideoTrace
VooCAT
Boujou
Matchmover
mocha
SynthEyes
Fusion
30 кадр/сек
Рисунок 4 – Производительность средств компьютерного зрения при разном
количестве отслеживаемых признаков
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 2013 № 3 164
3К
Апробация выбранных алгоритмов на тестовых видеозаписях. Для апробации
алгоритмов идентификации была проведена серия экспериментов на тестовых видеофраг-
ментах, с целью установить, какие условия необходимы для съемки.
Прежде всего, важно было установить:
− необходимое число камер и их конфигурацию в пространстве;
− какой из методов трехмерной реконструкции показывает лучшие результаты.
Оценка быстродействия и точности работы алгоритмов компьютерного зрения
не проводилась, т.к. это было выполнено сразу в двух тестовых экспериментах.
Первая серия экспериментов была проведена с одной камерой, с лицевыми маркера-
ми зеленого цвета, нанесенными смываемой краской, а также повторно, но с белыми
бумажными маркерами круглой формы. Маркеры наносились в одинаковых местах в
ключевых точках параметрической динамической модели, полученной в предыдущих
экспериментах.
В результате экспериментов было установлено следующее:
− маркеры, которые при движении изменяют угол относительно плоскости кадра,
создают ошибки отслеживания движений, т.к. сильно изменяется форма маркера;
− маркеры, нанесенные смываемой краской на лицо, сливаются с фоновым цветом
лица из-за аппаратного сжатия изображения;
− при съемке с одного ракурса можно наблюдать непроизвольные повороты головы
относительно центра камеры при возникновении мимики на лице. Это приводит к иска-
жениям масштаба, что в свою очередь делает 2D реконструкцию невозможной.
В связи с возникшими факторами, негативно влияющими на эксперимент, были
предложены несколько путей решения каждой из проблем:
− для уменьшения ошибок алгоритма, связанных с формой маркера, желательно
использование маркеров круглой формы, которые при наклоне относительно плоскости
кадра не изменяли бы формы, а также поверхность маркера должна давать рассеян-
ный отраженный свет (матовая поверхность);
− для учета ошибок, связанных с поворотом головы относительно камеры, следует
применять либо несколько камер, которые позволяют вычислить поворот головы с
нескольких камер, либо закреплять камеру относительно головы на специальном шлеме.
Ввиду получения оптимальных параметров съемки, было решено провести эту
серию съемок одновременно с экспериментами по захвату движений и трехмерной
реконструкцией движения.
Третья серия экспериментов отличалась от остальных тем, что:
− было решено отказаться от искусственного освещения в пользу естественного
рассеянного;
− были использованы сферические белые маркеры на клеющей подоснове вместо
плоских;
− было использовано две камеры вместо трех, в т.ч. те, которые в предыдущих
сериях экспериментов показали удовлетворительные результаты;
− использовалась калибровочная сетка из плоских маркеров, наклеенных на
задний фон, и опорные точки, закрепленные на неподвижных областях головы,
необходимые для следующих экспериментов.
Серия экспериментов содержала эксперименты с разными конфигурациями камер:
1) 1 камера по центру, 1 камера под углом 45 градусов к центральной камере;
2) 2 камеры под углом 45 градусов к плоскости объекта;
3) 1 камера по центру, 1 камера под углом 45 градусов к центральной камере в
вертикальной плоскости.
Моделирование эмоциональных проявлений с помощью параметрических моделей…
«Штучний інтелект» 2013 № 3 165
3К
Эксперименты позволили установить следующее:
− наилучшая видимость маркеров лица обеспечивается, если лицевые маркеры
находятся в фоне лица, а ключевые маркеры, от которых ведется отсчет глобальной
системы координата, не находятся на границе лица и фона;
− при съемке лица с боковых ракурсов (1х45 или 2х45) не обеспечивалось выполне-
ние первого условия, поэтому камеры с такой конфигурацией не использовались.
− наилучший результат показала конфигурация камер: 1 камера по центру, 1 камера
под углом 45 градусов к центральной камере в вертикальной плоскости.
Получение числовых параметров параметрической модели. На основании
информационной модели эмоциональных проявлений было предложено провести экспе-
римент по получению числовых параметров мимических компонент:
− 88 мимических компонент, полученных в работе [8];
− 70 эмоциональных мимических выражений, полученных в работе [9].
Этот эксперимент позволил бы, проверить на практике полученные результаты
теоретических исследований, в частности то, что:
− мимическое выражение выражается через сумму мимических компонент;
− компоненты мимических выражений неделимы и не выражаются через другие
компоненты.
Также ожидается, что эксперимент позволит ответить на такие вопросы:
− каково влияние мимических компонент на другие компоненты (вызванные
натяжением лица при сокращении мышц);
− каковы численные характеристики (длительность проявлений) отдельного компо-
нента;
− какова последовательность возникновения отдельных компонент в мимическом
выражении;
− как отличаются различные эмоциональные выражения между собой.
Для этого эксперимента был создан сценарий, который при записи эмоциональ-
ных мимических выражений использовал короткие предложения со словами, содер-
жащими эмоциональный оттенок, соответствующий эмоциональному оттенку иссле-
дуемого выражения. Это позволило бы также проверить методику исследования сло-
варей жестовых языков, показав наличие экспрессии у отдельных слов в разговорной
речи и наличия большого диапазона мимических выражений в разговорной речи, а также
одинаковой роли в эмоциональных выражениях как в жестовой, так и в разговорной речи.
На основании полученного сценария были записаны тестовые видеозаписи.
Эксперименты по захвату движений трехмерной реконструкцией движения.
Для проведения этих экспериментов использовалось программное обеспечение для 3D
реконструкции Autodesk Matchmover [27], программное обеспечение для обработки
перекодировки видео, а также программное обеспечение для обработки звуковых файлов.
Из видеозаписей, полученных с видеокамер, отделялась звуковая дорожка с и
преобразовывалась в формат WAV (Wave). Полученная звуковая дорожка (точнее ее
спектрограммы), анализировались для каждой пары видеозаписей, используемых в
дальнейшем и отвечающих всем критериям, предъявляемым к качеству записей и усло-
виям съемки, описанным выше. На каждой из спектрограмм выделялся пик амплитуды,
начало какого-то звука, или другой характерный признак, который предварял момент
появления информации на видео. Этот момент на каждой из звуковых дорожек определял
точку синхронизации двух видеозаписей.
Полученные в результате значения точек синхронизации обрезались и преобра-
зовывались MOV c алгоритмом компрессии видео – MJPEG. Этот формат обеспечивал
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 2013 № 3 166
3К
наибольшую скорость работы алгоритмов захвата движений, по сравнению с ориги-
нальными форматами видео – MPEG4 или H.264 из-за более быстрой декомпрессии
видео в формате MJPEG (разница примерно 10 раз).
Для проведения отслеживания движений маркеров на первом кадре каждой из
видеопоследовательностей выбирались начальные координаты маркеров (как марке-
ров лица, так и маркеров на шапочке). Затем, для каждого из маркеров на всей видео-
последовательности выполнялось автоматическое отслеживание движений.
На основе результатов по отслеживанию движений были проведены экспери-
менты по реконструкции движений. Для проведения корректной реконструкции (такой,
что фронтальная и профильная проекция «облака маркеров» повторяли бы, с соблю-
дением пропорций, положение этих маркеров) были выдвинуты ряд требований:
− на голове должно быть по меньшей мере 3 маркера, имеющих неизменное по-
ложение друг относительно друга (например, 1 маркер на кончике носа и 2 на шапочке)
и созданы связи между этими маркерами;
− на заднем фоне должно быть максимально возможное количество статичных мар-
керов (т.е. не изменяющих своего положения относительно камер на всем протяжении
съемки);
− число кадров, используемых для реконструкции должно быть одинаково для
всех видеофрагментов, используемых для реконструкции;
− число кадров, содержащих результаты отслеживания с оценкой «ужасно», должно
быть минимально и уменьшено с помощью инструментов интерполяции траектории.
Реконструкция проводится в два этапа. Вначале программа отбирает на всей
последовательности кадров и для всех используемых видеозаписей набор ключевых
кадров, для которых выполняет расчет положения каждой точки в пространстве, с учетом
проекций этой точки на плоскость кадра каждой из камер, а полученные данные интер-
полирует затем на весь диапазон кадров. Если какая-то группа маркеров из «облака
маркеров» изменяет свое положение и поворот относительно камеры, то их движения
учитываются в расчете движений каждого из маркеров, принадлежащих «облаку мар-
керов».
После этого полученная черновая версия «облака маркеров», как правило, имеет
взаимное расположение маркеров, отдаленно напоминающее расположение их в реаль-
ности. Для получения более точного расположения маркеров в пространстве исполь-
зуется этап калибровки камеры (для разных версий программы этот этап может вы-
полняться до или после реконструкции положения точек).
Калибровка камеры заключается в уточнении взаимного расположения камер в про-
странстве по положению статичных маркеров в сцене, а также (что немаловажно), расче-
ту искажений оптической системы камеры и ее параметров (даже если они заранее
неизвестны). На этапе калибровки выбирается максимально возможное количество
точек на неподвижном фоне, а затем вычисляются поправочные коэффициенты для
полученной ранее черновой версии реконструкции движений.
На этом этапе получается визуально достаточно точное положение каждого из
маркеров (включая статичные) в пространстве, которое может использоваться для даль-
нейших исследований или для проверки их в одном из программных пакетов компью-
терной графики.
Проверка результатов 3d реконструкции для оценки достоверности получен-
ных данных. Для оценки качества 3d реконструкции и оценки достоверности получен-
ных данных было предложено проверить их на тестовой 3d модели, позволяющей управ-
лять изменениями лицевых признаков (челюсть, губы, щеки, ноздри, веки и лоб).
Моделирование эмоциональных проявлений с помощью параметрических моделей…
«Штучний інтелект» 2013 № 3 167
3К
Для этой цели был выбран программный пакет Autodesk Motionbuilder [31], в кото-
ром открывался файл, содержащий результаты 3d реконструкции, а полученные дан-
ные в виде облака точек переносились на полученную параметрическую модель лица
и визуально оценивалось восприятие тех или иных мимических выражений, создаваемых
этой моделью лица с использованием исходных данных.
Получение этих синтезированных мимических выражений выполнялось в сле-
дующей последовательности. Вначале в программу загружались исходные данные в
формате трехмерных точек, неподвижных относительно системы координат, рассчитан-
ной программой Autodesk Matchmover. Затем, среди всех точек находились несколько
точек (в данном случае три), которые не изменяли взаимного расположения и принадле-
жали облаку точек, повторяющему контуры лица, из которых создавался объект
«твердое тело» (rigid body). Полученный объект, а именно его центр, использовался
для создания новой системы отсчета (относительно которой облако точек было бы не-
подвижно).
В сцену добавлялся объект «модель лица», для которой задавалась система отсчета,
содержащая неподвижные точки, включая центр «твердого тела», которые позволяли
вычислять смещение облака точек и их поворот.
Затем в соответствии с каждой управляющей точке упрощенной модели ставилась
в соответствие аналогичная точка из облака точек, либо несколько точек, на основе
которых рассчитывалось положение управляющей точки в каждый момент времени,
которая управляла, в свою очередь, состоянием мимических проявлений на упрощенной
модели лица.
Выводы
В результате исследований была создана параметрическая модель головы, вклю-
чающая статическую и динамическую модели, признаки, а также получены числовые
параметры, использовавшиеся для моделирования мимики на параметрической модели
головы. Результаты моделирования показали, что с помощью полученной параметри-
ческой модели головы можно моделировать мимические выражения реального человека.
В дальнейшем, данные исследования будут расширены на набор мимических вы-
ражений, полученных в предыдущих исследованиях [9] и могут быть использованы для
моделирования эмоциональных проявлений в жестовом языке на 3d аватаре жестового
языка [32] и для задач идентификации мимических проявлений на известном наборе ми-
мических выражений.
Литература
1. Зайцева Г.Л. Жестовая речь. Дактилология : [учеб. для студ. высш. учеб. заведений] /
Зайцева Г.Л. – М. : Гуманит. изд. центр ВЛАДОС, 2000. – 192 с.
2. Ткачева Т. Жестовый язык глухих как особая знаковая коммуникативная система (на материале
русского и французского жестовых языков) / Т. Ткачева, Н. Ахмедышева // Материалы
Международной научно-практической конференции : «Приоритеты и интересы современного
общества». – Астрахань : АГУ, 2010. – С. 361-365.
3. Кульбіда С.В. Українська жестова мова як природна знакова система / С.В. Кульбіда // «Жестова
мова й сучасність» : зб. наукових праць. – К. : Педагогічна думка, 2009 . – С. 218-239.
4. Український жестівник для батьків / [С.В. Кульбіда, І.І. Чепчина, Н.Б. Адамюк,
Н.В. Іванюшева] //НАПН України, Інститут спеціальної педагогіки, Лаб. жестової мови, Укр. т-во
глухих. – К. : СПКТБ УТОГ, 2011. – 380 с.
5. Tennant R.A. The American Sign Language Handshape Dictionary // Tennant R.A., Marianne
Gluszak Br. – Washington : Gallaudet University Press, 1998. – 407 p.
6. Companys M. Dictionnaire 1200 signes / Companys M., Tourmez F. – Angers, Éditions Monica
Companys, 2000. – 150 p.
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 2013 № 3 168
3К
7. Interface Definitions, ViSiCAST Deliverable D5-1./ [Hanke T., Langer G., Metzger C. et al] – Hamburg,
Insitute of German Sign Language and Communication of the Deaf, 2002. – 74 p.
8. Крак Ю.В. Системи опису мімічних проявів в жестовій мові. / Ю.В. Крак, А.С. Тернов,
В.О. Кузнецов // Науково-теоретичний журнал «Штучний інтелект». – 2012. – № 4. – Донецьк :
ІПШІ, 2012. – C. 172-182.
9. Крак Ю.В. Створення аудіовізуальної бази даних немануальних складових жестової
мови / Ю.В. Крак, А.С. Тернов, В.О. Кузнецов, Ю.В. Барчукова // Матеріали XI Всеукраїнської
міжнародної конференції : «Оброблення сигналів і зображень та розпізнавання образів». –
Київ,2011 – С. 7-10.
10. Ratner P. 3-D Human Modeling and Animation, Second Edition / Peter Ratner. – New York : John Wiley
& Sons Inc., 2003. – 336 p.
11. Miller F.P. Facial Action Coding System. / Miller F.P., Vandome A.F., McBrewster J. – Beau Bassin,
International Book Marketing Service Ltd, 2011. – 80 p.
12. Синельников Р.Д. Атлас анатомии человека : [учебное пособие : в 4 т.]. –/ Р.Д. Синельников,
Я.Р. Синельников, А.Я. Синельников. – 7-е изд., перераб. – М. : Новая волна, 2010. – Т. 1 : Учение о
костях, соединении костей и мышцах. – 344 с.
13. Неттер Ф. Атлас анатомії людини / Ф. Неттер ; [наук. пер. з англ. к.м.н. Цегельского А.А]. – Львів :
Наутілус, 2004. – 592 с.
14. Дж. Ли. Трехмерная графика и анимация / Ли Дж., Уер Б. – 2-е вид. – М. : Вільямс, 2002. – 640 с.
15. [Электронный ресурс] приложения 123D Catch. – Режим доступа : http://www.123dapp.com/catch
16. Rick Parent. Computer Animation. Algorithms and techniques / Parent Rick // The Morgan Kaufmann
Series in Computer Graphics, 2nd Edition. – San Francisco : Morgan Kaufmann Publishers Inc., 2007. –
624 p.
17. [Электронный ресурс] приложения TopoGun. – Режим доступа : http://www.topogun.com
18. Panin G. Model-based Visual Tracking: the OpenTL Framework / Giorgio Panin – Peter Ratner. – New
York : John Wiley & Sons Inc., 2011. – 318 p.
19. Форсайт Д. Компьютерное зрение. Современный подход / Форсайт Д., Понс Ж. – М. : Вильямс,
2004. – 928 с.
20. Шапиро Л. Компьютерное зрение / Шапиро Л., Стокман Дж. – М. : БИНОМ, 2006. – 752 с.
21. [Электронный ресурс] приложения Blender. – Режим доступа : http://www.blender.org
22. [Электронный ресурс] приложения ACTS. – Режим доступа : http://www.zjucvg.net/acts/acts.html
23. [Электронный ресурс] приложения VisCoda VooDoo. – Режим доступа : http://www.viscoda.com/
index.php/en/products/non-commercial/voodoo-camera-tracker
24. [Электронный ресурс] приложения Punchcard VideoTrace. – Режим доступа :
http://punchcard.com.au/
25. [Электронный ресурс] приложения VisCoda VooCat. – Режим доступа : http://www.viscoda.com/
26. [Электронный ресурс] приложения Vicon Boujou. – Режим доступа : http://www.vicon.com/boujou/
27. [Электронный ресурс] приложения Autodesk Matchmover. – Режим доступа : http://download.
autodesk.com/us/maya/2014help-matchmover/index.html
28. [Электронный ресурс] приложения ImagineerSystems Mocha. – Режим доступа : http://www.
imagineersystems.com/products/mochapro
29. [Электронный ресурс] приложения SSOntech SynthEyes. – Режим доступа : http://www.ssontech.
com/synovu.htm
30. [Электронный ресурс] приложения Eyeon Fusion. – Режим доступа : http://www.eyeonline.com
31. [Электронный ресурс] приложения Autodesk Motionbuilder. – Режим доступа:
http://www.autodesk.com/products/motionbuilder/overview
32. Крак Ю.В. Розробка основних інструментів комп’ютерної анімації для побудови системи синтезу
жестової мови / Ю.В. Крак, М.П. Лісняк, А.С. Тернов // Матеріали міжнародної наукової
конференції : «Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту».
27 – 31 травня 2012. – Херсон : ХНТУ, 2012. – С. 104-105.
33. Parke F. Computer Facial Animation / Frederic I. Parke, Keith Waters. – A.K. Peters Ltd, Wellesley,
2008. – 446 p.
Literature
1. Zaytseva G.L. Sign language. Fingerspelling: Guide for students / Zaytseva G.L. – M. : Hum. publishing
centre VLADOS, 2000. – 192 p. – (Correctional pedagogics).
Моделирование эмоциональных проявлений с помощью параметрических моделей…
«Штучний інтелект» 2013 № 3 169
3К
2. Tkatcheva T. Sign language of deaf people as exceptional sign communicational system (based on
materials on Russian and French sign language) // Tkatcheva T., Achmedysheva N. – Materials on
International practical and research conference «Priorities and interests of modern society». – Astrakhan :
AGU, 2010. – Р. 361-365.
3. Kulbida S.V. Ukrainian sign language as a natural notation system / S.V. Kulbida // scientific journal
«Sign language and modern»: К.: Pedagogicha dumka, 2009 . – ст. 218-239.
4. Ukrainian sign language dictionary for parents. // S.V. Kulbida, I.I. Chepchina, N.B. Adamiuk,
N.V. Ivaniuscheva; NAPS of Ukraine, Institute of special teaching, Laboratoty of sign language,
Ukrainian deaf society. – K. : SPCTB UTOG, 2011. – 380 p.
5. Tennant R.A. The American Sign Language Handshape Dictionary // Tennant R.A., Marianne Gluszak
Br. – Washington, Gallaudet University Press, 1998. – 407 p.
6. Companys M. Dictionnaire 1200 signes // Companys M., Tourmez F. – Angers, Éditions Monica
Companys, 2000. – 150 p.
7. Interface Definitions, ViSiCAST Deliverable D5-1./ [Hanke T., Langer G., Metzger C. et al]. – Hamburg,
Insitute of German Sign Language and Communication of the Deaf, 2002. – 74 p.
8. Krak Ju.V. Notation systems for describing facial expressions in sign languages. / Ju.V. Krak,
A.S. Ternov, V.A. Kuznyetsov // Scientific theoretical journal «Artificial intelligence». – 2012. – № 4. –
Donetsk, publishing centre of Institute on problems of artificial intelligence of Ministry of Education and
National academy of sciences of Ukraine, 2012. – p.172-182.
9. Krak Ju.V. Creation of audiovisual database of nonmanual components of sign language / Ju.V. Krak,
A.S. Ternov, V.A. Kuznyetsov, Ju.V. Barchukova // Materials on XI Ukrainian international conference
«Computation of signals and images and pattern recognition.». – Kyiv, publishing centre of journal
«UkrObraz». – с. 7-10.
10. Ratner P. 3-D Human Modeling and Animation, Second Edition / Peter Ratner; John Wiley & Sons Inc.,
New York, 2003. – 336 p.
11. Miller F. P. Facial Action Coding System. / Miller F. P., Vandome A. F., McBrewster J. – Beau Bassin,
International Book Marketing Service Ltd, 2011. – 80 p.
12. Tsynelnikov R.D. Atlas on human anatomy: educational reference: in 4 t. Tome 1 : Study on bones, bone
joints and muscles / R. D. Tsynelnikov, Ja. R. Tsynelnikov, A. Ja. Tsynelnikov. 7th publication, revised.
M. : Novaya volna; publisher Umerenkov, 2010. – 344 p.
13. Netter F. Atlas on human anatomy / F. Netter [scientific translation from English by ph.D Tsegelsky
А.А]. – Lviv : Nautilus, 2004. – 592 p.
14. J. Lee Three dimensional graphics and animation / Lee J., Uer B. – 2nd publication. – M. : Williams,
2002. – 640 p.
15. Online resource on computer program 123D Catch. Hyperlynk: http://www.123dapp.com/catch
16. Rick Parent Computer Animation. Algorithms and techniques / Parent Rick. The Morgan Kaufmann
Series in Computer Graphics, 2nd Edition. – San Francisco: Morgan Kaufmann Publishers Inc., 2007. –
624 p.
17. Online resource on computer program TopoGun. Hyperlynk: http://www.topogun.com
18. Panin G. Model-based Visual Tracking: the OpenTL Framework / Giorgio Panin. – Peter Ratner; John
Wiley & Sons Inc., New York, 2011 – 318 p.
19. Forsight D. Computer vision. Modern approach. / Forsight D., Pons J. – M. : Williams, 2004. – 928 p.
20. Shapiro L. Компьютерное зрение / Shapiro L., Stokman J.// The best foreign guide. – M. : BINOM.
Laboratoriya znanij, 2006. – 752 с.
21. Online resource on computer program Blender. Hyperlynk: http://www.blender.org
22. Online resource on computer program ACTS. Hyperlynk: http://www.zjucvg.net/acts/acts.html
23. Online resource on computer program VisCoda VooDoo. Hyperlynk: http://www.viscoda.com/
index.php/en/products/non-commercial/voodoo-camera-tracker
24. Online resource on computer program Punchcard VideoTrace. Hyperlynk: http://punchcard.com.au/
25. Online resource on computer program VisCoda VooCat. Hyperlynk: http://www.viscoda.com/
26. Online resource on computer program Vicon Boujou. Hyperlynk: http://www.vicon.com/boujou/
27. Online resource on computer program Autodesk Matchmover. Hyperlynk:
http://download.autodesk.com/us/maya/2014help-matchmover/index.html
28. Online resource on computer program ImagineerSystems Mocha. Hyperlynk:
http://www.imagineersystems.com/products/mochapro
29. Online resource on computer program SSOntech SynthEyes. Hyperlynk:
http://www.ssontech.com/synovu.htm
30. Online resource on computer program Eyeon Fusion. Hyperlynk: http://www.eyeonline.com
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 2013 № 3 170
3К
31. Online resource on computer program Autodesk Motionbuilder. Hyperlynk:
http://www.autodesk.com/products/motionbuilder/overview
32. Krak Ju.V. Development of an engine of computer animation in purpose to create a syster for sign
language synthesis. / Ju.V. Krak, M.P. Lisnyak, A.S. Ternov // Materials on international scientific
conference : «Intelligent systems for decision making and problems of computational intelligence». –
Kherson : KhNTU, 2012. – p. 104-105.
33. Parke F. Computer Facial Animation / Frederic I. Parke, Keith Waters. – A.K. Peters Ltd, Wellesley,
2008. – 446 p.
RESUME
Ju.V. Krak, V.A. Kuznetsov, A.S. Ternov
Facial Expressions Modeling Based on a Parametric Models
of a Human Head
Described in the article are the steps of creation the parametric head model, what has
been proposed for modeling such elements of sign language as emotional expressions. A
facial structure was studied in purpose to describe an existing set of emotional expressions
in sign language.
A static three dimensional model has been created based on a face of a real human. It
was noticed a set of a characteristic points, based on data about a points of junction and
each centre of each facial muscle of a real human; these points define a set of parameters.
It also was set of elements of dynamic model of facial animation based on knowledge
about muscle structure.
It was analyzed different algorithms of retrieving of numeric values (algorithms of
computer vision) by employing a software containing examples of these algorithms; in
particular, it was analyzed in test videos such properties of these algorithms as time of
computation, an influence of changing of background and tracked feature color and shape.
Based on this step, it was chosen an algorithm that matches the requirements of this
research.
It was conducted a set of experiments in purpose to get a numeric values of a
parametric model. These experiments included a check of orientation of video cameras,
format types and approaches of video segmentation. It also was tested an algorithm of
three dimensional reconstruction based on a data containing a trajectories of movement of
feature points on a video sets containing different views of the face. Based on these
experiments, it was made filming an emotional expressions given as a result a parameters
of the parametric model; these parameters were used for facial expression modeling for
sign language.
Given as a result, a parametric model was tested and also was found out:
– how can be a features found on the face;
– how many features is needed to get the model that can represent facial expressions
correctly;
– what points of the face represent a maximum amplitude of muscle depression or
relaxation;
– what type of restrictions have the algorithms of computer vision;
– how truly a parametric model describes a human face.
This research is to be extended on an existent set of facial expressions retrieved in
earlier researches and can be applied in facial expression modeling for sign language on
3D sign language avatar and in purpose to identify a micro expressions on a known set of a
facial expressions.
Статья поступила в редакцию 15.04.2013.
|
| id | nasplib_isofts_kiev_ua-123456789-85107 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1561-5359 |
| language | Russian |
| last_indexed | 2025-12-07T18:22:50Z |
| publishDate | 2013 |
| publisher | Інститут проблем штучного інтелекту МОН України та НАН України |
| record_format | dspace |
| spelling | Крак, Ю.В. Кузнецов, В.А. Тернов, А.С. 2015-07-19T11:56:44Z 2015-07-19T11:56:44Z 2013 Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека / Ю.В. Крак, В.А. Кузнецов, А.С. Тернов // Искусственный интеллект. — 2013. — № 3. — С. 154–170. — Бібліогр.: 33 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/85107 004.8 В работе рассмотрен метод получения числовых параметров параметрической модели головы человека
 для задачи моделирования эмоциональных проявлений в жестовом языке. Описаны этапы получения
 модели эмоциональных проявлений, включая информационную и параметрическую модели. Предложен
 набор признаков, который может использоваться в задаче идентификации параметров на основании
 признаков параметрической модели. У роботі розглянуто метод отримання числових параметрів параметричної моделі голови людини для
 задачі моделювання емоційних проявів у жестовій мові. Описані етапи отримання моделі емоційних
 проявів, що включають інформаційну та параметричну моделі. Запропоновано набір ознак, який може
 бути застосований в задачі ідентифікації параметрів на підставі ознак параметричної моделі. Described in the article is the metod of retrieving the numerical values in parametrical head model in purpose
 to model a facial emotion features in sign language. A several stages of retrieving the model of emotion
 features including retrieving of informational and parametrical model described in the article. It also
 proposed a set of features that can be applied in experiments in order to identify parameters on the basis of
 this set. ru Інститут проблем штучного інтелекту МОН України та НАН України Искусственный интеллект Анализ и синтез коммуникационной информации Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека Моделювання емоційних проявів за допомогою параметричних моделей голови людини Facial expressions modeling based on a parametric models of a human head Article published earlier |
| spellingShingle | Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека Крак, Ю.В. Кузнецов, В.А. Тернов, А.С. Анализ и синтез коммуникационной информации |
| title | Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека |
| title_alt | Моделювання емоційних проявів за допомогою параметричних моделей голови людини Facial expressions modeling based on a parametric models of a human head |
| title_full | Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека |
| title_fullStr | Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека |
| title_full_unstemmed | Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека |
| title_short | Моделирование эмоциональных проявлений с помощью параметрических моделей головы человека |
| title_sort | моделирование эмоциональных проявлений с помощью параметрических моделей головы человека |
| topic | Анализ и синтез коммуникационной информации |
| topic_facet | Анализ и синтез коммуникационной информации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/85107 |
| work_keys_str_mv | AT krakûv modelirovanieémocionalʹnyhproâvleniispomoŝʹûparametričeskihmodeleigolovyčeloveka AT kuznecovva modelirovanieémocionalʹnyhproâvleniispomoŝʹûparametričeskihmodeleigolovyčeloveka AT ternovas modelirovanieémocionalʹnyhproâvleniispomoŝʹûparametričeskihmodeleigolovyčeloveka AT krakûv modelûvannâemocíinihproâvívzadopomogoûparametričnihmodeleigolovilûdini AT kuznecovva modelûvannâemocíinihproâvívzadopomogoûparametričnihmodeleigolovilûdini AT ternovas modelûvannâemocíinihproâvívzadopomogoûparametričnihmodeleigolovilûdini AT krakûv facialexpressionsmodelingbasedonaparametricmodelsofahumanhead AT kuznecovva facialexpressionsmodelingbasedonaparametricmodelsofahumanhead AT ternovas facialexpressionsmodelingbasedonaparametricmodelsofahumanhead |