Системы описания мимических проявлений в жестовом языке
В работе рассмотрена проблема разработки системы описания мимических проявлений в украинском жестовом языке для задачи моделирования мимики в системах интерактивного обучения жестового языка. Проведен анализ существующих систем описания мимики в жестовом языке, даны оценки полноты этих систем, указа...
Збережено в:
| Опубліковано в: : | Штучний інтелект |
|---|---|
| Дата: | 2012 |
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут проблем штучного інтелекту МОН України та НАН України
2012
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/57713 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Системы описания мимических проявлений в жестовом языке / Ю.В. Крак, В.А. Кузнецов, А.С. Тернов // Штучний інтелект. — 2012. — № 4. — С. 172-182. — Бібліогр.: 13 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860141279228198912 |
|---|---|
| author | Крак, Ю.В. Кузнецов, В.А. Тернов, А.С. |
| author_facet | Крак, Ю.В. Кузнецов, В.А. Тернов, А.С. |
| citation_txt | Системы описания мимических проявлений в жестовом языке / Ю.В. Крак, В.А. Кузнецов, А.С. Тернов // Штучний інтелект. — 2012. — № 4. — С. 172-182. — Бібліогр.: 13 назв. — рос. |
| collection | DSpace DC |
| container_title | Штучний інтелект |
| description | В работе рассмотрена проблема разработки системы описания мимических проявлений в украинском жестовом языке для задачи моделирования мимики в системах интерактивного обучения жестового языка. Проведен анализ существующих систем описания мимики в жестовом языке, даны оценки полноты этих систем, указаны их недостатки и области их применения. Выдвинуты основные требования, которым должна соответстовать система описания мимики в украинском жестовом языке.
У роботі розглядається проблема розробки системи опису мімічних проявів в українській жестовій мові для задачі відтворення міміки в системах інтерактивного навчання жестової мови. Проведено аналіз існуючих систем опису міміки в жестовій мові, наведено оцінки повноти цих систем, їх недоліки та області їх застосування. Визначено основні вимоги, яким повинна задовольняти система опису міміки в українській жестовій мові.
Described in the article is the problem of development an Ukrainian sign language facial expression notation system utilized for modeling facial expressions in computer sign language educational systems. Various aspects of existing notation systems, such as their level of detail, their disadvantages, the area of application are analyzed in the article. The main requrements for Ukrainian sign language facial expression notation system are given.
|
| first_indexed | 2025-12-07T17:49:37Z |
| format | Article |
| fulltext |
«Искусственный интеллект» 4’2012172
3К
УДК 004.8
Ю.В. Крак, В.А. Кузнецов, А.С. Тернов
Институт кибернетики имени В.М. Глушкова НАН Украины, Украина
Украина, 03680, г. Киев, пр-т. Ак. Глушкова, 40
Системы описания мимических проявлений
в жестовом языке
Iu.V. Krak, V.A. Kuznetsov, A.S. Ternov
V.M. Glushkov Institute of Cybernetics, Ukraine
Ukraine, 03680, c. Kyiv, Glushkov prt., 40
Notation Systems for Describing Facial Expressions
in Sign Languages
Ю.В. Крак, В.А. Кузнєцов, А.С. Тернов
Інститут кібернетики імені В.М. Глушкова НАН України, Україна
Україна, 03680, г. Київ, пр-т. Ак. Глушкова, 40
Системи опису мімічних проявів у жестовій мові
В работе рассмотрена проблема разработки системы описания мимических проявлений в украинском
жестовом языке для задачи моделирования мимики в системах интерактивного обучения жестового языка.
Проведен анализ существующих систем описания мимики в жестовом языке, даны оценки полноты этих
систем, указаны их недостатки и области их применения. Выдвинуты основные требования, которым
должна соответстовать система описания мимики в украинском жестовом языке.
Ключевые слова: системы описания, мимика, жестовый язык.
Described in the article is the problem of development an Ukrainian sign language facial expression notation
system utilized for modeling facial expressions in computer sign language educational systems. Various aspects of
existing notation systems, such as their level of detail, their disadvantages, the area of application are analyzed in
the article. The main requrements for Ukrainian sign language facial expression notation system are given.
Key words: notation systems, facial expressions, sign language.
У роботі розглядається проблема розробки системи опису мімічних проявів в українській жестовій мові
для задачі відтворення міміки в системах інтерактивного навчання жестової мови. Проведено аналіз
існуючих систем опису міміки в жестовій мові, наведено оцінки повноти цих систем, їх недоліки та
області їх застосування. Визначено основні вимоги, яким повинна задовольняти система опису міміки в
українській жестовій мові .
Ключові слова: системи опису, міміка, жестова мова
Введение
Мимика – форма выражения человеком отношения к чему-либо, имеющая про-
явление в сокращении мышц лица и шеи. Кроме своего основного значения – выраже-
ния эмоций, она также имеет применение в жестовой речи при общении неслышащих
людей; в этом случае мимика имеет более широкое понимание – как способ выражения
смысла, который передается собеседнику при общении [1].
Существует множество различных подходов к описанию мимики.
В обыденной жизни мимика и эмоции воспринимаются как единое целое (как
макровыражение) и как однозначное выражение той или иной эмоции, без рассмотре-
ния каких-то особенностей. Именно поэтому в этом ключе мимика является синонимом
эмоций, как наиболее доступная и понятная форма их выражения, соответственно опи-
сывается в терминах названия той или иной эмоции.
Системы описания мимических проявлений в жестовом языке
«Штучний інтелект» 4’2012 173
3К
С точки зрения психологии и психиатрии мимика лица имеет различные степени
проявления, какие-то отличительные черты (микровыражения), которые выделяют эту
мимику от другой, похожей на нее [2]. Физиологи рассматривают мимику как набор
состояний мышц лица или состояний определенных лицевых нервов [3]. Отметим,
что описание физиологического состояния в отрыве от внутреннего эмоционального
состояния (или смыслового значения) не дает возможности правильно определить
наблюдаемое мимическое выражение.
Как отмечается в работе [4], экспрессия (которая показывает уровень эмоциональ-
ного состояния) больше представлена в верхней части лица, тогда как артикуляция
выражается изменением конфигурации рта / челюсти, губ, языка, щек и зубов. Артику-
ляция делится на губные жесты и на виземы (движения рта, производные от фонем
разговорной речи). Авторы выделяют около 30 фонем, которые имеют аналоги в жесто-
вом языке – 10 простых фонем и 20 сложных:
– простые включают в себя фонемы l, E, p, f, s, S, O, o, a;
– сложные представляют собой комбинацию простых фонем.
Также присутствуют фонемы g, b, M, N, I, которые не используются самостоя-
тельно и присутствуют только в составе сложных фонем.
В современном Украинском жестовом языке проводились различные исследова-
ния в области систематизации сведений о языке [5], [6], однако малоисследованной
является такая часть жестового языка, как мимика. Интерес представляют исследования
мимических компонент жестовой речи в ракурсе их формального описания и пред-
ставления данных в виде, удобном для компьютерного моделирования и анализа.
В исследованиях жестового языка очень часто возникает вопрос касательно того,
как представить данные на жестовом языке. При этом необходимо указать те элементы
данных на жестовом языке, которые представляют интерес для рассматриваемой
задачи. Система, которая представляет данные на жестовом языке в письменной форме,
называется системой записи или системой нотации. Система нотации также может
выступать как альтернатива текстовой записи жестов для неслышащих людей с низкой
письменной грамотностью не-жестового языка. Преимущества такого способа пред-
ставления данных очевидны: отсутствуют языковые барьеры и данные системы записи
можно использовать в компьютерных базах данных. В статье [7] выделено 20 систем
нотации, среди наиболее значимых отмечены системы – Stokoe Notation, Hamburg
notation System (HamNoSys), Sutton SignWriting. В статье [4], посвященной разработке
элементов описания мимики для системы нотации HamNoSys, выделяются три системы,
которые используются для описания мимики в исследованиях жестового языка – Facial
Action Coding System (FACS), SignWriting и Edinburg Non-Manual Coding System
(ENCS). Исследователи из организации LIMSI/CNRS [8] так же выделяют систему
D’Sign и язык лингвистических описаний (язык предикатов).
В рамках данного исследования были проанализированы три системы, использую-
щиеся для описания мимических проявлений мимики в жестовом языке – HamNoSys [4],
SignWriting [9] и FACS [10].
Проведенный анализ результатов в этой области исследований определил направ-
ление дальнейших исследований и постановку задачи.
Постановка задачи:
–описать структуру мимики и базис выражений;
–описать существующие методы представления мимики в жестовом языке (ЖЯ);
–провести исследование базиса выражений в ЖЯ;
–обозначить задачи для системы представления мимики.
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 4’2012174
3К
1 Системы описания мимики
В качестве критериев отбора систем описания мимики были приняты следующие
утверждения:
– указанные системы должны быть удобны для исследователей;
– эти системы широко известны и используются большим числом исследователей;
– использование системы сокращало бы объем описаний по сравнению с текстом.
На основе данных критериев в конечном итоге были выбраны три системы: FACS,
SignWriting, HamNoSys и система лингвистических описаний. Выбор этих систем был
основан на их широком использовании среди исследователей. В то же время, системы
ENCS и Stokoe не исследовались, поскольку первой пользуется незначительное число
исследователей жестового языка, а вторая не содержит элементов описания мимики
жестового языка. Система лингвистических описаний в данном исследовании исполь-
зовалась не как самостоятельная система описания мимики, а как средство описания
обозначений в системах FACS, SignWriting и HamNoSys и сравнения этих обозначе-
ний между собой.
Указанные системы можно условно поделить на два вида:
– графические системы нотации: SignWriting, HamNoSys;
– символьная система нотации: FACS.
Системы нотации в данном контексте – это система описания нескольких об-
ластей лица, изменение состояния которых выражается через модификаторы состояния,
которые могут быть выражены как через графическое описание, так и с помощью сим-
волов. В графических системах нотации обозначения представлены в виде изображе-
ний, повторяющих те или иные внешние признаки, которые можно увидеть на лице
человека. Символьные системы представляют проявления мимики в виде цифробуквен-
ного кода или иной записи, символы алфавита, при этом запись ведется, как правило,
в одну строку. В различных системах нотации можно встретить такие модификаторы,
как модификаторы глаз, рта, носа, лба и другие. Также могут встречаться и другие мо-
дификаторы, например, подбородка, волос.
SignWriting. SignWriting [9] была создана для схематического обозначения жесто-
вого языка. Основное отличие её от HamNoSys заключается в том, что это знаковая
система для письменной речи неслышащих людей (т.е. как альтернатива письменной
речи разговорного языка). Обозначение мимического выражения интуитивно понятно
и воспринимается целиком, вместе со всеми признаками, его можно повторить, имея
знакомство лишь с правилами описания движений тела в этой системе. Запись мимики
в данной системе повторяет естественное расположение элементов мимики на лице
человека, а мимическое выражение, за счет отсутствия привязки его к конкретному
языку, позволяет применять эту систему для различных жестовых языков.
HamNoSys. HamNoSys [4] предназначалась для лингвистов и исследователей
жестового языка. По сути, это графическая запись кодов и операторов из Stokoe Notation
System, где коды жестов были заменены пиктограммами, повторяющими форму жеста,
а операторы – специальными стрелками и другими символами, показывающими на-
правление движений и другие действия.
HamNoSys совсем недавно (в рамках проекта VisiCAST [4]) включила в свой
набор признаков элементы, связанные с изменениями в не-мануальных элементах
жеста (движения головы, плеч, туловища и др.).
FACS. FACS [10] была первоначально сделана как система описания проявле-
ний психоэмоционального состояния человека в мимике. В отличие от остальных
систем, которые описывают состояние лица в категориях внешних проявлений, эта
система описывает изменения мимики в терминах изменений мышц лица. Исследо-
Системы описания мимических проявлений в жестовом языке
«Штучний інтелект» 4’2012 175
3К
ватели мимики жестового языка критикуют эту систему за сложность изучения си-
стемы кодирования [4], однако, основное ее преимущество заключается в наиболее
точном отражении физиологии человека. Так, в описании самой системы [10], [11]
есть примеры описания базовых эмоциональных выражений.
2 Исследование базиса выражений в системах нотации
Методика исследования. Исследования проводились в два этапа. Вначале линг-
вистические описания символов знаковых систем группировались по признакам, чтобы
сравнить наборы знаковых систем и дать укрупненную оценку для нескольких знако-
вых систем. Затем проводился анализ лингвистических описаний знаков и разбиение
их на элементарные описания. Такой анализ позволил бы рассмотреть знаки в системах
описания как сумму элементарных описаний (с допущением касательно того, что каж-
дый компонент, выраженный этим описанием, можно рассматривать по отдельности)
и таким образом получить минимальный набор компонент (признаков), входящих в зна-
ковую систему.
Сравнение наборов знаков, описывающих признаки в мимике. На первом
этапе были получены таблицы со сравнительными характеристиками наборов знаков
в системах, в соответствии с их реальным описанием (табл. 1-3).
Наибольшее число областей лица, которые выделяются в трех системах, есть в
системе SignWriting, при этом деление на области чисто пропорциональное, без отдания
предпочтения какой-либо области. Это, в частности, видно из отклонения от среднего
для каждой из областей. В то же время, в системе HamNoSys признаки разбиты не
только по областям, но и по функциональным группам: например, все признаки, вклю-
чая щеки, зубы, челюсть, губы, язык, входят в одну группу, тогда как они в SignWriting
входят в две разные области. Большой размер группы губных жестов в HamNoSys,
указывает на смещение акцента в сторону именно этих признаков в системе описания.
В системе FACS вообще отсутствует деление лица на области – все признаки, опи-
сывающие изменение лица, кроме собственно зрачков, выделены в одну большую
группу. Количество признаков, описывающих лицо в FACS, как видно из табл. 3,
значительно меньше, чем в остальных системах. (Однако, стоит помнить, что в
системе FACS есть три важных аспекта – во-первых, рассматривание этих признаков
как микровыражений, что фактически означает их равноправие, во-вторых, система
рассматривает выражения лица – макровыражения, как суперпозицию нескольких
признаков – микровыражений, в-третьих, в системе признаки соответствуют измене-
ниям отдельных лицевых мышц, что может говорить о большей функциональной пол-
ноте системы). В остальном, и FACS, и HamNoSys придают движениям головы и глаз
одинаково важную роль, рассматривая их отдельно от других, а также выделяют
одинаковое число признаков для указанных групп.
Таблица 1 – Группы признаков в SignWriting
Группа признаков Количество признаков
«Движения головы» 11
«Брови, глаза, зрачки» 22
«Щеки, уши, нос, дыхание» 17
«Рот и губы» 30
«Язык, подбородок, шея» 20
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 4’2012176
3К
Таблица 2 – Группы признаков в HamNoSys
Группа признаков Количество признаков
«Движения головы» 11
«Взгляд» 11
«Лицо (брови, веки, нос)» 20
«Губные жесты (щеки, зубы, челюсть, губы, язык» 80
Таблица 3 – Группы признаков в FACS
Группа признаков Количество признаков
«Движения головы» 14
«Движения глаз» 11
«Общее поведение» 11
«Основные коды (все лицо)» 40
С целью получения более детального анализа, лингвистические описания
мимических выражений были разбиты на отдельные описания, содержащие признаки
из частей лица, на которых они проявляются. При этом для некоторых признаков,
имеющих слишком малое число возможных проявлений, либо присутствующих лишь
в одной системе описания, была выделена группа «прочее», которая не использовалась
в сравнении систем.
Таблица 4 – Сравнение наборов признаков в HamNoSys, SignWriting и FACS
Количество признаков в системе
Признак FACS SignWriting HamNoSys
Движения головы 16 11 11
Брови 5 7 4
Веки 5 10 13
Направление взгляда 12 9 11
Щеки 4 6 13
Нос 4 4 3
Дыхание - 6 - **
Губы 14 28 35
Язык 3 8 17
Зубы 2 7 9
Челюсть 3 2 4
Прочее 8 12* -
Итого 62 109 88
*В SignWriting присутствуют специальные обозначения для ушей, лба, ресниц
и носогубной складки, отсутствующие в других системах.
**Дыхание входит в 12 других обозначений в самой системе, но не выделено
как самостоятельное обозначение.
Все без исключения системы уделяют одинаковое внимание таким признакам,
как брови, направление взгляда, нос и челюсть. В то же время есть существенное
различие между тем, как уделяется внимание щекам, губам, языку и зубам в системе
Системы описания мимических проявлений в жестовом языке
«Штучний інтелект» 4’2012 177
3К
HamNoSys и других системах: набор признаков, описывающих эти части лица, суще-
ственно больше, что особенно заметно на примере различия между HamNoSys и FACS.
Это различие указывает на то, что мимика в жестовом языке имеет свои специфи-
ческие особенности, которая требует выделения большего набора признаков. Однако,
в отличие от других систем, FACS выделяет несколько больше движений головы, чем
другие системы. Также есть небольшое преимущество в возможности описания век в
системе HamNoSys. Существует сложность в подсчете: в системе SignWriting выделя-
ются некоторые признаки, например, дыхание, тогда как 12 признаков, входящих в
систему HamNoSys, содержат различные проявления дыхания. Есть один важный
момент, который можно отметить из сравнения – не смотря на большее число приз-
наков, содержащихся в системе SignWriting, система HamNoSys содержит значительно
больший набор признаков, характерных для мимики жестовой речи – относящихся к
нижней части лица.
Выделение минимального набора признаков, входящих в системы. Как было
отмечено выше, возникла сложность при подсчете, из-за включения некоторых приз-
наков в состав других, т.е. подсчитать реальную полноту системы в плане количества
описываемых признаков, так и их состава не представлялось возможным. Кроме того, в
системе FACS использовался минимальный набор признаков, тогда как в остальных
системах этот набор является избыточным из-за различных комбинаций элементарных
признаков. Поэтому, чтобы выяснить, каков минимальный набор признаков, описывае-
мых в различных системах, наборы анализировались по лингвистическим описаниям
каждого из символов.
Каждое лингвистическое описание содержит в себе последовательное описание
всех составляющих, входящих в выражение, представленных в форме предиката (лин-
гвистического). Предикат содержит в себе несколько элементов: объект, действие, ха-
рактер действия. Объект характеризует изменяемую часть выражения (существительное).
Действие может быть выражено как незавершенным действием (глагол), так и завершен-
ным (деепричастие). Дополнительно элемент «действие» может содержать степени
выражения: для глагола – скорость, интенсивность, для деепричастия – сравнительные
степени. Предикат может содержать как несколько объектов действия, так и самих
действий, образуя сложный предикат. Исходные описания, представленные в форме
сложных предикатов, представлялись в виде простых, которые, таким образом, и дава-
ли искомые элементарные описания.
В результате разбиения были получены две группы признаков: характеризующие
форму проявления и отображающие характер движений. Формы проявления были
сгруппированы по 12 категориям, соответствующим определенным областям головы и
лица: положение головы, брови, веки, направление взгляда, лоб, щеки (включающая
подкатегорию дыхание), нос, губы (включая две подкатегории: особая форма губ и
уголки губ), язык, зубы и носогубная складка. В табл. 5 приведены количественные
показатели признаков в исследуемых системах.
Признаки, отображающие характер движений, были разбиты на 5 категорий: ха-
рактер движений, периодичность, симметрия, степени проявления (включая амплитуду
и длительность), тип и область действия (включая плоскость движения и тип движе-
ния). Во всех системах можно выделить следующие параметры:
– характер движения (статичные, изменяющиеся в одном направлении, перемен-
ной направленности);
– периодичность (однократные и многократные);
– симметрия (симметричные и ассиметричные);
– по числу значений амплитуды (от 2 до 5);
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 4’2012178
3К
– по длительности (быстрые / кратковременные и плавные / длительные);
– по плоскости движения (в горизонтальной и фронтальной плоскости);
– по траектории движения (дуговые, круговые и прямолинейные).
Таблица 5 – Формы проявления мимики
Группы признаков FACS SignWriting HamNoSys
1 «Положение головы (лица)» 3 4 3
2 «Брови» 5 5 2
3 «Глаза (веки)» 4 8 5
4 «Направление взгляда» 4 5 7
5 «Лоб» 1 2 0
6 «Щеки» 2 4 4
6a Дыхание 1 2 5
7 «Нос» 4 3 4
8 Губы 11 6 11
8a Уголки губ 3 4 1
8б Особые формы губ 1 4 1
9 Язык 3 4 9
10 Зубы 4 3 4
11 Челюсть 2 2 2
12 Носогубная складка 1 2 0
Итого 49 58 58
Сравнение систем. Большинство систем практически в одинаковой мере пред-
ставляют признаки в таких областях: положение головы, щеки, нос, зубы и челюсть.
Вместе с тем, есть и отличия; так, SignWriting лучше представляет изменения век,
лба, губ (особые формы губ) и носогубной складки; в HamNoSys внимание больше
уделено описанию направления взгляда, дыханию, губам и языку. Однако, несмотря
на отсутствие явных преимуществ у SignWriting перед HamNoSys, в ней намного
лучше представлены описания бровей, лба, уголков губ и носогубной складки. Такое
различие говорит о том, что система SignWriting лучше описывает экспрессию (эмоцио-
нальный оттенок) в мимике жестовой речи, чем система HamNoSys; вместе с тем,
HamNoSys лучше описывает проявления, свойственные мимике жестовой речи. Система
FACS в данной ситуации имеет не очень существенное отличие числа признаков от
других систем, но имеет одно важное преимущество – часть групп признаков в ее
наборе является минимально необходимым. Набор признаков, описывающих губы,
сравним с тем, что имеется в системе HamNoSys, а по описанию дыхания система FACS
уступает другим системам, что явно подтверждается отсутствием признаков, описываю-
щих дыхание в исходном наборе.
Если сравнивать системы по характеру движений, то отличия здесь не столь за-
метны. Существуют лишь два важных отличия – HamNoSys и SignWriting выделяют
движения, изменяющиеся с возвратом в исходное положение, и движения, повторяемые
двукратно соответственно
Системы описания мимических проявлений в жестовом языке
«Штучний інтелект» 4’2012 179
3К
3 Требования, предъявляемые к разрабатываемой системе
При построении структуры системы представления отметим, что любая система
представления мимики является интерпретацией исходных данных на ЖЯ разработ-
чиками системы представления мимики. Поэтому существует проблема в неверном
толковании исходных данных разработчиками и возможность упущения как несуще-
ственных каких-то аспектов ЖЯ. Например, с этим связана проблема синхронизации
различных элементов жестовой речи в потоке ЖЯ: так, если, например, мимическое
выражение происходит в течение выполнения двух ручных жестов, то это выражение
может быть разбито на два, с привязкой частей этого выражения к различным жестам.
Этот подход допустим, если это выражение не меняется на протяжении показывания
двух жестов (т.к. не нарушается дистрибутивный закон), тогда как отделение частей
мимических выражений, относящихся к различным жестам по границе начала жеста,
недопустимо –говорящий на ЖЯ может не успевать синхронизировать жест с мимикой
или делать логическую паузу между жестами. Это справедливо и для синхронизации
других элементов жестовой речи между собой.
Не меньшей проблемой, чем ошибки в создании системы на микроуровне,
является проблема наличия общего стандарта для различных ЖЯ, такого, что система
могла в одинаковой мере описывать одни и те же структуры («жесты-омонимы»). Хотя
и это частично решает проблему с классификацией похожих элементов жестов из
разных ЖЯ, однако возникает проблема с их общим обозначением. Это можно привести
на примере мимических выражений: в немецком и русском жестовом языке существует
одинаковый губной жест «У», который соответствует схожим литерам из немецкого и
русского разговорного языка. Как утверждается в работе [4], большинство губных
жестов произошли от разговорной речи слышащих людей. Эти же губные жесты исполь-
зуются для обозначения слов, начинающихся на эти фонемы. Однако, совершенно
очевидно, что в немецком и русском жестовом языке эту фонему в начале слова будут
содержать совершенно разные слова, поэтому и основное значение, передаваемое этим
губным жестом в данных языках, может различаться. Это же можно сказать и про
мимические выражения в целом; выражения, используемые в грамматике жестового
языка, могут отличаться от языка к языку. Исследования, проводимые нами ранее с
целью сопоставить базис мимических выражений в украинском и американском жес-
товом языке [12], показали что существует порядка 40% мимических выражений,
которые имеют одинаковый набор признаков, тогда как остальные 60% составляют
выражения, существенно отличающиеся друг от друга, поэтому очевидно, что в различ-
ных ЖЯ будут как различные мимические выражения, так и их значения, что вызвано,
по-видимому, сильным влиянием разговорного языка.
Часть систем представления ЖЯ базируется на описаниях структуры письменной
речи слышащих людей (GLOSS-based form), т.к. в ее создании принимают участие
слышащие люди. Такая особенность приводит к тому, что жест, представляемый как
единое целое и имеющий параллельное представление информации, отображается в
виде последовательности знаков, что неверно. Кроме того, представление ее составля-
ющих в виде символов, записанных в одной строчке, осложняет чтение, т.к. человек
воспринимает мимику целиком, а не по отдельным признакам. В некоторой мере это
можно объяснить удобством представления такого рода информации в виде строк на
компьютере. Это связано с тем, что большая часть информации, используемой на ком-
пьютере, является текстовой, а прочая информация (например, формулы или картинки)
требует специального программного обеспечения и специальных форматов, на которые
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 4’2012180
3К
может не существовать единого стандарта, а если и имеет место быть, то использующее
их программное обеспечение не входит в обязательный комплект поставки для пер-
сональных компьютеров. В данный момент эта проблема решается при создании Web-
приложений, которые используют присутствующий на любом компьютере Web-браузер
(например, приложения от Dicta-SIGN project [12], использующие SigML Web Player).
При создании системы обозначений мимики возникает выбор между тем, какие
аспекты мимических проявлений следует брать во внимание – внешние, геометри-
ческие, описывающие изменения контуров составляющих мимического выражения и их
перемещение в пространстве, или внутренние, мышечные, описывающие изменения сте-
пени натяжения и растяжения мышц, участвующих в мимическом выражении. Хотя в
большинстве систем представления мимики используются именно внешние проявления
(за исключением системы FACS), поскольку они удобны как для исследователя, так
и для конечного пользователя ЖЯ. Им присущ один важный недостаток, связанный с
тем, что у разных людей различные пропорции разных элементов лица, а, следова-
тельно, существует вероятность ошибки при выборе того или иного элемента для
записи наблюдаемого выражения при достаточно большом размере алфавита такой
системы обозначения. Во-вторых, такая система очень неудобна для представления про-
явлений мимики в виде компьютерной анимации. Современные исследования ЖЯ идут
к тому, что для представления информации на ЖЯ система записи используется лишь
как промежуточный элемент, а конечным элементом, с которым взаимодействует
пользователь ЖЯ, является 3D-модель с компьютерной анимацией. Эта тенденция
привела к тому, что на данный момент существует достаточно большое количество
компьютерных моделей, предназначенных для ЖЯ.
Сама структура 3D-модели и способ построения 3D-анимации этой модели так
или иначе задействует внутренние проявления – ведь для расчета положения точек лица
(т.е. внешних проявлений) требуется верно рассчитать координату глубины точки (в
отличие от высоты и ширины, используемых только в системах, описывающих внеш-
ние проявления мимики), которая должна учитывать ограничения, вызванные строе-
нием головы, а также способность сжатия и растяжения тканей лица в этой конкретно
взятой точке головы, а также затенения поверхности лица для правильного восприятия
контуров.
Однако решение такой задачи упирается в ряд сложностей – подавляющее
большинство систем представления мимики описывают внешние проявления лишь в
двух координатах – только ширину-высоту, а в 3D-анимации требуется иметь третью
координату – глубину. Учитывая этот факт, возникает проблема достаточно простого
метода (или математической модели) пересчета степени внешних проявлений (полу-
чаемых из двухмерной фотографии при анализе исходного мимического выражения)
в степень изменения внутренних проявлений так, чтобы можно было получить неиз-
вестную третью координату через зависимость вида: Z=f(x,y).
Изучение различных способов получения информации из потока жестовой речи
показало, что эта проблема решается либо с помощью захвата движений (motion capture)
с использованием специального оборудования, либо созданием компьютерной анимации
вручную. И тот, и другой метод весьма затратны и в человеческих ресурсах, и в плане
использования дорогостоящего оборудования. Достаточно оригинальный метод при-
думан группой исследователей из Linkoping University: для захвата движений мимики
используется трехмерная маска CANDIDE [13], построенная на гибких шаблонах. Осо-
бенностью этой системы является то, что в ней заложена модель внутренних прояв-
лений, очень сходная с моделью FACS, в которой через характерные точки можно
Системы описания мимических проявлений в жестовом языке
«Штучний інтелект» 4’2012 181
3К
получить степень изменения внутренних проявлений мимики (т.е. мышц лица), что
позволяет после предварительной обработки полученных результатов создавать про-
стую трехмерную анимацию 3D-модели человека.
Выводы
Результаты исследования показали, что разрабатываемая знаковая система для
ЖЯ должна соответствовать следующим критериям:
– понятность знака и достоверное описывание физиологии человека (исполь-
зование графической записи);
– одинаковая возможность описания как особенностей мимики ЖЯ, так и
эмоциональных проявлений;
– возможность использования знаковой системы для различных ЖЯ;
– возможность построения знака из нескольких с использованием диакрити-
ческих знаков или языков текстовой разметки.
Полученные результаты позволят, используя в качестве основы параметрическую
модель CANDIDE, использующей в своей основе как внешние, так и внутренние про-
явления мимики жестовой речи, построить параметрическую модель для базовых
мимических выражений ЖЯ. Дальнейшие исследования будут направлены на исполь-
зование такой параметрической модели для анализа и трехмерного моделирования
эмоциональных мимических проявлений на лице носителя ЖЯ.
Литература
1. Зайцева Г.Л. Жестовая речь. Дактилология : [учеб. для студ. высш. учеб. заведений] /
Зайцева Г.Л. – М. : Гуманит. изд. центр ВЛАДОС, 2000. – 192 с.
2. Экман П. Психология эмоций. Я знаю, что ты чувствуешь / Экман П. – СПб. : Питер, 2010. – 336 с.
3. Дарвин Ч. О выражении эмоций у человека и животных / Дарвин Ч. – СПб. : Питер, 2001. – 384 с.
4. Interface Definitions, ViSiCAST Deliverable D5-1 / [Hanke T., Langer G., Metzger C. et al] – Hamburg,
Insitute of German Sign Language and Communication of the Deaf, 2002. – 74 p.
5. Український жестівник для батьків // С. В. Кульбіда, І. І. Чепчина, Н. Б Адамюк, Н. В. Іванюшева; НАПН
України, Ін-т спец. педагогіки, Лаб. жестової мови, Укр. т-во глухих. – К. : СПКТБ УТОГ, 2011. – 380 с.
6. Кульбіда С.В. Українська жестова мова як природна знакова система / С.В. Кульбіда // збірник
наукових праць : «Жестова мова й сучасність». – К. : Педагогічна думка, 2009 . – С. 218-239.
7. Miller C. A note on notation / C. Miller // In: Signpost. - Vol 7, № 3'94. – Cardif, Cardiff and Vale
University Health Board, 1994. – Р. 191-202.
8. Chételat-Pelé E. Annotation of Non Manual Gestures: Eyebrow movement description / Chételat-Pelé E.,
Braffort A., Veronis J. / In: Crasborn, Otto et al. (2008, eds.) 3th Workshop on Representation and Processing of
Sign Languages. Workshop proceedings. International Conference on Language Resources and Evaluation
(LREC), Marrakesh, Morrocco. – Paris, ELRA, 2008. – Р.28-32.
9. Sutton V. Lessons in SignWriting / Sutton V. – La Jolla, Center for Sutton Movement Writing, 2002. – 195 p.
10. Miller F. P. Facial Action Coding System / Miller F. P., Vandome A. F., McBrewster J. – Beau Bassin,
International Book Marketing Service Ltd, 2011. – 80 p.
11. Крак Ю.В. Параметрическое представление мимических проявлений в жестовой речи / Крак Ю.В.,
Кузнецов В.О., Тернов А.С. // Международная научная конференция : Интеллектуальные системы
принятия решений и проблемы вычислительного интеллекта. ISDMCI’2012. : сб. науч. тр. – Херсон. :
KHTU, 2012. – C. 103-104.
12. Elliott R. Towards the Integration of Synthetic SL Animation with Avatars into Corpus Annotation Tools /
[Elliott R., Bueno J., Kennaway R., Glauert J.] / In: Crasborn, Otto et al. (2010, eds.) 4th Workshop on
Representation and Processing of Sign Languages. Workshop proceedings. International Conference on
Language Resources and Evaluation (LREC), Valletta, Malta. – Paris, ELRA, 2010. – Р. 84-87.
13. Ahlberg J. CANDIDE-3 – an updated parameterized face / Ahlberg J. – Linköping, Ed. Of Linköping
University, 2001 – 16 p.
Крак Ю.В., Кузнецов В.А., Тернов А.С.
«Искусственный интеллект» 4’2012182
3К
Literature
1. Sutton V. Lessons in SignWriting. / Sutton V. – La Jolla, Center for Sutton Movement Writing, 2002. – 195 p.
2. Ekman P. "Psychology of emotions. I know what you feel" / Ekman P. – S-Pb.: Piter, 2010. – 336 p.
3. Darwin Ch. Expression of emotional affect of human and animals/ Darwin Ch. – S-Pb.: Piter, 2001. – 384
p.
4. Interface Definitions, ViSiCAST Deliverable D5-1./ [Hanke T., Langer G., Metzger C. et al] – Hamburg,
Insitute of German Sign Language and Communication of the Deaf, 2002. – 74 p.
5. Ukrainian sign language dictionary for parents. // S. V. Kulbida, I. I. Chepchina, N. B. Adamiuk, N. V.
Ivaniuscheva; NAPS of Ukraine, Institute of special teaching, Laboratoty of sign language, Ukrainian deaf
society. – K.: SPCTB UTOG, 2011. – 380 p.
6. Kulbida S.V. Ukrainian sign language as a natural notation system / S.V. Kulbida // scientific journal «Sign
language and modern»: К.: Pedagogicha dumka, 2009 . – Р.218-239.
7. Miller C. A note on notation / Miller C. // In: Signpost. – Vol 7, № 3'94. – Cardif, Cardiff and Vale
University Health Board, 1994. – Р.191-202.
8. Chételat-Pelé E. Annotation of Non Manual Gestures: Eyebrow movement description / Chételat-Pelé E.,
Braffort A., Veronis J / In: Crasborn, Otto et al. (2008, eds.) 3th Workshop on Representation and
Processing of Sign Languages. Workshop proceedings. International Conference on Language Resources
and Evaluation (LREC), Marrakesh, Morrocco М. – Paris : ELRA, 2008. – Р. 28-32.
9. Sutton V. Lessons in SignWriting. / Sutton V. – La Jolla, Center for Sutton Movement Writing, 2002. – 195 p.
10. Miller F.P. Facial Action Coding System. / Miller F.P., Vandome A.F., McBrewster J. – Beau Bassin,
International Book Marketing Service Ltd, 2011. – 80 p.
11. Krak Iu. V. Parametrical representation of mimical aspects of sign language / Krak Iu.V., Kuznetsov V.A.,
Ternov A.S. // International Conference Intellectual Systems for Decission Making and Problems of
Computitional Intelligence ISDMCI’2012. – Conf. proc. – Kherson : KNTU, 2012. – P.1 03-104.
12. Elliott R. Towards the Integration of Synthetic SL Animation with Avatars into Corpus Annotation Tools /
[Elliott R., Bueno J., Kennaway R., Glauert J.] / In: Crasborn, Otto et al. (2010, eds.) 4th Workshop on
Representation and Processing of Sign Languages. Workshop proceedings. International Conference on
Language Resources and Evaluation (LREC), Valletta, Malta. – Paris, ELRA, 2010. – Р. 84-87.
13. Ahlberg J. CANDIDE-3 – an updated parameterized face / Ahlberg J. – Linköping, Ed. Of Linköping
University, 2001 – 16 p.
RESUME
Iu.V. Krak, V.A. Kuznetsov, A.S. Ternov
Notation Systems for Describing Facial Expressions in Sign Languages
Described in the article are the sign language facial expression notation systems, utilized in
further development of sign language education system for modeling of such aspects of facial
expressions as emotional affect, focus, topic and in grammar constructions. We analyzed three
sign languge notation systems – FACS, HamNoSys and SignWriting on purpose to find the best
suitable way to describe facial expressions in Ukrainian sign language (UaSL).
It has been applied a linguistic analysis of text descriptions in notation systems,
giving as a result a minimal set of features, being used in notation systems.
The result of such analisys considers that each system has both advantages and
disadvantages because of their different view at significance of emotional affect, mouthing,
internal face features, the usability for end users and suitability for PC. Such considerations
resulted to the main ideas how to describe facial expressions in sign language:
–notation system should describe the facial expression as well as real image does;
–system should deal well with emotional affect in facial expressions as well as with
mouthing;
–notation system should be suitable for different sign languages;
–each sign can be easily reproduced by standard means of PC, constructing from
simple elements;
–notation system must have a minimal set of features that describe facial expression.
The obtained set of features is expected to apply in parametric model of basic facial
explessions in UaSL, based on a paratmerised model CANDIDE, which deal with internal and
external features in facial expressions. Further research will apply this model for computer
analisys and modelling of emotional affect in facial expressions in face of native signers.
Статья поступила в редакцию 02.07.2012.
|
| id | nasplib_isofts_kiev_ua-123456789-57713 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1561-5359 |
| language | Russian |
| last_indexed | 2025-12-07T17:49:37Z |
| publishDate | 2012 |
| publisher | Інститут проблем штучного інтелекту МОН України та НАН України |
| record_format | dspace |
| spelling | Крак, Ю.В. Кузнецов, В.А. Тернов, А.С. 2014-03-13T21:20:52Z 2014-03-13T21:20:52Z 2012 Системы описания мимических проявлений в жестовом языке / Ю.В. Крак, В.А. Кузнецов, А.С. Тернов // Штучний інтелект. — 2012. — № 4. — С. 172-182. — Бібліогр.: 13 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/57713 004.8 В работе рассмотрена проблема разработки системы описания мимических проявлений в украинском жестовом языке для задачи моделирования мимики в системах интерактивного обучения жестового языка. Проведен анализ существующих систем описания мимики в жестовом языке, даны оценки полноты этих систем, указаны их недостатки и области их применения. Выдвинуты основные требования, которым должна соответстовать система описания мимики в украинском жестовом языке. У роботі розглядається проблема розробки системи опису мімічних проявів в українській жестовій мові для задачі відтворення міміки в системах інтерактивного навчання жестової мови. Проведено аналіз існуючих систем опису міміки в жестовій мові, наведено оцінки повноти цих систем, їх недоліки та області їх застосування. Визначено основні вимоги, яким повинна задовольняти система опису міміки в українській жестовій мові. Described in the article is the problem of development an Ukrainian sign language facial expression notation system utilized for modeling facial expressions in computer sign language educational systems. Various aspects of existing notation systems, such as their level of detail, their disadvantages, the area of application are analyzed in the article. The main requrements for Ukrainian sign language facial expression notation system are given. ru Інститут проблем штучного інтелекту МОН України та НАН України Штучний інтелект Анализ и синтез коммуникационной информации Системы описания мимических проявлений в жестовом языке Системи опису мімічних проявів у жестовій мові Notation Systems for Describing Facial Expressions in Sign Languages Article published earlier |
| spellingShingle | Системы описания мимических проявлений в жестовом языке Крак, Ю.В. Кузнецов, В.А. Тернов, А.С. Анализ и синтез коммуникационной информации |
| title | Системы описания мимических проявлений в жестовом языке |
| title_alt | Системи опису мімічних проявів у жестовій мові Notation Systems for Describing Facial Expressions in Sign Languages |
| title_full | Системы описания мимических проявлений в жестовом языке |
| title_fullStr | Системы описания мимических проявлений в жестовом языке |
| title_full_unstemmed | Системы описания мимических проявлений в жестовом языке |
| title_short | Системы описания мимических проявлений в жестовом языке |
| title_sort | системы описания мимических проявлений в жестовом языке |
| topic | Анализ и синтез коммуникационной информации |
| topic_facet | Анализ и синтез коммуникационной информации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/57713 |
| work_keys_str_mv | AT krakûv sistemyopisaniâmimičeskihproâvleniivžestovomâzyke AT kuznecovva sistemyopisaniâmimičeskihproâvleniivžestovomâzyke AT ternovas sistemyopisaniâmimičeskihproâvleniivžestovomâzyke AT krakûv sistemiopisumímíčnihproâvívužestovíimoví AT kuznecovva sistemiopisumímíčnihproâvívužestovíimoví AT ternovas sistemiopisumímíčnihproâvívužestovíimoví AT krakûv notationsystemsfordescribingfacialexpressionsinsignlanguages AT kuznecovva notationsystemsfordescribingfacialexpressionsinsignlanguages AT ternovas notationsystemsfordescribingfacialexpressionsinsignlanguages |