Розпізнавання міміки губ при промовлянні слів українською мовою
Пропонується метод розпiзнавання мiмiки губ при промовляннi слiв українською мовою на основi синтезованої математичної моделi станiв губ конкретної людини. Новизна i практична цiннiсть полягає у створеннi систем навчання правильнiй артикуляцiї при промовляннi слiв українською мовою. A method for lip...
Збережено в:
| Опубліковано в: : | Доповіді НАН України |
|---|---|
| Дата: | 2010 |
| Автори: | , , , |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
Видавничий дім "Академперіодика" НАН України
2010
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/29688 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Розпізнавання міміки губ при промовлянні слів українською мовою / Ю. Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов // Доп. НАН України. — 2010. — № 5. — С. 41-44. — Бібліогр.: 3 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860083024732880896 |
|---|---|
| author | Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Тернов, А.С. |
| author_facet | Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Тернов, А.С. |
| citation_txt | Розпізнавання міміки губ при промовлянні слів українською мовою / Ю. Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов // Доп. НАН України. — 2010. — № 5. — С. 41-44. — Бібліогр.: 3 назв. — укр. |
| collection | DSpace DC |
| container_title | Доповіді НАН України |
| description | Пропонується метод розпiзнавання мiмiки губ при промовляннi слiв українською мовою на основi синтезованої математичної моделi станiв губ конкретної людини. Новизна i практична цiннiсть полягає у створеннi систем навчання правильнiй артикуляцiї при промовляннi слiв українською мовою.
A method for lips-reading recognition during the Ukrainian language pronunciation has been proposed. The method is based on a mathematical model synthesized from lips positions of a specific man. The novelty and the practical value consist in the creation of a proper articulation learning system.
|
| first_indexed | 2025-12-07T17:17:48Z |
| format | Article |
| fulltext |
оповiдi
НАЦIОНАЛЬНОЇ
АКАДЕМIЇ НАУК
УКРАЇНИ
5 • 2010
IНФОРМАТИКА ТА КIБЕРНЕТИКА
УДК 004.8
© 2010
Академiк НАН України Ю.Г. Кривонос, Ю. В. Крак, О. В. Бармак,
А.С. Тернов
Розпiзнавання мiмiки губ при промовляннi слiв
українською мовою
Пропонується метод розпiзнавання мiмiки губ при промовляннi слiв українською мовою
на основi синтезованої математичної моделi станiв губ конкретної людини. Новизна
i практична цiннiсть полягає у створеннi систем навчання правильнiй артикуляцiї при
промовляннi слiв українською мовою.
Однiєю з проблем при спiлкуваннi людей з вадами слуху з iншими людьми є вмiння розпi-
знавати артикуляцiю розмовної мови, тобто вмiння “читати по губах”. З огляду на це задача
читання по губах є альтернативою мовного спiлкування. Специфiка артикуляцiї україн-
ської мови потребує розробки власних методiв для розпiзнавання мiмiки. В той же час,
фонетичний принцип української мови дозволяє побудувати загалом однозначний зв’язок
мiж розпiзнаною мiмiкою та вiдповiдною фонемою, з якої складається слово [1].
У даному повiдомленнi для створення системи навчання правильнiй артикуляцiї при
промовляннi слiв українською мовою вперше пропонується синтезована математична мо-
дель станiв губ конкретної людини. Для цього зроблено перехiд вiд простору фотографiчних
зображень облич людини [2] (з процесом промовляння) до векторного простору характери-
стичних ознак. Цей перехiд проходить у декiлька етапiв.
Етап 1. Видiлення на зображеннi внутрiшнiх контурiв губ
ImL → D. (1)
Тут ImL = {Ik : Ik ∈ FSV } — впорядкована множина ключових кадрiв з вiдеопотоку
FSV (Face Speech Video), сформованого при зйомцi мiмiчних проявiв, а саме станiв губ,
на обличчi людини при промовляннi слiв українською мовою (iндекс k = 1, N вiдповiдає
за порядковий iндекс кадру у вибранiй послiдовностi, де N — кiлькiсть ключових кадрiв);
Ik = {colkij}
m,n
i,j=1, i = 1,m, j = 1, n, — зображення розмiру m × n обличчя з мiмiчним
станом губ при промовляннi слiв українською мовою, де m та n — вiдповiдно довжина та
ширина зображення; colkij = Ik(i, j) — колiр пiкселя в системi RGB з координатами (i, j)
на зображеннi Ik; D = {Dk : Dk = {dktop, d
k
bot}} — множина контурiв губ, де Dk — пара
точкових кривих — контурiв губ (верхнiй dktop та нижнiй dkbot) для k-го кадру.
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2010, №5 41
Рис. 1
Етап 2. Апроксимацiя отриманої точкової кривої з внутрiшнiм контуром губ за допо-
могою нерiвномiрних базисних сплайнiв (NURBS) — отримання вектора характеристичних
ознак
D → P, (2)
де P = {vk : v
i
k ∈ H, i = 1,M} — простiр характеристичних ознак; H — характеристичнi
ознаки об’єкта дослiдження; vk — характеристичний вектор; vik — його координати; M —
розмiрнiсть простору P .
Таким чином, математичною моделлю мiмiчних проявiв губ при промовляннi буде ве-
кторний простiр керуючих точок NURBS-кривих:
P = {v : v = (v1,(∗), v2,(∗), v3,(∗), v4,(∗))},
v1,(∗) = (x
ptop
0 , . . . , x
ptop
ntop−1), v2,(∗) = (xpbot0 , . . . , xpbotnbot−1),
v3,(∗) = (y
ptop
0 , . . . , y
ptop
ntop−1), v4,(∗) = (ypbot0 , . . . , ypbotnbot−1),
(3)
де v ∈ P — це вектор координат опорних точок ppbotj та p
ptop
j апроксимуючих NURBS кривих
pbot(u), ptop(u), а nbot i ntop — кiлькiсть контрольних точок для NURBS кривих pbot(u),
ptop(u) вiдповiдно. Тодi розмiрнiсть простору P визначається як M = 2(ntop + nbot).
Схема розпiзнавання мiмiки при промовляннi слiв українською мовою наведена на рис. 1.
На рис. 1 блок 1 вiдповiдає за попередню обробку вхiдної вiзуальної iнформацiї та пере-
творення її у простiр характеристичних ознак (3). Блок 2 мiстить у собi алгоритми побудови
42 ISSN 1025-6415 Reports of the National Academy of Sciences of Ukraine, 2010, №5
Рис. 2
базису простору характеристичних ознак та оцiнки його якостi. На виходi будується базисна
матриця A розмiром M × L простору характеристичних ознак P
A =
vbase12 vbase22 . . . vbaseL2
vbase12 vbase22 . . . vbaseL2
. . . . . . . . . . . . . . . . . . .
vbase1M vbase2M . . . vbaseLM
,
де vbaseij ∈ P , j = 1,M , i = 1, L, L — кiлькiсть базисних векторiв. В цьому випадку пiд
базисом простору P розумiється набiр характеристичних векторiв базових мiмiк або базо-
вих вiзем з ImL. Усього для української мови таких вiзем шiстнадцять, враховуючи стан
спокою.
У третьому блоцi вiдбувається розклад вектора характеристичних ознак b, побудова-
ного для вхiдного зображення, яке розпiзнається, за отриманим базисом. Задача розкладу
зводиться до задачi знаходження всiх векторiв x, для яких виконується
Ax = b. (4)
При невиконаннi умови det(ATA) > ε > 0 найбiльш надiйним методом для розв’язання
подiбних задач є метод сингулярного розкладу SVD [3]. На практицi для використання
SVD вводять порiг τ близькостi до нуля сингулярних чисел, який вiдображає помилки
в початкових даних та обчисленнях. Тодi наближений розв’язок задачi (4) шукається так:
x = A+b = V Σ′UT b, (5)
де Σ′ = diag(σ′
1, σ
′
2, . . . , σ
′
n), σ
′
j = 1/σj , для σj > τ i σ′
j = 0 для σj < τ ; V , UT — матрицi
з ортонормованими стовпцями.
Результатом роботи пропонованого алгоритму є вектор розкладу, на основi якого при-
ймається рiшення про вiдповiднiсть вхiдного вектора конкретним базовим мiмiкам при
промовляннi українською мовою.
Таким чином, для реалiзацiї запропонованого пiдходу до розпiзнавання мiмiки губ було
створене оригiнальне програмне забезпечення (рис. 2). Проведенi дослiдження пiдтвердили
ISSN 1025-6415 Доповiдi Нацiональної академiї наук України, 2010, №5 43
ефективнiсть i дiєвiсть такого пiдходу, де, окрiм висновку про належнiсть дослiджуваної
вiземи до вiдповiдної базисної вiземи, виконується структурний аналiз вхiдних даних (зо-
бражень губ людини при промовляннi слiв української мови), змiстом якого є визначення
вкладу кожної базової вiземи. Запропонована технологiя має практичну цiннiсть для ство-
рення систем навчання правильнiй артикуляцiї при промовляннi слiв українською мовою.
1. Українська мова. Енциклопедiя / Пiд ред. В. М. Русанiвського. – Київ: Українська енциклопедiя iм.
М.П. Бажана, 2000. – 750 с.
2. Крак Ю.В., Кривонос Ю. Г., Тернов А.С. Локалiзацiя i врахування особливостей обличчя людини для
задачi розпiзнавання за портретною фотографiєю // Штучний iнтелект. – 2007. – № 3. – С. 229–236.
3. Форсайт Дж. Машинные методы математических вычислений: Пер. с англ. Х.Д. Икрамова. – Моск-
ва: Мир, 1980. – 277 с.
Надiйшло до редакцiї 20.10.2009Iнститут кiбернетики iм. В.М. Глушкова
НАН України, Київ
Academician of the NAS of Ukraine Yu.G. Kryvonos, Yu.V. Krak, O.V. Barmak,
A. S. Ternov
Lips-reading recognition during Ukrainian language pronunciation
A method for lips-reading recognition during the Ukrainian language pronunciation has been propo-
sed. The method is based on a mathematical model synthesized from lips positions of a specific man.
The novelty and the practical value consist in the creation of a proper articulation learning system.
44 ISSN 1025-6415 Reports of the National Academy of Sciences of Ukraine, 2010, №5
|
| id | nasplib_isofts_kiev_ua-123456789-29688 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1025-6415 |
| language | Ukrainian |
| last_indexed | 2025-12-07T17:17:48Z |
| publishDate | 2010 |
| publisher | Видавничий дім "Академперіодика" НАН України |
| record_format | dspace |
| spelling | Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Тернов, А.С. 2011-12-26T12:52:33Z 2011-12-26T12:52:33Z 2010 Розпізнавання міміки губ при промовлянні слів українською мовою / Ю. Г. Кривонос, Ю.В. Крак, О.В. Бармак, А.С. Тернов // Доп. НАН України. — 2010. — № 5. — С. 41-44. — Бібліогр.: 3 назв. — укр. 1025-6415 https://nasplib.isofts.kiev.ua/handle/123456789/29688 004.8 Пропонується метод розпiзнавання мiмiки губ при промовляннi слiв українською мовою на основi синтезованої математичної моделi станiв губ конкретної людини. Новизна i практична цiннiсть полягає у створеннi систем навчання правильнiй артикуляцiї при промовляннi слiв українською мовою. A method for lips-reading recognition during the Ukrainian language pronunciation has been proposed. The method is based on a mathematical model synthesized from lips positions of a specific man. The novelty and the practical value consist in the creation of a proper articulation learning system. uk Видавничий дім "Академперіодика" НАН України Доповіді НАН України Інформатика та кібернетика Розпізнавання міміки губ при промовлянні слів українською мовою Lips-reading recognition during Ukrainian language pronunciation Article published earlier |
| spellingShingle | Розпізнавання міміки губ при промовлянні слів українською мовою Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Тернов, А.С. Інформатика та кібернетика |
| title | Розпізнавання міміки губ при промовлянні слів українською мовою |
| title_alt | Lips-reading recognition during Ukrainian language pronunciation |
| title_full | Розпізнавання міміки губ при промовлянні слів українською мовою |
| title_fullStr | Розпізнавання міміки губ при промовлянні слів українською мовою |
| title_full_unstemmed | Розпізнавання міміки губ при промовлянні слів українською мовою |
| title_short | Розпізнавання міміки губ при промовлянні слів українською мовою |
| title_sort | розпізнавання міміки губ при промовлянні слів українською мовою |
| topic | Інформатика та кібернетика |
| topic_facet | Інформатика та кібернетика |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/29688 |
| work_keys_str_mv | AT krivonosûg rozpíznavannâmímíkigubpripromovlânníslívukraínsʹkoûmovoû AT krakûv rozpíznavannâmímíkigubpripromovlânníslívukraínsʹkoûmovoû AT barmakov rozpíznavannâmímíkigubpripromovlânníslívukraínsʹkoûmovoû AT ternovas rozpíznavannâmímíkigubpripromovlânníslívukraínsʹkoûmovoû AT krivonosûg lipsreadingrecognitionduringukrainianlanguagepronunciation AT krakûv lipsreadingrecognitionduringukrainianlanguagepronunciation AT barmakov lipsreadingrecognitionduringukrainianlanguagepronunciation AT ternovas lipsreadingrecognitionduringukrainianlanguagepronunciation |