Информационная технология для автоматического чтения по губам украинской речи
Предложена информационная технология для автоматического чтения по губам украинской речи. Для проведения эксперимента было создано программное обеспечение для локализации лица на фотографии, выделения множества точек для контура губ, разложения характеристического вектора по базису. Проведенные иссл...
Збережено в:
| Дата: | 2009 |
|---|---|
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Російська |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2009
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/6232 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Информационная технология для автоматического чтения по губам украинской речи / Ю.В. Крак, А.В. Бармак, А.С. Тернов // Компьютерная математика. — 2009. — № 1. — С. 86-95. — Бібліогр.: 12 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859653510582239232 |
|---|---|
| author | Крак, Ю.В. Бармак, А.В. Тернов, А.С. |
| author_facet | Крак, Ю.В. Бармак, А.В. Тернов, А.С. |
| citation_txt | Информационная технология для автоматического чтения по губам украинской речи / Ю.В. Крак, А.В. Бармак, А.С. Тернов // Компьютерная математика. — 2009. — № 1. — С. 86-95. — Бібліогр.: 12 назв. — рос. |
| collection | DSpace DC |
| description | Предложена информационная технология для автоматического чтения по губам украинской речи. Для проведения эксперимента было создано программное обеспечение для локализации лица на фотографии, выделения множества точек для контура губ, разложения характеристического вектора по базису. Проведенные исследования подтвердили работоспособность предложенной технологии.
Запропоновано інформаційну технологію для автоматичного читання по губах української мови. Для проведення експерименту було створене програмне забезпечення для локалізації обличчя на фотографії, виділення множини точок контуру губ, розкладу характеристичного вектора за базисом. Проведені дослідження підтвердили працездатність технології.
The information technology for automatic lip reading of Ukrainian language is proposed. The software for experimental use was created for face localization on the photo, for highlighting the set of lip contour points, and for characteristic vector expansion. The applicability of the technology was proved by numerous experiments.
|
| first_indexed | 2025-12-07T13:36:55Z |
| format | Article |
| fulltext |
86 Компьютерная математика. 2009, № 1
Предложена информационная тех-
нология для автоматического чте-
ния по губам украинской речи. Для
проведения эксперимента было
создано программное обеспече-
ние для локализации лица на фо-
тографии, выделения множества
точек для контура губ, разло-
жения характеристического век-
тора по базису. Проведенные ис-
следования подтвердили работо-
способность предложенной тех-
нологии.
© Ю.В. Крак, А.В. Бармак,
А.С. Тернов, 2009
ÓÄÊ 004.8
Þ.Â. ÊÐÀÊ, À.Â. ÁÀÐÌÀÊ, À.Ñ. ÒÅÐÍÎÂ
ÈÍÔÎÐÌÀÖÈÎÍÍÀß ÒÅÕÍÎËÎÃÈß
ÄËß ÀÂÒÎÌÀÒÈ×ÅÑÊÎÃÎ ×ÒÅÍÈß
ÏÎ ÃÓÁÀÌ ÓÊÐÀÈÍÑÊÎÉ ÐÅ×È
Введение. Одна из проблем «восприятия и
понимания устной речи» [1] людьми с про-
блемами слуха при общении с другими
людьми – умение распознавать разговорный
язык по губам. С этой точки зрения задача
распознавания по губам является альтерна-
тивой языкового общения для людей с не-
достатками слуха. Развитие направления ав-
томатического чтения по губам также помо-
жет усовершенствовать показатели сущест-
вующих систем распознавания речи благода-
ря получению дополнительного независимо-
го канала информации и создать учебные
программы для слышащих людей с целью
улучшения артикуляции губ при проговари-
вании слов для более точного распознавания.
В контексте изучения данной проблемы
можно выделить фундаментальные исследо-
вания под руководством И.К. Билодида [2]
по тематике артикуляторных особенностей
при проговаривании в современной украин-
ской литературе и языке, а также результаты
работ В.И Бельтюкова по схожей проблема-
тике для русского языка [3], состоящие в оп-
ределении возможности визуальной иденти-
фикации фонем русского языка. Из этих и
других исследований [4] можно сделать вы-
вод о том, что визуальный алфавит сущест-
венно не полный. В нем нет однозначного
соответствия между произнесенной фонемой
и ее визуальным отображением, что приво-
дит к снижению возможности зрительного
восприятия речи. Однако описанные сложно-
сти не исключают возможности создания
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ДЛЯ АВТОМАТИЧЕСКОГО ЧТЕНИЯ ПО ГУБАМ УКРАИНСКОЙ…
Компьютерная математика. 2009, № 1 87
системы обучения правильной артикуляции для облегчения зрительного вос-
приятия устной речи людьми с нарушением слуха.
На сегодняшний день существует много публикаций, обзорных статей и
диссертационных работ по данной тематике [5, 6]. Однако остается много нере-
шенных вопросов, связанных как с качеством распознавания, так и с фонетиче-
скими и грамматическими особенностями конкретных языков. В частности, для
украинского языка требуется адаптация существующих методов и подходов.
Основными ключевыми моментами в решении поставленных задач аудио-
визуального распознавания речи в контексте получения параметров визуальной
компоненты динамики речевого процесса являются вариации методов по опре-
делению положения губ на изображении, способы получения динамических или
геометрических характеристик изменения мимики губ, а также использование
различных подходов к анализу полученных характеристик.
Обзор существующих результатов показал перспективность развития иссле-
дований в данном направлении. Для украинского языка необходимо адаптиро-
вать существующие методы и подходы к задаче чтения по губам; разработать
новые системы обучения правильной артикуляции; изучить фонетические и
морфологические особенности украинской речи и визуальную составляющую
артикуляторных процессов динамики произношения.
Проведенный анализ существующих результатов и работ по данной темати-
ке определил направление исследований и постановку задачи.
Постановка задачи. Необходимо синтезировать математическую модель, в
рамках которой возможно выявить различия положений губ конкретного чело-
века для построения системы обучения правильной артикуляции при воспроиз-
ведении слов украинской речи. Математическая модель должна включать в себя
реализацию следующих возможностей:
• создание визуального алфавита украинского языка для конкретного человека;
• анализ визуального отображения фонем украинской речи для конкретного че-
ловека (в рамках созданного для него визуального алфавита);
• возможность применения полученных результатов для любой группы людей.
Математическая модель. Для синтеза математической модели предлагает-
ся перейти от пространства фотографических изображений лица человека в про-
цессе проговаривания к векторному пространству характеристических парамет-
ров. Такой переход предлагается осуществить в несколько этапов.
1. Выделение на изображении внутреннего контура губ:
DL →Im , (1)
где { }FSVIIL kk ∈= :Im – упорядоченное множество ключевых кадров ви-
деопотока FSV (Face Speech Video), полученного при съемке процесса прогова-
ривания слов украинского языка ( Nk ,1= – порядковый индекс кадра в вы-
бранной последовательности, где N – количество ключевых кадров);
Ю.В. КРАК, А.В. БАРМАК, А.С. ТЕРНОВ
Компьютерная математика. 2009, № 1 88
– { } ,
, 1
, 1,..., ; 1,...,
m nk
k ij i j
I col i m j n
=
= = = – изображение размером nm× лица
с мимическим положением губ при проговаривании слов украинского языка, где
m и n – соответственно длина и ширина изображения kI ;
– ( , )k
ij kcol I i j= – цвет пикселя в системе RGB с координатами ),( ji на изо-
бражении kI ;
– { }: { , }k k
k k top botD D D d d= = – множество контуров губ, где kD – пара то-
чечных кривых – контуров губ (верхний k
topd и нижний k
botd ) для k -го кадра.
2. Аппроксимация полученной точечной кривой внутреннего контура губ с
помощью неравномерных базисных сплайнов (NURBS) – получение вектора ха-
рактеристических признаков:
PD → , (2)
где },1,:{ MiHvvP i
kk =∈= – пространство характеристических признаков; H –
характеристические признаки объекта исследования; kv – характеристический
вектор, i
kv – его координаты; M – размерность пространства P .
Выделение на изображении контура губ. Для выделения на изображении
контура губ используется подход [7, 8]:
1-й шаг. Выделение на изображении 1I области губ 1
mouth
D по алгоритму, в
котором происходит нормирование изображения по расстоянию между центра-
ми зрачков и ориентация по линии глаз. На остальных изображениях при по-
строении 1
mouth
D , 2,i N= осуществляется только коррекция найденной на пер-
вом шаге области.
2-й шаг. Построение внутренних контуров topd botd методами оконтурива-
ния и цветовой сегментации в областях 1
mouth
D , 2,i N= (рис. 1).
Аппроксимация внутреннего контура губ. Переход PD → осуществля-
ется с помощью следующих шагов:
1-й шаг. Выполняется предварительное сглаживание и выравнивание для
получения контуров topd и botd .
2-й шаг. При нормировке точки ( , ), где ,i
topd x y x y R∈ , контуры topd пе-
реводятся в точки ,[0,1] ( , ), где , [0,1]i
topd x y x y∈ контура [0,1]
top
d .
3-й шаг. По множеству точек контура [0,1]
top
d строится аппроксимирующая
NURBS-кривая [9]. ( )topp u , где
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ДЛЯ АВТОМАТИЧЕСКОГО ЧТЕНИЯ ПО ГУБАМ УКРАИНСКОЙ…
Компьютерная математика. 2009, № 1 89
РИС. 1. Построение внутренних контуров губ topd и botd
( )
( )
( )
,
0
,
0
n
i d
i
n
i d
i
i i
i
N u w p
p u
N u w
=
=
=
∑
∑
, (3)
где ( ) ( ) ( ), Tp u x u y u= ⎡ ⎤⎣ ⎦ – функция, определенная на интервале min maxu u u≤ ≤ ,
такая, что является положительно гладкой и проходит, в некотором смысле,
близко к опорным точкам 0 , ..., mp p .
Функция ( )uNid определяется с помощью рекурсивных функций Кокса-де
Бура [10]:
( ) ( )
1
,0
, , 1 1, 1
1 1
1, если
0 в противном случае,
,
k k
k
k k d
k d k d k d
k d k k d k
u u u
N
u u u u
N N u N u
u u u u
+
+
− + −
+ + + +
≤ ≤⎧
= ⎨ −⎩
− −
= +
− −
(4)
где 0 1, , ..., nu u u – последовательность узлов, такая что
min 0 1 maxnu u u u u= ≤ ≤ ≤ = . (5)
Воспользуемся простым свойством NURBS-кривых, которое следует из
идентичности опорных точек ( ip ) в однородной форме и равенства единице
знаменателя. При 1=iw NURBS-кривая (3) сводится к B-сплайн кривой. Учи-
тывая, что при моделировании гибких шаблонов 1=iw , для упрощения аппрок-
симации можно перейти к B-сплайн кривым.
Задача B-сплайн аппроксимации – задача подгонки B-сплайн кривой с K
опорными точками [ ]0 1,..., K
Tp p p −= к точечной кривой [ ]0 1,..., M
Td d d −= , где
M > K (обычно M >> K) для значений параметра 0 1,..., Mu u − . Такая задача
аппроксимации приводит к переопределенной системе линейных уравнений
dpN =⋅ :
i
mouthD
Ю.В. КРАК, А.В. БАРМАК, А.С. ТЕРНОВ
Компьютерная математика. 2009, № 1 90
( ) ( )
( ) ( )
( ) ( ) 1
1 1 1 1
0 0 1 0 0
0
0 1 1 1 1
0
K
M K M M
K
K
N u N u d
p
N u N u d
p
N u N u d−
− − − −
−
−
⎡ ⎤ ⎡ ⎤
⎡ ⎤⎢ ⎥ ⎢ ⎥
⎢ ⎥⎢ ⎥ ⎢ ⎥⋅ =⎢ ⎥⎢ ⎥ ⎢ ⎥
⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎢ ⎥⎢ ⎥ ⎣ ⎦⎣ ⎦
, (6)
где ( )iN u – B-сплайн базисная функция (4).
Одним из способов получения решения переопределенной системы линей-
ных уравнений (6) является следующий:
T TN N p N d⋅ = ⋅ , откуда ( ) 1T Tp N N N d
−
= ⋅ , при ( )det 0TN N > . (7)
Для применения B-сплайн аппроксимации необходимо уметь получать на
изображении точечные кривые [ ]0 1, , T
Md d d −= с тем, чтобы в дальнейшем
использовать преобразования (7).
Таким образом, математической моделью мимических проявлений губ при
проговаривании будет векторное пространство опорных точек NURBS-кривых:
| [ | ][ | ]
[ | ]
00 1 1 1 0 1
[ ]
0{ : ( , , , , , , , , , , , )},
( , ), 0, 1,
top top top topbo bot bot bot
top bot top bot
top bot top bottop bot
top bot
t
n n n n
j j j
p p p pp p p p
p pp
P v v x x x x y y y y
p x y j n
− − − −
= =
= = −
(8)
где Pv∈ – вектор координат опорных точек botp
j
p и topp
j
p , аппроксимирующих
NURBS кривых ( )botp u , ( )topp u , а botn и topn – количество контрольных точек
для NURBS-кривых ( )botp u , ( )topp u соответственно.
В рамках предложенной математической модели, для получения векторного
пространства будут проведены исследования различных базисов для определе-
ния наиболее подходящего, т. е. такого, разложение по которому даст лучший
результат. Для этого предложена следующая технология.
Описание технологии. Схема технологии распознавания мимики при про-
говаривании слов на украинском языке показана на рис. 2.
Блок 1 отвечает за предварительную обработку входной визуальной инфор-
мации и ее преобразование в пространство характеристических признаков (8).
Блок 2 содержит алгоритмы построения базиса пространства характеристи-
ческих признаков и оценки его качества. На выходе строится базисная матрица
векторного пространства характеристических признаков.
Блок 3 – происходит разложение вектора характеристических признаков,
полученного для входного изображения по построенному базису.
Результатом работы технологии является вектор коэффициентов разложе-
ния, на основе которого принимается решение о соответствии входного изобра-
жения определенным базисным мимикам (при проговаривании слов украинско-
го языка).
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ДЛЯ АВТОМАТИЧЕСКОГО ЧТЕНИЯ ПО ГУБАМ УКРАИНСКОЙ…
Компьютерная математика. 2009, № 1 91
Построение базиса пространства характеристических признаков. Для
построения базиса пространства на основе результатов исследований, приведен-
ных в [2, 3], была выбрана группа L из 8 букв (звуков) украинского языка.
В группу L входят буквы, которые имеют особенный артикуляционный порт-
рет. Другими словами, те буквы, для которых мимические проявления (при их
проговаривании) хорошо распознаются человеком.
РИС. 2. Схема технологии распознавания мимики при проговаривании слов
Для компьютерного визуального представления мимических проявлений
губ при проговаривании определенной буквы можно использовать следующие
варианты:
1) один кадр (визема буквы [11, с. 331–349]) – кадр, на котором изображено
максимальное отклонение губ от состояния спокойствия при проговарива-
нии данной буквы (кадр 3I на рис. 3);
2) последовательность из 3 кадров: средний кадр из интервала времени между
состоянием спокойствия и виземой буквы, визема буквы, средний кадр из
интервала времени между виземой буквы и состоянием спокойствия (кадры
2I , 3I , 4I на рис. 3);
3) видеофрагмент с определенной частотой кадров (так чтобы количество кад-
ров было больше 5); интервал времени между соседними состояниями спо-
койствия губ при проговаривании данной буквы.
Под состоянием спокойствия подразумевается положение губ, когда ничего
не проговаривается.
В данном исследовании для построения базиса пространства использовался
первый вариант.
Ю.В. КРАК, А.В. БАРМАК, А.С. ТЕРНОВ
Компьютерная математика. 2009, № 1 92
РИС. 3. Визуальное представление мимических проявлений губ при проговаривании
определенной буквы Е
Для каждой буквы Lli ∈ формируется ее визема iimg , на основе которой стро-
ится вектор характеристических признаков. Набор полученных таким образом
векторов будет составлять предположительный базис пространства (8).
Разложение произвольного вектора характеристических признаков по
базису. Для разложения вектора характеристических признаков, построенного
для входного изображения, по полученному базису рассматривается такая зада-
ча. Заданы матрица A размером nm× и b – вектор размерностью m . Необхо-
димо найти все векторы x :
bAx = . (9)
Наиболее надежным методом для решения подобных задач является метод,
основанный на матричной факторизации, – метод сингулярного разложения
SVD [12]. На практике, для применения SVD, вводят порог τ близости к нулю
сингулярных чисел, который представляет собой ошибки в исходных данных и
ошибки вычислений. Тогда решение задачи (9) ищется таким образом:
где ' Tx A b V U b+= = ∑ , (10)
'
1
'
' 1
'
0 . 0
0 . 0
. . .
0 0 . n
⎛ ⎞σ
⎜ ⎟
⎜ ⎟σ∑ = ⎜ ⎟
⎜ ⎟
⎜ ⎟⎜ ⎟σ⎝ ⎠
, '
1 ,
0 другое.
j
jj
⎧ σ ≥ τ⎪ σσ = ⎨
⎪ −⎩
(11)
Решение наименьшей длины – приближенное решение задачи (9). Именно эта
особенность – учитывать неточность начальных данных и приближенность вы-
числений считается преимуществом SVD подхода по сравнению с остальными.
Результаты моделирования. Для проведения эксперимента, на основе
предложенной технологии, было создано оригинальное программное обеспече-
ние (рис. 4) с такой функциональностью:
1) локализация области лица на фотографии;
2) нормирование и выравнивание изображения лица человека по расстоянию
между центрами зрачков;
3) выделение множества точек для верхнего и нижнего контуров губ;
4) разложение характеристического вектора по базису.
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ДЛЯ АВТОМАТИЧЕСКОГО ЧТЕНИЯ ПО ГУБАМ УКРАИНСКОЙ…
Компьютерная математика. 2009, № 1 93
РИС. 4. Программа поиска точек контура губ
Исследования проводились на выборке из шести гласных визем ([і], [и], [е],
[у], [о], [а]). Матрица A была получена на основе построения характеристиче-
ских векторов базисной выборки. Под виземой понималось следующее: один
кадр или визема буквы (см. рис. 3) .
В исследованиях при аппроксимации верхнего и нижнего контуров губ
использовались NURBS-кривые с пятью опорными точками. В соответствии с
таким выбором векторы пространства характеристических признаков имели раз-
мерность 20 (табл. 1).
ТАБЛИЦА 1
Виземы Изображе-
ния лица
Контуры
губ
NURBS-
кривые
Вектор характеристических
признаков
а
(0.171,0.274,0.486,0.725,0.
835,0.178,0.287,0.507,0.726
,0.836,0.363,0.603,0.694,0.
650,0.384,0.614,0.417,0.296
,0.382,0.639)
о
(0.369,0.388,0.678,0.680,0.
720,0.391,0.400,0.526,0.734
,0.740,0.403,0.634,0.623,0.
527,0.431,0.626,0.464,0.353
,0.451,0.550)
Для возможности использования метода наименьших квадратов без SVD
разложения проверяется следующее неравенство:
det( ) 0Tval A A= >> . (12)
В проведенных исследованиях 0,002058=val , поэтому полученная базис-
ная матрица оказалась не хорошо обусловленной, вследствие чего был исполь-
зован метод SVD для разложения по построенному базису пространства харак-
теристических признаков.
Ю.В. КРАК, А.В. БАРМАК, А.С. ТЕРНОВ
Компьютерная математика. 2009, № 1 94
На распознавание отправлялись гласные виземы, которые не использова-
лись при построении базиса. Коэффициенты разложения вычислялись по (10).
Матрица ∑ в экспериментах имела следующие диагональные элементы:
5,278949; 0,624701; 0,487618; 0,219732; 0,128405.
Вектор характеристических признаков для изображения (виземы):
+av =(0.1908, 0.2961, 0.5066, 0.7171, 0.8224, 0.1908, 0.2961, 0.5066, 0.7171, 0.8224,
0.3993, 0.5291, 0.6848, 0.5486, 0.4019, 0.6068, 0.4486, 0.3687, 0.4311, 0.6021);
+ev =(0.0921, 0.2303, 0.5066, 0.7829, 0.9211, 0.0921, 0.2303, 0.5066, 0.7829, 0.9211,
0.4316, 0.6254, 0.5674, 0.5932, 0.4519, 0.6559, 0.4039, 0.2651, 0.3667, 0.6763).
Результаты распознавания (разложения) для тестовых изображений
приведены в табл. 2.
ТАБЛИЦА 2
х(a+) х(e+) х(о+)
а 0,6 0,1 0,1
о 0,0 0,0 0,8
у 0,3 0,0 0,03
е 0,0 0,6 0,02
і,и 0,1 0,3 0,05
Отсюда видно, что наибольший коэффициент разложения соответствует ба-
зисной виземе.
Заключение. Проведенные исследования подтвердили работоспособность
предложенной технологии.
Данная технология, кроме вывода о принадлежности исследуемой виземы
классу соответствующей базисной, позволяет делать структурный анализ вход-
ных данных (изображений губ человека при произнесении слов украинского
языка), сутью которого можно считать определение относительного вклада каж-
дой базисной виземы.
Дальнейшие исследования будут направлены на
• построение более качественного базиса пространства характеристических
признаков, благодаря расширению базисной выборки на все классы визем
украинского языка;
• использование предложенного подхода для анализа артикуляции мимики
при произнесении слов украинского языка.
Ю.В. Крак, О.В. Бармак, А.С. Тернов
ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ДЛЯ АВТОМАТИЧНОГО ЧИТАННЯ ПО ГУБАХ
УКРАЇНСЬКОЇ МОВИ
Запропоновано інформаційну технологію для автоматичного читання по губах української
мови. Для проведення експерименту було створене програмне забезпечення для локалізації
обличчя на фотографії, виділення множини точок контуру губ, розкладу характеристичного
вектора за базисом. Проведені дослідження підтвердили працездатність технології.
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ДЛЯ АВТОМАТИЧЕСКОГО ЧТЕНИЯ ПО ГУБАМ УКРАИНСКОЙ…
Компьютерная математика. 2009, № 1 95
Y. Krak, O. Barmak, A. Ternov
INFORMATION TECHNOLOGY DESIGNED FOR AUTOMATIC LIP READING
FOR UKRAINIAN LANGUAGE
The information technology for automatic lip reading of Ukrainian language is proposed. The software
for experimental use was created for face localization on the photo, for highlighting the set of lip contour
points, and for characteristic vector expansion. The applicability of the technology was proved by numer-
ous experiments.
1. Жук В.В. Навчання мови і мовлення дітей з порушеннями слуху за новими програ-
мами // Дефектологія. – 2007. – № 2. – С. 3–6.
2. Білодід І.К. Сучасна українська літературна мова / І.К. Білодід.: – К. Ін-т мовознав-
ства ім. О.О. Потебні; Наук. думка, 1969. – 435 с.
3. Бельтюков В.И. Чтение с губ фонетических элементов речи. – М.: Просвещение,
1967. – 143 с.
4. Chan T. HMM-based audio-visual speech recognition integrating geometric and appear-
ance-based visual features // IEEE 2nd Workshop on Multimedia Signal Processing, Oct
3–5 2001. – P. 9–14.
5. Audio-visual speech recognition : Final Workshop 2000 Report / Center for Language and
Speech Processing, The Johns Hopkins University, Baltimore, Md, USA., 2000. – 84 p.
http://www.idiap.ch/ftp/reports/2000/com00-02.pdf
6. Sascha F. Audiovisual speech: analysis, synthesis, perception and recognition // 16th In-
ternational Congress of Phonetic Sci., Saarbrucken, August 2007. – P. 275–278.
7. Soldatov S. Lip Reading: Preparing Feature Vectors // Graphicon . – M., 2003. – P. 254–256.
8. Крак Ю.В., Кривонос Ю.Г., Тернов А.С. Локалізація і врахування особливостей об-
личчя людини для задачі розпізнавання за портретною фотографією // Штучний
інтелект. – 2007. – № 3. – C. 229–236.
9. Крак Ю.В., Бармак О.В., Єфімов Г.М. Використання контурних моделей для побу-
дови базису простору мімічних виразів емоцій // Штучний інтелект. – 2007. – № 4.
– C. 288–296.
10. Piegl Les. Tiller Wayne The NURBS Book, and Edition. – Berlin, Germany: Springer-
Verlag, 1996. – 645 p.
11. Stork D.G., Hennecke M.E. Speechreading by Humans and Machines. – Berlin: Springer,
1996. – 666 p.
12. Форсайт Дж. Машинные методы математических вычислений: Пер. с англ. Х.Д. Ик-
рамова. – М.: Мир, 1980. – 277 с.
Получено 23.12.2008
Oá àâòîðàõ :
Крак Юрий Васильевич,
доктор физико-математических наук, профессор кафедры моделирования сложных систем
Киевского национального университета имени Тараса Шевченко,
e-mail krak@unicyb.kiev.ua
Бармак Александр Владимирович,
кандидат технических наук, доцент, старший научный сотрудник
Института кибернетики имени В.М. Глушкова НАН Украины,
Тернов Антон Сергеевич,
аспирант Института кибернетики имени В.М. Глушкова НАН Украины.
|
| id | nasplib_isofts_kiev_ua-123456789-6232 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | ХХХХ-0003 |
| language | Russian |
| last_indexed | 2025-12-07T13:36:55Z |
| publishDate | 2009 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Крак, Ю.В. Бармак, А.В. Тернов, А.С. 2010-02-19T15:05:47Z 2010-02-19T15:05:47Z 2009 Информационная технология для автоматического чтения по губам украинской речи / Ю.В. Крак, А.В. Бармак, А.С. Тернов // Компьютерная математика. — 2009. — № 1. — С. 86-95. — Бібліогр.: 12 назв. — рос. ХХХХ-0003 https://nasplib.isofts.kiev.ua/handle/123456789/6232 004.8 Предложена информационная технология для автоматического чтения по губам украинской речи. Для проведения эксперимента было создано программное обеспечение для локализации лица на фотографии, выделения множества точек для контура губ, разложения характеристического вектора по базису. Проведенные исследования подтвердили работоспособность предложенной технологии. Запропоновано інформаційну технологію для автоматичного читання по губах української мови. Для проведення експерименту було створене програмне забезпечення для локалізації обличчя на фотографії, виділення множини точок контуру губ, розкладу характеристичного вектора за базисом. Проведені дослідження підтвердили працездатність технології. The information technology for automatic lip reading of Ukrainian language is proposed. The software for experimental use was created for face localization on the photo, for highlighting the set of lip contour points, and for characteristic vector expansion. The applicability of the technology was proved by numerous experiments. ru Інститут кібернетики ім. В.М. Глушкова НАН України Инструментальные средства информационных технологий Информационная технология для автоматического чтения по губам украинской речи Інформаційна технологія для автоматичного читання по губах української мови Information technology designed for automatic lip reading for ukrainian language Article published earlier |
| spellingShingle | Информационная технология для автоматического чтения по губам украинской речи Крак, Ю.В. Бармак, А.В. Тернов, А.С. Инструментальные средства информационных технологий |
| title | Информационная технология для автоматического чтения по губам украинской речи |
| title_alt | Інформаційна технологія для автоматичного читання по губах української мови Information technology designed for automatic lip reading for ukrainian language |
| title_full | Информационная технология для автоматического чтения по губам украинской речи |
| title_fullStr | Информационная технология для автоматического чтения по губам украинской речи |
| title_full_unstemmed | Информационная технология для автоматического чтения по губам украинской речи |
| title_short | Информационная технология для автоматического чтения по губам украинской речи |
| title_sort | информационная технология для автоматического чтения по губам украинской речи |
| topic | Инструментальные средства информационных технологий |
| topic_facet | Инструментальные средства информационных технологий |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/6232 |
| work_keys_str_mv | AT krakûv informacionnaâtehnologiâdlâavtomatičeskogočteniâpogubamukrainskoireči AT barmakav informacionnaâtehnologiâdlâavtomatičeskogočteniâpogubamukrainskoireči AT ternovas informacionnaâtehnologiâdlâavtomatičeskogočteniâpogubamukrainskoireči AT krakûv ínformacíinatehnologíâdlâavtomatičnogočitannâpogubahukraínsʹkoímovi AT barmakav ínformacíinatehnologíâdlâavtomatičnogočitannâpogubahukraínsʹkoímovi AT ternovas ínformacíinatehnologíâdlâavtomatičnogočitannâpogubahukraínsʹkoímovi AT krakûv informationtechnologydesignedforautomaticlipreadingforukrainianlanguage AT barmakav informationtechnologydesignedforautomaticlipreadingforukrainianlanguage AT ternovas informationtechnologydesignedforautomaticlipreadingforukrainianlanguage |