Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини

У роботі запропоновано цілісний підхід для моделювання та розпізнавання мімічних проявів емоцій на обличчі людини. Зроблено перехід від формального опису емоційних станів людини до опису мімічних проявів на обличчі. Фотографічні зображення, які відповідають певним емоційним станам,...

Full description

Saved in:

Bibliographic Details
Date:	2009
Main Author:	Єфімов, Г.М.
Format:	Article
Language:	Ukrainian
Published:	Інститут проблем штучного інтелекту МОН України та НАН України 2009
Subjects:	Распознавание образов. Цифровая обработка сигналов
Online Access:	https://nasplib.isofts.kiev.ua/handle/123456789/8108
Tags:	Add Tag No Tags, Be the first to tag this record!
Journal Title:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:	Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини / Г.М. Єфімов // Штучний інтелект. — 2009. — № 3. — С. 532-542. — Бібліогр.: 7 назв. — укр.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1860255703026892800
author	Єфімов, Г.М.
author_facet	Єфімов, Г.М.
citation_txt	Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини / Г.М. Єфімов // Штучний інтелект. — 2009. — № 3. — С. 532-542. — Бібліогр.: 7 назв. — укр.
collection	DSpace DC
description	У роботі запропоновано цілісний підхід для моделювання та розпізнавання мімічних проявів емоцій на обличчі людини. Зроблено перехід від формального опису емоційних станів людини до опису мімічних проявів на обличчі. Фотографічні зображення, які відповідають певним емоційним станам, перетворюються у векторний простір мімічних проявів. Будується базис цього простору. Довільна емоція конкретної людини розпізнається як опукла комбінація станів отриманого базового простору. В работе предложен целостный подход для моделирования и распознавания мимических проявлений эмоций на лице человека. Сделан переход от формального описания эмоциональных состояний человека к описанию мимических проявлений на лице. Фотографические изображения, которые отвечают опреде- ленным эмоциональным состояниям, превращаются в векторное пространство мимических проявлений. Строится базис этого пространства. Произвольная эмоция конкретного человека распознается как выпуклая комбинация состояний полученного базового пространства. The complete approach for mimic modelling and recognition for the human face has been suggested. A correspondance between formal descriptions of emotions and emotional expressions with mimics has been established. Pictures that represent various emotional states are translated into the vector space of mimic expressions. A basis of the vector space is constructed. Custom human emotional mimics is recognized as a convex combination in the basis of emotional mimic expressions.
first_indexed	2025-12-07T18:49:04Z
format	Article
fulltext	«Искусственный интеллект» 3’2009 532 10Є УДК 004.8 Г.М. Єфімов Таврійський державний агротехнологічний університет, Україна Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини У роботі запропоновано цілісний підхід для моделювання та розпізнавання мімічних проявів емоцій на обличчі людини. Зроблено перехід від формального опису емоційних станів людини до опису мімічних проявів на обличчі. Фотографічні зображення, які відповідають певним емоційним станам, перетворюються у векторний простір мімічних проявів. Будується базис цього простору. Довільна емоція конкретної людини розпізнається як опукла комбінація станів отриманого базового простору. Обличчя є своєрідним дзеркалом, у якому – більшою чи меншою мірою, відтворю- ється динаміка актуальних переживань людини. Завдяки цьому обличчя виконує сиг- нальну та регулятивну функції, виступаючи як один з каналів невербальної комунікації. Останніми роками невербальна, мімічна поведінка людини стала предметом інтенсивних досліджень. Проведені дослідження дозволили запропонувати своєрідні «формули» деяких мімічних виразів. Тим самим був зроблений не тільки важливий крок на шляху строгого експериментального дослідження відображення експресії, але й була поставлена проблема диференційованості сприйняття міміки обличчя. У роботі формальна психологічна модель емоцій, запропонована у [1], розши- рена для моделювання та розпізнавання мімічних проявів емоційних станів людини. Отримані результати можуть бути використані для моделювання інтелектуальної діяльності людини в системах штучного інтелекту як складові при розробці алго- ритмів і програмно-апаратних засобів для систем комп’ютерного розпізнавання та відтворення (синтезу) зорових образів. Застосування запропонованого підходу дозволить створювати високоінтелектуальні мультимедійні технології і засоби для систем штучного інтелекту. Для формалізації емоцій, щоб уникнути двозначностей при їх феноменологічному описі, пропонується перейти до вивчення ситуацій, в яких ці емоції виникають [1]. Тобто, при визначенні емоцій в найбільш загальному вигляді описується ситуація, в якій вони виникають. Розрізнятимемо назву емоції та її позначення. Під позначенням будемо мати на увазі вектор (Em) (тобто абстрактне поняття) з наступними ознаками:   81,,, 321  iEmi  , (1) де ξ – бінарні ознаки, які класифікують емоції: ξ1 – ознака, яка визначає знак емоції – позитивна (1) емоція чи негативна (0); ξ2 – ознака, яка визначає час виникнення емоції відносно події (передбачувальна (0) та констатуюча (1) емоції); ξ3 – ознака, яка визначає направленість емоції. За цією ознакою виділяють емоції, направлені на себе (1) та направлені на зовнішні об’єкти, на інших людей (0). У табл. 1 наведено отримані в результаті досліджень описи ситуацій, у яких виникають базові емоції, відповідні їм фотографічні зображення та опис міміки, який характеризує ці стани. Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини «Штучний інтелект» 3’2009 533 10Є Таблиця 1 – Фотоеталони базових емоцій Базова емоція [13] Психологічна ситуація, в якій виникає емоція (ξ1, ξ2, ξ3) Зображення емоції Опис міміки в розрізі зон обличчя (1 – область чола й брів; 2 – область очей; 3 – нижня частина обличчя) Горе ξ1. = 0 – неможливість задоволення потреби. ξ2. = 1 – виникає після того, як відбулася неприємна подія. ξ3. = 1 – є переживанням втрати. 1. Внутрішні кутики брів підняті вверх. 2. Внутрішні кутики верхніх повік трохи підняті. 3. Рот закритий, кутики губ опущені, напруження або натягу в області роту немає. Радість ξ1.= 1 – потреба досягнута. ξ2.= 1 – виникає після задоволення потреби. ξ3.= 1 – є переживанням результату задоволення потреби. 1. Брови та чоло спокійні. 2. Верхні повіки спокійні, нижні повіки трохи підняті, але ненап- ружені; під нижніми повіками зморшки. Коло зовнішнього краю кутиків очей зморшки – «гусячі лапки». 3. Рот закритий, кутики губів відтягнуті в сторони та трохи підняті. Від носа до зовнішнього краю губів тягнуться зморшки – носогубні зморшки. Страх ξ1. = 0 – передчуття незадоволення потреби. ξ2. = 0 – передчуття втрати. ξ3. = 1 – боязнь за себе і свої потреби. 1. Брови підняті та зведені. Зморшки тільки в центрі чола; 2. Верхні повіки підняті так, що видно склеру, а нижні трохи підняті та напружені. 3. Рот розкритий, губи розтягнуті та напружені. Надія ξ1. = 1 – протилежна страху. ξ2. = 0 – є передчуттям задоволення особистої потреби (передчуття радості). ξ3. = 1 – направлена на себе. 1. Верхні кутики брів підняті вверх. 2. Верхні повіки трохи підняті; 3. – . Гнів ξ1. = 0 – негативна емоція. ξ2. = 1 – виникає після події, яка призвела до незадоволення потреби. ξ3. = 0 – направлений на об’єкт, який заважає досягненню мети. 1. Брови опущені і зведені, між бровами вертикальні зморшки. 2. Верхні повіки напружені, нижні повіки напружені і трохи підняті. 3. Рот закритий, губи затиснуті. Єфімов Г.М. «Искусственный интеллект» 3’2009 534 10Є Продовж. табл. 1 Задово- лення ξ1. = 1 – протилежне гніву за знаком. ξ2. = 1 – виникає після події. ξ3. = 0 – сигналізує, що потреба задоволена за допомогою конкретного об’єкта. 1. – . 2. – . 3. Кутики губ відтягнуті в сторони та трохи підняті. Інтерес ξ1. = 1 – задоволення потреби. ξ2. = 0 – передчуття задоволення потреби. ξ3. = 0 – направлений на об’єкт. 1. Брови трохи підняті, на лобі зморшка; 2. Повіки трохи розширені; 3. – . Зневага ξ1. = 0 – незадоволення потреби. ξ2. = 0 – передчуття незадоволення потреби. ξ3. = 0 – направлена на об’єкт. 1. Брови трохи підняті; 2. – ; 3. Кутики губ опущені. Обличчя витягнуте, голова піднесена, наче людина дивиться на когось згори; вона ніби відсторонюється від співрозмовника. Для реалізації переходу від формальної психологічної моделі емоцій до формаль- ного опису мімічних проявів емоційних станів на обличчі запропоновано наступне: – створення множини фотографічних зображень мімічних проявів на обличчі, які відпові- дають ситуаціям, у яких виникають базові емоції, опис міміки, властивої цим емоціям; – аналіз отриманої множини з метою виявлення областей, які містять характерис- тичні ознаки емоцій та їх опис; – створення у просторі характеристичних ознак базису для наступного розкладу по ньому довільних векторів мімічних проявів емоційних станів (як опуклої комбінації базисних емоційних станів). В ході дослідження, при аналізі мімічних проявів у розрізі зон обличчя, було отримано 21 характеристичну ознаку, комбінація яких утворює базис мімічних проявів емоцій. Тобто мімічні прояви емоції (Em) були представлені у вигляді вектора:   81,,, 211   iEmi  . (2) Тут  1;0j – характеристична мімічна ознака (при μ = 0 – немає ознаки, а при μ = 1 вплив ознаки максимальний); перелік ознак наведений в табл. 2. Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини «Штучний інтелект» 3’2009 535 10Є Таблиця 2 – Ознаки для формування базових емоцій Опис мімічних проявів у розрізі областей обличчя Базис емоційних станів ijB о з н а к а Область обличчя Мімічний прояв Ра ді ст ь Го ре Н ад ія С тр ах За до во ле нн я Гн ів Ін те ре с Зн ев аг а μ1 Зморшки в центрі чола 0 0 0 1 0 0 0 0 μ2 Одна горизонтальна зморшка 0 0 0 0 0 0 1 0 μ3 Чоло Між бровами горизонтальна зморшка 0 0 0 0 0 1 0 0 μ4 Внутрішні кутики підняті вверх 0 1 1 0 0 0 0 0 μ5 Опущені та зведені 0 0 0 0 0 1 0 0 μ6 Трохи підняті 0 0 0 0 0 0 1 1 μ7 Область чола і брів Брови Підняті та зведені 0 0 0 1 0 0 0 0 μ8 Внутрішні кутики підняті 0 1 0 0 0 0 0 0 μ9 Напружені 0 0 0 0 0 1 0 0 μ10 Підняті (видно склеру) 0 0 0 1 0 0 0 0 μ11 Верхні повіки Трохи підняті 0 0 1 0 0 0 1 0 μ12 Трохи підняті та ненапружені 1 0 0 0 0 0 1 0 μ13 Нижні повіки Трохи підняті та напружені 0 0 0 1 0 1 0 0 μ14 «Гусячі лапки» біля зовнішніх кутиків 1 0 0 0 0 0 0 0 μ15 Область очей (очі, повіки, основа носа) Зморшки Зморшка під повіками 1 0 0 0 0 0 0 0 μ16 Закритий, губи стиснуті 0 0 0 0 0 1 0 0 μ17 Рот Розкритий 0 0 0 1 0 0 0 0 μ18 Кутики губ відтягнуті в сторони та трохи підняті 1 0 0 0 1 0 0 0 μ19 Розтягнуті та напружені 0 0 0 1 0 0 0 0 μ20 Губи (лінія, кутики) Кутики губ опущені 0 1 0 0 0 0 0 1 μ21 Нижня частина обличчя (ніс, щоки, рот) Зморшки Зморшка від носа до кутиків губ 1 0 0 0 0 0 0 0 Набір восьми векторів утворює базис ( ijB , де i = 1,…,21, j = 1,…,8) простору мімічних проявів емоційних станів. Таким чином, довільний вектор b = (μ1,…,μ21), отриманий шляхом аналізу зображення з певним емоційним станом, можна розкласти по базису B і отримати опис емоції як опуклої комбінації: bBBBx TT 1)(  , (3) за умови: 0)det( BBT , де B – базисна матриця емоційних станів (табл. 1); BT – транспонована матриця B; b – вектор, який описує мімічний прояв довільного емоційного стану; x = (1,…,8), де i – коефіцієнти опуклої комбінації (ΣI = 1, i  1;0 ) для кожної з 8 базових емоцій. Єфімов Г.М. «Искусственный интеллект» 3’2009 536 10Є У запропонованій в [2] моделі базис простору мімічних ознак емоційних станів будується на основі апріорного досвіду експериментатора, вимагає певної квалі- фікації і, відповідно, дає неоднозначний результат – констатація одного і того ж емоційного м’язового прояву у різних людей розрізняється. Для того щоб перейти від феноменологічного визначення характеристичних мімічних ознак до певної їх формалізації, у [3] запропоновано використати власну модифікацію методу моделей, які деформуються. Як параметричні криві для виділення характерних ознак рис обличчя запропоновано використати моделі, які задаються за допомогою нерівно- мірних раціональних базисних сплайнів – NURBS-кривих [4], [5]. У рамках проведених досліджень була побудована модель, яка складається з гнуч- ких шаблонів – NURBS-кривих. Виходячи з того, що опорні точки NURBS-кривої однозначно визначають саму криву, до розгляду брались тільки вектори опорних точок. Для побудови базису були використані наступні вектори опорних точок (табл. 3): Таблиця 3 – Мімічні прояви для формування базових емоцій Опис мімічних проявів у розрізі областей обличчя о з н а к а Область обличчя Мімічний прояв Для брів, очей та рота – вектори опорних точок j ip Для зморшок –  1;0j (при μ = 0 – немає зморшки, а при μ = 1 зморшка максимальна) μ1 Зморшки в центрі чола μ2 Одна горизонтальна зморшка μ3 Чоло Між бровами вертикальна зморшка μ4 Внутрішні кутики підняті вверх μ5 Опущені та зведені μ6 Трохи підняті μ7 Область чола і брів Брови Підняті та зведені 40,1 ipi Ліва брова μ8 Внутрішні кутики підняті μ9 Напружені μ10 Підняті (видно склеру) μ11 Верхні повіки Трохи підняті 50,2 ipi Ліва верхня повіка μ12 Трохи підняті та ненапружені μ13 Нижні повіки Трохи підняті та напружені 50,3 ipi Ліва нижня повіка μ14 «Гусячі лапки» біля зовнішніх кутиків μ15 Область очей (очі, повіки, основа носа) Зморшки Зморшка під повіками μ16 Закритий, губи стиснуті μ17 Рот Розкритий μ18 Кутики губ відтягнуті в сторони та трохи підняті μ19 Розтягнуті та напружені μ20 Губи (лінія, кутики) Кутики губ опущені 160,4 ipi Губи μ21 Нижня частина обличчя (ніс, щоки, рот) Зморшки Зморшка від носа до кутиків губ Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини «Штучний інтелект» 3’2009 537 10Є У [2], [3] запропонована математична модель та цілісна інформаційна технологія для автоматичного визначення довільного емоційного стану конкретної людини як опуклої комбінації деяких базових станів. Для цього за допомогою математичної моделі та оригінального програмного забезпечення створюється базовий простір емоційних ста- нів конкретної людини. В подальшому довільний емоційний прояв цієї людини розкла- дається як опукла комбінація емоційних станів у цьому просторі. Але в цій моделі гнучкі шаблони налаштовувалися на прояв конкретної міміки за допомогою ручного редагу- вання певної кількості параметрів – контрольних точок NURBS-кривих на поверхні зображення. Подальші дослідження у цьому напрямку були направлені на модифікацію методу контурних моделей, які деформуються. Для цілей автоматичного деформування моделей було запропоновано використовувати апроксимацію B-сплайн кривих [4]. Скористаємося властивістю NURBS-кривих, а саме: при 1iw NURBS-крива зводиться до B-сплайн кривої. Дана властивість випливає з ідентичності опорних то- чок ( ip ) в однорідній формі і рівності знаменника 1. Беручи до уваги, що при моде- люванні гнучких шаблонів приймалося 1iw , то для спрощення апроксимації можна перейти до B-сплайн кривих. Задача B-сплайн апроксимації є задачею підгонки B-сплайн кривої з K опор- ними точками  TKppp 10 ,,   до точкової кривої  TMddd 10 ,,   , де M > K (за- звичай M>>K) для значень параметра 10 ,, Muu  . Така задача апроксимації приво- дить до перевизначеної системи лінійних рівнянь dpN  :                                                      1 1 0 1 0 1110 1110 0100 M K MKM K K d d d p p uNuN uNuN uNuN       , (4) де  uN i – B-сплайн базисна функція. Одним зі шляхів отримання рішення перевизначеної системи лінійних рівнянь (4) є: dNpNN TT  . (5) Звідки   dNNNp TT  1 , (6) за умови, що   0det NN T . (7) Для застосування B-сплайн апроксимації потрібно вміти отримувати на зобра- женні точкові криві  TMddd 10 ,,   , які відповідають потрібним контурам, з тим, щоб далі застосувати перетворення (5) – (7). Існує багато технологій для отримання на зображенні точкових кривих  TMddd 10 ,,   , які відповідають контурам брів, очей та рота. В основному вони базу- ються на отриманні контуру зображення як різкої границі між елементами зображен- ня (за допомогою згорток, аналізу кольору тощо) з наступною скелетезацією (отриман- ням контуру одиничної товщини). У даній роботі для оконтурення зображення пропонується застосувати імітацію роботи зорових рецепторів ока людини. Відомо [5], що очне яблуко знаходиться в безперервному мікрорусі. Питання про ці мікрорухи має неоднозначне трактування. Єфімов Г.М. «Искусственный интеллект» 3’2009 538 10Є Можна передбачити, що ці мікрорухи є необхідною умовою функціонування апарата виділення контурів на зображенні. Для перевірки цього змусимо рецептори сітківки штучного ока зафіксувати запропоноване зображення, потім незначним чином (на- приклад, на 1 точку) зсунемо зображення в бік, і знову дамо можливість рецепторам ока зафіксувати його. В цей момент на виходах рецепторів з’явиться відносна зміна сигналу. Візьмемо значення змін рецепторів та занесемо їх у відповідні точки на зображенні – отримаємо контури зображення (рис. 1). Рисунок 1 – Зображення до та після оконтурення Імітація вмісту рецепторів на сітківці ока проходить наступним чином. Є зо- браження та напрямок мікроруху (наприклад, діагонально на M точок). Спочатку конкретний рецептор «бачить» точку з координатами (x,y), а після мікроруху – з координатами (x-M,y-M). Різниця кольорових площин між вхідною точкою та точкою, яка виявилась на її місці в результаті мікроруху, – це і є відносна зміна вхідного подразливого сигналу (для конкретного рецептора). Отримані таким чином контури потрібно привести до «скелетного» вигляду. Тобто потрібно виділити деяку середню лінію, яка б правильно відображала струк- туру контуру. Для цього застосуємо відомий алгоритм Зонга-Суня [6]. Отриманий таким чином «скелет» контуру губ зображено на рис. 2. Рисунок 2 – Точкова крива губ, отримана після скелетизації контуру Основна ідея алгоритму Зонга-Суня полягає в тому, що на кожному кроці прохо- дженні по зображенню рамкою 3 × 3 перевіряється приналежність кожного пікселя до границі заданої зв’язної області. Якщо умови перевірки виконуються, то піксель вилучається з області. Незважаючи на кількість виконаних кроків, область залишиться зв’язаною, у крайньому випадку вона виродиться в лінію завтовшки в один піксель. Для аналізу мімічних виразів емоцій запропонована наступна цілісна інфор- маційна технологія [2], [3]: 1) для конкретної людини отримуємо множину з восьми фотографічних зобра- жень обличчя, на якому відтворена мімічна реакція на ситуації, які відповідають базовим емоціям: радість, горе, надія, страх, задоволення, гнів, інтерес, зневага; 2) у відповідному програмному забезпечені нормуємо фотографічні зображення (за відстанню між центрами очей); Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини «Штучний інтелект» 3’2009 539 10Є 3) за допомогою відомих технологій оконтурення та скелетування зображень отримуємо контури наступних частин обличчя: зморшки в області чола, брови, верхні повіки, нижні повіки, зморшки «гусячі лапки» біля зовнішніх кутиків очей, зморшки під повіками, рот, зморшки від носа до кутиків губ; 4) використовуючи гнучкі шаблони у вигляді NURBS-кривих [3] та B-сплайн апроксимацію, отримаємо множину опорних точок NURBS-кривої для шаблонів, які характеризують кожну з восьми базових емоцій (табл. 1):   81,40,, )(,1)(,1)(,1   eiyxp Te i e i e i – шаблон лівої брови для 8 емоційних станів;   81,50,, )(,2)(,2)(,2   eiyxp Te i e i e i – шаблон лівої верхньої повіки для 8 емоцій- них станів;   81,50,, )(,3)(,3)(,3   eiyxp Te i e i e i – шаблон лівої нижньої повіки для 8 емоцій- них станів;   81,160,, )(,4)(,4)(,4   eiyxp Te i e i e i – шаблон губів для 8 емоційних станів; та для опису зморшок отримаємо деякі характеристичні мімічні ознаки (табл. 1):   81,,,,,, )( 21 )( 15 )( 14 )( 3 )( 2 )( 1 )(  eTeeeeeee  – характеристичні мімічні ознаки (табл. 1); 5) з восьми отриманих множин опорних точок NURBS-кривих (шаблонів) та вектора характеристичних мімічних ознак для зморшок побудуємо базис емоційних станів (B) конкретної людини: (1) (8) ,( )1,(1) 1,(8) 0 ,( )2,(1) 2,(8) ,( )3,(1) 3,(8) 1 2 3 4 4,(1) 4,(8) 1 4P P , де , де 1 8P P 4, , 5, 16.P P P P j j k j k j k n p j B k p n n n n                                 (8) В подальшому для аналізу довільного зображення обличчя цієї людини: повто- римо пункти 1) – 4) для зображення довільної емоції та отримаємо вектор: () ,()1,() 0 ,()2,() ,()3,() 1 2 3 4 4,() 1 4P , де , деP 4, , 5, 16.P P j j j j n p j b p n n n n                              (9) Розкладемо його по побудованому базису B (8): bBxBB TT  . (10) Отримаємо розв’язок   bBBBx TT  1 , (11) за умови   0det BBT . (12) Коефіцієнти розкладу x = (1,…,8) будуть вказувати на конкретний внесок кожної з восьми базових емоцій у довільну емоцію b. Єфімов Г.М. «Искусственный интеллект» 3’2009 540 10Є Результати дослідження За умови переходу від феноменологічного опису емоцій до ситуацій, у яких емоції виникають, була створена множина фотографічних зображень базових емоцій. Далі з отриманих зображень виділялися описаними вище способами необхідні для подальшої обробки контури (брови, очі, губи тощо). Наприклад, на рис. 3 наведені отримані контури правої брови для емоцій: радість, горе, надія, страх, задоволення. Радість Горе Надія Страх Задоволення Рисунок 3 – Контури правої брови для деяких емоцій На рис. 4 контури правої брови подані у вигляді точкової кривої. 380 390 400 410 420 430 440 90 110 130 150 170 190 210 230 Радість Горе (внутнішні кутики підняті вверх) Надія (внутнішні кутики підняті вверх) Страх (підняті та зведені) Задоволення Рисунок 4 – Графік точкових кривих правої брови для деяких емоцій На графіку видно, що положення отриманих контурів правої брови відповідають опису міміки емоцій. Тобто для емоцій задоволення та радості особливого прояву міміки немає, для емоцій горя та надії – внутрішні кутики підняті догори, а для емоції страху – брова піднята та зведена. До отриманих контурів застосовувались перетворення (5) – (7) для отримання множин керуючих точок NURBS-кривих. На рис. 5 наведено графік контуру та відпо- відну цьому контуру NURBS-криву для положення правої брови при емоції радості. 385 390 395 400 405 410 415 420 425 90 110 130 150 170 190 210 230 Точкова крива NURBS-крива Керуючі точки Рисунок 5 – Контур та відповідна NURBS-крива для положення правої брови при емоції радості Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини «Штучний інтелект» 3’2009 541 10Є Рис. 6 містить результат прив’язки гнучких шаблонів (NURBS-кривих) до від- повідних фрагментів обличчя для всіх базових емоцій. Задоволення Радість Горе Надія Гнів Інтерес Зневага Страх Рисунок 6 – Зображення базових емоцій у контурному вигляді за допомогою NURBS-кривих для конкретного актора З восьми отриманих множин опорних точок NURBS-кривих (шаблонів) та век- тора характеристичних мімічних ознак для зморшок був побудований базис (8) емо- ційних станів (B) конкретної людини. Аналогічним чином з фотографічного зображення довільної емоції, що відтво- рює ситуацію, у якій виникає відчуття провини (рис. 7), був побудований відповід- ний вектор b (9). Рисунок 7 – Відтворення ситуації, у якій виникає емоція провини Із застосуванням перетворення (10) – (12) був проведений розклад отриманого вектора b по базису B. Для емоційного стану «провина» були отримані наступні коефіцієнти опуклої комбінації базових станів:    8 1 87654321 1,0,0,0,3.0,0,0,7.0,0 i i , де i – відповідають наступним емоційним станам: радість, горе, надія, страх, задо- волення, гнів, інтерес та зневага. Згідно з [1], стан, який складається з комбінацій задоволення ( 5 0,3  ) та горя ( 2 0,7  ) відповідає емоції «провина». Єфімов Г.М. «Искусственный интеллект» 3’2009 542 10Є Висновки Запропонована математична модель та цілісна інформаційна технологія для авто- матичного визначення довільного емоційного стану конкретної людини, як опуклої комбінації деяких базових станів. Для цього, з допомогою математичної моделі та оригі- нального програмного забезпечення, створюється базовий простір емоційних станів конкретної людини. В подальшому довільний емоційний прояв цієї людини розкла- дається як опукла комбінація емоційних станів в цьому просторі. Для побудови базису простору емоційних станів використовуються гнучкі шаблони контурів основних зон обличчя. Гнучкі шаблони представлені за допомогою NURBS- кривих. Налаштування шаблона на точковий контур конкретного зображення проходить за допомогою B-сплайн апроксимації шляхом розв’язку перевизначеної неоднорідної системи лінійних рівнянь. Запропонована технологія має практичну цінність в системах візуального контролю за емоційним станом людини у багатьох сферах людської діяльності, де вимагається велика зосередженість і необхідно приймати рішення в режимі реального часу (транспорт, безпека і т.п.). Подальші дослідження будуть спрямовані на вдосконалення методів і алгоритмів автоматичного розпізнавання емоційних проявів на обличчі людини. Література 1. Леонтьев В.О. Классификация эмоций / Леонтьев В.О. – Одесса : Инновационно-ипотечный центр, 2002. – 84 с. 2. Крак Ю.В. Синтез мімічних виразів емоцій на основі формальної моделі / Ю.В. Крак, О.В. Бармак, Г.М. Єфімов // Штучний інтелект. – 2007. – № 2 – C. 22-31. 3. Кривонос Ю.Г. Моделювання та аналіз мімічних проявів емоцій / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, Г.М. Єфімов // Доповіді НАНУ. – 2008. – № 12 – С. 51-55. 4. Piegl L. The NURBS Book / Les Piegl, Wayne Tiller. – [2nd Edition]. – Berlin : Springer-Verlag, 1996. – 646 p. 5. Демидов В.Е. Как мы видим то, что видим / Демидов В.Е. – М. : Знание, 1987. – 240 с. 6. T.Y. Zhang A fast parallel algorithm for thinning digital patterns / T.Y. Zhang, C.Y. Suen // Commun. ACM. – 1984. – № 3, Vol. 27 – P. 236-239. 7. Boor C. A Practical Guide to Splines / Boor C. – New York : Springer-Verlag, 1978. – 392 p. Г.М. Ефимов Моделирование и распознавание мимических проявлений эмоций на лице человека В работе предложен целостный подход для моделирования и распознавания мимических проявлений эмоций на лице человека. Сделан переход от формального описания эмоциональных состояний человека к описанию мимических проявлений на лице. Фотографические изображения, которые отвечают опреде- ленным эмоциональным состояниям, превращаются в векторное пространство мимических проявлений. Строится базис этого пространства. Произвольная эмоция конкретного человека распознается как выпуклая комбинация состояний полученного базового пространства. G.М. Efimov Emotional Mimic Modelling and Recognition for the Human Face The complete approach for mimic modelling and recognition for the human face has been suggested. A correspondance between formal descriptions of emotions and emotional expressions with mimics has been established. Pictures that represent various emotional states are translated into the vector space of mimic expressions. A basis of the vector space is constructed. Custom human emotional mimics is recognized as a convex combination in the basis of emotional mimic expressions. Стаття надійшла до редакції 10.07.2009.
id	nasplib_isofts_kiev_ua-123456789-8108
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	1561-5359
language	Ukrainian
last_indexed	2025-12-07T18:49:04Z
publishDate	2009
publisher	Інститут проблем штучного інтелекту МОН України та НАН України
record_format	dspace
spelling	Єфімов, Г.М. 2010-04-30T14:53:37Z 2010-04-30T14:53:37Z 2009 Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини / Г.М. Єфімов // Штучний інтелект. — 2009. — № 3. — С. 532-542. — Бібліогр.: 7 назв. — укр. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/8108 004.8 У роботі запропоновано цілісний підхід для моделювання та розпізнавання мімічних проявів емоцій на обличчі людини. Зроблено перехід від формального опису емоційних станів людини до опису мімічних проявів на обличчі. Фотографічні зображення, які відповідають певним емоційним станам, перетворюються у векторний простір мімічних проявів. Будується базис цього простору. Довільна емоція конкретної людини розпізнається як опукла комбінація станів отриманого базового простору. В работе предложен целостный подход для моделирования и распознавания мимических проявлений эмоций на лице человека. Сделан переход от формального описания эмоциональных состояний человека к описанию мимических проявлений на лице. Фотографические изображения, которые отвечают опреде- ленным эмоциональным состояниям, превращаются в векторное пространство мимических проявлений. Строится базис этого пространства. Произвольная эмоция конкретного человека распознается как выпуклая комбинация состояний полученного базового пространства. The complete approach for mimic modelling and recognition for the human face has been suggested. A correspondance between formal descriptions of emotions and emotional expressions with mimics has been established. Pictures that represent various emotional states are translated into the vector space of mimic expressions. A basis of the vector space is constructed. Custom human emotional mimics is recognized as a convex combination in the basis of emotional mimic expressions. uk Інститут проблем штучного інтелекту МОН України та НАН України Распознавание образов. Цифровая обработка сигналов Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини Моделирование и распознавание мимических проявлений эмоций на лице человека Emotional Mimic Modelling and Recognition for the Human Face Article published earlier
spellingShingle	Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини Єфімов, Г.М. Распознавание образов. Цифровая обработка сигналов
title	Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини
title_alt	Моделирование и распознавание мимических проявлений эмоций на лице человека Emotional Mimic Modelling and Recognition for the Human Face
title_full	Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини
title_fullStr	Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини
title_full_unstemmed	Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини
title_short	Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини
title_sort	моделювання та розпізнавання мімічних проявів емоцій на обличчі людини
topic	Распознавание образов. Цифровая обработка сигналов
topic_facet	Распознавание образов. Цифровая обработка сигналов
url	https://nasplib.isofts.kiev.ua/handle/123456789/8108
work_keys_str_mv	AT êfímovgm modelûvannâtarozpíznavannâmímíčnihproâvívemocíinaobliččílûdini AT êfímovgm modelirovanieiraspoznavaniemimičeskihproâvleniiémociinalicečeloveka AT êfímovgm emotionalmimicmodellingandrecognitionforthehumanface

Моделювання та розпізнавання мімічних проявів емоцій на обличчі людини

Institution

Similar Items