Розпізнавання жестів української дактильної абетки
Sign language is a visual way of communicating used by people who are deaf or hard of hearing. It involves handshapes, facial expressions, and body movements to convey meaning. Sign language helps the deaf community interact with each other and the hearing world, allowing them to participate fully i...
Збережено в:
| Дата: | 2023 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | English |
| Опубліковано: |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine
2023
|
| Теми: | |
| Онлайн доступ: | https://jais.net.ua/index.php/files/article/view/101 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Problems of Control and Informatics |
Репозитарії
Problems of Control and Informatics| id |
oai:ojs2.jais.net.ua:article-101 |
|---|---|
| record_format |
ojs |
| institution |
Problems of Control and Informatics |
| baseUrl_str |
|
| datestamp_date |
2025-02-25T11:19:58Z |
| collection |
OJS |
| language |
English |
| topic |
українська жестова мова українська дактильна абетка розпізнавання жестів LSTM Google MediaPipe |
| spellingShingle |
українська жестова мова українська дактильна абетка розпізнавання жестів LSTM Google MediaPipe Hlybovets , Andrii Bikchentayev, Mykola Розпізнавання жестів української дактильної абетки |
| topic_facet |
українська жестова мова українська дактильна абетка розпізнавання жестів LSTM Google MediaPipe Ukrainian sign language (USL) Ukrainian dactyl alphabet gesture recognition LSTM and Google MediaPipe украинский жестовой язык украинский дактильный алфавит распознавание жестов LSTM Google MediaPipe |
| format |
Article |
| author |
Hlybovets , Andrii Bikchentayev, Mykola |
| author_facet |
Hlybovets , Andrii Bikchentayev, Mykola |
| author_sort |
Hlybovets , Andrii |
| title |
Розпізнавання жестів української дактильної абетки |
| title_short |
Розпізнавання жестів української дактильної абетки |
| title_full |
Розпізнавання жестів української дактильної абетки |
| title_fullStr |
Розпізнавання жестів української дактильної абетки |
| title_full_unstemmed |
Розпізнавання жестів української дактильної абетки |
| title_sort |
розпізнавання жестів української дактильної абетки |
| title_alt |
Recognizing gestures of the ukrainian dactylic alphabet Распознавание жестов украинского дактильного алфавита |
| description |
Sign language is a visual way of communicating used by people who are deaf or hard of hearing. It involves handshapes, facial expressions, and body movements to convey meaning. Sign language helps the deaf community interact with each other and the hearing world, allowing them to participate fully in society. According to the WHO (World Health Organization) over 5 % of the world’s population – or 430 million people — experience problems with hearing. More than 44,000 people with hearing impairments are registered with the Ukrainian Society of the Deaf, an all-Ukrainian public organization for the disabled. Therefore, it is extremely important to develop new software, available to the public, that would allow quickly and effectively learn and understand sign language. This work aims to review gesture recognition techniques and develop a system for detecting and classifying gestures of the Ukrainian dactylic alphabet. Two main approaches to gesture recognition, glove-based and computer vision-based (CV), are explained, with the latter being preferred due to its flexibility and widespread usage. The text elaborates on deep learning-based approaches, particularly LSTM networks, and the advantages they offer in automatically learning features from raw image data. The process of creating a dataset for training the gesture classification model is described, which involves recording videos of hand gestures and extracting keypoints using Google MediaPipe. The model training phase is detailed, covering the architecture of the LSTM-based classifier, optimization algorithms, and loss functions. The resulting model achieves an accuracy of 98.4% on the test dataset. A program for real-time gesture recognition is developed using Python and relevant libraries. The program utilizes a webcam feed to detect and classify hand gestures, displaying the top three predicted letters of the Ukrainian dactylic alphabet. The scientific novelty of the obtained results: the paper presents a method that utilizes hand keypoints for recognizing hand gestures of the Ukrainian dactyl alphabet. Also, as part of the development of the gesture recognition system, a data set was collected, where each gesture corresponds to 50 videos of 65 frames. The practical significance of the results obtained: the model obtained as a result of the study can be used to interpret the gestures of the Ukrainian dactylic alphabet. The dataset collected for training this model can be used in other works to train or validate similar models. The paper might be of use to the ones who are interested in developing similar systems for gesture recognition. |
| publisher |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine |
| publishDate |
2023 |
| url |
https://jais.net.ua/index.php/files/article/view/101 |
| work_keys_str_mv |
AT hlybovetsandrii recognizinggesturesoftheukrainiandactylicalphabet AT bikchentayevmykola recognizinggesturesoftheukrainiandactylicalphabet AT hlybovetsandrii rozpíznavannâžestívukraínsʹkoídaktilʹnoíabetki AT bikchentayevmykola rozpíznavannâžestívukraínsʹkoídaktilʹnoíabetki AT hlybovetsandrii raspoznavaniežestovukrainskogodaktilʹnogoalfavita AT bikchentayevmykola raspoznavaniežestovukrainskogodaktilʹnogoalfavita |
| first_indexed |
2025-10-30T02:48:28Z |
| last_indexed |
2025-10-30T02:48:28Z |
| _version_ |
1847373341386604544 |
| spelling |
oai:ojs2.jais.net.ua:article-1012025-02-25T11:19:58Z Recognizing gestures of the ukrainian dactylic alphabet Розпізнавання жестів української дактильної абетки Распознавание жестов украинского дактильного алфавита Hlybovets , Andrii Bikchentayev, Mykola українська жестова мова українська дактильна абетка розпізнавання жестів LSTM Google MediaPipe Ukrainian sign language (USL) Ukrainian dactyl alphabet gesture recognition LSTM and Google MediaPipe украинский жестовой язык украинский дактильный алфавит распознавание жестов LSTM Google MediaPipe Sign language is a visual way of communicating used by people who are deaf or hard of hearing. It involves handshapes, facial expressions, and body movements to convey meaning. Sign language helps the deaf community interact with each other and the hearing world, allowing them to participate fully in society. According to the WHO (World Health Organization) over 5 % of the world’s population – or 430 million people — experience problems with hearing. More than 44,000 people with hearing impairments are registered with the Ukrainian Society of the Deaf, an all-Ukrainian public organization for the disabled. Therefore, it is extremely important to develop new software, available to the public, that would allow quickly and effectively learn and understand sign language. This work aims to review gesture recognition techniques and develop a system for detecting and classifying gestures of the Ukrainian dactylic alphabet. Two main approaches to gesture recognition, glove-based and computer vision-based (CV), are explained, with the latter being preferred due to its flexibility and widespread usage. The text elaborates on deep learning-based approaches, particularly LSTM networks, and the advantages they offer in automatically learning features from raw image data. The process of creating a dataset for training the gesture classification model is described, which involves recording videos of hand gestures and extracting keypoints using Google MediaPipe. The model training phase is detailed, covering the architecture of the LSTM-based classifier, optimization algorithms, and loss functions. The resulting model achieves an accuracy of 98.4% on the test dataset. A program for real-time gesture recognition is developed using Python and relevant libraries. The program utilizes a webcam feed to detect and classify hand gestures, displaying the top three predicted letters of the Ukrainian dactylic alphabet. The scientific novelty of the obtained results: the paper presents a method that utilizes hand keypoints for recognizing hand gestures of the Ukrainian dactyl alphabet. Also, as part of the development of the gesture recognition system, a data set was collected, where each gesture corresponds to 50 videos of 65 frames. The practical significance of the results obtained: the model obtained as a result of the study can be used to interpret the gestures of the Ukrainian dactylic alphabet. The dataset collected for training this model can be used in other works to train or validate similar models. The paper might be of use to the ones who are interested in developing similar systems for gesture recognition. Жестова мова — це візуальний спосіб спілкування, який використовують люди з вадами слуху. В жестовій мові застосовуються певні жести, за допомогою яких передаються значення. Жестова мова допомагає людям з вадами слуху взаємодіяти між собою та з людьми без вад слуху, що дозволяє їм повноцінно брати участь у житті суспільства. За даними Всесвітньої організації охорони здоровʼя (ВООЗ), понад 430 мільйонів людей, що становить понад 5 % світового населення, мають проблеми зі слухом. Понад 44 000 людей із порушеннями слуху зареєстровані в Українському товаристві глухих, всеукраїнській громадській організації людей з інвалідністю. Тому актуальною є розробка нового програмного забезпечення, доступного для громадськості, яке дозволить швидко та ефективно вивчати та розуміти жестову мову. Метою цієї роботи є огляд методів розпізнавання жестів та розробка системи для виявлення та класифікації жестів українського дактильного алфавіту. Розглядаються два основних підходи до розпізнавання жестів: за допомогою рукавичок з датчиками та компʼютерного зору (CV), причому у роботі перевага надається останньому підходу через його гнучкість та широке застосування. У тексті детально розглядаються підходи, засновані на глибокому навчанні, зокрема мережі LSTM, та переваги, які вони надають. Описано процес створення набору даних для навчання моделі класифікації жестів, який включає запис відеожестів рук та вилучення ключових точок за допомогою Google MediaPipe. Детально описано процес навчання моделі, включаючи архітектуру класифікатора на основі LSTM, алгоритми оптимізації та функції втрат. Результатом є модель з точністю 98,4 % на тестовому наборі даних. Розроблено програму для розпізнавання жестів у реальному часі з використанням Python та відповідних бібліотек. Програма використовує відеопотік вебкамери для виявлення та класифікації жестів рук, відображаючи три найбільш ймовірні літери українського дактильного алфавіту. Наукова новизна отриманих результатів: у роботі презентується метод, який використовує ключові точки рук для розпізнавання жестів українського дактильного алфавіту. Також у процесі розробки системи розпізнавання жестів було зібрано набір даних, де кожен жест відповідає 50 відео по 65 кадрів. Практичне значення отриманих результатів: модель, отримана в результаті дослідження, може бути використана для інтерпретації жестів українського дактильного алфавіту. Набір даних, зібраних для навчання цієї моделі, може застосовуватися в інших роботах для навчання або перевірки схожих моделей. Робота може бути корисною для тих, хто цікавиться розробкою подібних систем для розпізнавання жестів. Жестовая речь – это визуальный способ общения, который используют люди с недостатками слуха. В жестовом языке используются определенные жесты, с помощью которых передаются значения. Жестовая речь помогает людям с пороками слуха взаимодействовать между собой и с людьми без порока слуха, что позволяет им полноценно участвовать в жизни общества. По данным Всемирной организации здравоохранения (ВОЗ), более 430 миллионов человек, что составляет более 5% мирового населения, испытывают проблемы со слухом. Более 44 000 человек с нарушениями слуха зарегистрированы в Украинском обществе глухих, всеукраинской общественной организации людей с инвалидностью. Поэтому актуальна разработка нового программного обеспечения, доступного для общественности, которое позволит быстро и эффективно изучать и понимать жестовой язык. Цель этой работы – обзор методов распознавания жестов и разработка системы для выявления и классификации жестов украинского дактильного алфавита. Рассматриваются два основных подхода к распознаванию жестов: с помощью перчаток с датчиками и компьютерного зрения (CV), причем в работе предпочтение отдается последнему подходу из-за его гибкости и широкого применения. В тексте подробно рассматриваются подходы, основанные на глубоком обучении, в частности сети LSTM, и предоставляемые ими преимущества. Описан процесс создания набора данных для обучения модели классификации жестов, включающий запись видеожестов рук и извлечение ключевых точек с помощью Google MediaPipe. Подробно описан процесс обучения модели, включая архитектуру классификатора на основе LSTM, алгоритмы оптимизации и функции потерь. Результатом является модель с точностью 98,4% на тестовом наборе данных. Разработана программа распознавания жестов в реальном времени с использованием Python и соответствующих библиотек. Программа использует видеопоток вебкамеры для обнаружения и классификации жестов рук, отображая три наиболее вероятных буквы украинского дактильного алфавита. Научная новизна полученных результатов: в работе представлен метод, использующий ключевые точки рук для распознавания жестов украинского дактильного алфавита. Также в процессе разработки системы распознавания жестов был собран набор данных, где каждый жест соответствует 50 видео по 65 кадров. Практическое значение полученных результатов: модель, полученная в результате исследования, может использоваться для интерпретации жестов украинского дактильного алфавита. Набор данных, собранных для обучения этой модели, может применяться в других работах по обучению или проверке подобных моделей. Работа может быть полезна тем, кто интересуется разработкой подобных систем для распознавания жестов. V.M. Glushkov Institute of Cybernetics of NAS of Ukraine 2023-07-24 Article Article application/pdf https://jais.net.ua/index.php/files/article/view/101 10.34229/1028-0979-2023-3-9 Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; Том 68 № 3 (2023): Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; 86-100 International Scientific Technical Journal "Problems of Control and Informatics; Том 68 № 3 (2023): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 86-100 International Scientific Technical Journal "Problems of Control and Informatics"; Vol. 68 No. 3 (2023): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 86-100 2786-6505 2786-6491 en https://jais.net.ua/index.php/files/article/view/101/194 Copyright (c) 2023 Andrii Hlybovets, Mykola Bikchentayev https://creativecommons.org/licenses/by-nc-nd/4.0 |