A generalized methodology of sign language recognition on video streams based on neural networks and transformers
The investigation presents a systematic methodology for effective sign language recognition on video streams which considers the importance of using neural networks and transformers for automatic detection and gestures recognition in real time. This methodology combines such fields as computer visio...
Збережено в:
| Дата: | 2023 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Інститут проблем реєстрації інформації НАН України
2023
|
| Теми: | |
| Онлайн доступ: | http://drsp.ipri.kiev.ua/article/view/300527 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Data Recording, Storage & Processing |
Репозитарії
Data Recording, Storage & Processing| id |
drspiprikievua-article-300527 |
|---|---|
| record_format |
ojs |
| spelling |
drspiprikievua-article-3005272024-08-24T18:20:40Z A generalized methodology of sign language recognition on video streams based on neural networks and transformers Узагальнена методологія розпізнавання мови жестів на відеопотоках на основі нейронних мереж і трансформерів Кузнєцова, Н. В. Смірнов, С. С. системна методологія, системний аналіз, нейронні мережі, трансформери, мова жестів, розпізнавання, рекурентні нейронні мережі, згорткові нейронні мережі system methodology, system analysis, neural networks, transformers, sign language, recognition, recurrent neural networks, convolutional neural networks The investigation presents a systematic methodology for effective sign language recognition on video streams which considers the importance of using neural networks and transformers for automatic detection and gestures recognition in real time. This methodology combines such fields as computer vision and natural language processing and also uses transformers as artificial intelligence models in aim to effectively model long-term dependencies in data sequences. The study describes the main stages of the methodology development, correct problem statement definition and the main descriptions of system methodology. A review of existing approaches and methodologies for the task solving was also carried out by authors focusing on increasing the accuracy and speed of video streams processing, as well as the task of conducting the recognition process in real time. The work provides an analysis of the proposed methodology stability with respect to problems and challenges that may arise during implementation and application to real data. The meaning of the proposed methodology lies in its unique approach which simultaneously works both in the domain of computer vision and in natural language processing. The use of transformers allows one to effectively take into account complex structures and dependencies between gestures which lead to increasing the accuracy and speed recognition. This study is an important contribution to the development of sign language recognition systems and is noted for its innovative potential for further development, validation and as next practical usage in various fields, including human-machine interfaces, security systems and virtual reality. Fig.: 4. Refs: 14 titles. Представлено узагальнену методологію для розпізнавання мови жестів на відеопотоках, яка базується на спільному використанні нейронних мереж та трансформерів. Запропонована методологія використовує глибокі нейронні мережі для автоматичного виявлення та розпізнавання жестів у реальному часі. Для досягнення високої точності та швидкості обробки відеопотоків, використовуються трансформери моделі штучного інтелекту, які ефективно моделюють довгострокові залежності в послідовностях даних. Запропонована методологія поєднує декілька областей знань, такі як комп’ютерний зір та обробка природної мови. Проаналізовано слабкі сторони запропонованої узагальненої методології, майбутні виклики щодо її впровадження та застосування до реальних даних. Інститут проблем реєстрації інформації НАН України 2023-12-19 Article Article application/pdf http://drsp.ipri.kiev.ua/article/view/300527 10.35681/1560-9189.2023.25.2.300527 Data Recording, Storage & Processing; Vol. 25 No. 2 (2023); 66-76 Регистрация, хранение и обработка данных; Том 25 № 2 (2023); 66-76 Реєстрація, зберігання і обробка даних; Том 25 № 2 (2023); 66-76 1560-9189 uk http://drsp.ipri.kiev.ua/article/view/300527/301797 Авторське право (c) 2023 Реєстрація, зберігання і обробка даних |
| institution |
Data Recording, Storage & Processing |
| collection |
OJS |
| language |
Ukrainian |
| topic |
системна методологія системний аналіз нейронні мережі трансформери мова жестів розпізнавання рекурентні нейронні мережі згорткові нейронні мережі system methodology system analysis neural networks transformers sign language recognition recurrent neural networks convolutional neural networks |
| spellingShingle |
системна методологія системний аналіз нейронні мережі трансформери мова жестів розпізнавання рекурентні нейронні мережі згорткові нейронні мережі system methodology system analysis neural networks transformers sign language recognition recurrent neural networks convolutional neural networks Кузнєцова, Н. В. Смірнов, С. С. A generalized methodology of sign language recognition on video streams based on neural networks and transformers |
| topic_facet |
системна методологія системний аналіз нейронні мережі трансформери мова жестів розпізнавання рекурентні нейронні мережі згорткові нейронні мережі system methodology system analysis neural networks transformers sign language recognition recurrent neural networks convolutional neural networks |
| format |
Article |
| author |
Кузнєцова, Н. В. Смірнов, С. С. |
| author_facet |
Кузнєцова, Н. В. Смірнов, С. С. |
| author_sort |
Кузнєцова, Н. В. |
| title |
A generalized methodology of sign language recognition on video streams based on neural networks and transformers |
| title_short |
A generalized methodology of sign language recognition on video streams based on neural networks and transformers |
| title_full |
A generalized methodology of sign language recognition on video streams based on neural networks and transformers |
| title_fullStr |
A generalized methodology of sign language recognition on video streams based on neural networks and transformers |
| title_full_unstemmed |
A generalized methodology of sign language recognition on video streams based on neural networks and transformers |
| title_sort |
generalized methodology of sign language recognition on video streams based on neural networks and transformers |
| title_alt |
Узагальнена методологія розпізнавання мови жестів на відеопотоках на основі нейронних мереж і трансформерів |
| description |
The investigation presents a systematic methodology for effective sign language recognition on video streams which considers the importance of using neural networks and transformers for automatic detection and gestures recognition in real time. This methodology combines such fields as computer vision and natural language processing and also uses transformers as artificial intelligence models in aim to effectively model long-term dependencies in data sequences.
The study describes the main stages of the methodology development, correct problem statement definition and the main descriptions of system methodology. A review of existing approaches and methodologies for the task solving was also carried out by authors focusing on increasing the accuracy and speed of video streams processing, as well as the task of conducting the recognition process in real time. The work provides an analysis of the proposed methodology stability with respect to problems and challenges that may arise during implementation and application to real data.
The meaning of the proposed methodology lies in its unique approach which simultaneously works both in the domain of computer vision and in natural language processing. The use of transformers allows one to effectively take into account complex structures and dependencies between gestures which lead to increasing the accuracy and speed recognition.
This study is an important contribution to the development of sign language recognition systems and is noted for its innovative potential for further development, validation and as next practical usage in various fields, including human-machine interfaces, security systems and virtual reality. Fig.: 4. Refs: 14 titles. |
| publisher |
Інститут проблем реєстрації інформації НАН України |
| publishDate |
2023 |
| url |
http://drsp.ipri.kiev.ua/article/view/300527 |
| work_keys_str_mv |
AT kuznêcovanv ageneralizedmethodologyofsignlanguagerecognitiononvideostreamsbasedonneuralnetworksandtransformers AT smírnovss ageneralizedmethodologyofsignlanguagerecognitiononvideostreamsbasedonneuralnetworksandtransformers AT kuznêcovanv uzagalʹnenametodologíârozpíznavannâmovižestívnavídeopotokahnaosnovínejronnihmerežítransformerív AT smírnovss uzagalʹnenametodologíârozpíznavannâmovižestívnavídeopotokahnaosnovínejronnihmerežítransformerív AT kuznêcovanv generalizedmethodologyofsignlanguagerecognitiononvideostreamsbasedonneuralnetworksandtransformers AT smírnovss generalizedmethodologyofsignlanguagerecognitiononvideostreamsbasedonneuralnetworksandtransformers |
| first_indexed |
2024-08-25T04:03:44Z |
| last_indexed |
2024-08-25T04:03:44Z |
| _version_ |
1808330784908509184 |