Identifying the intentions of a user communicating with a bot
The challenge of the classification of the intents of a user during the interaction with a chat-bot has been considered. The comparative analysis of the existing intent classification dataset and corresponding methods based on machine learning and deep learning techniques has been performed. Moreove...
Збережено в:
| Дата: | 2023 |
|---|---|
| Автори: | , , , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Інститут проблем реєстрації інформації НАН України
2023
|
| Теми: | |
| Онлайн доступ: | http://drsp.ipri.kiev.ua/article/view/300436 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Data Recording, Storage & Processing |
Репозитарії
Data Recording, Storage & Processing| id |
drspiprikievua-article-300436 |
|---|---|
| record_format |
ojs |
| spelling |
drspiprikievua-article-3004362024-08-24T18:20:40Z Identifying the intentions of a user communicating with a bot Виявлення намірів користувача при спілкуванні з ботом Теленик, С. Ф. Погорілий, С. Д. Крамов, А. А. Вовк, Є. А. zero-shot-класифікації, виявлення намірів користувача, чат-бот, моделі NLI zero-shot classifications, detection of user intentions, chatbot, NLI models The challenge of the classification of the intents of a user during the interaction with a chat-bot has been considered. The comparative analysis of the existing intent classification dataset and corresponding methods based on machine learning and deep learning techniques has been performed. Moreover, the task of the detection of intents with the performing of the zero-shot classification using NLI models has been defined. Different intent classification approaches, NLI models, and hypothesis templates for the detection of a user’s intent have been suggested. The experimental verification of the effectiveness of the suggested approaches and models for the zero-shot classification on the corpora of different domains has been performed. In addition, the analysis of the results of the mentioned experimental configurations and existing intent classification methods based on pre-trained and large language models (GPT-3.5) has been implemented. The results obtained may indicate the advisability of the usage of different NLI models and their hypothesis templates in order to increase the accuracy of the zero-shot intent classification on the corpora of different domains. However, the highest accuracy metrics that were obtained by the NLI models don’t exceed the corresponding values of pre-trained models and GPT-3.5 which allows drawing a conclusion about the advisability of the conducting of further research devoted to the increase of the zero-shot intent classification with the usage of NLI models or other models within the natural language processing area. Tabl.: 4. Fig.: 1. Refs: 50 titles. Розглянуто проблему класифікації намірів користувачів у чат-боті, зосереджуючись на використанні моделей машинного та глибинного навчання. Проведено аналіз існуючих методів і наборів даних, і визначено задачу виявлення намірів через zero-shot-класифікацію за допомогою моделей Natural Language Inference (NLI). Запропоновано різнотипні підходи до класифікації і використання моделей NLI для виявлення намірів у повідомленнях користувача. Експериментально перевірено їхню ефективність на різних корпусах різних доменів, порівняно з існуючими методами, включаючи попередньо навчені моделі та великі мовні моделі, такі як GPT-3.5. Отримані результати свідчать про перспективність підвищення точності zero-shot-класифікації намірів за допомогою різнотипних моделей NLI та шаблонів гіпотез, хоча важливо враховувати, що найвищі показники точності не досягають значень попередньо навчених моделей і GPT-3.5. Інститут проблем реєстрації інформації НАН України 2023-12-19 Article Article application/pdf http://drsp.ipri.kiev.ua/article/view/300436 10.35681/1560-9189.2023.25.2.300436 Data Recording, Storage & Processing; Vol. 25 No. 2 (2023); 10-26 Регистрация, хранение и обработка данных; Том 25 № 2 (2023); 10-26 Реєстрація, зберігання і обробка даних; Том 25 № 2 (2023); 10-26 1560-9189 uk http://drsp.ipri.kiev.ua/article/view/300436/293729 Авторське право (c) 2024 Реєстрація, зберігання і обробка даних |
| institution |
Data Recording, Storage & Processing |
| collection |
OJS |
| language |
Ukrainian |
| topic |
zero-shot-класифікації виявлення намірів користувача чат-бот моделі NLI zero-shot classifications detection of user intentions chatbot NLI models |
| spellingShingle |
zero-shot-класифікації виявлення намірів користувача чат-бот моделі NLI zero-shot classifications detection of user intentions chatbot NLI models Теленик, С. Ф. Погорілий, С. Д. Крамов, А. А. Вовк, Є. А. Identifying the intentions of a user communicating with a bot |
| topic_facet |
zero-shot-класифікації виявлення намірів користувача чат-бот моделі NLI zero-shot classifications detection of user intentions chatbot NLI models |
| format |
Article |
| author |
Теленик, С. Ф. Погорілий, С. Д. Крамов, А. А. Вовк, Є. А. |
| author_facet |
Теленик, С. Ф. Погорілий, С. Д. Крамов, А. А. Вовк, Є. А. |
| author_sort |
Теленик, С. Ф. |
| title |
Identifying the intentions of a user communicating with a bot |
| title_short |
Identifying the intentions of a user communicating with a bot |
| title_full |
Identifying the intentions of a user communicating with a bot |
| title_fullStr |
Identifying the intentions of a user communicating with a bot |
| title_full_unstemmed |
Identifying the intentions of a user communicating with a bot |
| title_sort |
identifying the intentions of a user communicating with a bot |
| title_alt |
Виявлення намірів користувача при спілкуванні з ботом |
| description |
The challenge of the classification of the intents of a user during the interaction with a chat-bot has been considered. The comparative analysis of the existing intent classification dataset and corresponding methods based on machine learning and deep learning techniques has been performed. Moreover, the task of the detection of intents with the performing of the zero-shot classification using NLI models has been defined. Different intent classification approaches, NLI models, and hypothesis templates for the detection of a user’s intent have been suggested. The experimental verification of the effectiveness of the suggested approaches and models for the zero-shot classification on the corpora of different domains has been performed. In addition, the analysis of the results of the mentioned experimental configurations and existing intent classification methods based on pre-trained and large language models (GPT-3.5) has been implemented. The results obtained may indicate the advisability of the usage of different NLI models and their hypothesis templates in order to increase the accuracy of the zero-shot intent classification on the corpora of different domains. However, the highest accuracy metrics that were obtained by the NLI models don’t exceed the corresponding values of pre-trained models and GPT-3.5 which allows drawing a conclusion about the advisability of the conducting of further research devoted to the increase of the zero-shot intent classification with the usage of NLI models or other models within the natural language processing area. Tabl.: 4. Fig.: 1. Refs: 50 titles. |
| publisher |
Інститут проблем реєстрації інформації НАН України |
| publishDate |
2023 |
| url |
http://drsp.ipri.kiev.ua/article/view/300436 |
| work_keys_str_mv |
AT teleniksf identifyingtheintentionsofausercommunicatingwithabot AT pogorílijsd identifyingtheintentionsofausercommunicatingwithabot AT kramovaa identifyingtheintentionsofausercommunicatingwithabot AT vovkêa identifyingtheintentionsofausercommunicatingwithabot AT teleniksf viâvlennânamírívkoristuvačaprispílkuvannízbotom AT pogorílijsd viâvlennânamírívkoristuvačaprispílkuvannízbotom AT kramovaa viâvlennânamírívkoristuvačaprispílkuvannízbotom AT vovkêa viâvlennânamírívkoristuvačaprispílkuvannízbotom |
| first_indexed |
2024-08-25T04:03:44Z |
| last_indexed |
2024-08-25T04:03:44Z |
| _version_ |
1808330784259440640 |