Identifying the intentions of a user communicating with a bot

Identifying the intentions of a user communicating with a bot

The challenge of the classification of the intents of a user during the interaction with a chat-bot has been considered. The comparative analysis of the existing intent classification dataset and corresponding methods based on machine learning and deep learning techniques has been performed. Moreove...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Datum:2023
Hauptverfasser: Теленик, С. Ф., Погорілий, С. Д., Крамов, А. А., Вовк, Є. А.
Format: Artikel
Sprache:Ukrainian
Veröffentlicht: Інститут проблем реєстрації інформації НАН України 2023
Schlagworte:
zero-shot classifications
detection of user intentions
chatbot
NLI models
Online Zugang:http://drsp.ipri.kiev.ua/article/view/300436
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:Data Recording, Storage & Processing

Institution

Data Recording, Storage & Processing
id drspiprikievua-article-300436
record_format ojs
spelling drspiprikievua-article-3004362024-08-24T18:20:40Z Identifying the intentions of a user communicating with a bot Виявлення намірів користувача при спілкуванні з ботом Теленик, С. Ф. Погорілий, С. Д. Крамов, А. А. Вовк, Є. А. zero-shot-класифікації, виявлення намірів користувача, чат-бот, моделі NLI zero-shot classifications, detection of user intentions, chatbot, NLI models The challenge of the classification of the intents of a user during the interaction with a chat-bot has been considered. The comparative analysis of the existing intent classification dataset and corresponding methods based on machine learning and deep learning techniques has been performed. Moreover, the task of the detection of intents with the performing of the zero-shot classification using NLI models has been defined. Different intent classification approaches, NLI models, and hypothesis templates for the detection of a user’s intent have been suggested. The experimental verification of the effectiveness of the suggested approaches and models for the zero-shot classification on the corpora of different domains has been performed. In addition, the analysis of the results of the mentioned experimental configurations and existing intent classification methods based on pre-trained and large language models (GPT-3.5) has been implemented. The results obtained may indicate the advisability of the usage of different NLI models and their hypothesis templates in order to increase the accuracy of the zero-shot intent classification on the corpora of different domains. However, the highest accuracy metrics that were obtained by the NLI models don’t exceed the corresponding values of pre-trained models and GPT-3.5 which allows drawing a conclusion about the advisability of the conducting of further research devoted to the increase of the zero-shot intent classification with the usage of NLI models or other models within the natural language processing area. Tabl.: 4. Fig.: 1. Refs: 50 titles. Розглянуто проблему класифікації намірів користувачів у чат-боті, зосереджуючись на використанні моделей машинного та глибинного навчання. Проведено аналіз існуючих методів і наборів даних, і визначено задачу виявлення намірів через zero-shot-класифікацію за допомогою моделей Natural Language Inference (NLI). Запропоновано різнотипні підходи до класифікації і використання моделей NLI для виявлення намірів у повідомленнях користувача. Експериментально перевірено їхню ефективність на різних корпусах різних доменів, порівняно з існуючими методами, включаючи попередньо навчені моделі та великі мовні моделі, такі як GPT-3.5. Отримані результати свідчать про перспективність підвищення точності zero-shot-класифікації намірів за допомогою різнотипних моделей NLI та шаблонів гіпотез, хоча важливо враховувати, що найвищі показники точності не досягають значень попередньо навчених моделей і GPT-3.5.  Інститут проблем реєстрації інформації НАН України 2023-12-19 Article Article application/pdf http://drsp.ipri.kiev.ua/article/view/300436 10.35681/1560-9189.2023.25.2.300436 Data Recording, Storage & Processing; Vol. 25 No. 2 (2023); 10-26 Регистрация, хранение и обработка данных; Том 25 № 2 (2023); 10-26 Реєстрація, зберігання і обробка даних; Том 25 № 2 (2023); 10-26 1560-9189 uk http://drsp.ipri.kiev.ua/article/view/300436/293729 Авторське право (c) 2024 Реєстрація, зберігання і обробка даних
institution Data Recording, Storage & Processing
baseUrl_str
datestamp_date 2024-08-24T18:20:40Z
collection OJS
language Ukrainian
topic zero-shot classifications
detection of user intentions
chatbot
NLI models
spellingShingle zero-shot classifications
detection of user intentions
chatbot
NLI models
Теленик, С. Ф.
Погорілий, С. Д.
Крамов, А. А.
Вовк, Є. А.
Identifying the intentions of a user communicating with a bot
topic_facet zero-shot-класифікації
виявлення намірів користувача
чат-бот
моделі NLI
zero-shot classifications
detection of user intentions
chatbot
NLI models
format Article
author Теленик, С. Ф.
Погорілий, С. Д.
Крамов, А. А.
Вовк, Є. А.
author_facet Теленик, С. Ф.
Погорілий, С. Д.
Крамов, А. А.
Вовк, Є. А.
author_sort Теленик, С. Ф.
title Identifying the intentions of a user communicating with a bot
title_short Identifying the intentions of a user communicating with a bot
title_full Identifying the intentions of a user communicating with a bot
title_fullStr Identifying the intentions of a user communicating with a bot
title_full_unstemmed Identifying the intentions of a user communicating with a bot
title_sort identifying the intentions of a user communicating with a bot
title_alt Виявлення намірів користувача при спілкуванні з ботом
description The challenge of the classification of the intents of a user during the interaction with a chat-bot has been considered. The comparative analysis of the existing intent classification dataset and corresponding methods based on machine learning and deep learning techniques has been performed. Moreover, the task of the detection of intents with the performing of the zero-shot classification using NLI models has been defined. Different intent classification approaches, NLI models, and hypothesis templates for the detection of a user’s intent have been suggested. The experimental verification of the effectiveness of the suggested approaches and models for the zero-shot classification on the corpora of different domains has been performed. In addition, the analysis of the results of the mentioned experimental configurations and existing intent classification methods based on pre-trained and large language models (GPT-3.5) has been implemented. The results obtained may indicate the advisability of the usage of different NLI models and their hypothesis templates in order to increase the accuracy of the zero-shot intent classification on the corpora of different domains. However, the highest accuracy metrics that were obtained by the NLI models don’t exceed the corresponding values of pre-trained models and GPT-3.5 which allows drawing a conclusion about the advisability of the conducting of further research devoted to the increase of the zero-shot intent classification with the usage of NLI models or other models within the natural language processing area. Tabl.: 4. Fig.: 1. Refs: 50 titles.
publisher Інститут проблем реєстрації інформації НАН України
publishDate 2023
url http://drsp.ipri.kiev.ua/article/view/300436
work_keys_str_mv AT teleniksf identifyingtheintentionsofausercommunicatingwithabot
AT pogorílijsd identifyingtheintentionsofausercommunicatingwithabot
AT kramovaa identifyingtheintentionsofausercommunicatingwithabot
AT vovkêa identifyingtheintentionsofausercommunicatingwithabot
AT teleniksf viâvlennânamírívkoristuvačaprispílkuvannízbotom
AT pogorílijsd viâvlennânamírívkoristuvačaprispílkuvannízbotom
AT kramovaa viâvlennânamírívkoristuvačaprispílkuvannízbotom
AT vovkêa viâvlennânamírívkoristuvačaprispílkuvannízbotom
first_indexed 2025-07-17T10:58:51Z
last_indexed 2025-07-17T10:58:51Z
_version_ 1850411629288620032

Ähnliche Einträge