2025-02-23T08:51:31-05:00 DEBUG: VuFindSearch\Backend\Solr\Connector: Query fl=%2A&wt=json&json.nl=arrarr&q=id%3A%22journaliasakpiua-article-297400%22&qt=morelikethis&rows=5
2025-02-23T08:51:31-05:00 DEBUG: VuFindSearch\Backend\Solr\Connector: => GET http://localhost:8983/solr/biblio/select?fl=%2A&wt=json&json.nl=arrarr&q=id%3A%22journaliasakpiua-article-297400%22&qt=morelikethis&rows=5
2025-02-23T08:51:31-05:00 DEBUG: VuFindSearch\Backend\Solr\Connector: <= 200 OK
2025-02-23T08:51:31-05:00 DEBUG: Deserialized SOLR response
Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда

Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда

This paper introduces a novel modification to the Inverted File (IVF) index approach for approximate nearest neighbor search, incorporating supervised learning techniques to enhance the efficacy of intermediate clustering and achieve more balanced cluster sizes. The proposed method involves creating...

Full description

Saved in:
Bibliographic Details
Main Author: Bazdyrev, Anton
Format: Article
Language:English
Published: The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2023
Subjects:
approximate nearest neighbor search
inverted file index
high-dimensional data
machine learning
пошук наближених найближчих сусідів
інвертований файловий індекс
дані високої розмірності
машинне навчання
Online Access:http://journal.iasa.kpi.ua/article/view/297400
Tags: Add Tag
No Tags, Be the first to tag this record!
id journaliasakpiua-article-297400
record_format ojs
spelling journaliasakpiua-article-2974002024-02-01T21:03:07Z Semi-supervised inverted file index approach for approximate nearest neighbor search Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда Bazdyrev, Anton approximate nearest neighbor search inverted file index high-dimensional data machine learning пошук наближених найближчих сусідів інвертований файловий індекс дані високої розмірності машинне навчання This paper introduces a novel modification to the Inverted File (IVF) index approach for approximate nearest neighbor search, incorporating supervised learning techniques to enhance the efficacy of intermediate clustering and achieve more balanced cluster sizes. The proposed method involves creating clusters using a neural network by solving a task to classify query vectors into the same bucket as their corresponding nearest neighbor vectors in the original dataset. When combined with minimizing the standard deviation of the bucket sizes, the indexing process becomes more efficient and accurate during the approximate nearest neighbor search. Through empirical evaluation on a test dataset, we demonstrate that the proposed semi-supervised IVF index approach outperforms the industry-standard IVF implementation with fixed parameters, including the total number of clusters and the number of clusters allocated to queries. This novel approach has promising implications for enhancing nearest-neighbor search efficiency in high-dimensional datasets across various applications, including information retrieval, natural language search, recommendation systems, etc. Запропоновано удосконалення підходу з використанням інвертованого файлового індексу для пошуку наближених найближчих сусідів з використанням напівкерованого навчання та навчання з учителем з метою підвищення ефективності проміжної кластеризації та досягнення більш збалансованих розмірів кластерів. Запропонований метод полягає у створенні кластерів за допомогою нейронної мережі з розв’язанням завдання класифікації векторів запитів у той самий кластер, що і їхні відповідні найближчі сусідні вектори у вихідному наборі даних. У поєднанні з мінімізацією стандартного відхилення розмірів кластерів процес індексування стає більш ефективним і точним під час наближеного пошуку найближчих сусідів. Через емпіричну оцінку на тестовому наборі даних продемонстровано, що запропонований підхід до індексу виявився більш точним порівняно з індустрійно-стандартною реалізацією із фіксованими параметрами, включаючи загальну кількість кластерів та кількість кластерів, що виділяються для запитів. Метод перспективний для підвищення ефективності пошуку найближчих сусідів у великорозмірних наборах даних у різних застосуваннях, таких як інформаційний пошук, пошук за природною мовою, рекомендаційні системи тощо. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2023-12-26 Article Article application/pdf http://journal.iasa.kpi.ua/article/view/297400 10.20535/SRIT.2308-8893.2023.4.05 System research and information technologies; No. 4 (2023); 69-75 Системные исследования и информационные технологии; № 4 (2023); 69-75 Системні дослідження та інформаційні технології; № 4 (2023); 69-75 2308-8893 1681-6048 en http://journal.iasa.kpi.ua/article/view/297400/290386
institution System research and information technologies
collection OJS
language English
topic approximate nearest neighbor search
inverted file index
high-dimensional data
machine learning
пошук наближених найближчих сусідів
інвертований файловий індекс
дані високої розмірності
машинне навчання
spellingShingle approximate nearest neighbor search
inverted file index
high-dimensional data
machine learning
пошук наближених найближчих сусідів
інвертований файловий індекс
дані високої розмірності
машинне навчання
Bazdyrev, Anton
Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда
topic_facet approximate nearest neighbor search
inverted file index
high-dimensional data
machine learning
пошук наближених найближчих сусідів
інвертований файловий індекс
дані високої розмірності
машинне навчання
format Article
author Bazdyrev, Anton
author_facet Bazdyrev, Anton
author_sort Bazdyrev, Anton
title Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда
title_short Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда
title_full Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда
title_fullStr Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда
title_full_unstemmed Підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда
title_sort підхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда
title_alt Semi-supervised inverted file index approach for approximate nearest neighbor search
description This paper introduces a novel modification to the Inverted File (IVF) index approach for approximate nearest neighbor search, incorporating supervised learning techniques to enhance the efficacy of intermediate clustering and achieve more balanced cluster sizes. The proposed method involves creating clusters using a neural network by solving a task to classify query vectors into the same bucket as their corresponding nearest neighbor vectors in the original dataset. When combined with minimizing the standard deviation of the bucket sizes, the indexing process becomes more efficient and accurate during the approximate nearest neighbor search. Through empirical evaluation on a test dataset, we demonstrate that the proposed semi-supervised IVF index approach outperforms the industry-standard IVF implementation with fixed parameters, including the total number of clusters and the number of clusters allocated to queries. This novel approach has promising implications for enhancing nearest-neighbor search efficiency in high-dimensional datasets across various applications, including information retrieval, natural language search, recommendation systems, etc.
publisher The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
publishDate 2023
url http://journal.iasa.kpi.ua/article/view/297400
work_keys_str_mv AT bazdyrevanton semisupervisedinvertedfileindexapproachforapproximatenearestneighborsearch
AT bazdyrevanton pídhídznapívkerovanimnavčannâmvínvertovanomufajlovomuíndeksídlâpošukunabliženogonajbližčogosusída
first_indexed 2024-04-08T15:08:19Z
last_indexed 2024-04-08T15:08:19Z
_version_ 1800095207916568576

Similar Items