Semi-supervised inverted file index approach for approximate nearest neighbor search

Скорочена інформація про документ
dc.contributor.authorBazdyrev, Anton A.
dc.date.accessioned2024-03-15T14:28:30Z
dc.date.available2024-03-15T14:28:30Z
dc.date.issued2023
dc.description.abstractThis paper introduces a novel modification to the Inverted File (IVF) index approach for approximate nearest neighbor search, incorporating supervised learning techniques to enhance the efficacy of intermediate clustering and achieve more balanced cluster sizes. The proposed method involves creating clusters using a neural network by solving a task to classify query vectors into the same bucket as their corresponding nearest neighbor vectors in the original dataset. When combined with minimizing the standard deviation of the bucket sizes, the indexing process becomes more efficient and accurate during the approximate nearest neighbor search. Through empirical evaluation on a test dataset, we demonstrate that the proposed semi-supervised IVF index approach outperforms the industry-standard IVF implementation with fixed parameters, including the total number of clusters and the number of clusters allocated to queries. This novel approach has promising implications for enhancing nearest-neighbor search efficiency in high-dimensional datasets across various applications, including information retrieval, natural language search, recommendation systems, etc.
dc.description.abstractotherЗапропоновано удосконалення підходу з використанням інвертованого файлового індексу для пошуку наближених найближчих сусідів з використанням напівкерованого навчання та навчання з учителем з метою підвищення ефективності проміжної кластеризації та досягнення більш збалансованих розмірів кластерів. Запропонований метод полягає у створенні кластерів за допомогою нейронної мережі з розв’язанням завдання класифікації векторів запитів у той самий кластер, що і їхні відповідні найближчі сусідні вектори у вихідному наборі даних. У поєднанні з мінімізацією стандартного відхилення розмірів кластерів процес індексування стає більш ефективним і точним під час наближеного пошуку найближчих сусідів. Через емпіричну оцінку на тестовому наборі даних продемонстровано, що запропонований підхід до індексу виявився більш точним порівняно з індустрійно-стандартною реалізацією із фіксованими параметрами, включаючи загальну кількість кластерів та кількість кластерів, що виділяються для запитів. Метод перспективний для підвищення ефективності пошуку найближчих сусідів у великорозмірних наборах даних у різних застосуваннях, таких як інформаційний пошук, пошук за природною мовою, рекомендаційні системи тощо.
dc.format.pagerangeС. 69-75
dc.identifier.citationBazdyrev, A. Semi-supervised inverted file index approach for approximate nearest neighbor search / A. Bazdyrev // Системні дослідження та інформаційні технології : міжнародний науково-технічний журнал. – 2023. – № 4. – С. 69-75. – Бібліогр.: 10 назв.
dc.identifier.doihttps://doi.org/10.20535/SRIT.2308-8893.2023.4.05
dc.identifier.orcid0000-0001-8191-897X
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/65566
dc.language.isoen
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.relation.ispartofСистемні дослідження та інформаційні технології : міжнародний науково-технічний журнал, № 4
dc.subjectapproximate nearest neighbor search
dc.subjectinverted file index
dc.subjecthighdimensional data
dc.subjectmachine learning
dc.subjectпошук наближених найближчих сусідів
dc.subjectінвертований файловий індекс
dc.subjectдані високої розмірності
dc.subjectмашинне навчання
dc.subject.udc004.424.4
dc.titleSemi-supervised inverted file index approach for approximate nearest neighbor search
dc.title.alternativeПідхід з напівкерованим навчанням в інвертованому файловому індексі для пошуку наближеного найближчого сусіда
dc.typeArticle

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
P.69-75.pdf
Розмір:
211.32 KB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Системні дослідження та інформаційні технології: міжнародний науково-технічний журнал, № 4