A Multimodal Retrieval-Augmented Generation System with ReAct Agent Logic for Multi-Hop Reasoning

Скорочена інформація про документ
dc.contributor.authorYuvzhenko, Denys
dc.contributor.authorChymshyr, Viacheslaw
dc.contributor.authorShymkovych, Volodymyr
dc.contributor.authorZnova, Kyrylo
dc.contributor.authorNowakowski, Grzegorz
dc.contributor.authorTelenyk, Sergii
dc.date.accessioned2026-02-05T08:00:12Z
dc.date.available2026-02-05T08:00:12Z
dc.date.issued2025
dc.description.abstractThe rapid advancement of generative artificial intelligence models significantly influences modern methods of information processing and user interactions with information systems. One of the promising areas in this domain is Retrieval-Augmented Generation (RAG), which combines generative models with information retrieval methods to enhance the accuracy and relevance of responses. However, most existing RAG systems primarily focus on textual data, which does not meet contemporary needs for multimodal information processing (text, images, tables). The research object of this work is a multimodal RAG system based on ReAct agent logic, capable of multi-hop reasoning. The main emphasis is placed on integrating textual, graphical, and tabular information to generate accurate, complete, and relevant responses. The system's implementation utilized the ChromaDB vector storage, the OpenAI embedding generation model (text-embedding-ada-002), and the GPT-4 language model. The purpose of the study is the development, deployment, and empirical evaluation of the proposed multimodal RAG system based on the ReAct agent approach, capable of effectively integrating diverse knowledge sources into a unified informational context. The experimental evaluation utilized the Global Tuberculosis Report 2024 by the World Health Organization, containing various textual, graphical, and tabular data. A specialized test set of 50 queries (30 textual, 10 tabular, 10 graphical) was created for empirical analysis, allowing comprehensive testing of all aspects of multimodal integration. The research employed methods such as semantic vector search, multi-hop agent-based planning with ReAct logic, and evaluations of answer accuracy, answer recall, and response latency. Additionally, an analysis of response speed dependence on query volume was conducted. The obtained results confirmed the high efficiency of the proposed approach. The system demonstrated an answer accuracy of 92%, answer recall of 89%, and ensured complete (100%) coverage of all data types. The average response time was approximately 5 seconds, meeting interactive system requirements. Optimal parameters were experimentally determined (for example, parameter k = 6, classification threshold 0.35, and up to three reasoning iterations), ensuring the best balance among completeness, speed, and operational efficiency. The study's findings highlighted significant advantages of the multimodal agent-based approach compared to traditional textual RAG solutions, confirming the promising direction for further research.
dc.description.abstractotherШвидкий розвиток генеративних моделей штучного інтелекту суттєво впливає на сучасні методи обробки інформації та взаємодію користувачів з інформаційними системами. Одним із перспективних напрямів у цій галузі є технологія генерації з доповненим пошуком (Retrieval-Augmented Generation, RAG), яка поєднує можливості генеративних моделей та методи інформаційного пошуку для підвищення точності й релевантності відповідей. Однак більшість наявних RAG-систем орієнтовані переважно на текстові дані, що не відповідає сучасним потребам у мультимодальній обробці інформації (текст, зображення, таблиці). Об’єктом дослідження цієї роботи є мультимодальна RAG-система, побудована на базі агентної логіки ReAct, здатна до багатокрокового міркування (Multi-Hop Reasoning). Основна увага приділена інтеграції текстової, графічної та табличної інформації з метою формування точних, повних і релевантних відповідей. Для реалізації системи використано векторне сховище ChromaDB, моделі генерації ембеддингів OpenAI (text-embedding-ada-002) та мовну модель GPT-4. Метою дослідження є розробка, впровадження та емпірична оцінка ефективності запропонованої мультимодальної RAG-системи, яка базується на агентному підході ReAct та здатна ефективно інтегрувати різні джерела знань у єдиний інформаційний контекст. Матеріалом для експериментальної перевірки виступив звіт Всесвітньої організації охорони здоров’я Global Tuberculosis Report 2024, який містить різноманітні текстові, графічні та табличні дані. Для емпіричного аналізу створено спеціальний тестовий набір із 50 запитів (30 текстових, 10 табличних, 10 графічних), що дозволило повністю протестувати всі аспекти мультимодальної інтеграції. В ході дослідження використано методи семантичного векторного пошуку, багатокрокового агентного планування ReAct, оцінювання точності відповідей (Answer-Accuracy), повноти відповідей (Answer-Recall) та швидкості формування відповідей (Latency). Також проводився аналіз залежності швидкості відповіді від обсягу запитів. Отримані результати підтвердили високу ефективність запропонованого підходу. Система продемонструвала точність відповідей на рівні 92%, повноту відповідей – 89%, та забезпечила повне (100%) охоплення всіх типів даних. Середній час відповіді склав близько 5 секунд, що відповідає вимогам інтерактивних систем. Експериментально встановлені оптимальні параметри (наприклад, параметр k = 6, поріг класифікації 0,35 та до трьох ітерацій міркування), що забезпечують найкраще співвідношення між повнотою, швидкістю та економічністю роботи. Результати дослідження засвідчили значні переваги мультимодального агентного підходу порівняно з традиційними текстовими рішеннями RAG, підтвердивши перспективність подальших досліджень.
dc.format.pagerangeP. 42-57
dc.identifier.citationA Multimodal Retrieval-Augmented Generation System with ReAct Agent Logic for Multi-Hop Reasoning / Denys Yuvzhenko, Viacheslaw Chymshyr, Volodymyr Shymkovych, Kyrylo Znova, Grzegorz Nowakowski, Sergii Telenyk // Information, Computing and Intelligent systems. – 2025. – No. 6. – P. 42-57. – Bibliogr.: 24 ref.
dc.identifier.doihttps://doi.org/10.20535/2786-8729.6.2025.330777
dc.identifier.orcid0009-0005-8744-226X
dc.identifier.orcid0009-0005-2555-5373
dc.identifier.orcid0000-0003-4014-2786
dc.identifier.orcid0009-0008-7939-2938
dc.identifier.orcid0000-0002-3086-0947
dc.identifier.orcid0000-0001-9202-9406
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/78656
dc.language.isoen
dc.publisherNational Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
dc.publisher.placeKyiv
dc.relation.ispartofInformation, Computing and Intelligent systems, No.6, 2025
dc.rights.urihttps://creativecommons.org/licenses/by/4.0/
dc.subjectMultimodal system
dc.subjectRetrieval-Augmented Generation
dc.subjectRAG
dc.subjectReAct agent
dc.subjectMulti-Hop reasoning
dc.subjectsemantic search
dc.subjectмультимодальна система
dc.subjectгенерація з доповненим пошуком
dc.subjectагент ReAct
dc.subjectбагатокрокове міркування
dc.subjectсемантичний пошук
dc.subject.udc004.8
dc.titleA Multimodal Retrieval-Augmented Generation System with ReAct Agent Logic for Multi-Hop Reasoning
dc.title.alternativeМультимодальна RAG система з агентною логікою ReAct для багатокрокового міркування
dc.typeArticle

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
42-57.pdf
Розмір:
1.12 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Information, Computing and Intelligent systems, No. 6