Методи перевірки коректності відповідей агентів штучного інтелекту
Вантажиться...
Дата
2025
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Актуальність теми. Стрімкий розвиток великих мовних моделей (LLM) призвів до їх широкого впровадження в різноманітні сфери діяльності. Однак, проблема галюцинацій — генерації правдоподібних, але фактично неправильних відповідей — залишається критичною перешкодою для застосування ШІ в областях, що вимагають високої точності та надійності. Розробка ефективних методів верифікації відповідей агентів штучного інтелекту є актуальним завданням, вирішення якого сприятиме підвищенню довіри до ШІ-систем та розширенню сфер їх безпечного застосування. Мета роботи. Розробка та дослідження методу багатоагентної верифікації відповідей штучного інтелекту CrossCheck AI для зменшення кількості галюцинацій та підвищення надійності генерованих відповідей. Завдання дослідження:
Провести комплексний аналіз проблеми галюцинацій у великих мовних моделях, дослідити існуючі методи виявлення та виправлення неточностей у відповідях ШІ-агентів. Розробити концептуальну модель та формалізувати математичний апарат багатоагентної системи верифікації з трьохкомпонентною архітектурою Responder-Verifier-Corrector. Спроектувати та реалізувати програмну систему CrossCheck AI з використанням сучасних LLM моделей (GPT-4, Claude 3, Gemini Pro) та можливістю гнучкої конфігурації агентів. Провести експериментальне дослідження ефективності різних конфігурацій агентів на репрезентативному наборі тестових завдань. Об'єкт дослідження — процеси верифікації та корекції відповідей великих мовних моделей у системах підтримки прийняття рішень на основі штучного інтелекту.
Предмет дослідження — методи та алгоритми багатоагентної перевірки коректності відповідей з використанням трьохкомпонентної архітектури Responder-Verifier-Corrector. Методи дослідження: системний аналіз (для дослідження проблеми галюцинацій), об'єктно-орієнтоване проектування (для розробки архітектури системи), методи машинного навчання (для оптимізації промптів), статистичні методи (для аналізу результатів експериментів), методи порівняльного аналізу (для оцінки ефективності різних конфігурацій).
Наукова новизна: вдосконалено метод верифікації відповідей штучного інтелекту шляхом застосування багатоагентної архітектури з гетерогенними LLM моделями, що, на відміну від існуючих підходів (Self-Consistency, Chain-of-Thought, RAG), забезпечує підвищення точності на 18 відсоткових пунктів без необхідності зовнішньої бази знань. Практичне значення: розроблена програмна система CrossCheck AI забезпечує автоматизовану верифікацію та корекцію відповідей ШІ-агентів, підвищуючи точність з 71% до 89.3%. Система може бути інтегрована в існуючі рішення через REST API та використана в критичних застосуваннях медичної, юридичної, фінансової та освітньої сфер.
Апробація результатів дисертації. Основні положення роботи доповідались на 2-й Міжнародній науково-практичній конференції «Прогресивні підходи в науці та техніці» (Progressive Approaches in Science and Engineering), м. Копенгаген, Данія, 2025 р., секція «Інформаційні технології та кібербезпека».
Дисертація складається зі вступу, п'яти розділів та висновків. Повний обсяг дисертації складає 95 сторінок, в тому числі 88 сторінок основного тексту, 19 таблиць, 25 рисунків, 4 сторінки списку використаних джерел у кількості 30 найменувань.
Опис
Розроблений програмний продукт являє собою багатоагентну систему верифікації CrossCheck AI, створену для автоматизованої перевірки коректності відповідей агентів штучного інтелекту. Система призначена для виявлення та виправлення галюцинацій у великих мовних моделях (LLM) шляхом застосування трьохкомпонентної архітектури Responder-Verifier-Corrector з використанням сучасних моделей GPT-4, Claude 3 та Gemini Pro. Архітектурно система побудована за модульним принципом та включає клієнтську частину на базі React.js, серверну частину на Node.js з Express.js, базу даних PostgreSQL та систему кешування Redis. Інтеграція з трьома провайдерами штучного інтелекту (OpenAI, Anthropic, Google) забезпечується через REST API з JWT-авторизацією. Система підтримує два методи обробки запитів: Method 1 (пряма валідація) для швидкої обробки коректних відповідей та Method 2 (корекція помилок) для виправлення виявлених галюцинацій. Експериментальне дослідження підтвердило підвищення точності відповідей з 71% до 89.3% порівняно з baseline підходом.
Ключові слова
штучний інтелект, великі мовні моделі, галюцинації ШІ, верифікація відповідей, багатоагентні системи, CrossCheck AI, GPT, Claude, Gemini, перевірка коректності, artificial intelligence, large language models, AI hallucinations, response verification, multi-agent systems, correctness checking
Бібліографічний опис
Юрченко, В. О. Методи перевірки коректності відповідей агентів штучного інтелекту : магістерська дис. : 122 Комп’ютерні науки / Юрченко Василь Олександрович. – Київ, 2025. – 99 с.