Федорова, Наталія ВолодимирівнаБочок, В’ячеслав Олександрович2026-08-252026-08-252026Бочок, В. О. Методи та програмні засоби децентралізованого обміну знаннями в системах багатоагентного навчання з підкріпленням : дис. … д-ра філософії : 121 – Інженерія програмного забезпечення / Бочок В’ячеслав Олександрович. – Київ, 2026. – 175 с.https://ela.kpi.ua/handle/123456789/82697Бочок В.О. Методи та програмні засоби децентралізованого обміну знаннями в системах багатоагентного навчання з підкріпленням. − Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії з галузі знань 12 Інформаційні технології за спеціальністю 121 Інженерія програмного забезпечення. – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2026. Дисертаційна робота присвячена розробці науково-методичного апарату щодо підвищення продуктивності багатоагентної системи слабко пов’язаних агентів у стаціонарному середовищі за допомогою механізму поширення знань між агентами на базі децентралізованого підходу. Багатоагентні системи є важливим напрямом сучасних інформаційних технологій та штучного інтелекту, оскільки дозволяють моделювати складні розподілені процеси у вигляді сукупності автономних агентів, що взаємодіють між собою та з середовищем. Такі системи знаходять широке застосування у промисловості, робототехніці, транспортних системах, фінансовому аналізі, системах підтримки прийняття рішень та комп’ютерних симуляціях. Одним з ключових механізмів адаптації агентів у таких системах є навчання з підкріпленням, яке дозволяє агентам формувати ефективні стратегії поведінки на основі взаємодії із середовищем. Однак сучасні алгоритми навчання з підкріпленням характеризуються високою складністю навчання, значною потребою у взаємодіях із середовищем (sample complexity), чутливістю до гіперпараметрів та нестабільністю процесу збіжності. Ці проблеми посилюються при переході до багатоагентних систем, де декілька агентів навчаються одночасно. Розвитком навчання з підкріпленням є багатоагентне навчання з підкріпленням (Multi-Agent Reinforcement Learning, MARL), у якому декілька агентів взаємодіють із середовищем паралельно. У таких системах навіть у випадку слабкої взаємодії між агентами виникають проблеми неефективного використання досвіду, оскільки кожен агент накопичує знання незалежно, що призводить до дублювання процесу навчання. Це, у свою чергу, збільшує обчислювальні витрати та уповільнює досягнення оптимальних стратегій. Додатковою проблемою є відсутність ефективних механізмів узагальнення знань між агентами, що працюють у подібних або ідентичних умовах. У результаті кожен агент змушений самостійно проходити всі етапи навчання, навіть якщо інші агенти вже отримали релевантний досвід. Це призводить до неефективного використання накопиченої інформації та знижує загальну швидкість збіжності системи. Це обмеження стає особливо критичним у великомасштабних системах, де кількість агентів зростає, а витрати на незалежне навчання збільшуються пропорційно. Перспективним напрямом підвищення ефективності навчання є використання механізмів передачі знань між агентами. Обмін знаннями дозволяє повторно використовувати досвід, накопичений різними агентами, що потенційно скорочує час навчання та підвищує загальну продуктивність системи. Однак застосування таких підходів пов’язане з низкою проблем, серед яких ризик негативної передачі знань (negative transfer), коли менш ефективні агенти передають некоректні або застарілі знання, відсутність механізмів контролю якості переданих знань, а також складність адаптивного регулювання інтенсивності обміну. Крім того, значна частина існуючих підходів базується на централізованих архітектурах, що обмежує їх застосування у розподілених системах зі слабко пов’язаними агентами. Таким чином, виникає необхідність у розробленні підходів, що поєднують переваги обміну знаннями з можливістю децентралізованого прийняття рішень, забезпечуючи при цьому контроль якості переданих знань та адаптивне регулювання інтенсивності їх використання кожним агентом. Відтак, проєктування децентралізованих підходів, що дозволяють агентам самостійно визначати момент та спосіб використання зовнішніх знань, є ключовою вимогою для підвищення ефективності навчання без додаткових витрат на координацію. Питання розробки та оптимізації багатоагентних систем, а також методів їх навчання досліджували такі вчені, як Richard S. Sutton, Andrew G. Barto, Michael Wooldridge, Nicholas R. Jennings, Yoav Shoham, Katia Sycara, Victor Lesser, Michael L. Littman, Peter Stone, Коваль О.В., Кочура Ю. П., Аврунін О. Г. та інші. Запропоновані ними підходи заклали фундамент сучасних досліджень у галузі багатоагентних систем та навчання з підкріпленням. Водночас більшість існуючих методів або орієнтовані на централізоване управління агентами, або не враховують необхідність контролю якості переданих знань. Крім того, значна частина підходів потребує значних обчислювальних ресурсів або не забезпечує достатньої адаптивності при зміні умов середовища, що обмежує їх практичне застосування у децентралізованих системах. Окреслене сформувало протиріччя між потребою підвищення ефективності навчання агентів у багатоагентних системах та можливістю використання передачі знань між агентами для прискорення навчання, що ускладнюється ризиком негативної передачі знань і відсутністю механізмів контролю інтенсивності такого обміну. Це призводить до збільшення часу навчання, зростання обчислювальних витрат та зниження загальної ефективності системи. Відповідне протиріччя може бути вирішене шляхом розроблення методів і програмних засобів децентралізованого обміну знаннями між агентами, що забезпечують адаптивний контроль якості та інтенсивності передачі знань. Об’єктом дослідження є процеси аналізу, розроблення, забезпечення якості та впровадження методів та програмних засобів децентралізованого обміну знаннями в системах багатоагентного навчання з підкріпленням у стаціонарних середовищах зі слабко пов'язаними агентами. Предметом дослідження є методи та програмне забезпечення децентралізованого обміну знаннями в системах багатоагентного навчання з підкріпленням у стаціонарних середовищах зі слабко пов’язаними агентами. Метою дисертаційної роботи є підвищення продуктивності багатоагентної системи слабко пов’язаних агентів у стаціонарному середовищі за допомогою механізму поширення знань між агентами на базі децентралізованого підходу. Наукова новизна результатів дослідження полягає в наступному. Набув подальшого розвитку метод децентралізованого вибору вчителя для передачі знань, що дозволяє контролювати якість поширюваних знань уникаючи негативного переносу. Вперше розроблено метод динамічного децентралізованого контролю інтенсивності передачі знань між агентами, що дозволяє ефективно використовувати набуті системою знання та протидіяти перенавчанню. Вперше розроблено архітектуру програмного забезпечення для реалізації механізму обміну знаннями в системі багатоагентного навчання, характерною особливістю якої є можливість децентралізованого обміну знаннями із застосуванням механізмів контролю якості та інтенсивності передачі. Практичне використання результатів роботи, розроблених методів та програмних засобів дозволило підвищити продуктивність багатоагентної системи за метрикою нормалізованої площі під кривою навчання (normalized AUC) сумарної винагороди за епізод на 4–20% для середньої інтегральної продуктивності системи та на 3,4–18,3% для максимальної продуктивності окремого агента залежно від конфігурації механізму обміну знаннями та режиму автономного навчання. Експериментальні дослідження проведено у тестових середовищах CartPolev1 та LunarLander-v3 бібліотеки Gym/Gymnasium. Запропонований механізм обміну знаннями продемонстрував результативність як для алгоритмів Deep QNetwork (DQN), так і Double Deep Q-Network (DDQN). Результати дослідження прийнято до впровадження в ТОВ «Квалітек» (акт впровадження від 20.03.2026); в навчальному процесі Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського» (акт впровадження від 20.03.2026 р.) при викладанні дисциплін «Проектування кібер-фізичних систем». Наукові результати дослідження є внеском у розвиток теоретичних і прикладних основ підвищення ефективності навчання у багатоагентних системах навчання з підкріпленням шляхом розроблення методів контролю якості та інтенсивності передачі знань і програмних засобів децентралізованого обміну знаннями між слабко пов’язаними агентами у стаціонарних середовищах. Отримані результати розширюють підходи до організації навчання у децентралізованих багатоагентних системах та створюють передумови для подальшого розвитку методів масштабованого навчання агентів. В якості можливих напрямків продовження дослідження можна відмітити розширення запропонованих методів децентралізованого обміну знаннями на інші алгоритми навчання з підкріпленням та різні типи багатоагентних середовищ (зокрема кооперативні та змішані), дослідження альтернативних підходів до оцінювання продуктивності агентів, а також розроблення механізмів оцінки різноманітності досвіду агентів для підвищення ефективності передачі знань.175 с.ukбагатоагентні системинавчання з підкріпленнямпідвищення продуктивності багатоагентної системипередача знань між агентамиконтроль інтенсивності передачі знаньглибоке Q-навчаннядистиляція політикидистиляція знаньштучний інтелектмашинне навчаннянейронні мережіmulti-agent systemsreinforcement learningimproving multi-agent system performanceknowledge transfer between agentscontrol of knowledge transfer intensitydeep Q-learningpolicy distillationknowledge distillationartificial intelligencemachine learningneural networksThesis Doctoral004.94