Писаренко, Андрій ВолодимировичАльбрехт, Йосип Омелянович2024-05-272024-05-272024Альбрехт, Й. О. Інформаційна технологія виявлення рухомих об'єктів у тривимірному просторі з використанням рою гетерогенних БПЛА : дис. … д-ра філософії : 126 Інформаційні системи та технології / Альбрехт Йосип Омелянович. – Київ, 2024. – 156 с.https://ela.kpi.ua/handle/123456789/66913Альбрехт Й.О. Інформаційна технологія виявлення рухомих об'єктів у тривимірному просторі з використанням рою гетерогенних БПЛА – Кваліфікаційна наукова праця на правах рукопису Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 126 – Інформаційні системи та технології. – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2024. У першому розділі зосереджується увага на інформаційних технологіях, які є важливим аспектом сучасного суспільства, визначаючи розвиток та функціонування різних сфер людської діяльності. Описується базування інформаційних технологій на обробці, передачі та зберіганні даних за допомогою комп'ютерів та інших технічних засобів. Також звертається увага на ключову характеристику інформаційних технологій - швидкість обробки та передачі даних, яка зросла завдяки постійному розвитку апаратних та програмних засобів. Такі технології використовуються в різних галузях, включаючи бізнес, медицину, науку та освіту. Крім того, розглядається роль інформаційних технологій у забезпеченні безпеки даних, зокрема захист від несанкціонованого доступу та кібератак. Описуються концепції "Інтернету речей", де об'єкти оточуючого середовища обладнані сенсорами та здатні обмінюватися даними. Розділ також охоплює кіберфізичні інформаційні технології, що представляють інтеграцію фізичних систем з інформаційними та комунікаційними технологіями. Цей підхід створює єдину екосистему, спрямовану на створення інтелектуальних, автономних систем, які поєднують реальний світ з віртуальним. Зазначається, що кіберфізичні інформаційні технології дозволяють взаємодіяти з фізичними об'єктами в реальному часі, використовуючи розумні алгоритми, давачі та мережі зв'язку. Такі технології включають в себе використання розумних сенсорів, збір даних з фізичних об'єктів та їхню інтеграцію з хмарними системами обробки та аналізу даних. У галузі промисловості кіберфізичні інформаційні технології можуть бути застосовані для створення "розумних заводів", де системи автоматизації та моніторингу взаємодіють з обладнанням та персоналом. У медицині ці технології можуть підтримувати створення інтелектуальних медичних систем та пристроїв для діагностики та лікування. Загалом, кіберфізичні інформаційні технології визначають новий рівень інтеграції між фізичним та цифровим світом, відкриваючи нові перспективи для розвитку інтелектуальних систем та оптимізації різних галузей діяльності. Розділ представляє собою всебічний огляд сучасного стану парадигми штучного інтелекту, що дозволяє агентам вивчати оптимальні стратегії через взаємодію з навколишнім середовищем. Зазначається, що за останні роки навчання з підкріпленням зазнало значного прогресу завдяки методам глибокого навчання, збільшенню обчислювальних потужностей та новим алгоритмічним розробкам. Розділ надає обґрунтування теоретичних засад навчання з підкріпленням, вказуючи на визначні досягнення, виклики та потенційні майбутні напрямки у цій галузі. Особлива увага приділяється ключовим концепціям та передовим дослідженням, що дозволяють зробити висновок про прогрес, досягнутий у навчанні з підкріпленням у різних сферах, таких як робототехніка, ігрові технології та системи прийняття рішень. Цей розділ містить у собі зібрану та систематизовану інформацію щодо поточного стану досліджень у галузі навчання з підкріпленням, надаючи читачу повну картину щодо досягнень, викликів та перспектив цієї важливої області штучного інтелекту. Другий розділ присвячений детальному аналізу середовищ, в яких проводилися експерименти з виконання задач в контексті навчання з підкріпленням. В цьому розділі розглядається залежність швидкості навчання системи в методі навчання з підкріпленням від кількості взаємно незалежних модулів, а також порівняння можливостей систем пошукових модулів та окремих об'єктів у пошуку цілей із невідомим місцезнаходженням відомому середовищі за допомогою алгоритмів навчання з підкріпленням. Також досліджуються можливості гетерогенних роїв БПЛА за допомогою навчання з підкріпленням та системи прийняття рішень з використанням навчання з підкріпленням для керування гетерогенними роями безпілотних літальних апаратів. У цьому розділі подано опис середовищ, в яких проводилися експерименти, їх характеристики та параметри, а також методику та процедури проведення експериментів. Розділ також розглядає результати експериментів та їхню інтерпретацію, що дозволяє зробити висновки щодо ефективності застосованих методів та підходів у вирішенні задач в контексті навчання з підкріпленням у різних середовищах та сценаріях. У другому розділі проведено дослідження, спрямоване на визначення залежності швидкості навчання системи в методі навчання з підкріпленням від кількості взаємно незалежних модулів у середовищі. Відповідно до описаних параметрів та умов експерименту, було обрано три однакових середовища, в кожному з яких знаходиться різна кількість об'єктів дослідження: один, п'ять і десять відповідно. Об'єкти дослідження були однаковими у кожному середовищі. Задача експерименту полягала у визначенні оптимальної кількості об'єктів для використання навчання з підкріпленням, яка забезпечить найкращий результат за однакової кількості ітерацій. Також проводилося порівняння ефективності досліджень, проведених на групі об'єктів, що взаємодіяли, з дослідженнями на взаємно незалежних модулях, які приймали рішення тільки на основі вхідних даних, отриманих незалежно. У експерименті було використано двовимірне поле як середовище, де об'єкти двох типів з'являлися випадковим чином. Один тип об'єктів приносив додаткові бали, а інший віднімав. У агентів було 9 очей з лінійним зором, які розрізняли чотири параметри: відстань до об'єктів різних типів, відстань до іншого об'єкта дослідження та відстань до стіни. Результати дослідження дозволили зробити висновок про ефективність та оптимальну кількість об'єктів для використання навчання з підкріпленням у відповідних умовах, що визначені експериментом. Також було виявлено можливість порівняння різних підходів до пошуку об'єктів у відомому середовищі та їх вплив на ефективність розв'язання задачі. Дослідження, продовжене у другому розділі, зосереджується на порівнянні ефективності двох різних підходів до пошуку об'єктів у відомому середовищі: централізовано керованої системи з використанням окремих модулів та децентралізованого підходу з окремими об'єктами. Дослідження використовує алгоритми навчання з підкріпленням для порівняння швидкості навчання та можливостей цих систем у двох сценаріях: пошуку статичних об'єктів з випадковими місцезнаходженнями та пошуку рухомих об'єктів з постійною швидкістю. Експериментальний дизайн передбачає визначення параметрів для навчання з підкріпленням, таких як нагороди та штрафи, і визначення розмірів вхідних та вихідних даних для нейронної мережі. Мета полягає в оцінці ефективності систем при різних умовах та порівнянні їхньої ефективності. У формулюванні проблеми визначаються експериментальні умови, включаючи постійне співвідношення між площею пошуку та кількістю об'єктів, часові одиниці для експериментів та параметри для навчання з підкріпленням. Дослідження визначає вхідні дані для обох типів систем та наводить критерії для нагород та штрафів. Результати експерименту показали, що система об'єднаних модулів вчиться повільніше, але досягає кращого максимального результату у пошуку статичних об'єктів. У випадку рухомих об'єктів система об'єднаних модулів виявляється більш ефективною як за швидкістю навчання, так і за максимальним результатом. У висновку роботи резюмуються отримані висновки, акцентуючи, що за допомогою навчання з підкріпленням можливо отримати ефективний алгоритм пошуку з використанням системи об'єднаних пошукових модулів, який буде краще застосовуватися, ніж така ж кількість окремих об'єктів з окремим керуванням. Наступний експеримент порівнює гетерогенні та гомогенні рої БПЛА з використанням алгоритмів навчання з підкріпленням. Дослідження оцінює здатність роїв у пошуку об'єктів у невідомій області. Гетерогенний рій, що включав БПЛА з різними можливостями, проявив швидше навчання та досягнув вищих винагород за меншу кількість епізодів порівняно з гомогенним роєм. Дослідження вказує на потенційні переваги використання БПЛА з різними можливостями у роях та важливість оптимізації складу рою для конкретних завдань. Далі досліджено вплив штучного інтелекту та автоматизації на гетерогенні рої безпілотних літальних апаратів. Виявлено, що гетерогенні рої з різними типами агентів та навчанням з підкріпленням мають покращену ефективність у виконанні завдань. Використання нейронних мереж для прийняття рішень та децентралізовані алгоритми дозволяють оптимізувати роботу рою та зменшувати надмірність ресурсів. Це відкриває нові можливості для розвитку автономних систем у різних областях, включаючи логістику та надзвичайні ситуації. Далі проводиться теоретичне обґрунтування змін до методу проксимальної стратегії оптимізації для багатоагентних систем Основною характеристикою алгоритму є його здатність оновлювати стратегію, роблячи кроки максимальної ефективності, при цьому дотримуючись обмежень на розходження між новою і попередньою стратегіями, використовуючи метод відсікання. Використання даного алгоритму дозволяє уникнути проблем, що виникають при застосуванні звичайних градієнтних стратегій, де великі кроки в зміні стратегії можуть привести до значного погіршення результатів через один поганий крок. Ускладнення алгоритму в багатоагентних системах полягає у врахуванні взаємодії та обміну інформацією між агентами. Для цього формула оновлення стратегії містить спеціальні параметри, що враховують дії всіх агентів, а також враховує різноманітні типи агентів та їхніх специфікацій. Третій розділ присвячений вибору середовища моделювання для подальших досліджень та експериментів у галузі робототехніки. З метою об'єктивного вибору оптимального середовища, було проведено оцінку різних інструментів моделювання на основі відгуків та характеристик, наданих джерелами, що знаходяться у вільному доступі. Результати оцінки показали, що AirSim визначається як переважне середовище для моделювання. Його багатоплатформенність, відкритий код та можливість легкого та швидкого додавання змін у середовище через Unreal Engine роблять його привабливим вибором для дослідників. З іншого боку, MissionPlanner та Morse отримали менш позитивні відгуки. Хоча MissionPlanner пропонує доступ до великої кількості реальних безпілотних літальних апаратів, його відсутність тривимірної графіки ставить під сумнів його придатність для деяких досліджень. Morse, зі свого боку, отримав відгуки про відсутність підтримки, що робить його менш привабливим варіантом для досліджень у галузі робототехніки. Нарешті, симулятор Gazebo був визначений як середовище зі широким набором параметрів для кожного агента і можливістю додавання великої кількості агентів одночасно. Проте, його відсутність офіційної підтримки операційної системи Windows і погана якість візуалізації можуть стати перешкодою для деяких досліджень. Далі в розділі розглядається процес симуляції гетерогенного рою безпілотних літальних апаратів для пошуку рухомих об'єктів у невідомому просторі. У даному дослідженні використовувався симулятор Gazebo. Для успішної реалізації симуляції було використано навчання з підкріпленням, зокрема проксимальну стратегію оптимізації. Після встановлення симулятора Gazebo та ROS (Robot Operating System) було створено моделі БПЛА та розроблено програмне забезпечення для керування роєм БПЛА з використанням навчання з підкріпленням. Умови симуляції включали в себе різноманітні топографічні особливості, такі як тунелі, пагорби, нерівності, дерева та рослинність, що підвищували складність завдання та реалізм ситуації. Застосована проксимальна стратегія оптимізації дозволила агентам у рої використовувати навчання з підкріпленням для оптимізації своєї поведінки у реальному часі. У складі рою були три типи БПЛА, кожен з яких мав свої характеристики та функціональні можливості. Під час симуляції агентам доводилося пристосовуватися до різних умов та використовувати свої можливості для успішного виявлення та відстеження об'єктів у невідомому просторі. У четвертому розділі проводиться детальний опис інформаційної технології, з її рівнями та описом збереження, перетворення, створення та обміну данними. Далі в розділі розглядається модель даної інформаційної технології, з описом кожного рівня, починаючи від рівня сенсорів, рівня обробки даних, рівня виявлення, навігації, та рівня комунікації. Описано передачу даних між рівнями та комунікацію агентів між собою і передачу повідомлень до інтерфейсу користувача, з їх подальшим збереженням та відображенням. У дисертації було вирішено усі поставлені задачі та виконано мету роботи. Інформаційну технологію розроблено в рамках науково-дослідницької роботи: «Інтелектуальні високопродуктивні технології управління технічними системами» Державний реєстраційний номер: 0121U110810; Дата реєстрації: 26-04-2021. Наукове дослідження проводилось у Національному технічному університеті України «Київський політехнічний інститут імені Ігоря Сікорського» у відповідності до напряму «Інформаційні та комунікаційні технології» переліку пріоритетних тематичних напрямів наукових досліджень і науково-технічних розробок на період до 2023 року, затвердженого постановою Кабінету Міністрів України №942 від 7.09.2011 (в редакції постанови №463 від 09.05.2023), та у відповідності до тематики наукових розробок кафедри.156 с.ukнавчання з підкріпленнямрій БПЛАінформаційна технологіягетерогенний рій БПЛАсистема прийняття рішеньнавчання з підкріпленням і роях БПЛАreinforcement learningUAV swarminformation technologyheterogeneous UAV swarmdecision-making systemreinforcement learning in UAV swarmsThesis Doctoral004.8