Спосіб навчання з підкріпленням для автономної навігації водного дрона
Ескіз недоступний
Дата
2024
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Актуальність теми. Сучасний розвиток безпілотних технологій і потреба в автономних системах навігації для водного транспорту є одними з найважливіших тенденцій у сфері комп’ютерної інженерії. В умовах підвищеної потреби у обороні, моніторингу екологічних умов, а також виконання аварійно-рятувальних операцій в акваторіях, питання розвитку автономних водних дронів набуває особливого значення. Використання методів навчання з підкріпленням для автономної навігації водного дрона є перспективним напрямом, оскільки дає змогу створювати адаптивні системи, які взаємодіють із навколишнім середовищем, враховуючи зовнішні фактори. Це забезпечує наукову і практичну цінність роботи, оскільки дає змогу підвищити ефективність використання водних дронів, зменшуючи при цьому залежність від ручного управління й розширюючи їх функціональні можливості.
Мета і завдання дослідження. Метою дисертаційної роботи є покращення процесу генерування значень нейромережевої моделі водного дрона та зменшення часових витрат на отримання бажаного результату за рахунок формулювання, розробки та застосування способу реалізації нейронної мережі для навчання моделі автономній навігації, який враховує вплив певних зовнішніх факторів динамічного водного середовища на процес навчання моделі.
Для досягнення поставленої мети в дисертації вирішуються такі задачі:
1. Оглянути наявні способи та методи для вирішення проблеми автономної навігації водних дронів.
2. Сформулювати спосіб реалізації нейронної мережі для навчання моделі водного дрона автономній навігації.
3. Розробити та налаштувати модель нейронної мережі за сформульованим способом.
4. Створити та налаштувати симуляційне середовище для навчання та тестування реалізованої моделі, яка може адаптуватися до течії води та обходити перешкоди.
5. Провести порівняльний аналіз результатів навчання моделі з використанням запропонованого способу та з використанням класичного Deep Q-Network.
Об’єктом дослідження є процес навчання з підкріпленням для автономної навігації у симуляційному водному середовищі для моделі водного дрона.
Предметом дослідження є методи і способи навчання з підкріпленням для автономної навігації водного дрона.
Для розв’язання поставлених наукових завдань використані такі методи дослідження: пошук та аналіз — для вивчення можливих рішень проблеми автономної навігації водних дронів, впливу зовнішніх факторів водного середовища та їх врахування; формалізація — для формулювання алгоритму, який враховує напрямок і швидкість течії води під час навчання моделі; моделювання, експерименту, спостереження, вимірювання, аналогії та тестування — для перевірки ефективності запропонованої моделі в умовах симуляційного середовища.
Наукова новизна полягає в наступному:
1. Запропоновано новий спосіб реалізації нейронної мережі на базі методу навчання з підкріпленням для навчання моделі водного дрона автономній навігації, який відрізняється від наявних тим, що під час навчання моделі враховуються особливості керування такого дрона у динамічному водному середовищі, що дає змогу зменшити вплив зовнішніх факторів на навчання і стабілізувати процес генерування значень моделі, яка навчається.
2. За запропонованим способом реалізовано нейромережеву модель, яка використовується для навчання водного дрона у динамічному водному середовищі, яка відрізняється від наявних тим, що використовує додатковий/удосконалений алгоритм управління дроном у водному середовищі, який враховує швидкість та напрям течії відносно поточного положення дрона, що дає змогу стабілізувати процес генерування значень моделі, яка навчається.
Практична цінність отриманих у роботі результатів полягає в комплексному аналізі існуючих підходів до автономної навігації дронів, зокрема конкретних алгоритмів та можливих методів використання штучного інтелекту, таких як, наприклад, навчання з підкріпленням. Запропоновану модель нейронної мережі реалізовано на базі симулятора, що дає змогу виконувати навчання в умовах, близьких до реальних. Розроблена модель демонструє підвищену стабільність та надійність навігації в умовах, де є наявними такі зовнішні фактори, як течії та перешкоди. Це знижує необхідність у ручному керуванні та забезпечує більш автономну і стабільну роботу дрона в умовах змінного середовища. Виконано порівняльне тестування з використанням адаптації до течії та без, яке підтвердило ефективність розробленої за запропонованим способом нейромережевої моделі. Використання цієї моделі забезпечує певну стабілізацію процесу навчання водного дрона у динамічному середовищі, внаслідок якої можна отримати систему автономної навігації з підвищеними характеристиками безпеки та точності виконання завдань на воді.
Апробація результатів дисертації. Основні положення і результати роботи були представлені та обговорювались на XVII науково-практичній конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2024 (Київ, 20-22 листопада 2024 р.).
Публікації.
1. Чекмезов, Г.В., Молчанов, О.А. (2024). Спосіб навчання з підкріпленням для автономної навігації водного дрона // XVII Науково-практична конференція магістрантів та аспірантів "Прикладна математика та комп’ютинг" (ПМК-2024) (м. Київ, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», 20-22 листопада 2024 р.), С. 627 – 631.
2. Chekmezov, H., Molchanov, O., (2024). Neural network model for autonomous navigation of a water drone. Information, Computing and Intelligent systems (5).
Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів, висновків до кожного розділу, загальних висновків по роботі в цілому та списку використаних літературних джерел (32 найменувань). Повний обсяг дисертації — 146 сторінок, у тому числі 92 сторінок основного тексту, 48 рисунків, 29 слайдів презентації.
У вступі роботи розглянуто сучасний стан досліджуваної проблеми, обґрунтовано її актуальність, визначено основну мету, а також підкреслено наукову новизну і практичне значення отриманих результатів.
У першому розділі розглянуто наявні рішення для вирішення задачі автономної навігації дронів, проведено аналіз та порівняння для визначення їх переваг та недоліків, а також визначено проблеми автономної навігації у водному середовищі, які потребують вирішення.
У другому розділі розглянуто метод навчання з підкріпленням (Deep Q-Network), проаналізовано можливі способи адаптації навчання з підкріпленням для автономної навігації у водному середовищі та їх доцільність, досліджено необхідні для цього дані. Сформульовано спосіб реалізації нейронної мережі на базі методу навчання з підкріпленням для навчання моделі водного дрона автономній навігації у водному середовищі, а також запропоновано додатковий алгоритм керування цим дроном, який враховує швидкість та напрямок течії.
У третьому розділі сформульовано налаштування симуляційного середовища та розроблено модель за запропонованим у другому розділі способом реалізації нейронної мережі з додатковим алгоритмом керування для практичного використання.
У четвертому розділі виконано тестування налаштованого симуляційного середовища, а також проведено декілька процесів навчання та порівняння отриманих результатів між запропонованим способом та класичним Deep Q-Network в різних симуляційніх ситуаціях: при наявності течії та перешкод; без течії, але з перешкодами; без перешкод, але з течією; при наявності течії та перешкод з різною кількістю датчиків, які надають інформацію щодо поточного стану середовища.
У висновках представлені результати проведеної роботи.
Ключові слова: водний дрон, навчання з підкріпленням, Deep Q-Network, автономна навігація.
Опис
Ключові слова
водний дрон, навчання з підкріпленням, Deep Q-Network, автономна навігація, water drone, reinforcement learning, autonomous navigation, water drone, reinforcement learning, Deep Q-Network, autonomous navigation
Бібліографічний опис
Чекмезов, Г. В. Спосіб навчання з підкріпленням для автономної навігації водного дрона : магістерська дис. : 123 Комп'ютерна інженерія / Чекмезов Гліб Вадимович. – Київ, 2024. – 129 с