Спосіб навчання з підкріпленням для автономної навігації водного дрона

Скорочена інформація про документ
dc.contributor.advisorМолчанов, Олексій Андрійович
dc.contributor.authorЧекмезов, Гліб Вадимович
dc.date.accessioned2024-12-26T08:07:17Z
dc.date.available2024-12-26T08:07:17Z
dc.date.issued2024
dc.description.abstractАктуальність теми. Сучасний розвиток безпілотних технологій і потреба в автономних системах навігації для водного транспорту є одними з найважливіших тенденцій у сфері комп’ютерної інженерії. В умовах підвищеної потреби у обороні, моніторингу екологічних умов, а також виконання аварійно-рятувальних операцій в акваторіях, питання розвитку автономних водних дронів набуває особливого значення. Використання методів навчання з підкріпленням для автономної навігації водного дрона є перспективним напрямом, оскільки дає змогу створювати адаптивні системи, які взаємодіють із навколишнім середовищем, враховуючи зовнішні фактори. Це забезпечує наукову і практичну цінність роботи, оскільки дає змогу підвищити ефективність використання водних дронів, зменшуючи при цьому залежність від ручного управління й розширюючи їх функціональні можливості. Мета і завдання дослідження. Метою дисертаційної роботи є покращення процесу генерування значень нейромережевої моделі водного дрона та зменшення часових витрат на отримання бажаного результату за рахунок формулювання, розробки та застосування способу реалізації нейронної мережі для навчання моделі автономній навігації, який враховує вплив певних зовнішніх факторів динамічного водного середовища на процес навчання моделі. Для досягнення поставленої мети в дисертації вирішуються такі задачі: 1. Оглянути наявні способи та методи для вирішення проблеми автономної навігації водних дронів. 2. Сформулювати спосіб реалізації нейронної мережі для навчання моделі водного дрона автономній навігації. 3. Розробити та налаштувати модель нейронної мережі за сформульованим способом. 4. Створити та налаштувати симуляційне середовище для навчання та тестування реалізованої моделі, яка може адаптуватися до течії води та обходити перешкоди. 5. Провести порівняльний аналіз результатів навчання моделі з використанням запропонованого способу та з використанням класичного Deep Q-Network. Об’єктом дослідження є процес навчання з підкріпленням для автономної навігації у симуляційному водному середовищі для моделі водного дрона. Предметом дослідження є методи і способи навчання з підкріпленням для автономної навігації водного дрона. Для розв’язання поставлених наукових завдань використані такі методи дослідження: пошук та аналіз — для вивчення можливих рішень проблеми автономної навігації водних дронів, впливу зовнішніх факторів водного середовища та їх врахування; формалізація — для формулювання алгоритму, який враховує напрямок і швидкість течії води під час навчання моделі; моделювання, експерименту, спостереження, вимірювання, аналогії та тестування — для перевірки ефективності запропонованої моделі в умовах симуляційного середовища. Наукова новизна полягає в наступному: 1. Запропоновано новий спосіб реалізації нейронної мережі на базі методу навчання з підкріпленням для навчання моделі водного дрона автономній навігації, який відрізняється від наявних тим, що під час навчання моделі враховуються особливості керування такого дрона у динамічному водному середовищі, що дає змогу зменшити вплив зовнішніх факторів на навчання і стабілізувати процес генерування значень моделі, яка навчається. 2. За запропонованим способом реалізовано нейромережеву модель, яка використовується для навчання водного дрона у динамічному водному середовищі, яка відрізняється від наявних тим, що використовує додатковий/удосконалений алгоритм управління дроном у водному середовищі, який враховує швидкість та напрям течії відносно поточного положення дрона, що дає змогу стабілізувати процес генерування значень моделі, яка навчається. Практична цінність отриманих у роботі результатів полягає в комплексному аналізі існуючих підходів до автономної навігації дронів, зокрема конкретних алгоритмів та можливих методів використання штучного інтелекту, таких як, наприклад, навчання з підкріпленням. Запропоновану модель нейронної мережі реалізовано на базі симулятора, що дає змогу виконувати навчання в умовах, близьких до реальних. Розроблена модель демонструє підвищену стабільність та надійність навігації в умовах, де є наявними такі зовнішні фактори, як течії та перешкоди. Це знижує необхідність у ручному керуванні та забезпечує більш автономну і стабільну роботу дрона в умовах змінного середовища. Виконано порівняльне тестування з використанням адаптації до течії та без, яке підтвердило ефективність розробленої за запропонованим способом нейромережевої моделі. Використання цієї моделі забезпечує певну стабілізацію процесу навчання водного дрона у динамічному середовищі, внаслідок якої можна отримати систему автономної навігації з підвищеними характеристиками безпеки та точності виконання завдань на воді. Апробація результатів дисертації. Основні положення і результати роботи були представлені та обговорювались на XVII науково-практичній конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2024 (Київ, 20-22 листопада 2024 р.). Публікації. 1. Чекмезов, Г.В., Молчанов, О.А. (2024). Спосіб навчання з підкріпленням для автономної навігації водного дрона // XVII Науково-практична конференція магістрантів та аспірантів "Прикладна математика та комп’ютинг" (ПМК-2024) (м. Київ, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», 20-22 листопада 2024 р.), С. 627 – 631. 2. Chekmezov, H., Molchanov, O., (2024). Neural network model for autonomous navigation of a water drone. Information, Computing and Intelligent systems (5). Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів, висновків до кожного розділу, загальних висновків по роботі в цілому та списку використаних літературних джерел (32 найменувань). Повний обсяг дисертації — 146 сторінок, у тому числі 92 сторінок основного тексту, 48 рисунків, 29 слайдів презентації. У вступі роботи розглянуто сучасний стан досліджуваної проблеми, обґрунтовано її актуальність, визначено основну мету, а також підкреслено наукову новизну і практичне значення отриманих результатів. У першому розділі розглянуто наявні рішення для вирішення задачі автономної навігації дронів, проведено аналіз та порівняння для визначення їх переваг та недоліків, а також визначено проблеми автономної навігації у водному середовищі, які потребують вирішення. У другому розділі розглянуто метод навчання з підкріпленням (Deep Q-Network), проаналізовано можливі способи адаптації навчання з підкріпленням для автономної навігації у водному середовищі та їх доцільність, досліджено необхідні для цього дані. Сформульовано спосіб реалізації нейронної мережі на базі методу навчання з підкріпленням для навчання моделі водного дрона автономній навігації у водному середовищі, а також запропоновано додатковий алгоритм керування цим дроном, який враховує швидкість та напрямок течії. У третьому розділі сформульовано налаштування симуляційного середовища та розроблено модель за запропонованим у другому розділі способом реалізації нейронної мережі з додатковим алгоритмом керування для практичного використання. У четвертому розділі виконано тестування налаштованого симуляційного середовища, а також проведено декілька процесів навчання та порівняння отриманих результатів між запропонованим способом та класичним Deep Q-Network в різних симуляційніх ситуаціях: при наявності течії та перешкод; без течії, але з перешкодами; без перешкод, але з течією; при наявності течії та перешкод з різною кількістю датчиків, які надають інформацію щодо поточного стану середовища. У висновках представлені результати проведеної роботи. Ключові слова: водний дрон, навчання з підкріпленням, Deep Q-Network, автономна навігація.
dc.description.abstractotherRelevance of the of the topic. The modern development of unmanned technologies and the need for and the need for autonomous navigation systems for water transport are among the of the most important trends in the field of computer engineering. In the context of increased the need for defense, environmental monitoring, and rescue operations in the rescue operations in water areas, the development of autonomous water drones is of particular importance. The use of training methods with reinforcement learning methods for autonomous navigation of a water drone is a promising area, as it allows creating adaptive systems that interact with the environment environment, taking into account external factors. This provides scientific and practical value of the work, as it makes it possible to increase the efficiency of water drones, while reducing dependence on manual control and expanding their functionality. The purpose and objectives of the study. The aim of the dissertation is to improve the process of generating values of a neural network model of a water drone and reduce the time required to obtain the desired result by formulating, developing and applying a method of implementing a neural network for training an autonomous navigation model that takes into account the influence of certain external factors of the dynamic water environment on the model training process. To achieve this goal, the dissertation solves the following tasks: 1. To review existing methods and techniques for solving the problem of autonomous navigation of water drones. 2. Formulate a method for implementing a neural network for training a water drone model for autonomous navigation. 3. Develop and configure a neural network model according to the formulated method. 4. Create and configure a simulation environment for training and testing the implemented model that can adapt to the flow of water and avoid obstacles. 5. Conduct a comparative analysis of the model training results using the proposed method and the classical Deep Q-Network. The object of research is the process of reinforcement learning for autonomous navigation in a simulated water environment for a water drone model. The subject of the study is methods and techniques of reinforcement learning for autonomous navigation of a water drone. The following research methods were used to solve the scientific problems: search and analysis — to study possible solutions to the problem of autonomous navigation of water drones, the impact of external factors of the water environment and their consideration; formalization — to formulate an algorithm that takes into account the direction and speed of water flow during model training; modeling, experiment, observation, measurement, analogy and testing — to test the effectiveness of the proposed model in a simulation environment. The scientific novelty is as follows: 1. A new method for implementing a neural network based on the reinforcement learning method for training a water drone model for autonomous navigation is proposed, which differs from the existing ones in that the model training takes into account the peculiarities of controlling such a drone in a dynamic water environment, which makes it possible to reduce the influence of external factors on training and stabilize the process of generating the values of the model being trained. 2. The proposed method implements a neural network model used to train a water drone in a dynamic water environment, which differs from existing ones in that it uses an additional/improved algorithm for controlling a drone in a water environment that takes into account the speed and direction of the current relative to the current position of the drone, which makes it possible to stabilize the process of generating values of the model being trained. The practical value of the results obtained in this work lies in a comprehensive analysis of existing approaches to autonomous drone navigation, including specific algorithms and possible methods of using artificial intelligence, such as reinforcement learning. The proposed neural network model is implemented on the basis of a simulator, which makes it possible to perform training in conditions close to real ones. The developed model demonstrates increased stability and reliability of navigation in conditions where external factors such as water currents and obstacles are present. This reduces the need for manual control and ensures more autonomous and stable operation of the drone in a changing environment. Comparative testing with and without adaptation to the water current was performed, which confirmed the effectiveness of the neural network model developed using the proposed method. The use of this model provides a certain stabilization of the process of training a water drone in a dynamic environment, which can result in an autonomous navigation system with increased safety and accuracy of performing tasks on water. Approbation of the work. The main provisions and results of the work were presented and discussed at the XVII Scientific and Practical Conference of Master’s and Postgraduate Students “Applied Mathematics and Computer Science” PMK-2024 (Kyiv, November 20-22, 2024). Publications. 1. Chekmezov, G.V., Molchanov, O.A. (2024). A reinforcement learning method for autonomous navigation of a water drone // XVII Scientific and Practical Conference of Master’s and Postgraduate Students “Applied Mathematics and Computing” (PMK-2024) (Kyiv, National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, November 20-22, 2024), pp. 627-631. 2. Chekmezov, H., Molchanov, O., (2024). Neural network model for autonomous navigation of a water drone. Information, Computing and Intelligent systems (5). Structure and scope of the work. The master's thesis consists of an introduction, four chapters, conclusions to each chapter, general conclusions on the work as a whole, and a list of references (32 titles). The total volume of the dissertation is 146 pages, including 92 pages of the main text, 48 figures, 29 presentation slides. The introduction of the work describes the current state of the problem under study, substantiates its relevance, defines the main objective, and emphasizes the scientific novelty and practical significance of the results. The first section reviews the existing solutions for solving the problem of autonomous drone navigation, analyzes and compares them to determine their advantages and disadvantages, and identifies the problems of autonomous navigation in the water environment that need to be solved. The second section discusses the method of reinforcement learning (Deep Q-Network), analyzes possible ways to adapt reinforcement learning for autonomous navigation in the water environment and their feasibility, and investigates the data required for this. A method of implementing a neural network based on the reinforcement learning method for training a water drone model for autonomous navigation in the water environment is formulated, and an additional algorithm for controlling this drone, which takes into account the speed and direction of the current, is proposed. In the third section, the settings of the simulation environment were formulated and a model based on the method of implementing a neural network with an additional control algorithm for practical use, proposed in the second section, were developed. The fourth section tests the configured simulation environment, performs several training processes, and compares the results obtained between the proposed method and the classical Deep Q-Network in various simulation situations: in the presence of water current and obstacles; without water current but with obstacles; without obstacles but with water current; in the presence of water current and obstacles with a different number of sensors providing information about the current state of the environment. The conclusions present the results of the work. Keywords: water drone, reinforcement learning, Deep Q-Network, autonomous navigation.
dc.format.extent129 с.
dc.identifier.citationЧекмезов, Г. В. Спосіб навчання з підкріпленням для автономної навігації водного дрона : магістерська дис. : 123 Комп'ютерна інженерія / Чекмезов Гліб Вадимович. – Київ, 2024. – 129 с
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/71344
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectводний дрон
dc.subjectнавчання з підкріпленням
dc.subjectDeep Q-Network
dc.subjectавтономна навігація
dc.subjectwater drone
dc.subjectreinforcement learning
dc.subjectautonomous navigation
dc.subjectwater drone
dc.subjectreinforcement learning
dc.subjectDeep Q-Network
dc.subjectautonomous navigation
dc.subject.udc004.8 : 004.94
dc.titleСпосіб навчання з підкріпленням для автономної навігації водного дрона
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
Chekmezov_HV_KV31mp_magistr_2024.docx
Розмір:
8.13 MB
Формат:
Microsoft Word XML
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (СПСКС)
Магістерські роботи