Neural network model for autonomous navigation of a water drone

Скорочена інформація про документ
dc.contributor.authorChekmezov, Hlib
dc.contributor.authorMolchanov, Oleksii
dc.date.accessioned2025-04-16T09:53:57Z
dc.date.available2025-04-16T09:53:57Z
dc.date.issued2024
dc.description.abstractWater drones have significant potential for use in environmental monitoring, search and rescue operations, and marine infrastructure inspection, but the specific conditions of the water environment make it difficult to implement stable autonomous navigation. The object of research presented in this paper is the machine learning process for autonomous navigation of a water drone model in a simulated water environment. The purpose of the study is to implement a neural network model for autonomous navigation of a water drone using a reinforcement learning method that provides improved obstacle avoidance and adaptation to water currents. To achieve this purpose, a new neural network model for autonomous drone navigation in the water environment based on the reinforcement learning method is proposed, which differs from the existing ones in that it uses an improved drone control algorithm that takes into account the speed and direction of the water current, which makes it possible to stabilize the process of generating neural network coefficients. To ensure an effective learning process and optimization of the model, a simulation training environment was developed using the USVSim simulator, which contains various factors that interfere with the drone's movement, such as water current and the presence of other objects. The water drone, acting as an agent, gradually learns to choose the most effective actions to maximize positive rewards through trial and error, interacting with the environment and adapting to changing conditions. This process takes place through the use of a Deep Q-Network: the drone provides the value of its current state to a deep neural network; the neural network processes the data, predicts the value of the most effective action, and gives it to the agent. The current state of the drone is information in the form of a set of sensor readings measuring the distance to the nearest obstacles, drone’s heading and current distance to goal. The value of the effective action received from the neural network is converted into a command for the rudder that the drone can understand. The value of the drone's thruster power is calculated by separate formulas using trigonometric functions. The results of the study showed that the use of the proposed model allows the drone to make decisions in a dynamic water environment when rapid adaptation to changes is required. The model successfully adapted its strategy based on feedback from the environment, so it can be concluded that the implemented model shows significant potential for further research and applications in the field of autonomous water drones, especially in changing and unpredictable environments.
dc.description.abstractotherВодні дрони мають значний потенціал для застосування в екологічному моніторингу, пошуково-рятувальних операціях та інспекції морської інфраструктури, однак специфічні умови водного середовища ускладнюють реалізацію стабільної автономної навігації. Об’єктом дослідження, представленого в цій статті, є процес машинного навчання для автономної навігації моделі водного дрона у симуляційному водному середовищі. Метою дослідження є реалізація моделі нейронної мережі для автономної навігації водного дрона з використанням методу навчання з підкріпленням, що забезпечує підвищення ефективності уникнення перешкод та адаптацію до водних течій. Для досягнення даної мети запропоновано нову нейромережеву модель для автономної навігації дрона у водному середовищі на базі методу навчання з підкріпленням, яка відрізняється від наявних тим, що використовує удосконалений алгоритм управління дроном, який враховує швидкість та напрям течії, що дає змогу стабілізувати процес генерування коефіцієнтів нейронної мережі. Задля забезпечення ефективного процесу навчання та оптимізації моделі розроблено симуляційне навчальне середовище за допомогою симулятора USVSim, яке містить різноманітні фактори, що заважають руху дрона, такі як течія води та наявність інших об’єктів. Водний дрон, виступаючи як агент, поступово навчається обирати найбільш ефективні дії для досягнення максимальної позитивної винагороди методом спроб і помилок, взаємодіючи із середовищем та пристосовуючись до змінних умов. Цей процес відбувається за рахунок використання Deep Q-Network: дрон надає значення свого поточного стану до глибокої нейронної мережі; нейронна мережа обробляє отримані дані, прогнозує значення найбільш ефективної дії та віддає його агенту. Поточним станом дрона є інформація у вигляді набору показників датчиків вимірювання відстані до найближчих перешкод, напрям дрона та поточна відстань до цільової точки. Значення ефективної дії, отриманої від нейронної мережі, перетворюється на команду для керма, зрозумілу для дрона. Значення потужності мотора дрона розраховується окремими формулами з використанням тригонометричних функцій. Результати дослідження показали, що використання запропонованої моделі дає дрону змогу приймати рішення в умовах динамічної водної обстановки, коли необхідна швидка адаптація до змін. Модель успішно адаптувала свою стратегію на основі зворотного зв’язку з середовищем, тому можна зробити висновок, що реалізована нейромережева модель демонструє значний потенціал для подальших досліджень та застосувань у сфері автономних водних дронів, особливо у мінливих і непередбачуваних середовищах.
dc.format.pagerangePp. 4-16
dc.identifier.citationChekmezov, H. Neural network model for autonomous navigation of a water drone / Hlib Chekmezov, Oleksii Molchanov // Information, Computing and Intelligent systems. – 2024. – No. 5. – Pp. 4-16. – Bibliogr.: 19 ref.
dc.identifier.doihttps://doi.org/10.20535.2786-8729.5.2024/315700
dc.identifier.orcid0009-0003-0404-7834
dc.identifier.orcid0000-0001-8384-0918
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/73387
dc.language.isoen
dc.publisherNational Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
dc.publisher.placeKyiv
dc.relation.ispartofInformation, Computing and Intelligent systems, No.5
dc.subjectwater drone
dc.subjectmachine learning
dc.subjectDQN
dc.subjectautonomous navigation
dc.subjectalgorithm
dc.subjectводний дрон
dc.subjectмашинне навчання
dc.subjectавтономна навігація
dc.subjectалгоритм
dc.subject.udc004.8 : 004.94
dc.titleNeural network model for autonomous navigation of a water drone
dc.title.alternativeНейромережева модель для автономної навігації водного дрона
dc.typeArticle

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
4-16.pdf
Розмір:
1.19 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Information, Computing and Intelligent systems, No. 5