Система керування мультироторним БПЛА на основі нейромережевої візуально-інерціальної одометрії

Біганський, Богдан Миколайович

Система керування мультироторним БПЛА на основі нейромережевої візуально-інерціальної одометрії

dc.contributor.advisor	Ковалюк, Дмитро Олександрович
dc.contributor.author	Біганський, Богдан Миколайович
dc.date.accessioned	2026-08-28T13:27:23Z
dc.date.available	2026-08-28T13:27:23Z
dc.date.issued	2026
dc.description.abstract	Біганський Б. М. Система керування мультироторним БПЛА на основі нейромережевої візуально-інерціальної одометрії. - Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 151 «Автоматизація та комп’ютерно-інтегровані технології» – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» МОН України, Київ, 2026. Дисертація присвячена розв'язанню актуальної науково-практичної задачі підвищення ефективності керування безпілотними літальними апаратами, які відіграють ключову роль у розвитку сучасних технологій, знаходячи застосування у широкому спектрі задач: від інспекції інженерних споруд та інфраструктури до пошукових або рятувальних робіт у небезпечних зонах. У таких системах необхідна надійна навігація та керування, особливо при відсутності сигналу глобальної супутникової системи. Тому, забезпечення точної оцінки траєкторії руху, пози та орієнтації в конкретний момент часу в невідомому середовищі є критично важливим для безпеки та ефективного виконання місії. Еволюція алгоритмів навігації сьогодні нерозривно пов’язана з злиттям сенсорних даних, серед яких візуально-інерціальна одометрія відіграє роль базового джерела просторової інформації. Дослідження традиційних методів візуальної навігації виявило їхню критичну вразливість: вони ефективні лише за умови високої текстурності середовища. Зокрема, алгоритми, що оперують розрідженими ознаками (такі як ORB-SLAM3, VINS-Mono) різко втрачають надійність під час польотів у тунелях, індустріальних коридорах або приміщеннях з однотонними стінами. Втрата візуального відстеження у таких випадках провокує швидке накопичення навігаційного дрейфу, що неминуче викликає збої в контурі керування БПЛА. Відповідно, створення алгоритмів щільної одометрії постає як актуальне практичне завдання. В дисертаційному дослідженні детально розглянуто специфіку побудови щільних карт місцевості та способи оцінювання глибини за відеопотоком. З’ясовано, що точність і безперебійність навігаційного процесу прямо корелюють із тим, наскільки якісно реконструйовано геометрію сцени. Враховуючи суттєві обмеження класичних стереосистем і традиційних нейромереж для прогнозування глибини, у роботі доведено необхідність переходу до нових архітектур. Зокрема, обґрунтовано застосування сучасних геометрично-орієнтованих нейромереж. Їх головна перевага полягає у здатності генерувати інваріантну просторову структуру навіть за наявності лише одного монокулярного зображення. Встановлено ключову роль етапу геометричної реєстрації як основної стадії формування візуальних обмежень для корекції інерціального дрейфу. Також для підвищення ефективності процесу візуально-інерціальної одометрії необхідна реалізація оптимального алгоритму комплексування даних. Описані вище етапи знайшли своє відображення у розробленні системи монокулярної візуально-інерціальної одометрії, яка поєднує нейромережеві оцінки щільної геометрії сцени та алгоритми прямої геометричної реєстрації у схему оптимізації на основі фактор-графа, що забезпечує низький дрейф навігації в умовах відсутності текстур. У результаті проведеного аналізу сучасних інструментів глибинного навчання визначена модель MoGe (Monocular Geometry) як основа візуального фронтенду. Для математичного моделювання процесу оцінки стану розроблена модель, що включає фактори інерціальної преінтеграції на многовиді 𝑆𝑂(3) та щільні візуальні фактори, отримані в результаті реєстрації хмар точок. Обґрунтовано математичне моделювання системи у вигляді імовірнісного фактор-графа, як найбільш ефективного способу врахування невизначеності вимірювань різнорідних сенсорів. Сформовано методику та порядок проведення обробки даних у реальному часі. Основну увагу при розробці системи приділено: попередній фільтрації кінематичного стану БПЛА за допомогою фільтра ковзного вікна (SWF), який нівелює високочастотні шуми та формує стабільне початкове наближення для подальшої оптимізації; прямій регресії карт точок без використання матриці інтринсиків; адаптивній фільтрації шумів нейромережі за допомогою масок впевненості; використанню алгоритму ICP (Point-to-Point) з адаптивним порогом для швидкої реєстрації кадрів; а також розрахунку коваріації візуальних вимірювань на основі метрики відповідності (fitness score) для їх злиття у фінальному факторграфі. Проте реалізації щільної одометрії вимагають великих обчислювальних ресурсів, що ускладнює їх застосування на бортових комп’ютерах мобільних роботів. Це зумовило подальші дослідження пов’язані з оптимізацією архітектури системи та параметрів алгоритмів. Показано, що класичні підходи до оптимізації (Batch Optimization) потребують значного часу розрахунку при зростанні траєкторії і не можуть бути використані в системах керування реального часу. Обґрунтована необхідність використання інкрементального згладжування та механізму маргіналізації старих станів. Аналізіснуючих алгоритмів виділення ключових кадрів виявив неефективність просторових евристик. Щоб уникнути надмірного зростання графа, у дослідженні застосовано інформаційно-теоретичний підхід, де критерієм відбору слугує ентропія. Завдяки цьому система додає нові змінні не за фактом проходження певної відстані, а виключно тоді, коли вони забезпечують вагомий інформаційний приріст. Спільну роботу камери та інерціального вимірювального модуля (IMU) забезпечує спеціальний модуль преінтеграції. Його завдання полягає у тому, щоб агрегувати масив високочастотних показників IMU, перетворюючи їх на єдине компактне геометричне обмеження. Важливою складовою цього етапу є виведені у роботі аналітичні залежності. Вони необхідні для швидкого перерахунку преінтегрованих величин щоразу, коли система оновлює оцінку зміщень для гіроскопа та акселерометра. Експериментальна перевірка підтвердила дієвість запропонованого способу формування візуальних факторів. Завдяки застосуванню трансформерної моделі MoGe система здатна захоплювати глобальний контекст сцени. Це означає, що алгоритм зберігає стабільність навігації навіть за повної відсутності локальних текстур – у таких умовах він успішно орієнтується за загальною структурною геометрією простору (лінії перетину стін, площини підлоги та стелі). Оцінювання точності та надійності створеної системи MoGe-VIO довело її перевагу над класичними рішеннями. Тестування алгоритму виконувалося на базі загальноприйнятих датасетів EuRoC MAV та TUM-VI, де розрахована траєкторія зіставлялася з істинною за критерієм абсолютної похибки траєкторії. Отримані дані підтверджують: під час польотів у зонах зі слабо вираженою текстурою (наприклад, локації TUM-VI Outdoors або звичайні коридори) запропонований метод генерує значно меншу похибку позиціонування порівняно з ORB-SLAM3 та VINS-Mono. Крім того, система продемонструвала високу стійкість до накопичення дрейфу масштабу. Отримані результати підтверджують, що система здатна працювати на сучасних вбудованих платформах з частотою оновлення одометрії 10–15 Гц. Це дозволяє безпосередньо інтегрувати систему в контур керування БПЛА. Важливою перевагою створеного монокулярного рішення є його апаратна ефективність: на відміну від громіздких LiDAR-сенсорів чи стереокамер, воно потребує значно менше енергії та має компактні габарити, зберігаючи при цьому високу точність щільної реконструкції простору. Крім обчислення самої траєкторії польоту, алгоритм паралельно генерує щільну карту перешкод у режимі реального часу. Саме ця властивість відіграє ключову роль у безпечній навігації, оскільки забезпечує базу для планування шляху та своєчасного уникнення зіткнень. З урахуванням розробленої системи візуально-інерціальної одометрії було розглянуто задачу стабілізації висоти БПЛА під дією зовнішніх збурень, зокрема поривів вітру. Використано стандартну математичну модель такого об’єкту, що базується на жорсткому тілі з шістьма ступенями вільності (6-DOF), описаними рівняннями Ньютона та Ейлера. Розглядаються рівняння динаміки, що описують результуючу силу та момент, а також швидкості та кутові швидкості у відповідній системі координат. Для синтезу контурів керування було обрано три підходи: класичний PIDрегулятор, регулятор на базі нечіткої логіки та лінійно-квадратичний регулятор (LQR). Щоб максимально наблизити експеримент до умов реальної експлуатації, параметри керування розраховувалися з урахуванням апаратних часових затримок надходженню даних від навігаційного модуля. Детально проаналізовано ключові показники: якість перехідних процесів, загальний запас стійкості системи, а також її здатність реагувати на зовнішні збурення та повертатися до стану рівноваги. Результати демонструють відмінності у швидкості реакції, точності стабілізації та адаптивності методів керування, що дозволяє визначити оптимальні підходи для забезпечення надійного утримання висоти БПЛА в умовах змінного середовища. Моделювання систем керування БПЛА здійснено за допомогою MATLAB Simulink. Наукова новизна отриманих результатів дисертаційної роботи полягає в наступному: вперше розроблено систему монокулярної візуально-інерціальної одометрії, що поєднує нейромережеві оцінки щільної геометрії сцени (MoGe) та алгоритми прямої геометричної реєстрації (ICP) у схему оптимізації на основі фактор-графа; удосконалено критерій оптимізації для оцінки траєкторії та станів БПЛА, який комплексно враховує преінтегровані пози, зміщення хмар точок між кадрами та апріорні геометричні знання від нейромережі, що дозволяє в рамках єдиної задачі мінімізації похибки поєднати візуальні обмеження від ICP та інерціальні дані, підвищуючи точність оцінки масштабу; вперше розроблено систему підтримки прийняття рішень для конфігурації параметрів алгоритмів VIO/SLAM на бортових Еdge-платформах, яка на відміну від існуючих підходів використовує виявлені закономірності «точок перегину» часової складності обчислень та результати порівняльного аналізу ефективності бібліотек нелінійної оптимізації (GTSAM, SymForce, Ceres); дістали подальшого розвитку математичні моделі систем керування БПЛА в умовах дії висотних збурень на основі нечіткого (Fuzzy) та лінійно-квадратичного (LQR) регуляторів, параметри яких адаптовано до динамічних характеристик часової затримки, що виникає при роботі VIOалгоритмів; Практичне значення отриманих результатів полягає у наступному: розроблено робастну систему навігації для автономного інспектування інженерних споруд (промислових об'єктів, фасадів, мостів). У складних індустріальних чи міських середовищах алгоритм гарантує високоточну локалізацію БПЛА, що є критично важливим етапом для подальшої просторової 3D-реконструкції; Забезпечено апаратну оптимізацію та здешевлення комплексу: перехід від масивних LiDARсканерів до монокулярної камери дає змогу ефективно інтегрувати розроблену систему на дрони, обладнані бортовими нейроприскорювачами (Edge GPU); Розроблено методику адаптації обчислювального конвеєра спеціально для Edgeплатформ. Підхід дозволяє динамічно балансувати між деталізацією (щільністю) генерованих хмар точок та швидкістю оновлення навігаційних станів, гарантуючи роботу нейромереж в режиі реального часу; підвищено стабільність контуру керування під час виконання інспекційних польотів. Завдяки врахуванню апаратних часових затримок, притаманних обчисленням у глибоких нейромережах, апарат значно точніше утримує задану траєкторію та висоту навіть під впливом динамічних вітрових збурень.
dc.description.abstractother	Bihanskyi B. M. Control System for Multi-Rotor UAV Based on Neural Network Visual-Inertial Odometry. – Qualification scientific work with the status of a manuscript. Dissertation for the degree of Doctor of Philosophy in specialty 151 «Automation and Computer-Integrated Technologies» – National Technical University of Ukraine «Igor Sikorsky Kyiv Polytechnic Institute», Ministry of Education and Science of Ukraine, Kyiv, 2026. The thesis is devoted to solving the relevant scientific and practical problem of increasing the control efficiency of unmanned aerial vehicles, which play a key role in the development of modern technologies, finding application in a wide range of tasks: from infrastructure inspection and logistics to search and rescue operations in disaster zones. Strict requirements regarding navigation and control reliability are imposed on such systems, especially in conditions of absence or suppression of global satellite system signals. Ensuring accurate trajectory estimation in an unknown environment is critical for the safety and efficiency of mission execution. Modern trends in the development of navigation algorithms determine the transition to sensor fusion methods, where visual-inertial odometry acts as the main source of information. The conducted analysis of existing visual navigation methods highlighted their dependence on the presence of a sufficient number of texture features in the surrounding environment. Such classical sparse feature-based algorithms as VINS-Mono and ORB-SLAM3 are vulnerable in conditions of low texture saturation (e.g., rooms with white walls, industrial corridors, tunnels). Loss of visual tracking in these conditions leads to rapid accumulation of navigation system drift and, as a consequence, to control errors; therefore, the development of dense odometry methods is particularly relevant. The work analyzes methods for obtaining depth from images and the specifics of building dense terrain maps. It is shown that one of the determining factors in terms of navigation accuracy and stability is the quality of geometric scene reconstruction. The limitations of traditional stereo vision methods and classical depth estimation neural networks are analyzed. Based on the analysis, the feasibility of using novel geometryoriented neural networks capable of recovering the affine-invariant structure of a scene from a single image is substantiated. The key role of the geometric registration stage as the main stage of forming visual constraints for correcting inertial drift is established. Also, to increase the efficiency of the visual-inertial odometry process, it is necessary to implement an optimal data fusion algorithm. The stages described above are reflected in the development of a monocular visualinertial odometry system that combines neural network estimates of dense scene geometry and direct geometric registration algorithms into an optimization scheme based on a factor graph, ensuring low navigation drift in textureless conditions. As a result of the conducted analysis of modern deep learning tools, the MoGe (Monocular Geometry) model was defined as the basis of the visual Frontend. For mathematical modeling of the state estimation process, a model was developed that includes inertial pre-integration factors on the SO(3) manifold and dense visual factors obtained as a result of point cloud registration. The mathematical modeling of the system in the form of a probabilistic factor graph is substantiated as the most effective way to account for the measurement uncertainty of heterogeneous sensors. A methodology and procedure for real-time data processing have been established. During the system development, the main focus was placed on: pre-filtering the UAV kinematic state using a Sliding Window Filter (SWF), which mitigates high-frequency noise and provides a stable initial guess for subsequent optimization; direct point map regression without utilizing the camera intrinsics matrix; adaptive filtering of neural network noise using confidence masks; the application of the Point-to-Point ICP algorithm with an adaptive threshold for fast frame registration; and the calculation of visual measurement covariance based on the fitness score for their fusion in the final factor graph. However, dense odometry implementations require significant computational resources, which complicates their application on the onboard computers of mobile robots. This necessitated further research related to the optimization of the system architecture and algorithm parameters. It is shown that classical optimization approaches (Batch Optimization) require significant calculation time as the trajectory grows and cannot be used in real-time control systems. The necessity of using incremental smoothing and a mechanism for the marginalization of old states is substantiated. An analysis of keyframe selection methods was conducted. Based on the analysis, the feasibility of using an information-theoretic criterion based on entropy (the determinant of the information matrix) instead of simple distance heuristics is substantiated. This allowed for optimizing the graph size by adding new variables only when they make a significant information contribution. To build a simplified but effective model of the interaction between the IMU and the camera, a pre-integration module was implemented, which allows collapsing hundreds of high-frequency inertial sensor measurements into a single geometric constraint. Analytical expressions were developed for correcting pre-integrated values when the accelerometer and gyroscope bias estimates change. Research results demonstrated the high efficiency of the proposed approach to forming visual factors. It was established that the use of the global scene context, provided by the MoGe transformer architecture, allows the system to function stably even in the complete absence of local texture features, relying on the structural geometry of the room (floor, ceiling, corners). The conducted study of the accuracy and adequacy of the developed system showed its superiority over existing analogues. To verify the algorithm's effectiveness, a series of experiments was conducted on standard datasets EuRoC MAV and TUM-VI. Verification for adequacy was carried out by comparing the estimated trajectory with the ground truth using the Absolute Trajectory Error (ATE) metric. Analysis of the obtained results indicates that in low-texture conditions (TUM-VI Outdoors, corridors), the proposed MoGe-VIO method ensures a reduction in positioning error compared to VINS-Mono and ORB-SLAM3, demonstrating resistance to scale drift. The obtained results confirm that the system is capable of operating on modern embedded platforms with an odometry update rate of 10–15 Hz. This allows it to be used in the UAV control loop. Compared to systems based on stereo cameras or LiDAR, the developed monocular system has smaller dimensions and power consumption, while providing comparable accuracy of dense environment reconstruction. The developed approach allows not only estimating the trajectory but also building a dense obstacle map in real-time, which is critical for path planning and collision avoidance tasks. Taking into account the developed visual-inertial odometry system, the problem of quadcopter altitude stabilization under the influence of external disturbances, particularly wind gusts, was considered. A standard mathematical model of such an object based on a rigid body with six degrees of freedom (6-DOF), described by Newton's and Euler's equations, was used. The equations of dynamics describing the resultant force and moment, as well as velocities and angular velocities in the corresponding coordinate system, are considered. The synthesis of control systems was carried out based on a classical PID regulator, fuzzy logic, and a Linear-Quadratic Regulator (LQR). The calculation of regulator parameters was performed based on data coming from the navigation system with certain time delays, reflecting functioning in real conditions. Simulation of control systems using each type of controller was implemented, and the quality of transient processes, stability, and the ability to restore equilibrium after the impact of disturbances were evaluated. The results demonstrate differences in reaction speed, stabilization accuracy, and adaptability of control methods, which allows determining optimal approaches for ensuring reliable altitude holding of the quadcopter in a variable environment. Simulation of quadcopter control systems was carried out using MATLAB Simulink. The scientific novelty of the results obtained in this dissertation is as follows: for the first time, a monocular visual-inertial odometry (VIO) system has been developed that integrates neural network-based estimates of dense scene geometry (MoGe) and direct geometric registration algorithms (ICP) into a factor-graph-based optimization scheme; an optimization criterion for estimating UAV trajectories and states has been improved. This criterion comprehensively accounts for pre-integrated poses, point cloud offsets between frames, and a priori geometric knowledge from the neural network. This allows for the integration of visual constraints from ICP and inertial data within a single error minimization task, thereby increasing the accuracy of scale estimation; for the first time, a decision support system for configuring VIO/SLAM algorithm parameters on onboard Edge platforms has been developed. Unlike existing approaches, it utilizes identified patterns of "inflection points" in computational time complexity and the results of a comparative performance analysis of non-linear optimization libraries (GTSAM, SymForce, Ceres); mathematical models of UAV control systems operating under altitude disturbances have been further developed. These models are based on Fuzzy and LinearQuadratic Regulator (LQR) controllers, with parameters adapted to the dynamic characteristics of time delays inherent in the operation of VIO algorithms. The main practical results are: the development of a robust navigation system capable of stable operation in complex industrial and urban environments during the autonomous inspection of large-scale engineering structures (bridges, building facades, industrial facilities), where high-precision UAV localization is critical for subsequent spatial 3D reconstruction; hardware optimization and cost reduction achieved by replacing heavy laser scanners (LiDAR) with a monocular camera, thereby expanding the application potential of modern UAVs equipped with onboard neural accelerators (Edge GPUs); the formulation of a methodology for adapting the computational pipeline to Edge platforms, enabling dynamic balancing between the density of generated point clouds and the update frequency of navigation states to ensure the real-time execution of neural network algorithms; and the enhancement of control system stability during inspection flights by accounting for the processing latencies inherent to deep neural networks, which significantly improves the accuracy of trajectory tracking and altitude maintenance under dynamic wind disturbances.
dc.format.extent	155 с.
dc.identifier.citation	Біганський, Б. М. Система керування мультироторним БПЛА на основі нейромережевої візуально-інерціальної одометрії : дис. … д-ра філософії : 151 Автоматизація та комп’ютерно-інтегровані технології / Біганський Богдан Миколайович. – Київ, 2026. – 155 c.
dc.identifier.uri	https://ela.kpi.ua/handle/123456789/82769
dc.language.iso	uk
dc.publisher	КПІ ім. Ігоря Сікорського
dc.publisher.place	Київ
dc.subject	БПЛА
dc.subject	комп’ютерний зір
dc.subject	SLAM
dc.subject	візуально-інерціальна одометрія
dc.subject	орієнтація та навігація
dc.subject	IMU
dc.subject	нейронні мережі
dc.subject	моделювання
dc.subject	оптимізація
dc.subject	керування
dc.subject	стабілізація висоти
dc.subject	ПІД-регулятор
dc.subject	нечітка логіка
dc.subject	LQRрегулятор
dc.subject	UAV
dc.subject	computer vision
dc.subject	visual-inertial odometry
dc.subject	orientation and navigation
dc.subject	neural networks
dc.subject	modeling
dc.subject	optimization
dc.subject	control
dc.subject	altitude stabilization
dc.subject	PID controller
dc.subject	fuzzy logic
dc.subject	LQR controller
dc.subject.udc	681.518:621.865.8
dc.title	Система керування мультироторним БПЛА на основі нейромережевої візуально-інерціальної одометрії
dc.title.alternative	Control System for Multi-Rotor UAV Based on Neural Network Visual-Inertial Odometry
dc.type	Thesis Doctoral

Файли

Контейнер файлів

Зараз показуємо 1 - 1 з 1

Назва:: Bihanskyi_dys.pdf
Розмір:: 12.4 MB
Формат:: Adobe Portable Document Format

Завантажити

Ліцензійна угода

Зараз показуємо 1 - 1 з 1

Назва:: license.txt
Розмір:: 8.98 KB
Формат:: Item-specific license agreed upon to submission
Опис:

Завантажити

Зібрання

Дисертації (ТПЗА)
Дисертації (вільний доступ)