Control system for mobile agrobot based on neural network object detection

Скорочена інформація про документ
dc.contributor.authorTsompel, O. I.
dc.contributor.authorBezuhlyi, M. O.
dc.contributor.authorDzierwa, Andrzej
dc.date.accessioned2026-03-16T13:06:25Z
dc.date.available2026-03-16T13:06:25Z
dc.date.issued2025
dc.description.abstractThe paper addresses the urgent scientific and technical problem of automating crop care processes within the framework of the Precision Agriculture 4.0 paradigm. The primary objective of the study is to develop the architecture and investigate the efficiency of a cost-effective cyber-physical system (CPS) for autonomous crop monitoring and targeted physical destruction of weeds in real-time. This approach minimizes the reliance on chemical herbicides, thereby addressing the issues of weed resistance and environmental soil degradation. The authors propose and implement a two-level hierarchical control system for a mobile agricultural robot. The high-level computing layer is based on the Raspberry Pi 4 Model B single-board computer, which handles computer vision tasks and strategic path planning. The YOLOv8 Nano neural network architecture was selected and justified for semantic segmentation of vegetation cover. A set of optimization methods for Edge devices was applied, specifically model conversion to ONNX format and dynamic weight quantization to INT8 format. This reduced the model size to 6 MB and ensured stable inference on the CPU without hardware acceleration. The network training was conducted on a dataset of 10,000 images using a loss function that combines the IoU metric, binary cross-entropy, and Distribution Focal Loss. The low-level control is implemented on the ESP32 microcontroller (Dual Core architecture) running the FreeRTOS real-time operating system. Multi-threaded software was developed to separate communication tasks, inertial sensor (IMU) polling, and PWM signal generation. A discrete PID controller was implemented to stabilize the angular velocities of the differential drive platform wheels, compensating for errors caused by soil slippage. Inter-level communication is established via a UART interface (115200 baud) using a custom JSON-based protocol. A Direct Mapping method is proposed for manipulator control, eliminating the need for resource-intensive inverse kinematics calculations. Field test results confirmed the high efficiency of the system: a detection accuracy of mAP@0.5 at 92.4% was achieved with an average frame processing speed of 65–70 ms (14.5 FPS). The total latency in the control loop does not exceed 75 ms, and the platform positioning error is within ±2.5 cm. Energy monitoring indicated power consumption at the level of 18–22 W, providing up to 60 minutes of autonomous operation.
dc.description.abstractotherУ роботі вирішується актуальна науково-технічна задача автоматизації процесів догляду за сільськогосподарськими культурами в контексті парадигми Precision Agriculture 4.0. Метою дослідження є розробка архітектури та дослідження ефективності бюджетної кіберфізичної системи (CPS) для автономного моніторингу посівів та точкового фізичного знищення бур'янів у режимі реального часу. Це дозволяє мінімізувати використання хімічних гербіцидів, вирішуючи проблему резистентності шкідливих рослин та екологічного навантаження на ґрунти. Авторами запропоновано та реалізовано дворівневу ієрархічну систему керування мобільним агророботом. Верхній рівень обчислень базується на одноплатному комп'ютері Raspberry Pi 4 Model B, який виконує задачі комп'ютерного зору та стратегічного планування. Для семантичної сегментації рослинного покриву обґрунтовано вибір нейромережевої архітектури YOLOv8 Nano. Застосовано комплекс методів оптимізації для Edge-пристроїв: конвертацію моделі у формат ONNX та динамічне квантування ваг до формату INT8, що дозволило зменшити розмір моделі до 6 МБ та забезпечити стабільний інференс на CPU. Навчання мережі проводилося на датасеті з 10 000 зображень із використанням функції втрат, що комбінує метрику IoU, бінарну крос-ентропію та Distribution Focal Loss. Нижній рівень керування реалізовано на мікроконтролері ESP32 (архітектура Dual Core) під керуванням операційної системи реального часу FreeRTOS. Розроблено багатопотокове програмне забезпечення, що розділяє задачі комунікації, опитування інерціальних датчиків (IMU) та генерації ШІМ-сигналів. Реалізовано дискретний PID-регулятор для стабілізації кутових швидкостей коліс платформи з диференціальним приводом, що нівелює похибки від проковзування на ґрунті. Взаємодія між рівнями здійснюється через UART-інтерфейс (115200 бод) за авторським протоколом на базі JSON. Для керування маніпулятором запропоновано метод прямого відображення координат (Direct Mapping), що виключає необхідність ресурсомістких обчислень оберненої кінематики. Результати польових випробувань підтвердили високу ефективність системи: досягнуто точність детекції mAP@0.5 на рівні 92.4% при середній швидкості обробки кадру 65–70 мс (14.5 FPS). Загальна затримка в контурі керування не перевищує 75 мс, а похибка позиціонування платформи становить ±2.5 см. Енергетичний моніторинг показав споживання на рівні 18–22 Вт, що забезпечує до 60 хвилин автономної роботи.
dc.format.pagerangeС. 81-90
dc.identifier.citationTsompel, O. I. Control system for mobile agrobot based on neural network object detection / O. I. Tsompel, M. O. Bezuhlyi, Andrzej Dzierwa // Вісник КПІ. Серія Приладобудування : збірник наукових праць. – 2025. – Вип. 70(2). – С. 81-90. – Бібліогр.: 20 назв.
dc.identifier.doihttps://doi.org/10.20535/1970.70(2).2025.348019
dc.identifier.orcid0009-0008-1772-9208
dc.identifier.orcid0000-0003-0624-0585
dc.identifier.orcid0000-0003-4545-1748
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/79521
dc.language.isoen
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.relation.ispartofВісник КПІ. Серія Приладобудування : збірник наукових праць, 2025, Вип. 70(2)
dc.rights.urittps://creativecommons.org/licenses/by/4.0/
dc.subjectagrobot
dc.subjectYOLOv8
dc.subjectPrecision Agriculture 4.0
dc.subjectESP32
dc.subjectRaspberry Pi
dc.subjectComputer Vision
dc.subjectPID controller
dc.subjectBoustrophedon
dc.subjectFreeRTOS
dc.subjectагроробот
dc.subjectYOLOv8
dc.subjectPrecision Agriculture 4.0
dc.subjectESP32
dc.subjectRaspberry Pi
dc.subjectComputer Vision
dc.subjectPID-регулятор
dc.subjectBoustrophedon
dc.subjectFreeRTOS
dc.subject.udc631.362:004.896
dc.titleControl system for mobile agrobot based on neural network object detection
dc.title.alternativeСистема керування мобільним агророботом на основі нейромережевої детекції об'єктів
dc.typeArticle

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
81-90.pdf
Розмір:
851.75 KB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Вісник КПІ. Серія Приладобудування: збірник наукових праць, Вип. 70(2)