Акустичне виявлення безпілотних літальних апаратів
| dc.contributor.advisor | Мовчанюк, Андрій Валерійович | |
| dc.contributor.author | Сокольський, Сергій Олегович | |
| dc.date.accessioned | 2024-02-23T14:56:40Z | |
| dc.date.available | 2024-02-23T14:56:40Z | |
| dc.date.issued | 2023 | |
| dc.description.abstract | Сокольський С.О. Акустичне виявлення безпілотних літальних апаратів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 172 «Телекомунікації та радіотехніка». – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» МОН України, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» МОН України, Київ, 2023. У дисертаційній роботі вирішено актуальне науково-технічне завдання — розроблення пристрою з одним вхідним сенсором-мікрофоном для виявлення малих безпілотних літальних апаратів на основі аналізу акустичних сигнатур. Розроблена модель системи дає змогу підвищити ефективність виявлення дронів за рахунок використання нейронної мережі для обробки акустичних сигналів. Основний зміст дисертаційної дослідницької роботи наведено в чотирьох розділах, де представлено та обґрунтовано основний результат. У вступній частині підтверджена актуальність роботи, сформульована мета, завдання та методи дослідження, надана інформація про наукову новизну, а також практичне значення отриманих результатів. У першому розділі був проведений порівняльний та критичний аналіз потенційних можливостей основних методів виявлення малих безпілотних летальних апаратів (МЛА): оптичного, радiолокацiйного та акустичного. Кожним із методів розраховано теоретичну максимальну дальність виявлення безпілотника моделі «DJI Mavic 3» який зараз активно використовується військовими для розвідки. Встановлено, що оптичний метод передбачає використання камер високої розділової здатності у світлу пору дня, але він занадто залежний від природних чинників навколишнього середовища, наприклад, дощу або туману. У темну пору доби зазвичай використовують інфрачервоні оптичні пристрої. Основними недоліками такого підходу є невисока максимальна дальність виявлення цілі та поглинання атмосферою IЧ випромінювання, крім «вікон» із межами довжин хвиль 3 – 4 та 8 – 12 мм. У результаті наведених розрахунків встановлено, що дальність визначення цілі оптичним методом складає біля 250 м, а з використанням ІЧ приймача — 79,5 м. Зазначено, що радіолокаційні методи поділяються на активні та пасивні. Радіолокаційні системи можуть працювати в будь-яку частину доби та дають змогу виявляти МЛА на відстанях до кількох кілометрів (9,8 км). У результаті аналізу спектру радіочастотного сигналу можна отримати найбільш детальну інформацію про ціль. Основним недоліком радіолокаційних методів є те, що всі РЛС не працюють у ближній зоні. Встановлено, що акустичні сенсори дають змогу ефективно виявляти безпілотні летальні апарати, незважаючи на рельєф оточуючого середовища, але результати залежать від наявних акустичних фонових шумів та завад. Ефективна дальність виявлення дрону склала біля 78 м. У висновках зазначено, що оскільки МЛА мають невисокий рівень ІЧ випромінювання та радіолокаційних сигнатур, то актуальним стає питання розроблення детектора із використанням акустичного методу виявлення дронів та великою максимальною відстанню до цілі. У другому розділі розглянуто реалізацію простого та дешевого для конструювання акустичного детектора з одним мікрофоном. Він дає змогу виявляти акустичні коливання, що видають двигуни та лопоті дрону, і який потім можна проаналізувати для визначення місцезнаходження та траєкторію руху МЛА. Для реєстрації детектором звукових хвиль було запропоновано використовувати електретний мікрофон CMA-4544PF-W із поролоновою вітрозахисною насадкою, а для забезпечення широкого динамічного діапазону та захисту детектора від перевантаження — підсилювач із системою автоматичного регулювання підсилення зі зворотним регулюванням на базі інтегральної мікросхеми МАХ9814. Для подальшої цифрової обробки сигналів на ПК, буде використовуватись аналого-цифровий перетворювач із частотою дискретизації 48 кГц і розрядністю 16 біт, та зовнішня звукова карта CM6206 із лінійним входом. За результатом тестових випробувань була створена база аудіофайлів шуму квадрокоптера «DJI Mavic 3». Спектри отриманих аудіозаписів випромінювання квадрокоптера надають змогу визначити основні частоти тонів, кількість яких збігається з кількістю електромоторів та є важливими ознаками під час розроблення алгоритму класифікації безпілотників. Третій розділ описує процес розроблення алгоритму для ефективного виявлення та класифікації аудіосигналів МЛА із використанням згорткової нейронної мережі глибокого навчання, побудови архітектури та теоретичного оцінювання ефективності її роботи. Перед подачею набору аудіозаписів дронів на вхід нейронної мережі, підвищили їхню якість, застосувавши нормалізацію, Вінеровську фільтрацію, сегментацію — поділили аудіо на кадри тривалістю 25 мс із перекриттям 50% та віконне керування за допомогою вікна Хеммінга, оскільки в завданні оброблення аудіосигналів важливіша точність у часовій області. Отримані дані розділили в співвідношенні 60/20/20 на три набори: для навчання, валідації та тестування. Далі представили дані спрощеним набором ознак, визначивши з кожного кадру оброблених аудіосигналів мелспектрограми, для фіксації часових та спектральних характеристик. Діапазон частот аналізу становить межі робочих частот моделі мікрофону (20 Гц — 20 кГц), частотна розділова здатність 50 Гц, а кількість робочих мел-смуг дорівнює 30. Використовуючи навчальні дані та витягнуті ознаки аудіосигналів, розробили архітектуру нейронної мережі для досліджень роботи алгоритму виявлення та класифікації дронів. Вона складається із 10 пар шарів згортки, ReLU, пакетної нормалізації та шарів максимального пулингу. Їхня кількість визначається розміром вікна об'єднання вздовж часового виміру. Далі ідуть шари згладжування, відсікання, повнозв'язний та Softmax. Для нормалізації вихідних даних і отримання фінальних ймовірностей застосовується шар класифікації. У якості оптимізатора для навчання моделі обрано Adam. Відповідно до характеристик набору даних, початкова швидкість навчання дорівнює 0.001, а після проходження 75% епох поступово зменшується в 10 разів, для покращення збіжності. Точність розпізнавання вхідних даних складає 99 %, оцінка F1 — 0.93, що вказує на високий рівень загальної продуктивності архітектури. У четвертому розділі проведено практичне тестування роботи готової моделі згорткової нейронної мережі. Ефективна дистанція виявлення МЛА алгоритмом дорівнює 200 м, що за методом експертних оцінок, значно перевершує можливості людського слуху з максимальною відстанню до 120 м. Підтверджено, що розроблений алгоритм може замінити людський персонал в операціях спостереження за дронами, пропонуючи підвищену ефективність і надійність під час захисту громадян, об’єктів критичної інфраструктури та національної оборони. Також надані рекомендації для подальшого покращення продуктивності та адаптивності алгоритму: використання різноманітних наборів даних, мультимодальне зондування, постійне вдосконалення, співпраця та використання передових методів машинного навчання. Наукова новизна отриманих результатів полягає в тому, що: 1) Вперше запропоновано математичну модель ідентифікатора МЛА, наукова новизна якої полягає в тому, що вона ґрунтується на використанні бази аудіозаписів акустичних сигнатур дронів та надає можливість зменшити похибку під час класифікації їхньої моделі. 2) Вперше розроблено метод цифрової обробки акустичних сигналів дронів, наукова новизна якого полягає в тому, що він ґрунтується на теорії штучного інтелекту та використовує згорткову нейронну мережу глибокого навчання з оптимізатором Adam для підвищення швидкості та ефективності ідентифікації типу малих безпілотних літальних апаратів. 3) Удосконалено методику розрахунку кількості мел-фільтрів та їхнього частотного діапазону, що, на відміну від існуючих, враховує бажану частотну розділову здатність та дає змогу підвищити швидкість та точність отримання основних представлень аудіосигналу МЛА під час використання техніки зважування коефіцієнтів ШПФ за допомогою банків мел-фільтрів. Практичне значення отриманих результатів полягає в тому, що: 1) На основі розробленої математичної моделі, створено базу аудіосигналів малих безпілотних літальних апаратів моделей «Mavic 2 Pro», «Mavic 3» та «FPV», що використовуються військовими в розвідувальних операціях, а також цивільного квадрокоптера «Feilun Fx137». 2) На основі розробленого методу та методики, написано програмне забезпечення для швидкого та ефективного оброблення аудіосигналів малих безпілотних літальних апаратів із використанням згорткової нейронної мережі глибокого навчання з оптимізатором Adam. 3) Створено акустичний детектор малих безпілотних летальних апаратів з ефективною відстанню виявлення об’єктів до 200 метрів. 4) Надано відповідні універсальні рекомендації для подальшого вдосконалення системи детекції малих безпілотних літальних апаратів. Практичний результат дисертаційного дослідження може бути використаний під час побудови ефективних антидронних систем для оборони громадян та об’єктів критичної інфраструктури. Частину результатів дисертаційної роботи отримано та впроваджено на підприємстві ТОВ «ТІНСТРУМ» за договором № Дндч/0201.01/2100.02/47/2023. | |
| dc.description.abstractother | Serhii Sokolskyi. Acoustic detection of unmanned aerial vehicles. – Qualifying scientific work on the rights of the manuscript. Thesis for the degree of Philosophy Doctor, in specialty 172 “Telecommunications and Radio Engineering”. – National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute” of the Ministry of Education and Science of Ukraine, National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute” Ministry of Education and Science of Ukraine, Kyiv, 2023. The thesis solves an urgent scientific and technical issue such as the development of a device with a single input sensor-microphone for detecting small unmanned aerial vehicles based on the analysis of acoustic signatures. The developed model of the system makes it possible to increase the efficiency of drone detection by using a neural network for processing acoustic signals. The research aims to develop a prototype of the acoustic detector of small unmanned aerial vehicles, as well as to create a software algorithm for the effective processing of acoustic signals registered by the sensor for the presence of drone signatures. The main content of the thesis is presented in four sections, where the main result is given and substantiated. The introductory part confirms the relevance of the work, formulates the aim, tasks, and methods of research, also provides information about scientific novelty, as well as the practical significance of the obtained results. In the first section, a comparative and critical analysis of the potential possibilities of the main methods of detecting small unmanned aerial vehicles, such as optical, radar and acoustic methods, is carried out. Each of the methods calculates the theoretical maximum detection range of the DJI Mavic 3 drone, which is currently actively used by the military for reconnaissance. It is found that the optical method involves the use of high-resolution cameras in daylight, but is too dependent on natural environmental factors such as rain or fog. In the dark, infrared optical devices are usually used to detect drones. The main disadvantages of this approach are the low maximum target detection range and atmospheric absorption of IR radiation, except for “windows” with wavelength limits of 3 - 4 and 8 - 12 mm. As a result of the above calculations, it is determined that the target detection range by the optical method is about 250 m, and with the use of an IR receiver, it is 79.5 m. It is noted that radar methods are divided into active and passive. Radar systems can work at any time of the day and make it possible to detect UAVs at distances of up to several kilometers (9.8 km). By analyzing the spectrum of the RF signal, we can get the most detailed information about the target. The main disadvantage of radar methods is that all radars do not work in the near-field zone. It determines that acoustic sensors allow efficient detection of small unmanned aerial vehicles, despite the topography of the environment, but the results depend on the available acoustic background noise and interference. The effective target detection range is about 78 meters. The conclusions state that since UAVs have a low level of IR radiation and radar signatures, the issue of developing a detector using the acoustic method of drone detection and a large maximum distance to the target becomes relevant. In the second section, we consider the implementation of a simple and cheap-toconstruct acoustic detector with a single microphone. It allows detection of the sound emitted by the drone's engines and blades, which can then be analyzed to determine the location and trajectory of the UAV. It is proposed to use a CMA-4544PF-W electret microphone with a foam wind protection nozzle for the registration of sound waves by the detector, and to ensure a wide dynamic range and protect the detector from overload, an amplifier with an automatic gain adjustment system with reverse adjustment based on the MAX9814 integrated circuit. For further digital signal processing on a PC, an analog-to-digital converter with a sampling rate of 48 kHz and 16-bit resolution will be used, as well as an external CM6206 sound card with a line input. Based on the test results, a database of audio files of the noise of the DJI Mavic 3 quadcopter, which is now actively used by the military for reconnaissance, is created. The spectra of the received audio recordings of the radiation of the quadcopter make it possible to determine the main tone frequencies, the number of which coincides with the number of electric motors and are important features in the development of the algorithm for the classification of drones. The third section describes the process of developing an algorithm for efficient detection and classification of UAV audio signals using a convolutional deep learning neural network, building the architecture, and theoretically evaluating its performance. Before submitting the drone audio dataset to the neural network, the quality of the audio recordings is improved by applying normalization, Wiener filtering, and segmentation. The audio is segmented into frames with a duration of 25 ms and a 50% overlap, applying Hamming windowing for better accuracy in the time domain, as temporal precision is crucial in audio signal processing. The obtained data are divided in the ratio 60/20/20 into three sets: for training, validation, and testing. Next, the data is represented by a simplified set of features, extracting mel-spectrograms from each frame of the processed audio signals to capture their temporal and spectral characteristics. The frequency range of the analysis corresponds to the working frequency limits of the microphone model (20 Hz – 20 kHz), with a frequency resolution of 50 Hz and 30 working mel frequency bands. Using the training data and the extracted audio signals, a neural network architecture is developed for researching the operation of the drone detection and classification algorithm. It consists of 10 pairs of convolution layers, ReLU, batch normalization, and maximum pooling layers. Their number is determined by the size of the merging window along the time dimension. This is followed by flattening, dropout, fully connected, and Softmax layers. A classification layer is used to normalize the initial data and obtain the final probabilities. The Adam optimizer is chosen for model training. According to the characteristics of the data set, the initial learning rate is 0.001, and after passing 75% of the epochs, it is gradually reduced by a factor of 10 to improve the convergence. The accuracy of the input data recognition reaches 99%, and the F1 score of the trained model is 0.93, indicating a high level of overall architecture performance. In the fourth section, practical testing of the finished convolutional neural network model is carried out. The effective distance of detection of UAV by the algorithm is 200 m, which, according to the method of expert evaluation, significantly exceeds the capabilities of human hearing with a maximum distance of 120 m. It confirmes that the developed algorithm can replace human personnel in drone surveillance operations, offering increased efficiency and reliability when protecting citizens, critical infrastructure and national defense. Recommendations for further improving the performance and adaptability of the algorithm are also provided: the use of diverse datasets, multimodal sensing, continuous improvement, collaboration, and the use of advanced machine learning techniques. The scientific novelty of the obtained results is that: 1) For the first time, a mathematical model of the UAV identifier is proposed. The scientific novelty of this model is that it is based on the use of a database of audio recordings of acoustic signatures of drones and makes it possible to reduce the error in classifying their model. 2) For the first time, a method of digital processing of acoustic signals of drones is developed, the scientific novelty of which is that it is based on the theory of artificial intelligence and uses a convolutional neural network of deep learning with the Adam optimizer to increase the speed and efficiency of the identification of the type of small unmanned aerial vehicles. 3) The method of calculating the number of mel-filters and their frequency range was improved, which, unlike the existing ones, takes into account the desired frequency resolution and makes it possible to increase the speed and accuracy of obtaining the main representations of the UAV audio signal when using the technique of weighting the FFT coefficients using banks of mel- filters. The practical significance of the obtained results is that: 1) On the basis of the developed mathematical model, a database of audio signals of small unmanned aerial vehicles of the models "Mavic 2 Pro", "Mavic 3" and "FPV", used by the military in reconnaissance operations, as well as the civilian quadcopter "Feilun Fx137", was created. 2) On the basis of the developed method and methodology, software for fast and efficient processing of audio signals of small unmanned aerial vehicles using a convolutional neural network of deep learning with the Adam optimizer is written. 3) An acoustic detector of small unmanned aerial vehicles with an effective object detection distance of up to 200 meters is created. 4) Relevant universal recommendations for further improvement of the small unmanned aerial vehicle detection system were provided. The practical result of the thesis research can be used during the construction of effective anti-drone systems for the defense of citizens and critical infrastructure. Part of the results of the dissertation were obtained and implemented at TINSTRUM LLC under contract № Дндч/0201.01/2100.02/47/2023. | |
| dc.format.extent | 183 с. | |
| dc.identifier.citation | Сокольський, С. О. Акустичне виявлення безпілотних літальних апаратів : дис. … д-ра філософії : 172 Телекомунікації та радіотехніка / Сокольський Сергій Олегович. – Київ, 2023. – 183 с. | |
| dc.identifier.uri | https://ela.kpi.ua/handle/123456789/64930 | |
| dc.language.iso | uk | |
| dc.publisher | КПІ ім. Ігоря Сікорського | |
| dc.publisher.place | Київ | |
| dc.subject | дрон | |
| dc.subject | малий безпілотний літальний апарат | |
| dc.subject | БПЛА | |
| dc.subject | виявлення цілей | |
| dc.subject | акустична локація | |
| dc.subject | контрольована зона | |
| dc.subject | реєстратор сигналів | |
| dc.subject | виявлення сигналів | |
| dc.subject | спектр | |
| dc.subject | оброблення сигналу | |
| dc.subject | машинне навчання | |
| dc.subject | нейронна мережа | |
| dc.subject | глибоке навчання | |
| dc.subject | drone | |
| dc.subject | small unmanned aerial vehicle | |
| dc.subject | UAV | |
| dc.subject | target detection | |
| dc.subject | acoustic location | |
| dc.subject | controlled area | |
| dc.subject | signal recorder | |
| dc.subject | signal detection | |
| dc.subject | spectrum | |
| dc.subject | signal processing | |
| dc.subject | machine learning | |
| dc.subject | neural network | |
| dc.subject | deep learning | |
| dc.subject.udc | 681.884:004.93 | |
| dc.title | Акустичне виявлення безпілотних літальних апаратів | |
| dc.type | Thesis Doctoral |
Файли
Контейнер файлів
1 - 1 з 1
Вантажиться...
- Назва:
- Sokolskyi_dys.pdf
- Розмір:
- 4.11 MB
- Формат:
- Adobe Portable Document Format
Ліцензійна угода
1 - 1 з 1
Ескіз недоступний
- Назва:
- license.txt
- Розмір:
- 8.98 KB
- Формат:
- Item-specific license agreed upon to submission
- Опис: