Локалізація джерела звуку з використанням конволюційних нейронних мереж

Скорочена інформація про документ
dc.contributor.advisorБритов, Олексій Анатолійович
dc.contributor.authorКосюк, Олексій Михайлович
dc.date.accessioned2023-10-24T07:56:47Z
dc.date.available2023-10-24T07:56:47Z
dc.date.issued2023
dc.description.abstractМетою дипломної роботи є розробка моделей машинного навчання з вчителем на базі конволюційних нейронних мереж (CNN) для вирішення двовимірної задачі локалізації джерела звуку в умовах завад та реверберації шляхом знаходження кута між джерелом звуку і геометричним центром масиву мікрофонів, які реєструють звуковий сигнал, згенерований джерелом. Результати дипломної роботи: 1) Розроблено програму для синтезу звукових сигналів, зареєстрованих сенсорами за різних положень джерела звуку та різних рівнів завад та реверберації, з декількох звукових сигналів, що генеруються джерелом. 2) Досліджено точність алгоритмів SRP PHAT та MUSIC. 3) Спроектовано та реалізовано алгоритми попередньої обробки звукових сигналів перед передачею останніх на вхід CNN моделей. 4) Розроблено та навчено 2 CNN моделі для отримання точності, вищої за точність алгоритмів SRP PHAT та MUSIC. 5) Протестовано створені моделі та порівняно їх точність із точністю алгоритмів SRP PHAT та MUSIC. Показано можливість невеликої СNN моделі (669371 параметр) з двома згортковими шарами всього за 100 епох навчанння давати на навчальному датасеті точність, співставну з точностями алгоритмів SRP PHAT та MUSIC. Досліджено використання натренованої для класифікації зображень CNN MobileNetV2 для фільтрації завад та реверберації у звуковому сигналі. Загальний обсяг роботи 135 с., 35 рис., 38 таблиць, 5 додатків, 24 джерела.uk
dc.description.abstractotherThe aim of the thesis is to develop СNN based supervised machine learning models for solving the two-dimensional sound source localization problem in conditions of noises and reverberation by finding the angle between the sound source and the geometric center of the array of microphones that register the sound signal generated by the source. 1) A program was developed for the synthesis of sound signals registered by sensors at different positions of the sound source and at different levels of noise and reverberation from sound signals generated by the source. 2) The accuracy of the SRP PHAT and MUSIC algorithms was investigated. 3) Algorithms for preprocessing audio signals before transmitting them to CNN models were designed and implemented. 4) 2 CNN models were developed and trained to obtain accuracy higher than that of SRP PHAT and MUSIC algorithms. 5) The created models were tested and their accuracy was compared with the accuracy of the SRP PHAT and MUSIC algorithms. The possibility of a small CNN model (669371 parameters) with two convolutional layers in just 100 training epochs to provide an accuracy comparable to the accuracy of the SRP PHAT and MUSIC algorithms on the training dataset was shown. The use of CNN MobileNetV2, trained for image classification, to filter interference and reverberation in an audio signal is investigated. Total volume of thesis is 135 pages, 35 figures, 38 tables, 5 app., 24 sources.uk
dc.format.extent135 с.uk
dc.identifier.citationКосюк, О. М. Локалізація джерела звуку з використанням конволюційних нейронних мереж : дипломний проект … бакалавра : 122 Комп'ютерні науки / Косюк Олексій Михайлович . – Київ, 2023. – 135 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/61710
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectлокалізація джерела звукуuk
dc.subjectревербераціяuk
dc.subjectзавадиuk
dc.subjectконволюційні нейронні мережіuk
dc.subjectмашинне навчання з вчителемuk
dc.subjectSRP PHATuk
dc.subjectMUSICuk
dc.subjectMobileNetV2uk
dc.subjectsound localizationuk
dc.subjectreverberationuk
dc.subjectnoiseuk
dc.subjectconvolutional neural networksuk
dc.subjectsupervised machine learninguk
dc.titleЛокалізація джерела звуку з використанням конволюційних нейронних мережuk
dc.title.alternativeSound source localization using convolutional neural networksuk
dc.typeBachelor Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Kosiuk_bakalavr.pdf
Розмір:
3.36 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
1.71 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (СП)
Бакалаврські роботи