Локалізація джерела звуку з використанням конволюційних нейронних мереж
Вантажиться...
Дата
2023
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Метою дипломної роботи є розробка моделей машинного навчання з
вчителем на базі конволюційних нейронних мереж (CNN) для вирішення
двовимірної задачі локалізації джерела звуку в умовах завад та реверберації
шляхом знаходження кута між джерелом звуку і геометричним центром
масиву мікрофонів, які реєструють звуковий сигнал, згенерований джерелом.
Результати дипломної роботи:
1) Розроблено програму для синтезу звукових сигналів, зареєстрованих
сенсорами за різних положень джерела звуку та різних рівнів завад та
реверберації, з декількох звукових сигналів, що генеруються джерелом.
2) Досліджено точність алгоритмів SRP PHAT та MUSIC.
3) Спроектовано та реалізовано алгоритми попередньої обробки звукових
сигналів перед передачею останніх на вхід CNN моделей.
4) Розроблено та навчено 2 CNN моделі для отримання точності, вищої за
точність алгоритмів SRP PHAT та MUSIC.
5) Протестовано створені моделі та порівняно їх точність із точністю
алгоритмів SRP PHAT та MUSIC.
Показано можливість невеликої СNN моделі (669371 параметр) з двома
згортковими шарами всього за 100 епох навчанння давати на навчальному
датасеті точність, співставну з точностями алгоритмів SRP PHAT та MUSIC.
Досліджено використання натренованої для класифікації зображень
CNN MobileNetV2 для фільтрації завад та реверберації у звуковому сигналі.
Загальний обсяг роботи 135 с., 35 рис., 38 таблиць, 5 додатків, 24 джерела.
Опис
Ключові слова
локалізація джерела звуку, реверберація, завади, конволюційні нейронні мережі, машинне навчання з вчителем, SRP PHAT, MUSIC, MobileNetV2, sound localization, reverberation, noise, convolutional neural networks, supervised machine learning
Бібліографічний опис
Косюк, О. М. Локалізація джерела звуку з використанням конволюційних нейронних мереж : дипломний проект … бакалавра : 122 Комп'ютерні науки / Косюк Олексій Михайлович . – Київ, 2023. – 135 с.