Оброблення, запис та передавання засобами IoT мовного аудіосигналу з дефектами
Вантажиться...
Дата
2025
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Світловський Є.В. Оброблення, запис та передавання засобами IoT мовного аудіосигналу з дефектами. – Кваліфікаційна робота на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 171 «Електроніка». – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», МОН України, Київ, 2025.
Дисертаційна робота присвячена дослідженню підходів обробки та передачі засобами IoT мовного сигналу з дефектами з можливістю додавання додаткової інформації на основі методу найменшого біта. Зміст дисертаційного дослідження викладено в шістьох розділах, де представлено та обґрунтовано основні результати роботи. Актуальність дисертаційної роботи обґрунтовано у вступі, де сформульовано мету та задачі дослідження, описано методи дослідження, надано інформацію про наукову новизну та практичне значення одержаних результатів. Системи IoT, що працюють з мовними сигналами, так або інакше стикаються з проблемами зниження шумового забруднення, компенсації дефектів мовлення та необхідності адаптивної обробки самих сигналів з можливістю за потреби додаткової передачі інформації. Під час процесів оброблення необхідно зберегти якість звуку без додавання нових шумів та артефактів. Додатково, має бути можливість і ефективно знижувати вже присутній рівень шуму в оригінальному сигналі, враховуючи збереження розбірливості мовлення записаного в аудіосигналі. Сучасні методи обробки орієнтовані переважно на іноземні мови і не мають на жаль якісних адаптацій для української мови, що у підсумку при розробленні пристроїв IoT може бути причиною некоректної обробки, неправильної інтерпретації команд або контексту повідомлення. Для вирішення цих завдань необхідно розробити нові алгоритми, які не лише покращують співвідношення сигнал/шум, а й підвищують розбірливість мовлення та мінімізують втрати інформації під час обробки чи передачі, враховуючи при цьому специфіку української мови. Крім того, обмежені обчислювальні ресурси та пропускна здатність пристроїв вимагають створення рішень, здатних ефективно працювати в умовах низької якості обладнання та недостатньої шумоізоляції. Актуальність даного дослідження полягає у необхідності розробки нових рішень для оброблення та передачі дефектних аудіо фрагментів українською мовою з можливістю дублювання та передачі мовного сигналу стеганографічним методом без втрати якості для подальшого декодування та зчитування інформації. Отримані результати можуть знайти практичне застосування в різних сферах, зокрема в системах "розумного будинку", при автоматизованому записі та аналізі онлайнлекцій, забезпечуючи при цьому новий рівень ефективності та інтерактивності. У першому розділі визначено основні недоліки існуючих рішень по обробці мовних аудіо сигналів в умовах зашумлення засобами IoT, досліджено основні чинники, які слід враховувати при проведенні якісного запису мовної інформації. Наведено вимоги до вибору приміщень щодо проведення запису мовних аудіосигналів. Зазначено ключові моменти, які сприяють покращенню розбірливості мовлення та зниженню впливу фізичних і електронних шумів. У другому розділі наведені дані щодо підготовчих кроків до проведення частотного аналізу мовного сигналу. Зокрема, зазначено про такі базові процедури підготовки: розбиття сигналу на сегменти, ідентифікація максимумів та аналіз формант, аналіз фундаментальної частоти. В третьому розділі дослідження наведено основні принципи кодування текстової інформації за форматами UTF-8 та ASCII та визначені основні етапи розпізнавання мовних сигналів. У четвертому розділі проведено порівняння характеристик мікрофонів та можливих умов їх застосування. Визначено оптимальну направленість мікрофону для дослідження та розробки алгоритму обробки звукового фрагменту з дефектами. Розглянуто пристрої та методи передачі інформації для реалізації розробленого алгоритму в середовищі Інтернету речей в умовах обмежених обчислювальних ресурсів. У п’ятому розділі роботи проведено практичний експеримент з підвищення якості та зниження рівня шумового забруднення записаного мовного сигналу українською мовою з наявними технічними дефектами. Зокрема, створено на основі мови програмування Python програмний алгоритм з елементами циклічності, де визначено окремі послідовні етапи обробки сигналу з урахуванням фундаментальної частоти, динамічних та частотних характеристик, рівня шумового забрудення. Досліджено основні підходи до зниження рівня шуму в сигналі, та контролю динамічної і частотної складової сигналу. Визначено міжнародні стандарти нормалізації для приведення звукового сигналу до необхідного рівня гучності. На основі отриманих експериментальних результатів визначено підходи оброблення аудіосигналів, які адаптовано для роботи з українською фонетичною групою. У шостому розділі наведено алгоритм визначення та кодування тексту з метою додавання супутньої прихованої інформації в аудіофайл. Так, на основі відкритої бібліотеки розпізнавання, вилучено з записаного сигналу текстові дані, і після їх корегування та представлення у необхідній формі, додано за допомогою стеганографічного методу LSB до вмісту аудіосигналу. Показано, що модифікований аудіосигнал практично не змінив свої характеристики у порівнянні з початковим сигналом. Представлені в дисертації нові практичні результати можуть бути рекомендовані до застосування в умовах дистанційного навчання для запису інформації, адаптивної обробки та передачі сигналів методами Інтернету речей із додаванням супутньої інформації. Наведені розробки можуть бути використані при розробленні складових в системах “розумного будинку” з підтримкою української локалізації. Технології обробки аудіо можуть бути адаптовані для допомоги людям з порушенням слуху методом декодування тексту в зручний формат. В дисертаційній роботі отримано наступні наукові результати: 1. Вперше досліджено та запропоновано алгоритм обробки аудіофайлу українською мовою в умовах зашумлення, адаптований до вимог середовища IoT, який складається з окремих етапів та має риси циклічності. 2. Уточнено алгоритм обробки мовного сигналу, який записано українською мовою, на основі аналізу частотної характеристики з урахуванням особливостей визначення фундаментальної частоти та адаптивних обробок. 3. Вперше розроблено алгоритм подвійної обробки аудіо сигналу з вмістом вимовлених слів українською мовою, який дозволяє реалізувати один з способів приховування потрібної інформації в структурі аудіофайлу зі збереженням якості та без значної зміни енергетичного вмісту останнього. Практичне значення отриманих результатів полягає у наступному. 1. Визначені підходи до вибору мікрофонного обладнання для запису аудіосигналів, що можуть бути використані при створенні звукових IoT-систем для забезпечення високої якості записаного мовного контенту. 2. Запропоновані ефективніші рішення щодо створення програм обробки аудіосигналів, які дозволяють ефективно очищувати аудіосигнали від шумів та підвищувати розбірливість мовлення, враховуючи спеціфіку середовища та АЧХ спікера, що сприяє підвищенню якості відтворення записаного контенту в IoTсистемах. 3. Використання методу LSB для приховування та передачі супутньої текстової інформації в аудіосигналі забезпечує можливість передачі додаткової інформації без збільшення обсягу даних та помітного впливу на якість звуку.
Опис
Ключові слова
акустичне поле, графіки спрямованості акустичного поля, звук, модель, контент, моделювання, процес, Інтернет речей, IoT, стеганографія, комп’ютерна система, рівень сигналу, спектр мови, якість мовлення, тестовий сигнал, розбірливість мовлення, acoustic field, acoustic field directivity graphs, sound, model, content, modeling, process, Internet of Things, steganography, computer system, signal strength, speech spectrum, speech quality, test signal, speech intelligibility
Бібліографічний опис
Світловський, Є. В. Оброблення, запис та передавання засобами IoT мовного аудіосигналу з дефектами : дис. … д-ра філософії : 171 Електроніка / Світловський Євгеній Володимирович. – Київ, 2025. – 145 с.