Методи та програмне забезпечення автоматизованого озвучування іншомовного відео з урахуванням емоційної складової мовлення
Вантажиться...
Дата
2022-06
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Розмір пояснювальної записки – 90 аркушів, містить 34 ілюстрації, 21 таблицю, 2 додатки.
Актуальність теми. У роботі розглянуто проблему в області обробки природних мов, а саме – проблему з іноземними відео. Показано основні особливості існуючих рішень проблеми, їх переваги та недоліки. А саме, показано, що насьогодні широко використовується у комерційних цілях тільки автоматизований переклад субтитрів. Недоліки у такому підході у першу чергу пов’язані із увагою прослуховувача та кількістю зрозумілого. Виявлено потребу розробці нового підходу у сприйнтті іншомовних відео людьми, які цю мову не знають, а саме, додатку для автоматизованого перекладу саме аудіодоріжки оригінального відео. У роботі також робиться акцент на емоційній складовій мовлення, як дуже важливому аспекту мови. Завдяки ньому передаються більше інформації.
Мета дослідження. Основною метою є покращити сприйняття іноземних відео.
Об’єкт дослідження: іноземні відео.
Предмет дослідження: методи та засоби для автоматизованого перекладу іноземних відео
Для реалізації поставленої мети сформульовані наступні завдання:
– проаналізувати предметну область;
– привести проектні рішення з автоматизованої адаптації іншомовних відео;
–розробити програмне забезпечення по атвоматизованому озвучуванню перекладеного текстсу з відео;
– розробити стартап-проект.
Наукова новизна результатів магістерської дисертації полягає в тому, що запропоновано архітектурне рішення для побудови програмного забезпечення для створення автоматизованого перекладу відео. До цього цілісних рішень із комерційним використанням у цій області немає. Також додано урахування емоційної складової мовлення.
Практичне значення отриманих результатів полягає в тому, що реалізовані методи поєднані в межах одного застосунку і максимально прості у використанні для користувача. Також реалізовано АРІ-інтерфейс, за допомогою якого результати роботи алгоритмів можуть з легкістю отримувати і застосовувати сторонні сервіси. Дана система може бути використана різноманітними сервісами відеохостингу, навчальними платформами та сервісами для кіно і серіалів.
Зв’язок з науковими програмами, планами, темами. Робота виконувалась на кафедрі інформатики та програмної інженерії Національного технічного університету України "Київський політехнічний інститут імені Ігоря Сікорського".
Апробація. Наукові положення дисертації пройшли апробацію на XV Всеукраїнської науково практичної WEB конференції аспірантів, студентів та молодих вчених (22-24 березня 2022 р.). у Кривому Рогу.
Публікації. Наукові положення дисертації опубліковані в:
1) «Комп’ютерні інтелектуальні системи та мережі. Матеріали XV Всеукраїнської науково практичної WEB конференції аспірантів, студентів та молодих вчених (22-24 березня 2022 р.). – Кривий Ріг: Криворізький національний університет, 2022. – ст.106-109».
Опис
Ключові слова
розпізнавання мовлення, іноземні мови, порівняння аудіо, text-to-speech, speech-to-text, deep learning, speech recognition, foreign languages, audio comparison
Бібліографічний опис
Клярський, К. А. Методи та програмне забезпечення автоматизованого озвучування іншомовного відео з урахуванням емоційної складової мовлення : магістерська дис. : 121 Інженерія програмного забезпечення / Клярський Кирило Андрійович. – Київ, 2022. – 99 с.