Система перекладу мови жестів з потокового відео англійською мовою
Вантажиться...
Дата
2019-12
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського.
Анотація
Магістерська дисертація: 94 с., 28 рис., 16 табл., 1 додаток, 20 джерел.
Актуальність теми. Мова жестів складна система: значення має не тільки жест, а я вираз обличчя, напрям та швидкість руху. На сьогоднішній день більше 1 мільйона глухих людей використовують американську мову жестів. Більше ніж 30 мільйонів людей мають вади слуху і чують лише звуки вищі ніж 40 дБ, тоді як люди не маючі проблем зі слухом чують в діапазонні від 0 до 20 дБ. Більше 70 мільйонів людей по всьому світі використовують ту чи іншу мову жестів. 98% людей, що мають вади слуху не отримують навчання з мови жестів. 72% сімей не можуть комунікувати зі своїми глухими родичами. 70% глухих людей не мають роботи або недооцінені на роботі. Кожен четвертий глухий був звільнений з роботи через дискримінацію.
На даний момент не існує жодного комерційного аналогу системи перекладу мови жестів з потокового відео в англійську мову. Декілька досліджень знаходяться на етапі розробки.
Зв'язок роботи з науковими програмами, планами, темами. Робота виконувалась на кафедрі автоматизованих систем обробки інформації та управління факультету обчислювальної техніки Національного технічного університету України «Київський політехнічний інститут ім. Ігоря Сікорського» в рамках теми «Система перекладу мови жестів з потокового відео в англійську мову».
Мета дослідження. Метою дослідження є поліпшення умов спілкування людей з вадами слуху за рахунок вдосконалення архітектури перекладу мови жестів.
Для досягнення мети необхідно виконати наступні завдання:
- дослідити існуючі алгоритми, архітектури та підходи виявлення об’єктів;
- розробити систему перекладу з мови жестів;
- при необхідності скорегувати гіперпараметри моделі;
- проаналізувати результати роботи системи;
- провести роботу з поліпшення точності розпізнавання та швидкості дії.
Об’єкт дослідження. Процес перекладу мови жестів з потокового відео в англійську мову.
Предмет дослідження – методи та алгоритми виявлення жестів з потокового відео та перекладу їх в англійську мову.
Практичне значення одержаних результатів. Розроблена система може бути використана у веб-додатку як плагін, що допоможе в спілкуванні людям з проблемами слуху.
Наукова новизна одержаних результатів. Створення архітектури для системи перекладу мови жестів з потокового відео в англійську мову.
Публікації. Матеріали роботи опубліковані у Всеукраїнській науково-практичній конференції молодих вчених та студентів «Інформаційні системи та технології управління» (ІСТУ-2019) Стек Ю.А., Халус О.А. «Метод виявлення людей та одночасне оцінювання їх поз» та у 3 всеукраїнській науково-практичній конференція молодих вчених та студентів «Інформаційні системи та технології управління» (ІСТУ-2019) Стек Ю.А., Халус О.А. «Застосування архітектури глибокого навчання для системи розпізнавання мови жестів».
Опис
Ключові слова
мова жестів, комп’ютерне бачення, переклад, deep learning, CNN, потокове відео, sign language, computer vision, translation, deep learning, streaming video
Бібліографічний опис
Стек, Ю. А. Система перекладу мови жестів з потокового відео англійською мовою : магістерська дис. : 126 Інформаційні системи та технології / Стек Юлія Анатоліївна. - Київ, 2019. - 94 с.