Система відеокомунікації з елементами розпізнавання жестів
Ескіз недоступний
Дата
2019
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Робота складається зі вступу та п’яти розділів. Загальний обсяг роботи: 92 аркушів основного тексту, 22 ілюстрації, 24 таблиці. При підготовці використовувалася література з 23 різних джерел.
Актуальність. Відеозв'язок набирає обертів, стає доступним в більшості країн світу, даючи змогу розмовляти і бачити співбесідника, який знаходиться на іншому куточку планети. Проте великому відсотку людей з обмеженими можливостями слуху та мови дана технологія не є доступною. Розпізнавання жестів та особливо жестової мови в системах відеокомунікацій може подолати даний бар’єр і вивести відеозв’язок на новий рівень.
Розпізнавання та класифікація образів, зокрема жестів, не є новою задачею, проте активні дослідженні в цій області припадають саме на останнє десятиліття, що пов’язано зі стрімким розвитком методів машинного навчання. Розпізнавання жестів з відео послідовностей вимагає виокремлення як просторових, так і часових ознак, що у свою чергу потребує розробки нових або вдосконалення існуючих методів розпізнавання. Таким чином, задача розпізнавання жестів в системах відеокомунікації є актуальною.
Мета і завдання дослідження. Метою магістерської роботи є розробка програмного продукту, що реалізує систему відеокомунікації з елементами розпізнаванням жестів. Завданням для досягнення даної мети постає дослідження специфіки та основних особливостей комп’ютерного аналізу жестів, дослідження існуючих методів машинного навчання та їх застосування в розпізнаванні жестів, дослідження передачі відео даних в мережі Інтернет, проектування архітектури розроблювальної системи, реалізація, випробування та аналіз програмного продукту.
Об’єкт дослідження – системи відеокомунікації.
Предмет дослідження – методи розпізнавання жестів в системах відеокомунікації.
Методи досліджень. Для досягнення поставлених в магістерській роботі задач виконано аналіз (задачі розпізнавання жестів), абстрагування та синтез (розробка комплексу нейронних мереж), класифікація (жестів з відео послідовностей), експеримент (моделювання спроектованої системи), порівняння (роботи системи при різних конфігураціях за метриками точності та кількості помилок).
Наукова новизна одержаних результатів роботи полягає у використанні методів машинного навчання для розпізнавання жестової мови в системі відеокомунікації, що імплементується на мобільний пристрій. Проведене дослідження дає можливість інтегрувати розроблену систему в інші засоби відеокомунікації на пристроях з обмеженими апаратними ресурсами та пам'яттю.
Практичне значення. Отримані результати можуть бути інтегровані в програмах-чатах, соціальних мережах, електронну пошту, чати служб підтримки, використовуватись як самостійний засіб онлайн спілкування. Теоретичні висновки можуть бути використані в майбутніх дослідженнях за напрямками розпізнавання образів у відео послідовностях, класифікації зображень, вдосконалення методів розпізнавання жестів.
Опис
Ключові слова
система відеокомунікації, нейронна мережа, розпізнавання жестів, жестова мова, CNN, RNN, video communication system, neural network, gesture recognition, sign language
Бібліографічний опис
Калитенко, А. О. Система відеокомунікації з елементами розпізнавання жестів : магістерська дис. : 123 Комп’ютерна інженерія / Калитенко Альона Олександрівна. – Київ, 2019. – 91 с.