Система відеокомунікації з елементами розпізнавання жестів

Скорочена інформація про документ
dc.contributor.advisorРоковий, Олександр Петрович
dc.contributor.authorКалитенко, Альона Олександрівна
dc.date.accessioned2020-01-14T13:31:02Z
dc.date.available2020-01-14T13:31:02Z
dc.date.issued2019
dc.description.abstractenThe work consists of an introduction and five sections. Total workload: 92 sheets of the main text, 22 illustrations, 24 tables, 23 different literature sources was used. The urgency of the problem. Video communication is gaining momentum, becoming available in most countries of the world, allowing you to talk and see the other party on the other side of the planet. However, for a large percentage of people with hearing and language impairments, this technology is not available. Gesture recognition and especially sign language in video systems can overcome this barrier and take video to a whole new level. The recognition and classification of patterns, including gestures, is not a new task, but active research in the field has been around for the last decade, due to the rapid development of machine learning methods. Gesture recognition from video sequences requires the separation of both spatial and temporal features, which in turn requires the development of new or refinement of existing methods of recognition. Thus, the task of gesture recognition in video communication systems is relevant. The purpose and tasks of the research. The purpose of the master's thesis is to develop a software product that implements a video communication system with elements of gesture recognition. The goal to achieve this goal is to study the specifics and basic features of computer gesture analysis, to study existing methods of machine learning and their use in gesture recognition, to study video transmission over the Internet, to design the architecture of the development system, to implement, test and analyze software. The object of study is video communication systems. The subject of study - methods of gesture recognition in video communication systems. Research methods. In order to achieve the tasks set in the master's work, analysis (gesture recognition tasks), abstraction and synthesis (development of neural network complexes), classification (gestures from video sequences), experiment (modeling of the designed system), comparison (of system performance for different configurations by accuracy and error metrics). The scientific novelty of the results obtained is the use of machine learning methods for recognizing sign language in a video communication system implemented on a mobile device. The research made it possible to integrate the developed system into other means of video communication on devices with limited hardware resources and memory. Practical meaning. The results can be integrated into chat programs, social networks, e-mail, chat support services, and can be used as a stand-alone online communication tool. Theoretical findings can be used in future research in the areas of pattern recognition in video sequences, image classification, and improvement of gesture recognition methods.uk
dc.description.abstractukРобота складається зі вступу та п’яти розділів. Загальний обсяг роботи: 92 аркушів основного тексту, 22 ілюстрації, 24 таблиці. При підготовці використовувалася література з 23 різних джерел. Актуальність. Відеозв'язок набирає обертів, стає доступним в більшості країн світу, даючи змогу розмовляти і бачити співбесідника, який знаходиться на іншому куточку планети. Проте великому відсотку людей з обмеженими можливостями слуху та мови дана технологія не є доступною. Розпізнавання жестів та особливо жестової мови в системах відеокомунікацій може подолати даний бар’єр і вивести відеозв’язок на новий рівень. Розпізнавання та класифікація образів, зокрема жестів, не є новою задачею, проте активні дослідженні в цій області припадають саме на останнє десятиліття, що пов’язано зі стрімким розвитком методів машинного навчання. Розпізнавання жестів з відео послідовностей вимагає виокремлення як просторових, так і часових ознак, що у свою чергу потребує розробки нових або вдосконалення існуючих методів розпізнавання. Таким чином, задача розпізнавання жестів в системах відеокомунікації є актуальною. Мета і завдання дослідження. Метою магістерської роботи є розробка програмного продукту, що реалізує систему відеокомунікації з елементами розпізнаванням жестів. Завданням для досягнення даної мети постає дослідження специфіки та основних особливостей комп’ютерного аналізу жестів, дослідження існуючих методів машинного навчання та їх застосування в розпізнаванні жестів, дослідження передачі відео даних в мережі Інтернет, проектування архітектури розроблювальної системи, реалізація, випробування та аналіз програмного продукту. Об’єкт дослідження – системи відеокомунікації. Предмет дослідження – методи розпізнавання жестів в системах відеокомунікації. Методи досліджень. Для досягнення поставлених в магістерській роботі задач виконано аналіз (задачі розпізнавання жестів), абстрагування та синтез (розробка комплексу нейронних мереж), класифікація (жестів з відео послідовностей), експеримент (моделювання спроектованої системи), порівняння (роботи системи при різних конфігураціях за метриками точності та кількості помилок). Наукова новизна одержаних результатів роботи полягає у використанні методів машинного навчання для розпізнавання жестової мови в системі відеокомунікації, що імплементується на мобільний пристрій. Проведене дослідження дає можливість інтегрувати розроблену систему в інші засоби відеокомунікації на пристроях з обмеженими апаратними ресурсами та пам'яттю. Практичне значення. Отримані результати можуть бути інтегровані в програмах-чатах, соціальних мережах, електронну пошту, чати служб підтримки, використовуватись як самостійний засіб онлайн спілкування. Теоретичні висновки можуть бути використані в майбутніх дослідженнях за напрямками розпізнавання образів у відео послідовностях, класифікації зображень, вдосконалення методів розпізнавання жестів.uk
dc.format.page91 с.uk
dc.identifier.citationКалитенко, А. О. Система відеокомунікації з елементами розпізнавання жестів : магістерська дис. : 123 Комп’ютерна інженерія / Калитенко Альона Олександрівна. – Київ, 2019. – 91 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/30793
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectсистема відеокомунікаціїuk
dc.subjectнейронна мережаuk
dc.subjectрозпізнавання жестівuk
dc.subjectжестова моваuk
dc.subjectCNNuk
dc.subjectRNNuk
dc.subjectvideo communication systemuk
dc.subjectneural networkuk
dc.subjectgesture recognitionuk
dc.subjectsign languageuk
dc.subject.udc004.4uk
dc.titleСистема відеокомунікації з елементами розпізнавання жестівuk
dc.typeMaster Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
Kalytenko_magistr.doc
Розмір:
3.98 MB
Формат:
Microsoft Word
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.06 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (ОТ)
Магістерські роботи