Система перекладу мови жестів з потокового відео англійською мовою

Скорочена інформація про документ
dc.contributor.advisorХалус, Олена Андріївна
dc.contributor.authorСтек, Юлія Анатоліївна
dc.date.accessioned2020-02-07T12:45:01Z
dc.date.available2020-02-07T12:45:01Z
dc.date.issued2019-12
dc.description.abstractenMaster's Thesis: 94 pages, 28 pictures, 16 tables, 1 appendix, 20 sources. Actuality. Sign language is a complex system: not only gesture is important, but the facial expression, direction and speed of movement. Today, more than 1 million deaf people use American Sign Language. More than 30 million people have hearing impairments and hear only sounds higher than 40 dB, while people with no hearing problems hear from 0 to 20 dB. More than 70 million people worldwide use a particular sign language. 98% of people with hearing impairments do not receive sign language training. 72% of families are unable to communicate with their deaf relatives. 70% of deaf people are unemployed or undervalued at work. One in four deaf people was fired for discrimination. Currently, there is no commercial analogue to the system of translating sign language from streaming video. Several studies are under development. Relationship with working with scientific programs, plans, topics. The work was performed at the Department of Automated Information Processing and Management Systems of the Faculty of Computer Engineering of The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" within the work “Streaming video (in English) to Sign Language Translation System”. The aim. The aim of the work is to improve the communication environment of people with hearing impairments by improving the architecture of sign language translation system. To achieve this, you must complete the following tasks: - explore existing algorithms, architectures, and object detection approaches; - develop a system of translation from sign language; - adjust the hyperparameters of the model; - analyze the results of the system; - work to improve recognition accuracy and speed. Object. The process of translating sign language from streaming video. The subject is methods and algorithms for detecting gestures from streaming video and translating them into English. The practical significance of the results obtained. The developed system can be used in a web application as a plugin to help in communicating to people with hearing problems. Scientific novelty of the obtained results. Creating an architecture for the system of translating sign language from streaming video. Publications. The materials of the work were published in the All-Ukrainian Scientific and Practical Conference of Young Scientists and Students "Information Systems and Technologies of Management" (ISTU-2019). "Method of Identifying People and Simultaneously Evaluating Their Poses" and at the 3rd All-Ukrainian Scientific and Practical Conference of Young Scientists and Students "Information Systems and Management Technologies" (ISTU-2019) Stek Y. "Application of Deep Learning Architecture for Gesture Recognition System".uk
dc.description.abstractukМагістерська дисертація: 94 с., 28 рис., 16 табл., 1 додаток, 20 джерел. Актуальність теми. Мова жестів складна система: значення має не тільки жест, а я вираз обличчя, напрям та швидкість руху. На сьогоднішній день більше 1 мільйона глухих людей використовують американську мову жестів. Більше ніж 30 мільйонів людей мають вади слуху і чують лише звуки вищі ніж 40 дБ, тоді як люди не маючі проблем зі слухом чують в діапазонні від 0 до 20 дБ. Більше 70 мільйонів людей по всьому світі використовують ту чи іншу мову жестів. 98% людей, що мають вади слуху не отримують навчання з мови жестів. 72% сімей не можуть комунікувати зі своїми глухими родичами. 70% глухих людей не мають роботи або недооцінені на роботі. Кожен четвертий глухий був звільнений з роботи через дискримінацію. На даний момент не існує жодного комерційного аналогу системи перекладу мови жестів з потокового відео в англійську мову. Декілька досліджень знаходяться на етапі розробки. Зв'язок роботи з науковими програмами, планами, темами. Робота виконувалась на кафедрі автоматизованих систем обробки інформації та управління факультету обчислювальної техніки Національного технічного університету України «Київський політехнічний інститут ім. Ігоря Сікорського» в рамках теми «Система перекладу мови жестів з потокового відео в англійську мову». Мета дослідження. Метою дослідження є поліпшення умов спілкування людей з вадами слуху за рахунок вдосконалення архітектури перекладу мови жестів. Для досягнення мети необхідно виконати наступні завдання: - дослідити існуючі алгоритми, архітектури та підходи виявлення об’єктів; - розробити систему перекладу з мови жестів; - при необхідності скорегувати гіперпараметри моделі; - проаналізувати результати роботи системи; - провести роботу з поліпшення точності розпізнавання та швидкості дії. Об’єкт дослідження. Процес перекладу мови жестів з потокового відео в англійську мову. Предмет дослідження – методи та алгоритми виявлення жестів з потокового відео та перекладу їх в англійську мову. Практичне значення одержаних результатів. Розроблена система може бути використана у веб-додатку як плагін, що допоможе в спілкуванні людям з проблемами слуху. Наукова новизна одержаних результатів. Створення архітектури для системи перекладу мови жестів з потокового відео в англійську мову. Публікації. Матеріали роботи опубліковані у Всеукраїнській науково-практичній конференції молодих вчених та студентів «Інформаційні системи та технології управління» (ІСТУ-2019) Стек Ю.А., Халус О.А. «Метод виявлення людей та одночасне оцінювання їх поз» та у 3 всеукраїнській науково-практичній конференція молодих вчених та студентів «Інформаційні системи та технології управління» (ІСТУ-2019) Стек Ю.А., Халус О.А. «Застосування архітектури глибокого навчання для системи розпізнавання мови жестів».uk
dc.format.page94 с.uk
dc.identifier.citationСтек, Ю. А. Система перекладу мови жестів з потокового відео англійською мовою : магістерська дис. : 126 Інформаційні системи та технології / Стек Юлія Анатоліївна. - Київ, 2019. - 94 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/31460
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорського.uk
dc.publisher.placeКиїв.uk
dc.subjectмова жестівuk
dc.subjectкомп’ютерне баченняuk
dc.subjectперекладuk
dc.subjectdeep learninguk
dc.subjectCNNuk
dc.subjectпотокове відеоuk
dc.subjectsign languageuk
dc.subjectcomputer visionuk
dc.subjecttranslationuk
dc.subjectdeep learninguk
dc.subjectstreaming videouk
dc.subject.udc004.852uk
dc.titleСистема перекладу мови жестів з потокового відео англійською мовоюuk
dc.typeMaster Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Stek_magistr.pdf
Розмір:
4.31 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.06 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (АСОІУ)
Магістерські роботи