Порiвняльний аналiз методiв i технологiй розпiзнавання жестiв рук

Скорочена інформація про документ
dc.contributor.advisorХайдуров, Владислав Володимирович
dc.contributor.authorЗіневич, Валентин Михайлович
dc.date.accessioned2026-06-15T11:48:55Z
dc.date.available2026-06-15T11:48:55Z
dc.date.issued2026
dc.description.abstractКвалiфiкацiйна робота мiстить: 93 стор., 10 рисунки, 1 таблиць, 21 джерел. Метою роботи є розробка високоефективної системи автоматичного розпiзнавання динамiчних та статичних жестiв рук (українського дактилю), здатної працювати на edge-пристроях у режимi реального часу. Об’єктом дослiдження є процес автоматичного розпiзнавання жестової мови за допомогою алгоритмiв комп’ютерного зору та методiв глибокого навчання. Предметом дослiдження є моделi та методи видiлення просторово-часових, геометричних i динамiчних ознак кистi для класифiкацiї жестiв. Проведено практичну реалiзацiю та порiвняльний аналiз архiтектур глибокого навчання, орiєнтованих на обробку часових рядiв: рекурентних мереж (LSTM, гiбридна BiLSTM-LSTM), одновимiрних часових згорткових мереж (1D-TCN) та просторово-часових графових мереж (ST-GCN). Результати дослiдження показали, що рекурентнi моделi (LSTM/BiLSTM), хоча i досягають прийнятної точностi (до 78,8%) та здатнi неявно сегментувати межi жестiв, є занадто повiльними для вiдеопотоку в реальному часi (затримка 600–912 мс). Графова архiтектура ST-GCN продемонструвала надвисоку швидкiсть (5,97 мс), проте виявила потребу у бiльших навчальних наборах даних (точнiсть валiдацiї 52,53%). Найефективнiшим рiшенням виявилася модель 1D-TCN, яка забезпечила найвищу точнiсть класифiкацiї на валiдацiйнiй вибiрцi (83,84%) при середнiй затримцi iнференсу 49,89 мс (що дозволяє обробляти 20 жестiв на секунду).
dc.description.abstractotherThe qualification paper contains: 93 pages, 10 figures, 1 tables, 21 references. The purpose of the work is to develop a highly efficient system for the automatic recognition of dynamic and static hand gestures (Ukrainian dactyl), capable of operating on edge devices in real time. The object of the research is the process of automatic sign language recognition using computer vision algorithms and deep learning methods. The subject of the research encompasses the models and methods for extracting spatio-temporal, geometric, and dynamic features of the hand for gesture classification. A practical implementation and comparative analysis of deep learning architectures focused on time series processing were conducted: recurrent neural networks (LSTM, hybrid BiLSTM-LSTM), one-dimensional temporal convolutional networks (1D-TCN), and spatio-temporal graph convolutional networks (ST-GCN). The results of the study demonstrated that while recurrent architectures (LSTM/BiLSTM) achieve acceptable accuracy (up to 78.8%) and exhibit the capability to implicitly segment gesture boundaries within a continuous video stream, they are excessively slow for real-time video processing due to a high latency of 600–912 ms. Conversely, the spatio-temporal graph architecture (ST-GCN) demonstrated ultra-high computational speed with an inference latency of 5.97 ms, yet revealed a critical dependency on larger training datasets, yielding a validation accuracy of 52.53%. The 1D-TCN model proved to be the most effective solution, delivering the highest classification accuracy on the validation set (83.84%) with an average inference latency of 49.89 ms, which enables the processing of 20 gestures per second.
dc.format.extent93 с.
dc.identifier.citationЗіневич, В. М. Порiвняльний аналiз методiв i технологiй розпiзнавання жестiв рук : дипломна робота ... бакалавра : 113 Прикладна математика / Зіневич Валентин Михайлович. – Київ, 2026. – 93 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/81659
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectрозпiзнавання жестiв
dc.subjectукраїнський дактиль
dc.subjectкомп’ютерний зiр
dc.subjectглибоке навчання
dc.subjectedge AI
dc.subjectmediapipe
dc.subject1D-TCN
dc.subject.udc004.932.72:004.8
dc.titleПорiвняльний аналiз методiв i технологiй розпiзнавання жестiв рук
dc.typeBachelor Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Zynevych_bakalavr.pdf
Розмір:
1.37 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (ММАД)
Бакалаврські роботи