Розпізнавання конфігурацій рук української жестової мови на ізольованих відео
Вантажиться...
Дата
2026
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Автоматичне розпізнавання жестової мови на основі штучного інтелекту є актуальною проблемою. Для підвищення точності таких систем доцільне використання додаткових ознак, зокрема конфігурацій рук. У роботі представлено нейронну мережу прямого поширення на основі повнозв'язних шарів для ідентифікації конфігурацій української жестової мови (УЖМ) у відеопотоці. Запропоновано додавати до вхідних даних математичні показники, що обчислюються на основі координат ключових точок, отриманих системою захоплення пози MediaPipe. Для навчання моделей зібрано відео ізольованих жестів УЖМ з Інтернету вебскрепінгом, частину відео знято самостійно на камеру. Експерименти підтвердили високу точність ідентифікації конфігурацій. Нові ознаки суттєво підвищували узагальнювальну здатність нейронних мереж порівняно з моделями, що використовували лише координати ключових точок. Розроблена система може слугувати компонентом для побудови комплексних архітектур розпізнавання жестового мовлення.
Опис
Ключові слова
машинне навчання, комп'ютерний зір, нейронні мережі, українська жестова мова, конфігурація, розпізнавання жестів рук, оцінка якості моделі, інженерія ознак, системний аналіз
Бібліографічний опис
Грішин, К. Д. Розпізнавання конфігурацій рук української жестової мови на ізольованих відео / К. Д. Грішин, Н. І. Недашківська // Теоретичні і прикладні проблеми фізики, математики та інформатики : матеріали XXIV Всеукраїнської науково-практичної конференції студентів, аспірантів та молодих вчених, [Київ], 13–16 травня 2026 р. / КПІ ім. Ігоря Сікорського. – Київ, 2026. – С. 315-320.