Розробка програмних модулів для інтеграції параметричних моделей обличчя з системою передачі міміки користувача
Вантажиться...
Дата
2025
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломна робота за темою «Розробка програмних модулів для інтеграції параметричних моделей обличчя з системою передачі міміки користувача» виконана студентом кафедри інженерії програмного забезпечення в енергетиці НН ІАТЕ Гришай Даніїлом Дмитровичем зі спеціальності 121 «Інженерія програмного забезпечення» за освітньо-професійною програмою «Інженерія програмного забезпечення інтелектуальних кіберфізичних систем в енергетиці» і складається зі: вступу; 4 розділів («Розробка програмного забезпечення для передачі міміки на параметричну модель обличчя», «Аналіз інструментів та середовищ розробки», «Опис проєктування та реалізації системи передачі міміки», «Робота користувача з системою»), висновків до кожного з цих розділів; загального висновку; списку використаних джерел, що містить 7 найменувань; 11 рисунків, 3 додатки, 13 формул. Загальний обсяг роботи — 83 сторінок.
Актуальність теми зумовлена зростаючою потребою в інтерактивних системах передачі міміки для віртуальних персонажів у сферах цифрової анімації, відеозв’язку, VR/AR і розробки ігрових застосунків. Створення рішень, які працюють у реальному часі без складного обладнання, має велике значення для галузі інженерії програмного забезпечення.
Метою роботи є створення системи, яка дозволяє зчитувати міміку користувача з відеопотоку за допомогою бібліотеки MediaPipe, обробляти отримані дані у Python, та інтегрувати їх із параметричною 3D-моделлю обличчя в Blender з використанням shape keys і кісткової анімації. У процесі розробки були реалізовані модулі калібрування, нормалізації, згладжування та синхронного оновлення міміки у форматі JSON.
Завдання дослідження полягали у реалізації повного циклу передачі міміки користувача на віртуального персонажа. Для цього потрібно було обробляти відеопотік з камери та виявляти ключові точки обличчя за допомогою бібліотеки MediaPipe, розраховувати мімічні параметри (відкриття рота, положення брів, стан очей тощо), виконати калібрування нейтрального стану обличчя для точнішої нормалізації, а також передавати оброблені параметри у Blender. На завершальному етапі реалізовано анімацію за допомогою механізмів shape keys і кісток, що дозволило досягти реалістичної передачі міміки в режимі реального часу.
Практичне значення роботи полягає у створенні готового рішення для передачі емоцій на віртуального персонажа в реальному часі. Запропонована система може бути використана у створенні анімаційних фільмів, інтерактивних презентацій, освітніх VR-додатків, а також як основа для подальшого розширення функціональності.
Опис
Ключові слова
міміка, 3D-модель, Blender, Python, MediaPipe, shape keys, кісткова анімація, анімація обличчя, трекінг обличчя, інтерактивна система, facial expression transfer, parametric face model, MediaPipe, Blender, shape keys, JSON, computer vision, real-time animation
Бібліографічний опис
Гришай, Д. Д. Розробка програмних модулів для інтеграції параметричних моделей обличчя з системою передачі міміки користувача : дипломна робота ... бакалавра : 121 Інженерія програмного забезпечення / Гришай Даніїл Дмитрович. – Київ, 2025. – 71 с.