Система відстеження погляду користувача для взаємодії з комп'ютером

Скорочена інформація про документ
dc.contributor.advisorМорозов, Костянтин Вячеславович
dc.contributor.authorЛунгов, Олександр Віталійович
dc.date.accessioned2026-01-19T13:04:30Z
dc.date.available2026-01-19T13:04:30Z
dc.date.issued2025
dc.description.abstractАктуальність теми. Розвиток людино-комп'ютерної взаємодії спрямований на створення більш природних, інтуїтивних та інклюзивних інтерфейсів. Керування пристроями за допомогою погляду є наступним логічним етапом еволюції, оскільки забезпечує режим "вільні руки" та є життєво необхідним для допоміжних технологій. Проте, широке впровадження цієї технології гальмується домінуванням дорогих апаратних трекерів, що суперечить принципам масової доступності та економічної ефективності. Актуальність роботи полягає у розробці та дослідженні високоточної, чисто програмної системи відстеження погляду, яка використовує лише стандартну камеру, що є елементом модернізації IT-інфраструктури. Об’єктом дослідження є процес підвищення точності та стійкості систем відстеження погляду, побудованих на основі методів глибокого навчання в умовах експлуатації зі стандартними пристроями введення. Предметом дослідження є методологія розробки та імплементації масштабованої клієнт-серверної архітектури для прогнозування напрямку погляду в режимі реального часу за допомогою багатопотокової згорткової нейронної мережі та математичного апарату афінного калібрування. Мета роботи: розробка та дослідження високоточної програмної системи відстеження погляду, яка здатна функціонувати у режимі реального часу, використовуючи виключно стандартну, загальнодоступну камеру, що є невід'ємним елементом сучасного обчислювального пристрою, що забезпечить демократизацію доступу до технології керування поглядом для широкого кола користувачів. Наукова новизна полягає в наступному: 1. Запропоновано та імплементовано архітектурне рішення для реалізації відстеження погляду у режимі реального часу на основі масштабованих мікросервісів, що використовує асинхронну передачу даних та паралельну обробку на GPU. 2. Удосконалено архітектуру Multi-stream CNN шляхом застосування Shared Weights для потоків обробки очей, що дозволило зменшити кількість параметрів моделі, підвищити її узагальнюючу здатність та оптимізувати швидкість інференсу. Практична цінність. Розроблена система є готовим, економічно доступним рішенням, яке може бути використане як пряма альтернатива дорогим апаратним трекерам. Основні сфери застосування: асистивні технології для людей з порушеннями моторики, UX/UI-аналітика, а також як компонент для інтеграції в ігрові та VR/AR-системи, що не мають вбудованих ІЧ-датчиків. Апробація роботи. Основні положення і результати роботи були представлені та обговорювались на XVIII науковій конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2025 (Київ, 19-21 листопада 2025 р.). Структура та обсяг роботи. Магістерська дисертація складається з вступу, п’яти розділів та висновків. У вступі подано загальну характеристику роботи, зроблено оцінку сучасного стану проблеми, обґрунтовано актуальність напрямку досліджень, сформульовано мету досліджень. У першому розділі розглянуто задачу відстеження погляду та її сфери застосування. Проведено класифікацію методів відстеження погляду та здійснено детальний аналіз існуючих комерційних рішень. На основі проведеного порівняння зроблено висновок про переваги та обмеження апаратних систем і обґрунтовано необхідність розробки чисто програмного рішення на основі глибокого навчання. У другому розділі наведено результати дослідження ключових технологій, необхідних для розробки системи: глибоке навчання, архітектури згорткових нейронних мереж, принцип просторової нормалізації вхідних даних для компенсації рухів голови. Також проаналізовано відповідні програмні інструменти та обрані датасети, що стали основою для навчання моделі. У третьому розділі детально розглянуто методологію розробки та архітектуру нейронної мережі. Обґрунтовано вибір та проведено характеристику масивного навчального набору даних Gaze Capture. Центральний акцент зроблено на розробці багатопотокової згорткової нейронної мережі, що використовує спільні вагові коефіцієнти та алгоритм просторової нормалізації вхідних даних для забезпечення стійкості до рухів голови. Обґрунтовано вибір функції втрат Г'юбера для підвищення стійкості моделі до викидів та сформульовано стратегію динамічної спеціалізації для подальшого підвищення надійності. У четвертому розділі наведено результати імплементації розробленої системи, детально описано функціональні блоки клієнтського та серверного модулів. Представлено математичну модель афінного калібрування, яка слугує для точного перетворення 3D-прогнозу нейромережі у 2D-піксельні координати на екрані, адаптовані під індивідуальні параметри користувача. У п’тому розділі наведено протоколи, результати та аналіз експериментів. Оцінено ключові метрики: точність, швидкодія та стійкість до рухів голови. Проведено порівняльний аналіз із найкращими світовими аналогами та обґрунтовано конкурентні переваги розробленої системи У висновках представлені результати проведеної роботи. Робота представлена на 82 аркушах, містить посилання на список використаних літературних джерел.
dc.description.abstractotherRelevance of the Topic. Development of Human-Computer Interaction is aimed at creating more natural, intuitive, and inclusive interfaces. Gaze control of devices is the next logical step in evolution, as it enables "hands-free" operation and is vital for assistive technologies. However, the widespread adoption of this technology is hindered by the dominance of expensive hardware trackers, which contradicts the principles of mass accessibility and economic efficiency. The relevance of this work lies in the development and investigation of a high-precision, purely software-based gaze tracking system that uses only a standard camera, which is an element of IT infrastructure modernization. The object of the study is the process of improving the accuracy and robustness of gaze tracking systems built on deep learning methods under operational conditions with standard input devices. The subject of the study is the methodology for developing and implementing a scalable client-server architecture for real-time gaze direction prediction using a multi-stream convolutional neural network and the mathematical apparatus of affine calibration. The goal of the work: development and investigation of a high-precision software gaze tracking system that is capable of functioning in real-time, using exclusively a standard, widely available camera, which is an integral element of a modern computing device, which will ensure the democratization of access to gaze control technology for a wide range of users. Scientific novelty consists of the following: 1. An architectural solution for real-time gaze estimation based on scalable microservices has been proposed and implemented, utilizing asynchronous data transmission and parallel processing on a GPU. 2. The Multi-stream CNN architecture has been improved by applying Shared Weights to the eye processing streams, which allowed for a reduction in the model's parameter count, enhanced its generalization capability, and optimized inference speed. Practical value. The developed system is a ready-made, economically accessible solution that can be used as a direct alternative to expensive hardware trackers. The main application areas include: assistive technologies for people with motor impairments, UX/UI analytics, and as a component for integration into gaming and VR/AR systems that do not have built-in IR sensors. Aprobation of the Work. he main provisions and results of the work were presented and discussed at the XVIII scientific conference of Master's students and graduate students «Прикладна математика та комп’ютинг» ПМК-2025 (Kyiv, November 19-21, 2025.). Structure and volume of the work. The Master's thesis consists of an introduction, five chapters, and conclusions. The introduction provides a general description of the work, assesses the current state of the problem, substantiates the relevance of the research direction, and formulates the goal of the research. In the first chapter, the problem of gaze tracking and its scope of application are considered. A classification of gaze tracking methods is carried out and a detailed analysis of existing commercial solutions is performed. Based on the comparison, a conclusion is drawn about the advantages and limitations of hardware systems and the necessity of developing a purely software solution based on deep learning is substantiated. In the second chapter, the results of the study of key technologies necessary for the development of the system are presented: deep learning, convolutional neural network architectures, the principle of spatial normalization of input data to compensate for head movements. The corresponding software tools and selected datasets that became the basis for training the model are also analyzed. In the third chapter, the methodology for developing and the architecture of the neural network are discussed in detail. The choice and characteristics of the massive Gaze Capture training dataset are substantiated. The central emphasis is placed on the development of a multi-stream convolutional neural network that uses shared weights and a spatial normalization algorithm for input data to ensure robustness against head movements. The choice of the Huber loss function is justified to increase the model's resistance to outliers, and a strategy of dynamic specialization is formulated for further reliability enhancement. In the fourth chapter, the results of the developed system's implementation are presented, and the functional blocks of the client and server modules are described in detail. The mathematical model of affine calibration is introduced, which serves for the precise conversion of the neural network's 3D prediction into 2D pixel coordinates on the screen, adapted to the user's individual parameters. In the fifth chapter, the protocols, results, and analysis of experiments are presented. Key metrics are evaluated: accuracy, speed, and robustness to head movements. A comparative analysis with the best global analogues is conducted, and the competitive advantages of the developed system are substantiated.У висновках представлені результати проведеної роботи. The work is presented on 82 sheets, including references to the list of literature sources.
dc.format.extent93 с.
dc.identifier.citationЛунгов, О. В. Система відстеження погляду користувача для взаємодії з комп'ютером : магістерська дис. : 123 Комп'ютерна інженерія / Лунгов Олександр Віталійович. – Київ, 2025. – 93 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/78233
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectвідстеження погляду
dc.subjectглибоке навчання
dc.subjectMulti-stream CNN
dc.subjectпросторова нормалізація
dc.subjectафінне калібрування
dc.subjectлюдино-комп'ютерна взаємодія
dc.subjectобробка в реальному часі.
dc.subjectgaze tracking
dc.subjectdeep learning
dc.subjectspatial normalization
dc.subjectaffine calibration
dc.subjecthuman-computer interaction
dc.subjectreal-time processing.
dc.subject.udc004.05
dc.titleСистема відстеження погляду користувача для взаємодії з комп'ютером
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Lunhov_OV_KV42mp_magistr_2025.pdf
Розмір:
1.33 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (СПСКС)
Магістерські роботи