Математичні моделі та методи 3D реконструкції в доповненій реальності
Дата
2026
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Савін В.В. Математичні моделі та методи 3D реконструкції в доповненій реальності. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 113 «Прикладна математика» (галузь знань 11 «Математика та Статистика»). – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2026.
В останні десятиліття спостерігається надзвичайно швидкий розвиток технологій доповненої реальності (ДР), які відкривають новий етап взаємодії людини з інформацією та оточуючим середовищем. Сценарії використання цих технологій стрімко еволюціонують, переходячи з мобільних на самостійніносимі пристрої. Продукти, які дозволяють споживати сценарії ДР, виходять зі стадії обмежених та дорогих платформ розробки і набувають масовості. Сучасні тренди у галузі доповненої реальності визначаються не лише зростанням її популярності, але й постійним удосконаленням технологічного арсеналу. Все більше компаній і дослідницьких груп зосереджують свою увагу на розробці інноваційних методів та рішень спрямованих на підвищення реалістичності взаємодії об’єктів ДР з реальним світом та користувача з об’єктами ДР. Одні з ключових технологій, необхідних для досягненні максимальної імерсії взаємодії та реалізації потенціалу ДР є реконструкція карт глибини та 3D реконструкція оточуючого середовища і його об’єктів. Мета 3D реконструкції полягає у відтворенні тривимірної моделі оточення на основі доступних даних: дво- та тривимірні зображення, внутрішні та зовнішні параметри камери, дані з IMU сенсорів, або систем позиціонування і т.д. 3D реконструкція є своєрідним каркасом для доповненої реальності, а її основною складовою є отримання (за рахунок апаратних засобів), чи відтворення (за рахунок алгоритмів на основі даних з одної чи декількох камер) карт глибини. Якість моделі реконструйованої сцени суттєво впливає на реалістичність сприйняття сценаріїв доповненої реальності користувачем. Справжній виклик полягає в тому, як забезпечити точність, достовірність та ефективність 3D реконструкції середовища при виконанні алгоритмів на кінцевих пристроях користувача та апаратних прискорювачах з обмеженою розрядністю (DSP/NPU), особливо, в умовах наявності на сцені динамічного освітлення та складних поверхонь (відбивні чи напівпрозорі). Метою даного дослідження є підвищення якості, стійкості та енергоефективності методів 3D реконструкції середовища, що виконуються на кінцевому пристрої користувача, для забезпечення реалістичної та надійної взаємодії користувача з віртуальними об’єктами в системах доповненої реальності. Якість існуючих класичних підходів реконструкції карт глибини чи 3D реконструкції сцени недостатня для реалізація якісних та імерсивних сценаріїв доповненої реальності. Такі алгоритми часто помиляються на складних поверхнях, таких як: однорідні, прозорі/напівпрозорі, відбивні, поверхні з періодичною текстурою; та на складних сценах, що містять: тонкі чи дрібні структури, динамічне освітлення, динамічні об’єкти. Сучасні методи реконструкції карт глибини чи 3D реконструкції сцени вирішують, або мінімізують вплив вищезазначених складних сцен та поверхонь. Але їх обчислювальна складність робить їх непридатними, або не ефективними для використання на кінцевих пристроях користувача з обмеженими обчислювальними можливостями та з батареями невисокої ємності. Тому актуальною є розробка нових методів та підходів, що дозволять врахувати особливості складних сцен при їх реконструкції на кінцевих пристроях користувача та на апаратних прискорювачах з обмеженою розрядністю. Перший розділ дисертаційного дослідження систематизує популярні існуючі роботи та підходи, що присвячені задачам реконструкції карт глибини та 3D реконструкції сцени. Демонструються результати аналізу даних методів, визначено їх основні недоліки та сформульовано завдання дисертаційного дослідження. У другому розділі досліджується проблема реконструкції середовища в умовах динамічного освітлення сцени. Запропоновано модифікацію Neural Radiance Fields (NeRF) моделі до умов динамічного освітлення шляхом модифікації функцій втрат та введення часової змінної. Проведені експерименти на відкритих наборах даних, які демонструють ознаки наявності динамічного освітлення, підтверджують ефективність запропонованого підходу. Також, проведено аналіз та запропоновано використання описаного методу для розширення (аугментації) наявних наборів даних шляхом синтезу зображень новітніх видів сцени з метою подальшого навчання легших моделей орієнтованих на ефективне виконання на кінцевому пристрої користувача. У третьому розділі дисертаційної роботи розглядається проблема реконструкції карт глибини при наявних на сцені відбивних чи напівпрозорих поверхонь. Запропоновано метод, який дозволяє отримати та окремо зберігти значення глибини до самої складної поверхні та до відбитого чи перекритого об’єкту. Описаний метод запатентовано як винахід в глобальній базі WIPO PATENTSCOPE та присутній в петентних базах багатьох країн, включаючи Республіка Корея, США та ін. Четвертий розділ адресує проблему ефективної реконструкції карт глибини високої точності та з широким діапазоном глибини на апаратних прискорювачах з обмеженою розрядністю кінцевих пристроїв користувача. Запропоновано метод, особливістю якого є модифікація архітектури моделі реконструкції карт глибини шляхом додавання виходів для окремого передбачення компонент двовімірної кривої Гільберта. Виходи моделі піддаються простій постобробці для отримання карт глибини широкого діапазону. Представлені результати експериментів на відкритих наборах даних демонструють: - суттєве зменшення похибки квантування моделі, виконання якої планується на апаратних прискорювачах з обмеженою розрядністю; - покращення якості реконструкції карт глибини, особливо при наявності дрібних структур; - збільшення розрядності результуючих значень карт глибини, що призводить до розширення робочого діапазону та точності значень глибини; - зменшення часу виконання та енергоспоживання результуючої квантованої моделі. Демонструються результати аналізу обмежень запропонованого підходу та можливості для його подальшого розвитку. Наукова новизна отриманих результатів: 1. Удосконалено метод Neural Radiance Fields (NeRF) до умов динамічного освітлення шляхом модифікації функцій втрат та введення часової змінної, що дозволило покращити якість реконструкції сцен з динамічним освітленням та розширювати існуючі набори даних для складних сцен. 2. Вперше розроблено та запатентовано метод реконструкції глибини, який враховує напівпрозорі та відбивні поверхні, зберігає окремо значення глибини до самої площини та до відбитого/перекритого об’єкту, що дозволяє збільшити точність реконструкції складних сцен, які містять не дифузні поверхні. 3. Вперше сформульовано та розроблено метод для прогнозування карт глибини з представленням виходу моделі у вигляді компонент двовимірної кривої Гільберта, що дозволило для квантованих моделей розширити діапазон глибини, підвищити її точність та покращити енергоефективність реконструкції сцени на апаратних прискорювачах з обмеженою розрядністю (DSP/NPU) кінцевих пристроїв користувача. Практичне значення отриманих результатів та їх застосування. Результати присутні в даному дослідженні були використані в рамках комерційних та науково-дослідницьких проектів ТОВ «Самсунг РнД Інститут Україна». Запропоновані методи знайшли застосування у галузі візуального інтелекту при вирішенні завдань 3D реконструкції сцени для доповненої реальності та створення/редагування просторового контенту. 1. Метод призначений для реконструкції карт глибини з урахуванням напівпрозорих та відбивних поверхонь, що орієнтований на підвищення якості відтворення складних об’єктів, зокрема при наявності динамічного освітлення захищено патентом (US20240144503А1). Отриманий патент розширює патентне портфоліо компанії у відповідному технологічному домені. 2. Метод прогнозування високоточних карт глибини з широким діапазоном на пристроях з обмеженою розрядністю, що ґрунтується на використанні двовимірних кривих Гільберта, дозволяє: зменшити похибку квантування моделі у 4,6 рази, що підвищує якість реконструкції карт глибини на DSP-пристроях; розширити діапазон відстаней за рахунок збільшення ефективної розрядності з 8-біт до 10-біт; зменшити час виконання та енергоспоживання квантованої моделі у 1,5 раза порівняно з оригінальною моделлю за умови збереження або покращення якості прогнозування карт глибини. 3. Розглянуті та запропоновані методи 3D реконструкції сцени на кінцевих пристроях користувача з обмеженими обчислювальними ресурсами було використано при розробці комерційних проектів, що спрямовані на сценарії створення/редагування просторового контенту для флагманської моделі смартфону Samsung Galaxy S25. Також, представлення виходу моделі на основі кривої Гільберта, що запропоновано у методі прогнозування карт глибини високої точності з широким діапазоном на пристроях з обмеженою розрядністю може бути застосовано для покращення якості та ефективності і інших задач комп’ютерного зору на основі методів машинного навчання, що виконуються на апаратних прискорювачах з низькою арифметикою.
Опис
Ключові слова
машинне навчання, глибинне навчання, нейронна мережа, комп’ютерний зір, карта глибини, 3D реконструкція, Neural Radiance Fields, квантування, криві Гільберта, виконання моделі на кінцевому пристрої, генерація навчальних даних, аугментація, функція втрат, DispNet, Dense Prediction Transformer, machine learning, deep learning, neural network, computer vision, depth map, 3D reconstruction, quantization, Hilbert curves, on-device inference, training-data generation, augmentation, loss function
Бібліографічний опис
Савін, В. В. Математичні моделі та методи 3D реконструкції в доповненій реальності : дис. … д-ра філософії : 113 – Прикладна математика / Савін Володимир Вадимович. – Київ, 2026. – 181 с.