Метод гібридизації архітектур нейронних мереж для аналізу мультимодальних даних
Вантажиться...
Дата
2026
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Гордієнко Н.Ю. Метод гібридизації архітектур нейронних мереж для аналізу мультимодальних даних – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 121 – Інженерія програмного забезпечення з галузі знань 12 – Інформаційні технології. – Національний Технічний Університет України «Київський Політехнічний Інститут імені Ігоря Сікорського», Київ, 2026.
Дисертаційна робота присвячена розробці комплексного методу гібридизації архітектур нейронних мереж для мультимодальних даних з метою підвищення стійкості, здатності до узагальнення та ефективності глибоких нейронних мереж в умовах обмежених обчислювальних ресурсів. В даній роботі було досліджено напрямок сучасного розвитку технологій для вирішення задач компʼютерного зору з використанням машинного навчання та глибоких нейронних мереж. Компʼютерні технології широко розвиваються і пристрої Інтернету речей (Internet of Things) стають більш поширеними, технологічними та різноцільовими. Головними обмеженнями в цій сфері є розмір та обчислювальні ресурси, що створює нові виклики для побудови та використання алгоритмів компʼютерного зору. Широке застосування компʼютерного зору в системах такого типу вимагає високих показників надійності та стабільності, а отже постає потреба в розробці систем з високими показниками стійкості та високою можливістю до узагальнення, які можуть бути використані в умовах обмежених обчислювальних ресурсів. Новітніми методами, які використовуються для покращення показників нейронних мереж є поєднання або злиття даних різних типів і використання декількох модальностей. Ці техніки показали свою ефективність в дослідженнях та в різних сферах впровадження, що робить їх перспективними. Також в даній роботі було досліджено новітні наукові погляди та дискусії у сфері великих даних. Сучасні дослідники започаткували і широко використовують терміни інтер-модальності та інтра-модальності. Інтра-модальності в сучасних дослідженнях позначають дані однакового типу, яку несуть різну корисну інформацію. Інтер-модальності визначають дані різного типу з різною інформацією. Дослідження та використання інтра-модальностей є важливим для покращення властивостей моделі, оскільки такі додаткові модальності дають додаткові представлення інформації у межах одного типу даних і які фокусуються на окремих аспектах явища. Інтра-модальності відрізняються інформативністю та специфікою ознак, які надходять до моделі. Таким чином, злиття інтра-модальних представлень і використання мультимодального набору даних у поєднанні з мультимодальним навчанням може забезпечити нейронні мережі додатковими інформаційними джерелами, здатними підвищити їхню стійкість до варіацій вхідних даних. Хоча такі дані не змінюють тип медіа й походять із одного сенсора або декількох сенсорів одного типу, вони формують різні інформаційні простори, створюючи окремі інтра-модальності, та підсилюють певні характеристики сцени, що дозволяє моделі розглядати їх як окремі, але взаємодоповнювальні джерела ознак, що схоже за природою на використання різних типів сенсорів. Подібні підходи симулюють ситуацію використання різних сенсорів, сенсорів із різними параметрами або різних умов зйомки, що в реальних системах підвищує інваріантність і адаптивність моделей до змін оточення. Це відкриває можливості для розробки гібридних архітектур, у яких фізичні закономірності формування зображень інтегруються безпосередньо в процес навчання нейронних мереж, забезпечуючи їхню стійкість та ефективність у реальних сценаріях застосування. В даній роботі, вперше було розроблено метод гібридизації архітектур нейронних мереж для роботи з мультимодальними даними на основі незалежних горизонтальних однотипних частин і методу синхронізованого мульти-доповнення (SMA) для створення додаткових інтра-модальностей. Розроблено метод гібридизації, який забезпечує підвищену стійкість моделей до неочікуваних спотворень даних в задачах компʼютерного зору, наприклад повороту зображення або зміни в освітлені, шляхом використанням декількох бекбонів (backbone), тобто основ нейронної мережі, у поєднанні із створеними додатковими інтра-модальностями даних за рахунок вперше запропонованого методу SMA. Розроблено метод створення архітектур нейронних мереж на основі окремих незалежних горизонтальних однотипних частин, бекбонів, які отримують дані з декількома інтер-модальностями або інтра-модальностями, з обʼєднанням отриманих результатів і мультимодального навчання, що дозволяє створювати розподілені паралельні системи у яких складність додаткових обчислень не збільшує час виконання аналізу. Розроблено метод зменшення обчислювальної складності, який шляхом інтеграції незмінених класичних архітектур глибинних нейронних мереж у мультибекбонні конфігурації і доповненням додатковими модальностями, не втрачає точність результатів при зменшенні розмірності картинки, що дає можливість динамічного перемикання між режимами оптимізації для гібридних DNN у залежності від вимог реального часу та наявних ресурсів. Проведено аналіз результатів, який довів що запровадження SMA вирішує проблему втрати у точності стандартних підходів з одним бекбоном і однією модальністю на нових даних з трансформаціями. За допомогою методу SMA і перенавчання моделі з додатковими створеними інтра-модальностями на прикладі фотометричних змін, які моделюють різні умови освітлення та налаштування камери, втрата точності класифікації (AUC) зменшується з 16% до 4%, без втрати точності на оригінальному наборі даних. Без перенавчання моделі можливо підвищити стійкість до неочікуваних випадків за допомогою поєднання однотипних бекбонів. На прикладі просторових перетворень у вигляді поворотів з випадковим кутом, запропонована модель зменшила втрату AUC з 21% до 6%. Доведено, що гібридні системи комп’ютерного на основі мультибекбонних конфігурацій з поєднанням різних інтер-модальностей, на прикладі IR та RGB-даних, дозволяє підвищити середню точність детекції (mAP) на 4,5–19,8% порівняно з базовими конфігураціями та дозволяє використовувати дані меншої розмірності, зменшуючи обчислювальну складність. Гібридні моделі, які побудовані на основі комбінацій відомих архітектур, здатні забезпечити надійну класифікацію в інших сферах застосування, наприклад в задачах класифікації з використанням медичного обладнання на основі ЕЕГ даних. Метод забезпечує покращену точність в складних умовах, дозволяє зменшити кількість необхідних параметрів, а отже кількість обчислень, і може бути ефективно використаний у системах з обмеженими ресурсами. В даній роботі показано, що гібридна багатобекбонна структура дозволяє ефективно розподіляти обчислення між кількома ядрами або процесорами. Це дозволяє уникнути створення додаткових затримок і зберегти час обробки при додаванні нових окремих бекбонів з окремими вагами. Крім того, саме гібридна архітектура дозволяє спільне використання ваг між окремими бекбонами з однаковою архітектурою, що зменшує обсяг пам’яті, необхідної для зберігання моделі. Побудова багатобекбонної мережі з використанням вже досліджених відомих архітектур дозволяє зменшити кількість часу на навчання та адаптацію мережі, створювати динамічні конфігурації відповідно до потреб і створювати комплексні однорангові розподілені системи для покращення надійності роботи. Дане дослідження пропонує нову парадигму побудови стійких глибоких нейронних мереж, яка базується на отримані або створені окремих модальностей, поєднанні мультимодальних представлень, багатобекбонної обробки та поєднання результатів. Доведено, що завдяки цьому можливо досягти підвищення стійкості, здатності до узагальнення та ефективності моделей при мінімальних змінах обчислювальної складності. Це відкриває нові напрямки дослідження, такі як: створення спеціалізованих обчислювальних апаратних компонентів для швидкого створення додаткових модальностей, створення розподілених багатобекбонних систем з залученням датчиків різних типів, створення динамічних конфігурацій нейронних мереж для вирішення типових задач в різних умовах та з різними вимогами до виконання. Розроблені методи є складовою комплексного методу адаптації гібридизації архітектур нейронних мереж з використанням мультимодальних даних і дозволяють адаптувати обрані архітектури нейронних мереж створюючи єдину модель зі злиттям даних різних модальностей для покращення стійкості до непередбачуваних даних та ефективності роботи всієї моделі. Це відкриває нові можливості для інтеграції в системи з різними обмеженнями в ресурсах, наприклад, медичні сенсори, мобільні пристрої, автономні роботи, безпілотні системи тощо. Результати засвідчують, що запропонований підхід до гібридизації глибоких нейронних мереж із застосуванням SMA та багатобекбонних архітектур є ефективним методом підвищення стійкості й узагальнювальної здатності моделей без суттєвого збільшення обчислювальних витрат. Сформульовані висновки створюють ґрунтовну основу для подальших досліджень у напрямі масштабованих, розподілених і мультимодальних нейронних систем, орієнтованих на Edge Intelligence та суміжні напрями. Отримані експериментальні дані підтверджують практичну релевантність розробленої методики для застосування в задачах HCI, автономної навігації, дистанційного зондування, а також у системах моніторингу, що функціонують на пристроях IoT або в середовищах edge-computing.
Опис
Ключові слова
гібридні нейронні мережі, мультимодальні дані, глибокі нейронні мережі, машинне навчання, класифікація зображень, компʼютерний зір, доповнення даних, hybrid neural networks, multimodal data, deep neural networks, machine learning, image classification, computer vision, data augmentation
Бібліографічний опис
Гордієнко, Н. Ю. Метод гібридизації архітектур нейронних мереж для аналізу мультимодальних даних : дис. … д-ра філософії : 121 Інженерія програмного забезпечення / Гордієнко Нікіта Юрійович. - Київ, 2026. - 222 с.