Геометрична локальна консолідація гетерогенних ансамблів
Дата
2026
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Яворський О.А. Геометрична локальна консолідація гетерогенних ансамблів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 113 "Прикладна математика" (галузь знань 11 "Математика та Статистика"). – Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського", Київ, 2026.
Машинне навчання і зокрема алгоритми на основі нейронних мереж відіграють значну роль як в науці, так і в практичних застосуваннях завдяки високій адаптивності та точності. Разом з цим, дані методи не є достатньо інтерпретовними та, зазвичай, є менш робастними у порівнянні з широким класом інших, зокрема класичних, методів машинного навчання. Низька робастність призводить до нестабільності поведінки моделі на практиці, вимагає додаткових ресурсів на узгодженя моделі з новими даними та ускладнює використання у напрямках, що високо цінять надійність моделей, наприклад, медицині, фінансах, фізичному моделюванні тощо. Для таких галузей можна говорити про трикомпонетну систему вимог до моделей: висока робастність, інтерпретовність та узагальнювальність. Іншими словами, модель має бути стійкою до шуму чи викидів, має бути відносно легко пояснити яким чином модель прийшла до певної відповіді, а сама модель має показувати якомога більш стабільну поведінку під час переходу від одного (валідного) набору даних до іншого. Аналогічні вимоги зустрічаються, зокрема, для задачі побудови цифрових двійників (без прив'язки до конкретної галузі). Це пов'язано з тим, що такі системи є багатокомпонентними, що додатково підсилює вагомість інтерпретовності кожної окремої компоненти, націлені на моделювання великих (або деталізованих) процесів, що призводить до акумуляції зашумлення кожної окремої складової, а складність та дороговизна створення таких систем вимагає від них високої здатності до узагальнення. Існує низка методів підвищення стійкості моделей, більшість з яких базуються на ідеї аугментації даних, тобто підготовки моделі до можливих типів зашумлення. Не дивлячись на високу теоретичну ефективність, такі підходи привносять ряд питань, що ускладнюють їх імплементацію, а саме: де знайти або яким чином згенеруати гарні аугментовані дані, як оцінити вплив аугментованих даних на існуючи вибірку дійсних даних, яким чином виконувати тренування на таких даних тощо. Крім цього, використання більшої кількості даних очевидно збільшує обчислювальні вимоги та ефективний розмір моделі. Важливо також зазначити, що такі методи не обов'язково позитивно впдиваюьб на узагальнювальність, адже часто є "математичним трюком", до якого ми прибігаємо в умовах відсутності дійсних альтернативних наборів даних. Що ж стосується інтерпретовності, то класичні моделі машинного навчання є повністю інтерпретовними, тоді як більшість сучасних — так званими чорними якщиками. У таких умовах інтерпретовність часто є можливою лише в обмеженому вигляді вже на етапі, коли модель повністю натренована (що не є ефективним) і часто навіть вимагає тренування додаткових моделей інтерпретаторів таких як розріджені автоенкодери (англ., Sparse Autoencoders) для мовних моделей або моделей простору станів, що зовсім не полегшує загальну задачу аналізу поведінки моделі. На додачу, велика частина сучасних нейронних алгоритмів використовує ідею комбінування декількох нейронних компонент в межах однієї, унітарної моделі (наприклад, трансформер) або ансамблю, що лише погіршує можливу інтерпретовність самої моделі та ускладнює її аналіз. Разом з цим, для моделей на основі ансамблів, існує додаткова проблема узгодження інформації між окремими компонентами (інформаційна консолідація). Так, під час тренування моделей, необхідно явно (або неявно) узгодити потік інформації між різними компонентами ансамблю. Таким чином, класичні підходи не є однаково ефективними для ансамблів та унітарних моделей, адже не враховують принциповий зсув у методах передачі інформації в межах моделі ансамблю та не пом'якшують властиві для ціього підходу недоліки, що робить актуальним розробку методів та підходів покращення робастності та інтерпретовності моделей на основі ансамблевої архітектури. Саме цей аспект необхідності додаткового узгодження є, фактично, основною причиною більш низької інтерпретовності моделейансамблів. Таким чином, впровадження певного контролю за цим процесом може суттєво підвищити інтерпретовність моделей. Метою дисертаційної роботи є спроба надати один із можливих розв'язків даної проблеми: підвищення робастності та інтерпретованості нейронних моделей шляхом розроблення теоретично обґрунтованого методу геометричної локальної консолідації гетерогенних ансамблів на основі оцінки складності простору вхідних даних та його впровадження для гібридних, фізичноінформованих і нейродиференціальних моделей. Сам ансамбль можна розглядати у даному випадку як простий приклад цифрового двійника, що складається з різних моделейкомпонент, що моделюють окрему логіку / поведінку в межах системи (даних). У першому розділі даної роботи було розглянуто основні парадигми розумного аналізу даних, підходи до побудови моделей та ряд класичних проблем, що пов'язані з їх імплементацією і, зокрема, оцінкою; детально було розглянуто питання робастності моделей машинного навчання та які особливості виникають при переході від унітарних до ансамблевих моделей. Другий розділ було присвячено викладенню основних ідей з топологічного аналізу даних, що став основою геометричної компоненти консолідації ансамблів, також було проаналізовано ряд суміжних робіт, що ставлять на меті використання геометричних та / або топологічних властивостей даних для покращення роботи унітарних моделей або ансамблів та підкреслено особливості даної роботи та її відмінність від існуючих напрацювань. Разом з цим, нейронний гібридний алгоритм було визначено як основний приклад гетерогенного ансамблю, який став базовим елементом подальших практичних експериментів. У третьому розділі проаналізовано ряд функцій оцінки складності простору для визначення топологічних властивостей простору та їх ефективність для консолідації нейронних гібридних алгоритмів. Розглянуто як синтетичні дані, так і класичні набори даних різних модальностей: текст, зображення, графи для задачі nарної класифікації. Зокрема, було розглянуто набір даних із медичними зображеннями. Встановлено, що вибір конкретної функції оцінки складності суттєво впливає на кінцевий показник робастності моделей. Крім цього, визначено, що запропонований метод побудови моделей ансамблю є більш робастним у порівнянні з унітарними нейронним аналогом (на основі оцінки рівня впливу зашумлених та змінених даних). Разом з цим, окремо було проаналізовано найпростішу з можливих варіацій нейронного гібридного алгоритма із імпліцитним підходом до оцінки складності простору на задачі сильно незбалансованої бінарної текстової класифікації. Показано, що такий підхід легко перевершує набагато більші та складніші моделі глибокого машинного навчання за якісними метриками. Таким чином показано високу адаптивність запропонованого методу до різних модальностей даних, що є особливо важливим для згаданої вище проблеми побудови цифрових двійників, адже для їх створення часто використовуються саме такі дані (напр., для задачі оцінки змін навколишнього середовища часто використовуються як зображення самого середовища, так і кількісні показники, наприклад, у вигляді часових рядів, що описують зміну температури, вологості тощо). Четвертий розділ присвячено аналізу якості запропонованого підходу для задач фізичного моделювання, зокрема, для задач пов'язаних із рівняннями теплопровідності, Нав'єСтокса та ФітцХ'юНагумо. Було встановлено, що запропонований підхід є як більш робастним, так і більш точним у порівнянні із унітарними аналогами. Було показано, що розроблений метод має високий рівень гнучкості та дозволяє легко використовувати різні слабкі високопояснювальні моделі в межах ансамблю, а також як автоматизовані, так і евристичні способи визначення функцій оцінки складності простору, що є особливо важливим у випадках, коли вже існує певна інформація, яку необхідно інтегрувати до моделі. Крім цього, було викладено алгоритм побудови запропонованої моделі як для фізичноінформованих нейронних мереж, так і для нейродиференціальних рівнянь. У ході експериментів було визначено, що запропонований підхід може утворювати "клаптикові" маски простору, що суттєво ускладнюють ефективне використання даного методу, для чого було запропоновано функцію втрат узгодженості, яка здатна вирішувати дану проблему для певних таких функцій. Наукова новизна отриманих результатів може бути висвітлина в наступних пункатх: 1. Вперше запропоновано та формалізовано метод геометричної локальної консолідації гетерогенних ансамблів на основі оцінки складності простору вхідних даних, який забезпечує узгоджене розбиття простору між слабкими моделями та підвищує робастність ансамблевих нейронних моделей. 2. Вперше розроблено універсальний підхід до гібридизації нейронних моделей на основі локальної просторової складності, що дозволяє інтегрувати геометричні та топологічні властивості даних у процедуру побудови гетерогенних ансамблів. 3. Удосконалено механізми локальної інформаційної консолідації гетерогенних ансамблів шляхом введення функції втрат узгодженості та просторових масок ансамблю, що зменшує фрагментацію простору, стабілізує межі прийняття рішень і знижує варіабельність помилки. 4. Набули подальшого розвитку та експериментально підтверджені підходи до підвищення робастності гібридних нейронних моделей різної природи, зокрема фізичноінформованих нейронних мереж (PINNs) та нейродиференціальних рівнянь (NDE), а також моделей для даних різної модальності (текст, графи, зображення, зокрема медичні). Практичне значення отриманих результатів. Результати цього дисертаційного дослідження отримано в межах виконання науководослідницьких проєктів, а саме: 1. Моделі простору станів для оцінки змін навколишнього середовища (Міністерство освіти і науки України, 0126U001342) 2. Методи машинного навчання з адаптивним злиттям мультимодальних даних для кросрегіонального перенесення моделей класифікації земного покриву (Міністерство освіти і науки України, 0126U001312) 3. DT4LC: Розробка масштабованих цифрових моделейдвійників для аналізу змін земного покриву за допомогою машинного навчання (Швейцарський національний науковий фонд — Swiss National Science Foundation, 0125U001223) 4. Сервіси Copernicus нового покоління: інтелектуальний цифровий двійник для аналізу лісового покриву України (Міністерство освіти і науки України, 0126U001302) За матеріалами дисертації опубліковано 7 робіт, з яких 2 статті у міжнародних журналах, що індексуються у Scopus (квартилі Q1 та Q2), 1 стаття в журналі, що входить до переліку фахових видань за спеціальністю дисертації, 2 розділи у співавторстві у монографіях, та 2 публікації у матеріалах міжнародних конференцій.
Опис
Ключові слова
машинне навчання, інтерпретоване машинне навчання, поясненний штучний інтелект, штучний інтелект, глибоке навчання, нейронні мережі, фізичноінформовані нейронні мережі, нейродиференціальні рівняння, багатошаровий персептрон, пошук ознак, топологічний аналіз даних, цифрові двійники, оцінка змін навколишнього середовища, реакційнодифузійна модель, напівкероване навчання, machine learning, interpretable machine learning, explainable AI, artificial intelligence, deep learning, neural networks, physicsinformed neural networks, neuraldifferential equations, multilayer perceptron (MLP), feature extraction, topological data analysis, digital twins, environmental change assessment, reactiondiffusion models, semisupervised learning
Бібліографічний опис
Яворський, О. А. Геометрична локальна консолідація гетерогенних ансамблів : дис. … д-ра філософії : 113 – Прикладна математика / Яворський Олександр Андрійович. – Київ, 2026. – 162 с.