Геометрична локальна консолідація гетерогенних ансамблів
| dc.contributor.advisor | Куссуль, Наталія Миколаївна | |
| dc.contributor.author | Яворський, Олександр Андрійович | |
| dc.date.accessioned | 2026-07-07T12:59:26Z | |
| dc.date.available | 2026-07-07T12:59:26Z | |
| dc.date.issued | 2026 | |
| dc.description.abstract | Яворський О.А. Геометрична локальна консолідація гетерогенних ансамблів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 113 "Прикладна математика" (галузь знань 11 "Математика та Статистика"). – Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського", Київ, 2026. Машинне навчання і зокрема алгоритми на основі нейронних мереж відіграють значну роль як в науці, так і в практичних застосуваннях завдяки високій адаптивності та точності. Разом з цим, дані методи не є достатньо інтерпретовними та, зазвичай, є менш робастними у порівнянні з широким класом інших, зокрема класичних, методів машинного навчання. Низька робастність призводить до нестабільності поведінки моделі на практиці, вимагає додаткових ресурсів на узгодженя моделі з новими даними та ускладнює використання у напрямках, що високо цінять надійність моделей, наприклад, медицині, фінансах, фізичному моделюванні тощо. Для таких галузей можна говорити про трикомпонетну систему вимог до моделей: висока робастність, інтерпретовність та узагальнювальність. Іншими словами, модель має бути стійкою до шуму чи викидів, має бути відносно легко пояснити яким чином модель прийшла до певної відповіді, а сама модель має показувати якомога більш стабільну поведінку під час переходу від одного (валідного) набору даних до іншого. Аналогічні вимоги зустрічаються, зокрема, для задачі побудови цифрових двійників (без прив'язки до конкретної галузі). Це пов'язано з тим, що такі системи є багатокомпонентними, що додатково підсилює вагомість інтерпретовності кожної окремої компоненти, націлені на моделювання великих (або деталізованих) процесів, що призводить до акумуляції зашумлення кожної окремої складової, а складність та дороговизна створення таких систем вимагає від них високої здатності до узагальнення. Існує низка методів підвищення стійкості моделей, більшість з яких базуються на ідеї аугментації даних, тобто підготовки моделі до можливих типів зашумлення. Не дивлячись на високу теоретичну ефективність, такі підходи привносять ряд питань, що ускладнюють їх імплементацію, а саме: де знайти або яким чином згенеруати гарні аугментовані дані, як оцінити вплив аугментованих даних на існуючи вибірку дійсних даних, яким чином виконувати тренування на таких даних тощо. Крім цього, використання більшої кількості даних очевидно збільшує обчислювальні вимоги та ефективний розмір моделі. Важливо також зазначити, що такі методи не обов'язково позитивно впдиваюьб на узагальнювальність, адже часто є "математичним трюком", до якого ми прибігаємо в умовах відсутності дійсних альтернативних наборів даних. Що ж стосується інтерпретовності, то класичні моделі машинного навчання є повністю інтерпретовними, тоді як більшість сучасних — так званими чорними якщиками. У таких умовах інтерпретовність часто є можливою лише в обмеженому вигляді вже на етапі, коли модель повністю натренована (що не є ефективним) і часто навіть вимагає тренування додаткових моделей інтерпретаторів таких як розріджені автоенкодери (англ., Sparse Autoencoders) для мовних моделей або моделей простору станів, що зовсім не полегшує загальну задачу аналізу поведінки моделі. На додачу, велика частина сучасних нейронних алгоритмів використовує ідею комбінування декількох нейронних компонент в межах однієї, унітарної моделі (наприклад, трансформер) або ансамблю, що лише погіршує можливу інтерпретовність самої моделі та ускладнює її аналіз. Разом з цим, для моделей на основі ансамблів, існує додаткова проблема узгодження інформації між окремими компонентами (інформаційна консолідація). Так, під час тренування моделей, необхідно явно (або неявно) узгодити потік інформації між різними компонентами ансамблю. Таким чином, класичні підходи не є однаково ефективними для ансамблів та унітарних моделей, адже не враховують принциповий зсув у методах передачі інформації в межах моделі ансамблю та не пом'якшують властиві для ціього підходу недоліки, що робить актуальним розробку методів та підходів покращення робастності та інтерпретовності моделей на основі ансамблевої архітектури. Саме цей аспект необхідності додаткового узгодження є, фактично, основною причиною більш низької інтерпретовності моделейансамблів. Таким чином, впровадження певного контролю за цим процесом може суттєво підвищити інтерпретовність моделей. Метою дисертаційної роботи є спроба надати один із можливих розв'язків даної проблеми: підвищення робастності та інтерпретованості нейронних моделей шляхом розроблення теоретично обґрунтованого методу геометричної локальної консолідації гетерогенних ансамблів на основі оцінки складності простору вхідних даних та його впровадження для гібридних, фізичноінформованих і нейродиференціальних моделей. Сам ансамбль можна розглядати у даному випадку як простий приклад цифрового двійника, що складається з різних моделейкомпонент, що моделюють окрему логіку / поведінку в межах системи (даних). У першому розділі даної роботи було розглянуто основні парадигми розумного аналізу даних, підходи до побудови моделей та ряд класичних проблем, що пов'язані з їх імплементацією і, зокрема, оцінкою; детально було розглянуто питання робастності моделей машинного навчання та які особливості виникають при переході від унітарних до ансамблевих моделей. Другий розділ було присвячено викладенню основних ідей з топологічного аналізу даних, що став основою геометричної компоненти консолідації ансамблів, також було проаналізовано ряд суміжних робіт, що ставлять на меті використання геометричних та / або топологічних властивостей даних для покращення роботи унітарних моделей або ансамблів та підкреслено особливості даної роботи та її відмінність від існуючих напрацювань. Разом з цим, нейронний гібридний алгоритм було визначено як основний приклад гетерогенного ансамблю, який став базовим елементом подальших практичних експериментів. У третьому розділі проаналізовано ряд функцій оцінки складності простору для визначення топологічних властивостей простору та їх ефективність для консолідації нейронних гібридних алгоритмів. Розглянуто як синтетичні дані, так і класичні набори даних різних модальностей: текст, зображення, графи для задачі nарної класифікації. Зокрема, було розглянуто набір даних із медичними зображеннями. Встановлено, що вибір конкретної функції оцінки складності суттєво впливає на кінцевий показник робастності моделей. Крім цього, визначено, що запропонований метод побудови моделей ансамблю є більш робастним у порівнянні з унітарними нейронним аналогом (на основі оцінки рівня впливу зашумлених та змінених даних). Разом з цим, окремо було проаналізовано найпростішу з можливих варіацій нейронного гібридного алгоритма із імпліцитним підходом до оцінки складності простору на задачі сильно незбалансованої бінарної текстової класифікації. Показано, що такий підхід легко перевершує набагато більші та складніші моделі глибокого машинного навчання за якісними метриками. Таким чином показано високу адаптивність запропонованого методу до різних модальностей даних, що є особливо важливим для згаданої вище проблеми побудови цифрових двійників, адже для їх створення часто використовуються саме такі дані (напр., для задачі оцінки змін навколишнього середовища часто використовуються як зображення самого середовища, так і кількісні показники, наприклад, у вигляді часових рядів, що описують зміну температури, вологості тощо). Четвертий розділ присвячено аналізу якості запропонованого підходу для задач фізичного моделювання, зокрема, для задач пов'язаних із рівняннями теплопровідності, Нав'єСтокса та ФітцХ'юНагумо. Було встановлено, що запропонований підхід є як більш робастним, так і більш точним у порівнянні із унітарними аналогами. Було показано, що розроблений метод має високий рівень гнучкості та дозволяє легко використовувати різні слабкі високопояснювальні моделі в межах ансамблю, а також як автоматизовані, так і евристичні способи визначення функцій оцінки складності простору, що є особливо важливим у випадках, коли вже існує певна інформація, яку необхідно інтегрувати до моделі. Крім цього, було викладено алгоритм побудови запропонованої моделі як для фізичноінформованих нейронних мереж, так і для нейродиференціальних рівнянь. У ході експериментів було визначено, що запропонований підхід може утворювати "клаптикові" маски простору, що суттєво ускладнюють ефективне використання даного методу, для чого було запропоновано функцію втрат узгодженості, яка здатна вирішувати дану проблему для певних таких функцій. Наукова новизна отриманих результатів може бути висвітлина в наступних пункатх: 1. Вперше запропоновано та формалізовано метод геометричної локальної консолідації гетерогенних ансамблів на основі оцінки складності простору вхідних даних, який забезпечує узгоджене розбиття простору між слабкими моделями та підвищує робастність ансамблевих нейронних моделей. 2. Вперше розроблено універсальний підхід до гібридизації нейронних моделей на основі локальної просторової складності, що дозволяє інтегрувати геометричні та топологічні властивості даних у процедуру побудови гетерогенних ансамблів. 3. Удосконалено механізми локальної інформаційної консолідації гетерогенних ансамблів шляхом введення функції втрат узгодженості та просторових масок ансамблю, що зменшує фрагментацію простору, стабілізує межі прийняття рішень і знижує варіабельність помилки. 4. Набули подальшого розвитку та експериментально підтверджені підходи до підвищення робастності гібридних нейронних моделей різної природи, зокрема фізичноінформованих нейронних мереж (PINNs) та нейродиференціальних рівнянь (NDE), а також моделей для даних різної модальності (текст, графи, зображення, зокрема медичні). Практичне значення отриманих результатів. Результати цього дисертаційного дослідження отримано в межах виконання науководослідницьких проєктів, а саме: 1. Моделі простору станів для оцінки змін навколишнього середовища (Міністерство освіти і науки України, 0126U001342) 2. Методи машинного навчання з адаптивним злиттям мультимодальних даних для кросрегіонального перенесення моделей класифікації земного покриву (Міністерство освіти і науки України, 0126U001312) 3. DT4LC: Розробка масштабованих цифрових моделейдвійників для аналізу змін земного покриву за допомогою машинного навчання (Швейцарський національний науковий фонд — Swiss National Science Foundation, 0125U001223) 4. Сервіси Copernicus нового покоління: інтелектуальний цифровий двійник для аналізу лісового покриву України (Міністерство освіти і науки України, 0126U001302) За матеріалами дисертації опубліковано 7 робіт, з яких 2 статті у міжнародних журналах, що індексуються у Scopus (квартилі Q1 та Q2), 1 стаття в журналі, що входить до переліку фахових видань за спеціальністю дисертації, 2 розділи у співавторстві у монографіях, та 2 публікації у матеріалах міжнародних конференцій. | |
| dc.description.abstractother | Yavorskyi O.A. Geometric local consolidation of heterogeneous ensembles.– Qualifying scientific work as a manuscript.Dissertation for the degree of Doctor of Philosophy in specialty 113 "Applied Mathematics" (field of knowledge 11 "Mathematics and Statistics"). – National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Kyiv, 2026. Machine learning, and specifically algorithms based on neural networks, play a significant role in both science and practical applications due to their high adaptability and accuracy. At the same time, these methods lack sufficient interpretability and are generally less robust compared to a broad class of other, classical, machine learning methods. Low robustness leads to instability in model behavior in practice, requires additional resources to align the model with new data, and complicates its use in domains that highly value model reliability, such as medicine, finance, and physical modeling, among others. For such fields, one can speak of a threecomponent system of requirements for models: high robustness, interpretability, and generalizability. In other words, the model must be resilient to noise or outliers, it should be relatively easy to explain how the model arrived at a specific answer, and the model itself must exhibit the most stable behavior possible when transferring from one (valid) dataset to another. Analogous requirements are encountered, in particular, in the task of constructing digital twins (regardless of the specific domain). This is due to the fact that such systems are multicomponent, which further amplifies the importance of the interpretability of each individual component; they are aimed at modeling largescale (or detailed) processes, which leads to the accumulation of noise from each separate constituent; and the complexity and high cost of developing such systems demand a high capacity for generalization from them. There are a number of methods for increasing model robustness, most of which are based on the idea of data augmentation, i.e., preparing the model for potential types of noise. Despite their high theoretical effectiveness, such approaches introduce a series of issues that complicate their implementation, namely: where to find or how to generate good augmented data, how to evaluate the impact of augmented data on the existing sample of real data, how to perform training on such data, and so forth. Furthermore, the use of a larger amount of data evidently increases the computational requirements and the effective size of the model. It is also important to note that such methods do not necessarily have a positive impact on generalizability, as they are often a "mathematical trick" that we resort to in the absence of valid alternative datasets. Regarding interpretability, classical machine learning models are fully interpretable, whereas the majority of modern ones are socalled black boxes. Under such conditions, interpretability is often possible only in a limited form at the stage when the model is already fully trained (which is inefficient) and frequently even requires the training of additional interpreter models, such as Sparse Autoencoders for language models or statespace models, which does not simplify the overall task of analyzing model behavior in the slightest. In addition, a large proportion of modern neural algorithms utilizes the concept of combining multiple neural components within a single, unitary model (e.g., a transformer) or an ensemble, which only degrades the potential interpretability of the model itself and complicates its analysis. Furthermore, for ensemblebased models, there is an additional problem of coordinating information between individual components (information consolidation). Thus, during model training, it is necessary to explicitly (or implicitly) harmonize the flow of information between the various components of the ensemble. Consequently, classical approaches are not equally effective for ensembles and unitary models, as they do not account for the fundamental shift in the methods of information transfer within an ensemble model and fail to mitigate the drawbacks inherent to this approach. This makes the development of methods and approaches for improving the robustness and interpretability of ensemblearchitecturebased models highly relevant. It is precisely this aspect of the need for additional coordination that is, in fact, the primary reason for the lower interpretability of ensemble models. Therefore, introducing a degree of control over this process can significantly enhance model interpretability. The objective of this dissertation is an attempt to provide one possible solution to this problem: enhancing the robustness and interpretability of neural models by developing a theoretically grounded method for the geometric local consolidation of heterogeneous ensembles. This is based on evaluating the complexity of the input data space and implementing it for hybrid, physicsinformed, and neural differential models. The ensemble itself can be viewed in this case as a simple example of a digital twin, consisting of various component models that simulate specific logic/behavior within the system (data). The first chapter of this work examines the main paradigms of intelligent data analysis, approaches to model building, and a number of classical problems associated with their implementation and, in particular, their evaluation. It details the issue of machine learning model robustness and the specific features that arise during the transition from unitary to ensemble models. The second chapter is dedicated to presenting the core concepts of topological data analysis, which formed the basis for the geometric component of ensemble consolidation. It also analyzes a series of related works aimed at utilizing the geometric and/or topological properties of data to improve the performance of unitary models or ensembles, highlighting the distinct features of this study and its differences from existing developments.Additionally, the neural hybrid algorithm was identified as the primary example of a heterogeneous ensemble, serving as the foundational element for subsequent practical experiments. In the third chapter, a series of space complexity evaluation functions are analyzed to determine the topological properties of the space and their effectiveness in consolidating neural hybrid algorithms. Both synthetic data and classical datasets of various modalities are considered: text, images, and graphs for the nary classification task. In particular, a dataset of medical images was examined. It was established that the selection of a specific complexity evaluation function significantly impacts the final robustness metric of the models. Furthermore, it was determined that the proposed method of constructing ensemble models is more robust compared to the unitary neural analog (based on an assessment of the impact level of noisy and altered data). Alongside this, the simplest possible variation of the neural hybrid algorithm, featuring an implicit approach to space complexity evaluation, was analyzed separately on the task of highly imbalanced binary text classification. It is shown that such an approach easily outperforms much larger and more complex deep machine learning models in terms of qualitative metrics. Thus, the high adaptability of the proposed method to various data modalities is demonstrated, which is particularly important for the aforementioned problem of constructing digital twins, since such data are frequently used for their creation (e.g., for the task of assessing environmental changes, both images of the environment itself and quantitative indicators—such as time series describing changes in temperature, humidity, etc. — are commonly utilized). The fourth chapter is dedicated to analyzing the quality of the proposed approach for physical modeling tasks, particularly those related to the Heat, NavierStokes, and FitzHughNagumo equations. It was found that the proposed approach is both more robust and more accurate compared to unitary analogs. It was demonstrated that the developed method possesses a high level of flexibility and facilitates the easy utilization of various weak, highly interpretable models within an ensemble, as well as both automated and heuristic ways of defining space complexity evaluation functions. This is especially important in cases where preexisting information must be integrated into the model. Furthermore, an algorithm for constructing the proposed model was outlined for both physicsinformed neural networks and neural differential equations. During the experiments, it was determined that the proposed approach can generate "patchwork" spatial masks that significantly complicate the effective use of this method; to resolve this, a consistency loss function was proposed that is capable of addressing this issue for certain functions of this type. Scientific novelty of the obtained results can be highlighted in the following points: 1. For the first time, a method for the geometric local consolidation of heterogeneous ensembles based on evaluating the complexity of the input data space has been proposed and formalized, which ensures a consistent partitioning of the space among weak models and increases the robustness of ensemble neural models. 2. For the first time, a universal approach to the hybridization of neural models based on local spatial complexity has been developed, allowing for the integration of geometric and topological data properties into the procedure for building heterogeneous ensembles. 3. Mechanisms for the local information consolidation of heterogeneous ensembles have been improved through the introduction of a consistency loss function and spatial ensemble masks, which reduces space fragmentation, stabilizes decision boundaries, and decreases error variability. 4. Approaches to increasing the robustness of hybrid neural models of various natures, particularly physicsinformed neural networks (PINNs) and neural differential equations (NDEs), as well as models for data of different modalities (text, graphs, images, including medical), have been further developed and experimentally validated. Practical significance of the obtained results. The results obtained in this work have been applied in the following projects: 1. DT4LC: Development of scalable digital twin models for analyzing land cover changes using machine learnin (Swiss National Science Foundation, 0125U001223) 2. Machine learning methods with adaptive multimodal data fusion for crossregional transfer of land cover classification models (Ministry of Education and Science of Ukraine, 0126U001312) 3. Nextgeneration Copernicus services: an intelligent digital twin for forest cover analysis in Ukraine (Ministry of Education and Science of Ukraine, 0126U001302) 4. State space models for environmental changes assessment (Ministry of Education and Science of Ukraine, 0126U001342) Based on the dissertation materials, 7 scientific works were published, including 2 articles in international journals indexed in Scopus (quartiles Q1 and Q2), 1 article in a journal included in the list of professional publications in the dissertation's specialty, 1 twoauthor monograph chapter, 1 multiauthor monograph chapter, and 2 publications in international conference proceedings. | |
| dc.format.extent | 162 с. | |
| dc.identifier.citation | Яворський, О. А. Геометрична локальна консолідація гетерогенних ансамблів : дис. … д-ра філософії : 113 – Прикладна математика / Яворський Олександр Андрійович. – Київ, 2026. – 162 с. | |
| dc.identifier.uri | https://ela.kpi.ua/handle/123456789/82153 | |
| dc.language.iso | uk | |
| dc.publisher | КПІ ім. Ігоря Сікорського | |
| dc.publisher.place | Київ | |
| dc.subject | машинне навчання | |
| dc.subject | інтерпретоване машинне навчання | |
| dc.subject | поясненний штучний інтелект | |
| dc.subject | штучний інтелект | |
| dc.subject | глибоке навчання | |
| dc.subject | нейронні мережі | |
| dc.subject | фізичноінформовані нейронні мережі | |
| dc.subject | нейродиференціальні рівняння | |
| dc.subject | багатошаровий персептрон | |
| dc.subject | пошук ознак | |
| dc.subject | топологічний аналіз даних | |
| dc.subject | цифрові двійники | |
| dc.subject | оцінка змін навколишнього середовища | |
| dc.subject | реакційнодифузійна модель | |
| dc.subject | напівкероване навчання | |
| dc.subject | machine learning | |
| dc.subject | interpretable machine learning | |
| dc.subject | explainable AI | |
| dc.subject | artificial intelligence | |
| dc.subject | deep learning | |
| dc.subject | neural networks | |
| dc.subject | physicsinformed neural networks | |
| dc.subject | neuraldifferential equations | |
| dc.subject | multilayer perceptron (MLP) | |
| dc.subject | feature extraction | |
| dc.subject | topological data analysis | |
| dc.subject | digital twins | |
| dc.subject | environmental change assessment | |
| dc.subject | reactiondiffusion models | |
| dc.subject | semisupervised learning | |
| dc.subject.udc | 004.8, 004.93 | |
| dc.title | Геометрична локальна консолідація гетерогенних ансамблів | |
| dc.title.alternative | Geometric local consolidation of heterogeneous ensembles | |
| dc.type | Thesis Doctoral |
Файли
Контейнер файлів
1 - 1 з 1
Вантажиться...
- Назва:
- Yavorskyi_dys.pdf
- Розмір:
- 1.87 MB
- Формат:
- Adobe Portable Document Format
Ліцензійна угода
1 - 1 з 1
Ескіз недоступний
- Назва:
- license.txt
- Розмір:
- 8.98 KB
- Формат:
- Item-specific license agreed upon to submission
- Опис: