Оптимізація параметрів та структури нейронних мереж із застосуванням еволюційних алгоритмів

Скорочена інформація про документ
dc.contributor.advisorБулах, Богдан Вікторович
dc.contributor.authorГірянський, Богдан Петрович
dc.date.accessioned2026-08-24T12:41:19Z
dc.date.available2026-08-24T12:41:19Z
dc.date.issued2026
dc.description.abstractГірянський Б.П. Оптимізація параметрів та структури нейронних мереж із застосуванням еволюційних алгоритмів. — Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 122 — Комп’ютерні науки. — Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2026. Метою дослідження є підвищення ефективності процесів оптимізації параметрів та структури нейронних мереж шляхом розробки та дослідження еволюційних методів стиснення, оптимізації гіперпараметрів та злиття моделей. Об’єктом дослідження є процеси оптимізації параметрів та структури нейронних мереж. Предметом дослідження є методи та алгоритми застосування еволюційних обчислень для структурної оптимізації, пошуку гіперпараметрів і злиття нейронних мереж. Методи дослідження. Використано: методи системного аналізу — для класифікації підходів та формулювання задач. Eволюційні алгоритми безперервної оптимізації (CMA-ES, диференціальна еволюція, генетичний алгоритм) — для пошарового розподілу розрідженості, оптимізації гіперпараметрів та злиття моделей. Методи теорії матриць (апроксимація сліду матриці Гессе, двонаправлена метрика спорідненості нейронів) — для оцінки важливості ваг та нейронів, сурогатне моделювання (Random Forest) — для оптимізації гіперпараметрів, e-жадібний багаторукий бандит — для контролю достовірності сурогату, непараметрична статистика (критерії Фрідмана, Немені, Вілкоксона, бутстрап-довірчі інтервали) — для оцінювання ефективності методів. Глибоке навчання та об'єктно-орієнтоване програмування — для реалізації прототипів. Наукова новизна одержаних результатів. Вперше запропоновано метод проріджування нейронної мережі без зміни її структури, у якому частка збережених вагових коефіцієнтів у кожному шарі визначається еволюційним пошуком. Метод відрізняється від відомих підходів із глобальним порогом або фіксованим пошаровим розподілом тим, що після проміжного проріджування повторно обчислюється значущість вагових коефіцієнтів і враховується штраф за повністю деактивовані нейрони. Це зменшує ризик руйнування критичних шляхів передавання сигналу та забезпечує меншу втрату якісних характеристик мережі при високих рівнях проріджування. Вперше запропоновано метод ущільнення розрідженої нейронної мережі, що не потребує ані перенавчання моделі, ані даних для коригування вагових коефіцієнтів. На відміну від підходів, які видаляють усі деактивовані нейрони, або застосовують низькорангову апроксимацію матриці ваг, чи потребують навчальних даних для створення спрощених моделей ШНМ, запропонований метод еволюційно визначає кількість нейронів, які доцільно зберегти в кожному шарі, та об’єднує надлишкові нейрони за спорідненістю їхніх вхідних і вихідних зв’язків. Це дає змогу отримати меншу модель із кращим співвідношенням між стисненням і збереженням якісних характеристик мережі. Вперше запропоновано метод пошуку гіперпараметрів нейронних мереж, у якому еволюційний алгоритм формує та відбирає можливі значення гіперпараметрів без повного навчання мережі для кожного можливого варіанта. Відбір здійснюється за моделлю залежності між значеннями гіперпараметрів і результатами вже виконаних навчань: допоміжна модель визначає очікуване значення цільової функції для сформованих варіантів, після чого на реальне навчання передається лише один із них. Це зменшує кількість повних циклів навчань нейронної мережі та підвищує ефективність використання обчислювального бюджету. Удосконалено метод злиття нейронних мереж у випадку, коли вихідні моделі навчені на різних підмножинах класів або даних. Метод не усереднює ваги моделей, а формує об’єднану мережу з частини нейронів першої та другої моделей. Склад цієї мережі й внесок кожної моделі для різних класів визначає генетичний алгоритм. Цільова функція враховує частку правильно розпізнаних прикладів у всій валідаційній вибірці та окремо точність для найгірше розпізнаваного класу, що зменшує ризик втрати здатності розпізнавати окремі класи та допомагає зберігати знання, набуті обома моделями. Практичне значення одержаних результатів. Метод TESA-26 дає змогу автоматично визначати максимальний ступінь стиснення нейронної мережі, за якого зберігається заданий рівень якості моделі. У порівняльному дослідженні на 6 наборах даних, 12 рівнях проріджування та 1080 експериментальних записах метод показав найкращий середній ранг Фрідмана 2,04 і статистично значущо перевершив SparseGPT, WANDA та RIA (X2 = 18,05, p < 0,0001). Метод GFCS дає змогу перетворити проріджену нейронну мережу на фізично меншу щільну архітектуру зі зменшеною кількістю нейронів і зв’язків. У проведених експериментах він забезпечив стиснення у 7,6 раза та середнє прискорення обчислень моделі у 1,42 раза зі збереженням якості на всіх 8 досліджених наборах даних. Методи SACMA-DAC та SACMA-MAB скорочують кількість повних циклів навчання нейронної мережі, необхідних для добору гіперпараметрів. У дослідженні на 43 задачах із 10 повторами вони посіли 1–2 місця серед 9 підходів за середнім рангом 2,47 і 2,95 та досягли найвищої швидкості збіжності за показником AUCC = 0,9257 і 0,9210 відповідно. Метод ENT дає змогу об’єднувати нейронні мережі, навчені на різних підмножинах класів або даних, в одну модель без повного навчання з нуля і у сценарії комплементарного злиття ENT забезпечив розпізнавання 10 з 10 класів, точність 0,749 і баланс 0,981, а після калібрації ENT-FT точність зросла до 0,917. Опис розділів дисертації. У першому розділі проаналізовано наукову літературу за п'ятьма напрямками: еволюційні алгоритми безперервної оптимізації, структурне стиснення нейронних мереж, оптимізація гіперпараметрів, злиття моделей, апаратно-незалежні метрики обчислювальної вартості. Виявлено три прогалини, що визначили напрямки дослідження. У другому розділі розроблено еволюційні методи стиснення нейронних мереж: апаратно-незалежну метрику RCU, метод неструктурованого проріджування TESA-26 з еволюційним пошаровим розподілом розрідженості і метод зворотної конверсії розрідженої мережі у компактну щільну архітектуру GFCS без використання навчальних даних. Проведено порівняння з відомими методами на різнотипних задачах класифікації. У третьому розділі досліджено застосування еволюційних алгоритмів до пошуку гіперпараметрів нейронних мереж: порівняно CMA-ES з баєсівськими оптимізаторами, досліджено проксі-оцінки та ординальне кодування, розроблено метод у двох варіаціях SACMA-DAC та SACMA-MAB для пошуку гіперпараметрів із сурогатною моделлю та додатково досліджено метод WL-CMA. У четвертому розділі досліджено застосування еволюційних алгоритмів до злиття нейронних мереж з комплементарними знаннями: проаналізовано обмеження інтерполяційних методів, розроблено метод еволюційного відбору нейронної топології (ENT), розроблено етап калібрації ENT-FT та проведено порівняльний аналіз з методами Sakana-CMA, TIES-Merging, Task Arithmetic. Особистий внесок здобувача. Усі основні результати дисертаційного дослідження, подані до захисту, одержані автором особисто. Здобувачем виконано: аналіз існуючих методів структурної оптимізації нейронних мереж, розробку методів TESA-26, GFCS, SACMA-DAC, SACMA-MAB та ENT, розробку апаратно-незалежної метрики RCU, проведення обчислювальних експериментів та статистичний аналіз результатів. У публікаціях у співавторстві здобувачеві належать: дослідження існуючих методів, проектування та реалізація запропонованих методів, проведення експериментів, статистичне оцінювання ефективності. Апробація матеріалів дисертації. Основні результати дисертаційної роботи доповідались та обговорювались на міжнародній науково-практичній конференції Science and Information Technologies in the Modern World (Афіни, Греція, 24–26 грудня 2025 р.).
dc.description.abstractotherHirianskyi B.P. Optimization of Parameters and Structure of Neural Networks Using Evolutionary Algorithms. — Qualifying scientific work as a manuscript. Dissertation for the degree of Doctor of Philosophy in specialty 122 — Computer Science. — National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Kyiv, 2026. The research objective is to improve the efficiency of parameter and structure optimization processes for neural networks through the development and investigation of evolutionary methods for model compression, hyperparameter optimization, and merging. The object of research is the processes of optimizing the parameters and structure of neural networks. The subject of research is methods and algorithms for applying evolutionary computation to structural optimization, hyperparameter search, and neural network merging. Research methods. The dissertation employs: methods of system analysis — for classifying approaches and defining research problems, continuous optimization evolutionary algorithms (CMA-ES, differential evolution, genetic algorithm) — for layerwise sparsity allocation, hyperparameter optimization, and model merging, matrix theory methods (Hessian trace approximation, bidirectional neuron affinity metric) — for evaluating weight and neuron importance, surrogate modeling (Random Forest) — for hyperparameter optimization, e-greedy multi-armed bandit — for surrogate reliability control and nonparametric statistics (Friedman, Nemenyi, Wilcoxon tests, bootstrap confidence intervals) — for evaluating method effectiveness and deep learning and objectoriented programming — for implementing software prototypes. Scientific novelty of the obtained results. For the first time, a pruning method without changing the network structure has been proposed, in which the fraction of retained weights in each layer is determined by evolutionary search. The method differs from known approaches with a global threshold or fixed layerwise allocation by recomputing weight saliency after intermediate pruning and by accounting for a penalty for fully deactivated neurons. This reduces the risk of disrupting critical signal paths and provides a smaller loss of network quality at high pruning levels. For the first time, a method has been proposed for densifying a sparse neural network that requires neither model retraining nor data for adjusting weight coefficients. Unlike approaches that remove all deactivated neurons, apply low-rank approximation of the weight matrix, or require training data to construct simplified ANN models, the proposed method evolutionarily determines the number of neurons to retain in each layer and merges redundant neurons according to the similarity of their incoming and outgoing connections. This makes it possible to obtain a smaller model with a better trade-off between compression and preservation of the network's quality characteristics. For the first time, a neural network hyperparameter search method has been proposed in which an evolutionary algorithm forms and selects possible hyperparameter values without fully training the network for each variant. The selection is performed using a model of the relationship between hyperparameter values and the results of previously completed trainings: an auxiliary model determines the expected value of the objective function for the generated variants, after which only one of them is sent for real training. This reduces the number of full neural network trainings and improves the efficiency of computational budget use. Improved is the method for merging neural networks when the source models are trained on different subsets of classes or data. The method does not average model weights but forms a merged network from part of the neurons of the first and second models and the composition of this network and the contribution of each model for different classes are determined by a genetic algorithm. The objective function accounts for the fraction of correctly recognized examples in the entire validation set and separately for the accuracy of the worst-recognized class, which reduces the risk of losing the ability to recognize individual classes and helps preserve the knowledge acquired by both models. Practical significance of the obtained results. The TESA-26 method makes it possible to automatically determine the maximum compression level of a neural network at which a specified model quality level is preserved, in a comparative study on 6 datasets, 12 pruning levels, and 1,080 experimental records, the method achieved the best mean Friedman rank of 2.04 and statistically significantly outperformed SparseGPT, WANDA, and RIA (X2 = 18.05, p < 0.0001). The GFCS method makes it possible to transform a pruned neural network into a physically smaller dense architecture with fewer neurons and connections, in experiments, it achieved 7.6× compression and an average inference speedup of 1.42x while preserving quality on all 8 investigated datasets. The SACMA-DAC and SACMA-MAB methods reduce the number of full neural network training cycles required for hyperparameter selection, in a study on 43 tasks with 10 repetitions, they ranked 1st and 2nd among 9 approaches with mean ranks of 2.47 and 2.95 and achieved the highest convergence speed according to AUCC = 0.9257 and 0.9210, respectively. The ENT method enables neural networks trained on different subsets of classes or data to be merged into one model without full training from scratch and in the complementary merging scenario, ENT recognized 10 out of 10 classes, achieved accuracy of 0.749 and balance of 0.981, and after ENT-FT calibration the accuracy increased to 0.917. Chapter descriptions. Chapter 1 analyzes the scientific literature across five directions: continuous optimization evolutionary algorithms, structural compression of neural networks, hyperparameter optimization, model merging and hardware-independent computational cost metrics. Three gaps are identified that define the research directions. Chapter 2 develops evolutionary methods for neural network compression: the hardware-independent computational cost metric RCU, the unstructured pruning method TESA-26 with evolutionary layerwise sparsity allocation and the inverse conversion method GFCS from a sparse network to a compact dense architecture without using training data. A comparison with known methods is conducted on diverse classification tasks. Chapter 3 investigates the application of evolutionary algorithms to neural network hyperparameter search: CMA-ES is compared with Bayesian optimizers, proxy evaluations and ordinal encoding are investigated. A method in two variations, SACMA-DAC and SACMA-MAB, is developed for finding hyperparameters with a surrogate model. The WLCMA method is additionally investigated as an auxiliary approach Chapter 4 investigates the application of evolutionary algorithms to merging neural networks with complementary knowledge: limitations of interpolation methods are analyzed, the evolutionary neuro-transplantation method (ENT) is developed, the ENT-FT calibration stage is developed and a comparative analysis with Sakana-CMA, TIES-Merging, and Task Arithmetic methods is conducted. Personal contribution of the applicant. All main results of the dissertation research presented for defense were obtained by the author personally. The applicant performed: analysis of existing methods of structural optimization of neural networks, development of the TESA-26, GFCS, SACMA-DAC, SACMA-MAB, and ENT methods, development of the hardware-independent RCU metric and conducting computational experiments and statistical analysis of results. In co-authored publications, the applicant's contribution includes: research of existing methods, design and implementation of proposed methods, conducting experiments, statistical evaluation of effectiveness. Approbation of dissertation materials. The main results of the dissertation were presented and discussed at the international scientific-practical conference Science and Information Technologies in the Modern World (Athens, Greece, December 24–26, 2025).
dc.format.extent187 с.
dc.identifier.citationГірянський, Б. П. Оптимізація параметрів та структури нейронних мереж із застосуванням еволюційних алгоритмів : дис. … д-ра філософії : 122 Комп’ютерні науки / Гірянський Богдан Петрович. – Київ, 2026. – 187 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/82686
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectгенетичний алгоритм
dc.subjectзгорткові нейронні мережі (CNN)
dc.subjectглибоке навчання
dc.subjectмашинне навчання
dc.subjectнейронні мережі
dc.subjectбагатошаровий перцептрон (MLP)
dc.subjectPython
dc.subjectNumPy
dc.subjectапаратні обмеження
dc.subjectCMA-ES
dc.subjectоптимізація гіперпараметрів
dc.subjectзлиття
dc.subjectпроріджування
dc.subjectстиснення моделей
dc.subjectсурогатна модель
dc.subjectgenetic algorithm
dc.subjectconvolutional neural networks (CNN)
dc.subjectdeep learning
dc.subjectmachine learning
dc.subjectneural networks
dc.subjectmultilayer perceptron (MLP)
dc.subjecthardware constraints
dc.subjecthyperparameter optimization
dc.subjectmodel merging
dc.subjectpruning
dc.subjectmodel compression
dc.subjectsurrogate model
dc.subject.udc004.852 + 519.85
dc.titleОптимізація параметрів та структури нейронних мереж із застосуванням еволюційних алгоритмів
dc.title.alternativeOptimization of Parameters and Structure of Neural Networks Using Evolutionary Algorithms
dc.typeThesis Doctoral

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Hirianskyi_dys.pdf
Розмір:
6.17 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Дисертації (СП)
Дисертації (вільний доступ)