Оптимізація параметрів та структури нейронних мереж із застосуванням еволюційних алгоритмів
Вантажиться...
Дата
2026
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Гірянський Б.П. Оптимізація параметрів та структури нейронних мереж із застосуванням еволюційних алгоритмів. — Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 122 — Комп’ютерні науки. — Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2026.
Метою дослідження є підвищення ефективності процесів оптимізації параметрів та структури нейронних мереж шляхом розробки та дослідження еволюційних методів стиснення, оптимізації гіперпараметрів та злиття моделей. Об’єктом дослідження є процеси оптимізації параметрів та структури нейронних мереж. Предметом дослідження є методи та алгоритми застосування еволюційних обчислень для структурної оптимізації, пошуку гіперпараметрів і злиття нейронних мереж. Методи дослідження. Використано: методи системного аналізу — для класифікації підходів та формулювання задач. Eволюційні алгоритми безперервної оптимізації (CMA-ES, диференціальна еволюція, генетичний алгоритм) — для пошарового розподілу розрідженості, оптимізації гіперпараметрів та злиття моделей. Методи теорії матриць (апроксимація сліду матриці Гессе, двонаправлена метрика спорідненості нейронів) — для оцінки важливості ваг та нейронів, сурогатне моделювання (Random Forest) — для оптимізації гіперпараметрів, e-жадібний багаторукий бандит — для контролю достовірності сурогату, непараметрична статистика (критерії Фрідмана, Немені, Вілкоксона, бутстрап-довірчі інтервали) — для оцінювання ефективності методів. Глибоке навчання та об'єктно-орієнтоване програмування — для реалізації прототипів. Наукова новизна одержаних результатів. Вперше запропоновано метод проріджування нейронної мережі без зміни її структури, у якому частка збережених вагових коефіцієнтів у кожному шарі визначається еволюційним пошуком. Метод відрізняється від відомих підходів із глобальним порогом або фіксованим пошаровим розподілом тим, що після проміжного проріджування повторно обчислюється значущість вагових коефіцієнтів і враховується штраф за повністю деактивовані нейрони. Це зменшує ризик руйнування критичних шляхів передавання сигналу та забезпечує меншу втрату якісних характеристик мережі при високих рівнях проріджування. Вперше запропоновано метод ущільнення розрідженої нейронної мережі, що не потребує ані перенавчання моделі, ані даних для коригування вагових коефіцієнтів. На відміну від підходів, які видаляють усі деактивовані нейрони, або застосовують низькорангову апроксимацію матриці ваг, чи потребують навчальних даних для створення спрощених моделей ШНМ, запропонований метод еволюційно визначає кількість нейронів, які доцільно зберегти в кожному шарі, та об’єднує надлишкові нейрони за спорідненістю їхніх вхідних і вихідних зв’язків. Це дає змогу отримати меншу модель із кращим співвідношенням між стисненням і збереженням якісних характеристик мережі. Вперше запропоновано метод пошуку гіперпараметрів нейронних мереж, у якому еволюційний алгоритм формує та відбирає можливі значення гіперпараметрів без повного навчання мережі для кожного можливого варіанта. Відбір здійснюється за моделлю залежності між значеннями гіперпараметрів і результатами вже виконаних навчань: допоміжна модель визначає очікуване значення цільової функції для сформованих варіантів, після чого на реальне навчання передається лише один із них. Це зменшує кількість повних циклів навчань нейронної мережі та підвищує ефективність використання обчислювального бюджету. Удосконалено метод злиття нейронних мереж у випадку, коли вихідні моделі навчені на різних підмножинах класів або даних. Метод не усереднює ваги моделей, а формує об’єднану мережу з частини нейронів першої та другої моделей. Склад цієї мережі й внесок кожної моделі для різних класів визначає генетичний алгоритм. Цільова функція враховує частку правильно розпізнаних прикладів у всій валідаційній вибірці та окремо точність для найгірше розпізнаваного класу, що зменшує ризик втрати здатності розпізнавати окремі класи та допомагає зберігати знання, набуті обома моделями. Практичне значення одержаних результатів. Метод TESA-26 дає змогу автоматично визначати максимальний ступінь стиснення нейронної мережі, за якого зберігається заданий рівень якості моделі. У порівняльному дослідженні на 6 наборах даних, 12 рівнях проріджування та 1080 експериментальних записах метод показав найкращий середній ранг Фрідмана 2,04 і статистично значущо перевершив SparseGPT, WANDA та RIA (X2 = 18,05, p < 0,0001). Метод GFCS дає змогу перетворити проріджену нейронну мережу на фізично меншу щільну архітектуру зі зменшеною кількістю нейронів і зв’язків. У проведених експериментах він забезпечив стиснення у 7,6 раза та середнє прискорення обчислень моделі у 1,42 раза зі збереженням якості на всіх 8 досліджених наборах даних. Методи SACMA-DAC та SACMA-MAB скорочують кількість повних циклів навчання нейронної мережі, необхідних для добору гіперпараметрів. У дослідженні на 43 задачах із 10 повторами вони посіли 1–2 місця серед 9 підходів за середнім рангом 2,47 і 2,95 та досягли найвищої швидкості збіжності за показником AUCC = 0,9257 і 0,9210 відповідно. Метод ENT дає змогу об’єднувати нейронні мережі, навчені на різних підмножинах класів або даних, в одну модель без повного навчання з нуля і у сценарії комплементарного злиття ENT забезпечив розпізнавання 10 з 10 класів, точність 0,749 і баланс 0,981, а після калібрації ENT-FT точність зросла до 0,917. Опис розділів дисертації. У першому розділі проаналізовано наукову літературу за п'ятьма напрямками: еволюційні алгоритми безперервної оптимізації, структурне стиснення нейронних мереж, оптимізація гіперпараметрів, злиття моделей, апаратно-незалежні метрики обчислювальної вартості. Виявлено три прогалини, що визначили напрямки дослідження. У другому розділі розроблено еволюційні методи стиснення нейронних мереж: апаратно-незалежну метрику RCU, метод неструктурованого проріджування TESA-26 з еволюційним пошаровим розподілом розрідженості і метод зворотної конверсії розрідженої мережі у компактну щільну архітектуру GFCS без використання навчальних даних. Проведено порівняння з відомими методами на різнотипних задачах класифікації. У третьому розділі досліджено застосування еволюційних алгоритмів до пошуку гіперпараметрів нейронних мереж: порівняно CMA-ES з баєсівськими оптимізаторами, досліджено проксі-оцінки та ординальне кодування, розроблено метод у двох варіаціях SACMA-DAC та SACMA-MAB для пошуку гіперпараметрів із сурогатною моделлю та додатково досліджено метод WL-CMA. У четвертому розділі досліджено застосування еволюційних алгоритмів до злиття нейронних мереж з комплементарними знаннями: проаналізовано обмеження інтерполяційних методів, розроблено метод еволюційного відбору нейронної топології (ENT), розроблено етап калібрації ENT-FT та проведено порівняльний аналіз з методами Sakana-CMA, TIES-Merging, Task Arithmetic. Особистий внесок здобувача. Усі основні результати дисертаційного дослідження, подані до захисту, одержані автором особисто. Здобувачем виконано: аналіз існуючих методів структурної оптимізації нейронних мереж, розробку методів TESA-26, GFCS, SACMA-DAC, SACMA-MAB та ENT, розробку апаратно-незалежної метрики RCU, проведення обчислювальних експериментів та статистичний аналіз результатів. У публікаціях у співавторстві здобувачеві належать: дослідження існуючих методів, проектування та реалізація запропонованих методів, проведення експериментів, статистичне оцінювання ефективності. Апробація матеріалів дисертації. Основні результати дисертаційної роботи доповідались та обговорювались на міжнародній науково-практичній конференції Science and Information Technologies in the Modern World (Афіни, Греція, 24–26 грудня 2025 р.).
Опис
Ключові слова
генетичний алгоритм, згорткові нейронні мережі (CNN), глибоке навчання, машинне навчання, нейронні мережі, багатошаровий перцептрон (MLP), Python, NumPy, апаратні обмеження, CMA-ES, оптимізація гіперпараметрів, злиття, проріджування, стиснення моделей, сурогатна модель, genetic algorithm, convolutional neural networks (CNN), deep learning, machine learning, neural networks, multilayer perceptron (MLP), hardware constraints, hyperparameter optimization, model merging, pruning, model compression, surrogate model
Бібліографічний опис
Гірянський, Б. П. Оптимізація параметрів та структури нейронних мереж із застосуванням еволюційних алгоритмів : дис. … д-ра філософії : 122 Комп’ютерні науки / Гірянський Богдан Петрович. – Київ, 2026. – 187 с.