Прунінг згорткових нейронних мереж за допомогою інтерпретованості мереж Колмогорова-Арнольда
Дата
2025
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломна робота – 140 с., 17 табл., 2 рис., додаток, 35 джерел.
Тема: Прунінг згорткових нейронних мереж за допомогою
інтерпретованості мереж Колмогорова-Арнольда.
У роботі розглянуто проблему надмірної параметризації сучасних
глибоких нейронних мереж та проаналізовано існуючі методи їх стиснення,
зокрема прунінг та дистиляцію знань. Запропоновано новий підхід до
структурного прунінгу, що базується на використанні інтерпретованості
мереж Колмогорова-Арнольда (KAN).
Об’єкт дослідження: процес оптимізації згорткових нейронних мереж
шляхом структурного прунінгу.
Предмет дослідження: метод KAN-керованого структурного прунінгу,
заснований на аналізі функціональної важливості компонентів мережі.
Мета роботи: розробка та дослідження методу структурного прунінгу
CNN, який використовує аналіз важливості ознак, отриманий з
інтерпретованого KAN-шару («bottleneck»), для зменшення обчислювальної
складності моделі при збереженні точності.
В ході виконання роботи досліджено математичні основи KAN та
теорію B-сплайнів. Розроблено гібридну архітектуру CNN-KAN та алгоритм
ітеративного прунінгу, де критерій видалення фільтрів базується на аналізі
коефіцієнтів сплайнів функцій активації. Програмна реалізація виконана
мовою Python з використанням бібліотек PyTorch та efficient-kan.
Ефективність методу перевірено на наборі даних CIFAR-10,
продемонстровано переваги семантично обґрунтованого прунінгу над
класичними евристичними підходами.
Опис
Ключові слова
нейронні мережі, прунінг, компресія моделей, мережі колмогорова-арнольда, в-сплайни, EDGE AI, KAN, CNN
Бібліографічний опис
Єфанов, І. С. Прунінг згорткових нейронних мереж за допомогою інтерпретованості мереж Колмогорова-Арнольда : магістерська дис. : 122 Комп'ютерні науки / Єфанов Ілля Сергійович. – Київ, 2025. – 139 с.