Експериментальне порівняння методів оптимізації гіперпараметрів для нейронних мереж
Loading...
Date
2023
Authors
Advisor
Journal Title
Journal ISSN
Volume Title
Publisher
КПІ ім. Ігоря Сікорського
Abstract
В ходi роботи було протестовано п’ять рiзних методiв оптимiзацiї
гiперпараметрiв: Випадковий пошук, Еволюцiйний алгоритм, Баєсову
оптимiзацiю, Гiпербенд та Послiдовне дiлення навпiл. Для цього було
використано архiтектуру згорткової нейронної мережi, а також три
набори даних: Fashion MNIST, Oracle MNIST та їх поєднання. Отриманi
данi показали, що хоч на невеликому наборi даних Oracle MNIST
Випадковий пошук показав не найгiршi результати, вже на середньому за
розмiром датасетi Fashion MNIST рiзниця мiж Випадковим пошуком та
Баєсовою оптимiзацiєю є суттєвою. Це означає, що Випадковий пошук
має сенс застосовувати лише на дуже малих задачах. З iншого боку,
Баєсова оптимiзацiя показала значно кращi результати, тому її
рекомендується використовувати для схожих задач.
Description
Keywords
оптимiзацiя гiперпараметрiв, послiдовне дiлення навпiл, гiпербенд, баєсова оптимiзацiя, еволюцiйний алгоритм, випадковий пошук, successive halving, hypermizatioparametr optin, random search, bayesian optimization, evolution algorithm, hyperband
Citation
Козаровицька, П. Є. Експериментальне порівняння методів оптимізації гіперпараметрів для нейронних мереж : дипломна робота ... бакалавра : 113 Прикладна математика / Козаровицька Поліна Євгенівна. – Київ, 2023. – 57 с.