Експериментальне порівняння методів оптимізації гіперпараметрів для нейронних мереж
Вантажиться...
Дата
2023
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
В ходi роботи було протестовано п’ять рiзних методiв оптимiзацiї
гiперпараметрiв: Випадковий пошук, Еволюцiйний алгоритм, Баєсову
оптимiзацiю, Гiпербенд та Послiдовне дiлення навпiл. Для цього було
використано архiтектуру згорткової нейронної мережi, а також три
набори даних: Fashion MNIST, Oracle MNIST та їх поєднання. Отриманi
данi показали, що хоч на невеликому наборi даних Oracle MNIST
Випадковий пошук показав не найгiршi результати, вже на середньому за
розмiром датасетi Fashion MNIST рiзниця мiж Випадковим пошуком та
Баєсовою оптимiзацiєю є суттєвою. Це означає, що Випадковий пошук
має сенс застосовувати лише на дуже малих задачах. З iншого боку,
Баєсова оптимiзацiя показала значно кращi результати, тому її
рекомендується використовувати для схожих задач.
Опис
Ключові слова
оптимiзацiя гiперпараметрiв, послiдовне дiлення навпiл, гiпербенд, баєсова оптимiзацiя, еволюцiйний алгоритм, випадковий пошук, successive halving, hypermizatioparametr optin, random search, bayesian optimization, evolution algorithm, hyperband
Бібліографічний опис
Козаровицька, П. Є. Експериментальне порівняння методів оптимізації гіперпараметрів для нейронних мереж : дипломна робота ... бакалавра : 113 Прикладна математика / Козаровицька Поліна Євгенівна. – Київ, 2023. – 57 с.