Експериментальне порівняння методів оптимізації гіперпараметрів для нейронних мереж

Loading...
Thumbnail Image

Date

2023

Journal Title

Journal ISSN

Volume Title

Publisher

КПІ ім. Ігоря Сікорського

Abstract

В ходi роботи було протестовано п’ять рiзних методiв оптимiзацiї гiперпараметрiв: Випадковий пошук, Еволюцiйний алгоритм, Баєсову оптимiзацiю, Гiпербенд та Послiдовне дiлення навпiл. Для цього було використано архiтектуру згорткової нейронної мережi, а також три набори даних: Fashion MNIST, Oracle MNIST та їх поєднання. Отриманi данi показали, що хоч на невеликому наборi даних Oracle MNIST Випадковий пошук показав не найгiршi результати, вже на середньому за розмiром датасетi Fashion MNIST рiзниця мiж Випадковим пошуком та Баєсовою оптимiзацiєю є суттєвою. Це означає, що Випадковий пошук має сенс застосовувати лише на дуже малих задачах. З iншого боку, Баєсова оптимiзацiя показала значно кращi результати, тому її рекомендується використовувати для схожих задач.

Description

Keywords

оптимiзацiя гiперпараметрiв, послiдовне дiлення навпiл, гiпербенд, баєсова оптимiзацiя, еволюцiйний алгоритм, випадковий пошук, successive halving, hypermizatioparametr optin, random search, bayesian optimization, evolution algorithm, hyperband

Citation

Козаровицька, П. Є. Експериментальне порівняння методів оптимізації гіперпараметрів для нейронних мереж : дипломна робота ... бакалавра : 113 Прикладна математика / Козаровицька Поліна Євгенівна. – Київ, 2023. – 57 с.

DOI