Спосіб організації засобів створення та конфігурування глибоких нейронних мереж

Скорочена інформація про документ
dc.contributor.advisorПетрашенко, Андрій Васильович
dc.contributor.authorДідус, Андрій Володимирович
dc.date.accessioned2022-06-30T10:17:23Z
dc.date.available2022-06-30T10:17:23Z
dc.date.issued2022
dc.description.abstractenActuality of theme. The active development of deep learning requires new specialists and new algorithmic solutions to the problem of finding global lows, new improved activation functions and other scientific discoveries in the field of deep learning. The ability to modify existing algorithms for creating and organizing deep neural networks, the introduction of new ones, all this makes this type of research relevant today. This work is devoted to the development of new software for the organization and configuration of deep neural networks, in particular the implementation of its own optimization algorithm. The object of research is deep neural networks. The subject of research is the process of automated configuration of deep neural networks. The purpose of the work is to increase the efficiency of learning neural networks, thanks to the developed software and implemented a new optimization algorithm. Research methods. The main method of research was to study the existing software, identify shortcomings for beginners, as well as identify possible ways to improve existing methods of configuration of deep neural networks, including optimization methods. Scientific novelty. The method for creating and configuring deep neural networks is proposed, which consists in a well-developed principle of modularity and the possibility of easy modification to create new methods. In particular, a new optimization algorithm was proposed and implemented, which has a number of advantages in learning, in particular in the number of used learning epochs over Nesterov, Adam algorithms up to 33% with the same hyperparameters on certain classification problems. Approbation of work. The main provisions and results of the work were presented and discussed at the XIV scientific conference of undergraduates and graduate students "Applied Mathematics and Computing" PMK-2021 (Kyiv, November 17-19, 2021). Structure and scope of work. The master's dissertation consists of an introduction, four chapters, conclusions and appendices. The introduction presents the general characteristics of the study, considers the relevance and novelty of the study, named where there is a need for such software. The first section describes the analysis of existing problems and tasks, compares existing solutions in the field of creation and configuration of deep neural networks. The second section describes the analysis of approaches and methods of creating and configuring deep neural networks. The third section describes the creation of the created software, its features and architecture. The fourth section describes the results of testing a new optimization method, a comparative analysis with existing ones. The conclusions summarize and thoughts on how you can use this software, new method of optimization and ways to develop them in the future. The work is presented on 89 sheets and contains links to a list of used literature sources. Keywords: deep learning framework, neural networks, deep learning, neural network optimizers.uk
dc.description.abstractukАктуальність теми. Активний розвиток глибокого навчання потребує нових спеціалістів та нових алгоритмічних рішень задачі пошуку глобальних мінімумів, нових поліпшених функцій активацій та інших наукових відкриттів у сфері глибокого навчання. Можливість модифікації існуючих алгоритмів створення та організації глибоких нейронних мереж, впровадження нових, все це робить даний вид досліджень актуальним сьогодні. Дана робота присвячена розробці нових програмних засобів для організації та конфігурації глибоких нейронних мереж, зокрема впровадженні власного алгоритму оптимізації. Об’єктом дослідження є глибокі нейронні мережі. Предметом дослідження є процес автоматизованого конфігурування глибоких нейронних мереж. Мета роботи – підвищення ефективності навчання нейронних мереж, завдяки розробленому програмному забезпеченню та впровадженому в ньому нового алгоритму оптимізації. Методи дослідження. Основним методом дослідження було вивчення наявного програмного забезпечення, визначенні недоліків для початківців, також визначенні можливих шляхів поліпшення наявних методів конфігурації глибоких нейронних мереж, зокрема методів оптимізації. Наукова новизна. Запропонований спосіб для створення та конфігурації глибоких нейронних мереж, який полягає у розвиненому принципі модульності та можливості легкої модифікації задля створення нових методів. Зокрема було запропоновано та впроваджено новий алгоритм оптимізації, який має ряд переваг у навчанні, зокрема у кількості використаних епох навчання перед алгоритмами Nesterov, Adam до 33% з однаковими гіперпараметрами на певних задачах класифікації. Практична цінність отриманого в результаті роботи програмного забезпечення в тому, що воно може надалі використовуватись в якості складової систем для навчання нових спеціалістів та в якості стенду для тестування нових способів оптимізації та інших важливих складових глибоких нейронних мереж. Впроваджений алгоритм оптимізації в більшості випадків має кращі результати навчання та сходимості, в порівнянні з іншими алгоритмами. Апробація роботи. Основні положення і результати роботи були представлені та обговорювались на XIV науковій конференції магістрантів та аспірантів «Прикладна математика та комп’ютинг» ПМК-2021 (Київ, 17-19 листопада 2021 р.). Структура та обсяг роботи. Магістерська дисертація складається з вступу, чотирьох розділів, висновків та додатків. У вступі подано загальну характеристику дослідження, розглянуто актуальність та новизну дослідження, названо, де є потреба в такому програмному забезпеченні. У першому розділі описано аналіз існуючих проблем та завдань, порівняно існуючі рішення в області створення та конфігурації глибоких нейронних мереж. У другому розділі описано аналіз підходів та методів створення та конфігурації глибоких нейронних мереж. У третьому розділі описано створене програмне забезпечення, його особливості, архітектуру та алгоритмічну частину. У четвертому розділі описано результати тестування нового способу оптимізації, порівняльний аналіз з наявними. У висновках підведено підсумки та думки, як можна використовувати дане програмне забезпечення, способи розвитку в майбутньому. Робота представлена на 89 аркушах, містить посилання на список використаних літературних джерел. Ключові слова: фреймворк глибокого навчання, нейронні мережі, глибоке навчання, оптимізатори нейронних мереж.uk
dc.format.page89 с.uk
dc.identifier.citationДідус, А. В. Спосіб організації засобів створення та конфігурування глибоких нейронних мереж : магістерська дис. : 123 Комп'ютерна інженерія / Дідус Андрій Володимирович. – Київ, 2022. – 89 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/48302
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectфреймворк глибокого навчанняuk
dc.subjectнейронні мережіuk
dc.subjectглибоке навчанняuk
dc.subjectоптимізатори нейронних мережuk
dc.subjectdeep learning frameworkuk
dc.subjectneural networksuk
dc.subjectdeep learninguk
dc.subjectneural network optimizersuk
dc.subject.udc004.053uk
dc.titleСпосіб організації засобів створення та конфігурування глибоких нейронних мережuk
dc.typeMaster Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Didus_magistr.pdf
Розмір:
13.7 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
1.71 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (СПСКС)
Магістерські роботи