Програмне та алгоритмічне забезпечення для структурно-параметричного синтезу нейронних мереж на коротких вибірках
| dc.contributor.advisor | Синєглазов, Віктор Михайлович | |
| dc.contributor.author | Клановець, Олександр Володимирович | |
| dc.date.accessioned | 2023-01-16T09:25:08Z | |
| dc.date.available | 2023-01-16T09:25:08Z | |
| dc.date.issued | 2022-06 | |
| dc.description.abstracten | Explanatory note size – 107 pages, contains 26 illustrations, 10 tables, 2 applications, 1 scheme. Topicality. Today, deep artificial neural networks are the state-of-the-art models for solving a wide range of problems. These problems include intelligent video and image processing (computer vision), audio processing, natural language processing and much more. Unfortunately, many modern machine learning tasks do not have enough training data due to the complexity of collection of such data (for example, tasks in medicine). For such cases, there is an approach called transfer learning, which allows us to use a model from some other domain similar to the target one to define a target model. Thus, the topicality of the work is in the study of learning transfer and the creation of an algorithm for the synthesis of deep neural networks based on the transfer learning approach to improve the efficiency of these models in data-constrained tasks. The aim of the study. The main target is to increase the efficiency of deep neural networks to solve tasks with a small amount of training data. Object of research: transfer learning approach in deep learning tasks, structural-parametric synthesis of neural networks of deep learning based on the application of transfer learning, approaches in building software architecture and infrastructure. Subject of research: algorithms and software to automate the selection of architecture and configuration of deep neural networks for tasks with small training datasets. To achieve this goal, the following tasks were formulated: — analyze existing software solutions with the ability to synthesize neural networks for target tasks; — investigate the concepts, principles and existing approaches to the structural-parametric synthesis of deep neural networks and transfer learning, the peculiarities of their application; — on the basis of the performed research, formulate a mathematical statement of the problem and design the synthesis algorithm; — design software system architecture, select implementation tools and develop the system; — evaluate the effectiveness of the obtained models on image processing tasks (in particular, image classification). The scientific novelty of the results of the master's dissertation is that the new algorithm for structural and parametric synthesis of neural networks of deep learning for problems with limited data is proposed, which increases the efficiency of deep learning models. The algorithm differs from the known approaches by the presence of a stage of estimation of the most suitable source dataset and using a multicriteria algorithm for structural-parametric optimization of the layers of the classifier of convolutional neural networks. The practical value of the obtained results is that the developed software can be used in areas of human activity in which the collection of a large amount of training data is a difficult task. In particular, the developed algorithm is used for the task of diagnosing the degree of activity of the tuberculosis process, which is performed jointly with the state institution "National Institute of Phthisiology and Pulmonology named after F.G. Yanovskiy of the National Academy of Medical Sciences of Ukraine". Relationship with working with scientific programs, plans, topics. Work was performed at the Department of Informatics and Software Engineering of the National Technical University of Ukraine «Kyiv Polytechnic Institute. Igor Sikorsky». Approbation. The scientific provisions of the dissertation were tested in the project which a became a finalist of the Sikorsky Challenge (2020) (access: https://startups-2020.sikorskychallenge.com/2020/10/174.html). Publications. The scientific provisions of the dissertation published in: 1. Sineglazov V., Riazanovskiy K., Klanovets A., Chumachenko O., Linnik. N., “Intelligent tuberculosis activity assessment system based on an ensemble of neural networks”, Computers in Biology and Medicine, Elsevier, 2022 (approved for publishing). 2. Sineglazov V., Riazanovskiy K., Klanovets A., “Multi-criteria optimization of software architectures selection for CADx systems”, Journal of Healthcare Informatics Research, Springer, 2022 (submitted to the editors). | uk |
| dc.description.abstractuk | Розмір пояснювальної записки – 107 аркушів, містить 26 ілюстрацій, 10 таблиць, 2 додатки, 1 плакат. Актуальність теми. На сьогоднішній день, штучні нейронні мережі глибокого навчання є провідними моделями для вирішення широкого спектру задач. До даних задач відносяться інтелектуальна обробка зображень та відео (комп’ютерний зір), обробка аудіо, природної мови і багато інших. На жаль, багато сучасних задач машинного навчання не мають достатньої кількості навчальних даних через складність їх збору (наприклад, задачі в медицині). Саме для таких випадків застосовується підхід transfer learning (передавальне навчання), суть якого полягає у застосуванні для вирішення завдання моделі, яка вже була навчена на даних для іншої (але дещо подібної) задачі. Отже, актуальність роботи полягає у вивченні підходу transfer learning та створенні алгоритму для синтезу нейронних мереж глибокого навчання на базі даного підходу задля збільшення ефективності використання нейронних мереж глибокого навчання в задачах з обмеженою кількістю даних. Мета дослідження. Основною метою є підвищення ефективності нейронних мереж глибокого навчання для вирішення прикладних задач із невеликою навчальною вибіркою. Об’єкт дослідження: transfer learning в задачах глибокого навчання, структурно-параметричний синтез нейронних мереж глибокого навчання на основі застосування transfer learning, підходи в побудові архітектури та інфраструктури програмного забезпечення. Предмет дослідження: програмне та алгоритмічне забезпечення для автоматизації підбору архітектури та налаштуванню глибоких нейронних мереж для задач з невеликою навчальною вибіркою. Для реалізації поставленої мети сформульовані наступні завдання: — проаналізувати існуючі рішення для програмного забезпечення з можливістю синтезу нейронних мереж під цільові задачі; — дослідити поняття, принципи та існуючі підходи структурно-параметричного синтезу глибоких нейронних мереж та передавального навчання (transfer learning), особливостей їх застосування; — на основі виконаних досліджень виконати математичну постановку задачі та проєктування алгоритмічного забезпечення системи; — виконати проєктування архітектури програмної системи, обрати інструменти реалізації та імплементувати систем; — проаналізувати результати роботи системи, виконати оцінку ефективності отриманих моделей на задачах обробки зображень (зокрема, класифікації зображень). Наукова новизна результатів магістерської дисертації полягає в тому, що запропоновано власне алгоритмічне забезпечення для структурно-параметричного синтезу нейронних мереж глибокого навчання для задач з обмеженою кількістю навчальних даних, який збільшує ефективність застосування даних моделей для розв’язання задач машинного навчання. Дане алгоритмічне забезпечення відрізняється від відомих підходів наявністю етапу оцінки найбільш підходящої вихідної вибірки, використанням багатокритеріального алгоритму для структурно-параметричної оптимізації шарів класифікатора згорткових нейронних мереж. Практичне значення отриманих результатів полягає в тому, що розроблене програмне забезпечення може бути застосованим у сферах людської діяльності, в яких збір великого масиву навчальних даних є складною задачею. Зокрема, алгоритмічне забезпечення роботи використовується для задачі діагностування ступеню активності туберкульозного процесу, яка виконується спільно з державною установою «Національний інститут фтизіатрії та пульмонології ім. Ф.Г. Яновського НАМН України» Зв’язок з науковими програмами, планами, темами. Робота виконувалась на кафедрі інформатики та програмної інженерії Національного технічного університету України "Київський політехнічний інститут імені Ігоря Сікорського". Апробація. Проєкт за даною дисертацією став фіналістом конкурсу Sikorsky Challenge (2020) (доступ: https://startups-2020.sikorskychallenge.com/2020/10/174.html). Публікації. Наукові положення дисертації пройшли апробацію в наступних публікаціях: 1. Sineglazov V., Riazanovskiy K., Klanovets A., Chumachenko O., Linnik. N., “Intelligent tuberculosis activity assessment system based on an ensemble of neural networks”, Computers in Biology and Medicine, Elsevier, 2022 (прийнято до публікації). 2. Sineglazov V., Riazanovskiy K., Klanovets A., “Multi-criteria optimization of software architectures selection for CADx systems”, Journal of Healthcare Informatics Research, Springer, 2022 (здано до редакції). | uk |
| dc.format.page | 107 с. | uk |
| dc.identifier.citation | Клановець, О. В. Програмне та алгоритмічне забезпечення для структурно-параметричного синтезу нейронних мереж на коротких вибірках : магістерська дис. : 121 Інженерія програмного забезпечення / Клановець Олександр Володимирович. – Київ, 2022. – 107 с. | uk |
| dc.identifier.uri | https://ela.kpi.ua/handle/123456789/51847 | |
| dc.language.iso | uk | uk |
| dc.publisher | КПІ ім. Ігоря Сікорського | uk |
| dc.publisher.place | Київ | uk |
| dc.subject | transfer learning | uk |
| dc.subject | глибоке навчання | uk |
| dc.subject | багатокритеріальна оптимізація | uk |
| dc.subject | deep learning | uk |
| dc.subject | multiobjective optimization | uk |
| dc.subject.udc | 004.852 | uk |
| dc.title | Програмне та алгоритмічне забезпечення для структурно-параметричного синтезу нейронних мереж на коротких вибірках | uk |
| dc.title.alternative | Software and Algorithms for Structural-parametric Synthesis of Neural Networks for Small Datasets | uk |
| dc.type | Master Thesis | uk |
Файли
Контейнер файлів
1 - 1 з 1
Вантажиться...
- Назва:
- Klanovets_magistr.pdf
- Розмір:
- 3.09 MB
- Формат:
- Adobe Portable Document Format
- Опис:
Ліцензійна угода
1 - 1 з 1
Ескіз недоступний
- Назва:
- license.txt
- Розмір:
- 9.1 KB
- Формат:
- Item-specific license agreed upon to submission
- Опис: