Спосіб фільтрації шумів у великих наборах даних для покращення навчання нейронних мереж

Скорочена інформація про документ
dc.contributor.advisorБоярінова, Юлія Євгенівна
dc.contributor.authorПроценко, Владислав Андрійович
dc.date.accessioned2024-12-26T08:39:02Z
dc.date.available2024-12-26T08:39:02Z
dc.date.issued2024
dc.description.abstractАктуальність теми зумовлена постійним зростанням обсягів даних, які використовуються у різних галузях, таких як медицина, фінанси, екологія та технології. В умовах, коли дані часто містять шум, що може спотворювати результати аналізу, фільтрація шумів стає критично важливою. Нейронні мережі, як один із найбільш потужних інструментів для обробки даних, потребують очищення вхідних сигналів від шуму для досягнення високої точності та продуктивності. Дослідження методів фільтрації шумів в контексті великих наборів даних є актуальним завданням, оскільки невірні або зашумлені дані можуть призвести до неправильних висновків та рішень. Об’єкт дослідження – Об'єктом дослідження є процес навчання нейронних мереж із використанням великих наборів даних, що містять різноманітні типи шумів. Предмет дослідження – Предметом дослідження є методи фільтрації шумів, зокрема, класичні та сучасні алгоритми, що застосовуються для очищення даних перед їх подачею на вхід нейронним мережам, включаючи адаптивні фільтри, вейвлети, методи на основі принципу головних компонентів (PCA), а також комбіновані фільтри. Мета роботи – Основною метою даної роботи є дослідження та аналіз різних методів фільтрації шумів, які впливають на ефективність навчання нейронних мереж, з метою виявлення найбільш оптимальних рішень для покращення якості обробки даних. Наукова новизна одержаних результатів Наукова новизна даного дослідження полягає в розробці та впровадженні нових методів фільтрації шумів, адаптованих до умов роботи з великими наборами даних. Результати дослідження демонструють можливість покращення точності навчання нейронних мереж за рахунок застосування комбінацій різних фільтраційних методів. Окрім того, представлено порівняння ефективності традиційних і сучасних методів фільтрації, що дозволить визначити оптимальні підходи для конкретних типів шуму. Практичне значення одержаних результатів Практичне значення дослідження полягає в можливості впровадження отриманих результатів у реальні проекти, що передбачають використання нейронних мереж для аналізу великих даних. Запропоновані методи фільтрації можуть бути застосовані в таких галузях, як медичне діагностування, фінансовий аналіз, обробка зображень та аудіосигналів, що дозволить значно покращити якість обробки даних та зменшити ризик помилок. Особистий внесок Особистий внесок автора у дослідження полягає у проведенні експериментів, аналізі отриманих результатів та формулюванні рекомендацій щодо вибору методів фільтрації. Автор також розробив програмне забезпечення для реалізації фільтраційних алгоритмів, що дозволяє автоматизувати процес обробки даних і спростити застосування розроблених методів у практиці. Апробація результатів роботи Результати роботи були апробовані на семінарах та засіданнях групи, де представлено доповіді з обговоренням отриманих даних, методів фільтрації та їх ефективності. Перелік конференцій: науково-практична конференція магістрантів та аспірантів ПМК-2024, VII Міжнародної студентської наукової конференції «Глобалізація наукових знань: міжнародна співпраця та інтеграція галузей наук» від 29.11.2024, XII Міжнародна науково-практична конференція “EUROPEAN CONGRESS OF SCIENTIFIC ACHIEVEMENTS” Публікації За результатами дослідження заплановано кілька публікацій, присвячених різним аспектам фільтрації шумів у великих наборах даних. Окремі статті міститимуть порівняльний аналіз методів фільтрації, результати експериментів та рекомендації для практичного застосування. Структура роботи Структура роботи включає такі розділи: вступ, 3 розділи; 9 підрозділів, висновки, список використаних джерел. Список використаних джерел містить 30 позицій. В першому розділі представлено визначення шумів, їх типи та вплив на результати навчання нейронних мереж. Розглянуто сучасні підходи до фільтрації шумів у контексті машинного навчання. У другому розділі аналізуються різноманітні методи фільтрації, зокрема, класичні, такі як медіанний та Савіцького-Голея, а також новітні методи, засновані на машинному навчанні, включаючи адаптивні фільтри та вейвлети. У третьмоу розділі описується архітектура проекта, надається аналіз та оцінка використаних методів, базуючись на результатах тестування. Таким чином, робота має на меті всебічне дослідження проблеми фільтрації шумів у великих наборах даних, що дозволить покращити навчання нейронних мереж та забезпечити їх ефективну роботу в умовах реальних завдань. Ключові слова: фільтрація шуму, нейронні мережі, машинне навчання, зашумлені дані, методи фільтрації, фільтри Калмана, вейвлет-фільтрація, PCA, медіанна фільтрація, фільтр Савіцького-Голея, оцінка ефективності, аналіз даних, SNR, метрики якості.
dc.description.abstractotherThe topic is relevant due to the constant growth in the amount of data used in various industries, such as medicine, finance, ecology, and technology. In conditions where data often contain noise that can distort the results of analysis, noise filtering becomes critically important. Neural networks, as one of the most powerful tools for data processing, need to clean input signals from noise to achieve high accuracy and performance. Research on noise filtering methods in the context of large data sets is a relevant task, since incorrect or noisy data can lead to incorrect conclusions and decisions. Research object – The research object is large data sets containing various types of noise, and neural networks used to process and analyze them. Subject of the study – The subject of the study is noise filtering methods, in particular, classical and modern algorithms used to clean data before feeding them to the input of neural networks, including adaptive filters, wavelets, methods based on the principle of principal components (PCA), as well as combined filters. Purpose of the work – The main purpose of this work is to study and analyze various noise filtering methods that affect the efficiency of neural network training, in order to identify the most optimal solutions for improving the quality of data processing. The scientific novelty of this study lies in the development and implementation of new noise filtering methods adapted to the conditions of working with large data sets. The results of the study will demonstrate the possibility of improving the accuracy of neural network training by using combinations of different filtering methods. In addition, a comparison of the effectiveness of traditional and modern filtering methods will be presented, which will allow determining the optimal approaches for specific types of noise. The practical significance of the study lies in the possibility of implementing the results in real projects involving the use of neural networks for big data analysis. The proposed filtering methods can be applied in such areas as medical diagnostics, financial analysis, image and audio signal processing, which will significantly improve the quality of data processing and reduce the risk of errors. Personal contribution: The author's personal contribution to the study consists in conducting experiments, analyzing the results obtained, and formulating recommendations for choosing filtering methods. The author also developed software for implementing filtering algorithms, which allows automating the data processing process and simplifying the application of the developed methods in practice. Approbation of work results The results of the work were tested at seminars and group meetings, where reports were presented with a discussion of the data obtained, filtering methods and their effectiveness. List of conferences: scientific and practical conference of master's and postgraduate students PMK-2024, VII International student scientific conference "Globalization of scientific knowledge: international cooperation and integration of branches of science" from 29.11.2024 Testing of work results: The results of the work were tested at seminars and group meetings, where reports were presented discussing the obtained data, filtering methods, and their effectiveness. It is also planned to publish articles in scientific journals for wide dissemination of the research results among the scientific community. Publications: Based on the results of the study, several publications are planned, devoted to various aspects of noise filtering in large data sets. Separate articles will contain a comparative analysis of filtering methods, experimental results and recommendations for practical application. Structure of the work: The structure of the work includes the following sections: introduction, 3 chapters; 9 subsections, conclusions, list of sources used. The list of sources used contains 30 items. The first section presents the definition of noise, its types and impact on the results of training neural networks. Modern approaches to noise filtering in the context of machine learning are considered. The second section analyzes various filtering methods, in particular, classical ones, such as median and Savitsky-Goley, as well as the latest methods based on machine learning, including adaptive filters and wavelets. The third section describes the project architecture, provides an analysis and evaluation of the methods used, based on the testing results. Thus, the work aims to comprehensively study the problem of noise filtering in large data sets, which will improve the training of neural networks and ensure their effective operation in real-world tasks.
dc.format.extent85 с.
dc.identifier.citationПроценко, В. А. Способи фільтрації шумів у великих наборах даних для покращення навчання нейронних мереж : магістерська дис. : 123 Комп'ютерна інженерія / Проценко Владислав Андрійович. – Київ, 2024. – 85 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/71355
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectNoise filtering
dc.subjectneural networks
dc.subjectmachine learning
dc.subjectnoisy data
dc.subjectfiltering methods
dc.subjectKalman filters
dc.subjectwavelet filtering
dc.subjectPCA
dc.subjectmedian filtering
dc.subjectSavitsky-Goley filter
dc.subjectefficiency assessment
dc.subjectdata analysis
dc.subjectSNR
dc.subjectquality metrics.
dc.subjectфільтрація шуму
dc.subjectнейронні мережі
dc.subjectмашинне навчання
dc.subjectзашумлені дані
dc.subjectметоди фільтрації
dc.subjectфільтри Калмана
dc.subjectвейвлет-фільтрація
dc.subjectмедіанна фільтрація
dc.subjectфільтр Савіцького-Голея
dc.subjectоцінка ефективності
dc.subjectаналіз даних
dc.subjectметрики якості.
dc.subject.udc004.8
dc.titleСпосіб фільтрації шумів у великих наборах даних для покращення навчання нейронних мереж
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
Protsenko_VA_KV32mp_magistr_2024.docx
Розмір:
1.16 MB
Формат:
Microsoft Word XML
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (СПСКС)
Магістерські роботи