Спосіб фільтрації шумів у великих наборах даних для покращення навчання нейронних мереж
Ескіз недоступний
Дата
2024
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Актуальність теми зумовлена постійним зростанням обсягів даних, які використовуються у різних галузях, таких як медицина, фінанси, екологія та технології. В умовах, коли дані часто містять шум, що може спотворювати результати аналізу, фільтрація шумів стає критично важливою. Нейронні мережі, як один із найбільш потужних інструментів для обробки даних, потребують очищення вхідних сигналів від шуму для досягнення високої точності та продуктивності. Дослідження методів фільтрації шумів в контексті великих наборів даних є актуальним завданням, оскільки невірні або зашумлені дані можуть призвести до неправильних висновків та рішень.
Об’єкт дослідження – Об'єктом дослідження є процес навчання нейронних мереж із використанням великих наборів даних, що містять різноманітні типи шумів.
Предмет дослідження – Предметом дослідження є методи фільтрації шумів, зокрема, класичні та сучасні алгоритми, що застосовуються для очищення даних перед їх подачею на вхід нейронним мережам, включаючи адаптивні фільтри, вейвлети, методи на основі принципу головних компонентів (PCA), а також комбіновані фільтри.
Мета роботи – Основною метою даної роботи є дослідження та аналіз різних методів фільтрації шумів, які впливають на ефективність навчання нейронних мереж, з метою виявлення найбільш оптимальних рішень для покращення якості обробки даних.
Наукова новизна одержаних результатів
Наукова новизна даного дослідження полягає в розробці та впровадженні нових методів фільтрації шумів, адаптованих до умов роботи з великими наборами даних. Результати дослідження демонструють можливість покращення точності навчання нейронних мереж за рахунок застосування комбінацій різних фільтраційних методів. Окрім того, представлено порівняння ефективності традиційних і сучасних методів фільтрації, що дозволить визначити оптимальні підходи для конкретних типів шуму.
Практичне значення одержаних результатів
Практичне значення дослідження полягає в можливості впровадження отриманих результатів у реальні проекти, що передбачають використання нейронних мереж для аналізу великих даних. Запропоновані методи фільтрації можуть бути застосовані в таких галузях, як медичне діагностування, фінансовий аналіз, обробка зображень та аудіосигналів, що дозволить значно покращити якість обробки даних та зменшити ризик помилок.
Особистий внесок
Особистий внесок автора у дослідження полягає у проведенні експериментів, аналізі отриманих результатів та формулюванні рекомендацій щодо вибору методів фільтрації. Автор також розробив програмне забезпечення для реалізації фільтраційних алгоритмів, що дозволяє автоматизувати процес обробки даних і спростити застосування розроблених методів у практиці.
Апробація результатів роботи
Результати роботи були апробовані на семінарах та засіданнях групи, де представлено доповіді з обговоренням отриманих даних, методів фільтрації та їх ефективності. Перелік конференцій: науково-практична конференція магістрантів та аспірантів ПМК-2024, VII Міжнародної студентської наукової конференції «Глобалізація наукових знань: міжнародна співпраця та інтеграція галузей наук» від 29.11.2024, XII Міжнародна науково-практична конференція “EUROPEAN CONGRESS OF SCIENTIFIC ACHIEVEMENTS”
Публікації
За результатами дослідження заплановано кілька публікацій, присвячених різним аспектам фільтрації шумів у великих наборах даних. Окремі статті міститимуть порівняльний аналіз методів фільтрації, результати експериментів та рекомендації для практичного застосування.
Структура роботи
Структура роботи включає такі розділи: вступ, 3 розділи; 9 підрозділів, висновки, список використаних джерел. Список використаних джерел містить 30 позицій.
В першому розділі представлено визначення шумів, їх типи та вплив на результати навчання нейронних мереж. Розглянуто сучасні підходи до фільтрації шумів у контексті машинного навчання. У другому розділі аналізуються різноманітні методи фільтрації, зокрема, класичні, такі як медіанний та Савіцького-Голея, а також новітні методи, засновані на машинному навчанні, включаючи адаптивні фільтри та вейвлети. У третьмоу розділі описується архітектура проекта, надається аналіз та оцінка використаних методів, базуючись на результатах тестування.
Таким чином, робота має на меті всебічне дослідження проблеми фільтрації шумів у великих наборах даних, що дозволить покращити навчання нейронних мереж та забезпечити їх ефективну роботу в умовах реальних завдань.
Ключові слова: фільтрація шуму, нейронні мережі, машинне навчання, зашумлені дані, методи фільтрації, фільтри Калмана, вейвлет-фільтрація, PCA, медіанна фільтрація, фільтр Савіцького-Голея, оцінка ефективності, аналіз даних, SNR, метрики якості.
Опис
Ключові слова
Noise filtering, neural networks, machine learning, noisy data, filtering methods, Kalman filters, wavelet filtering, PCA, median filtering, Savitsky-Goley filter, efficiency assessment, data analysis, SNR, quality metrics., фільтрація шуму, нейронні мережі, машинне навчання, зашумлені дані, методи фільтрації, фільтри Калмана, вейвлет-фільтрація, медіанна фільтрація, фільтр Савіцького-Голея, оцінка ефективності, аналіз даних, метрики якості.
Бібліографічний опис
Проценко, В. А. Способи фільтрації шумів у великих наборах даних для покращення навчання нейронних мереж : магістерська дис. : 123 Комп'ютерна інженерія / Проценко Владислав Андрійович. – Київ, 2024. – 85 с.