Система виявлення аномалій в даних на основі методів машинного навчання
Вантажиться...
Дата
2024
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Магістерська дисертація: 97 с., 23 рис., 12 табл., 24 джерела, 1 додаток.
Актуальність. Виявлення аномалій в даних є важливим етапом в аналізі та обробці даних у багатьох сферах, таких як фінансовий моніторинг, кібербезпека, охорона здоров'я та інші. З розвитком технологій машинного навчання, автоматизація процесів виявлення аномалій стає надзвичайно важливою для підвищення точності та зменшення витрат часу. На сьогодні існує велика кількість методів і підходів для виявлення аномалій, серед яких найбільш популярними є методи Isolation Forest, Local Outlier Factor (LOF) та DBSCAN. Враховуючи обмеженість ресурсів для аналізу великих обсягів даних, розробка системи для автоматизації цього процесу є важливим завданням.
Метою дослідження є розробка системи для автоматизації виявлення аномалій в даних, що використовує методи машинного навчання, зокрема Isolation Forest, LOF та DBSCAN, для покращення точності та ефективності виявлення аномалій у різних наборах даних.
Для досягнення цієї мети були вирішені наступні завдання:
– проведення огляду існуючих методів і систем для виявлення аномалій;
– розробка архітектури програмного забезпечення для автоматизації виявлення аномалій;
– вибір засобів розробки і моделювання системи;
– розробка програмного забезпечення для виявлення аномалій, що використовує методи Isolation Forest, LOF та DBSCAN;
– тестування та перевірка ефективності розробленої системи на тестових наборах даних.
Об’єктом дослідження є процес виявлення аномалій у наборах даних за допомогою методів машинного навчання.
Предметом дослідження є методи та інформаційні системи для виявлення аномалій, зокрема на основі методів Isolation Forest, LOF та DBSCAN.
Методи дослідження: машинне навчання, методи виявлення аномалій (Isolation Forest, LOF, DBSCAN), попередня обробка даних
Практичне значення отриманих результатів: розроблене програмне забезпечення дозволяє автоматично виявляти аномалії в наборах даних, що може бути використано для фінансового моніторингу, кібербезпеки, охорони здоров’я та інших сфер, де важливо своєчасно виявляти аномальні події. Система використовує алгоритми машинного навчання, що дозволяє досягти високої точності та ефективності виявлення аномалій, а також забезпечує зручний інтерфейс для користувачів.
Публікації: Мороз Є. О. ВИЯВЛЕННЯ АНОМАЛІЙ В ДАНИХ НА ОСНОВІ МЕТОДІВ МАШИННОГО НАВЧАННЯ/ Є. О. Мороз, О. М. Шушура. // «Сучасні проблеми наукового забезпечення енергетики». – 23-26 квітня 2024. – С. 218-220.
Опис
Програма реалізована на мові програмування Python. З використанням технологій таких, як Streamlit, Sklearn, Numpy, Pandas, MatPlotLib. Веб-застосунок використовується для виявлення аномалій в даних
Ключові слова
виявлення аномалій, машинне навчання, Isolation Forest, LOF, DBSCAN, автоматизація, попередня обробка даних
Бібліографічний опис
Мороз, Є. О. Система виявлення аномалій в даних на основі методів машинного навчання : магістерська дис. : 122 Комп’ютерні науки / Мороз Єлизавета Олександрівна. – Київ, 2024. – 97 с.