Система виявлення аномалій в даних на основі методів машинного навчання

Скорочена інформація про документ
dc.contributor.advisorШушура, Олексій Миколайович
dc.contributor.authorМороз, Єлизавета Олександрівна
dc.date.accessioned2025-01-07T14:19:02Z
dc.date.available2025-01-07T14:19:02Z
dc.date.issued2024
dc.descriptionПрограма реалізована на мові програмування Python. З використанням технологій таких, як Streamlit, Sklearn, Numpy, Pandas, MatPlotLib. Веб-застосунок використовується для виявлення аномалій в даних
dc.description.abstractМагістерська дисертація: 97 с., 23 рис., 12 табл., 24 джерела, 1 додаток. Актуальність. Виявлення аномалій в даних є важливим етапом в аналізі та обробці даних у багатьох сферах, таких як фінансовий моніторинг, кібербезпека, охорона здоров'я та інші. З розвитком технологій машинного навчання, автоматизація процесів виявлення аномалій стає надзвичайно важливою для підвищення точності та зменшення витрат часу. На сьогодні існує велика кількість методів і підходів для виявлення аномалій, серед яких найбільш популярними є методи Isolation Forest, Local Outlier Factor (LOF) та DBSCAN. Враховуючи обмеженість ресурсів для аналізу великих обсягів даних, розробка системи для автоматизації цього процесу є важливим завданням. Метою дослідження є розробка системи для автоматизації виявлення аномалій в даних, що використовує методи машинного навчання, зокрема Isolation Forest, LOF та DBSCAN, для покращення точності та ефективності виявлення аномалій у різних наборах даних. Для досягнення цієї мети були вирішені наступні завдання: – проведення огляду існуючих методів і систем для виявлення аномалій; – розробка архітектури програмного забезпечення для автоматизації виявлення аномалій; – вибір засобів розробки і моделювання системи; – розробка програмного забезпечення для виявлення аномалій, що використовує методи Isolation Forest, LOF та DBSCAN; – тестування та перевірка ефективності розробленої системи на тестових наборах даних. Об’єктом дослідження є процес виявлення аномалій у наборах даних за допомогою методів машинного навчання. Предметом дослідження є методи та інформаційні системи для виявлення аномалій, зокрема на основі методів Isolation Forest, LOF та DBSCAN. Методи дослідження: машинне навчання, методи виявлення аномалій (Isolation Forest, LOF, DBSCAN), попередня обробка даних Практичне значення отриманих результатів: розроблене програмне забезпечення дозволяє автоматично виявляти аномалії в наборах даних, що може бути використано для фінансового моніторингу, кібербезпеки, охорони здоров’я та інших сфер, де важливо своєчасно виявляти аномальні події. Система використовує алгоритми машинного навчання, що дозволяє досягти високої точності та ефективності виявлення аномалій, а також забезпечує зручний інтерфейс для користувачів. Публікації: Мороз Є. О. ВИЯВЛЕННЯ АНОМАЛІЙ В ДАНИХ НА ОСНОВІ МЕТОДІВ МАШИННОГО НАВЧАННЯ/ Є. О. Мороз, О. М. Шушура. // «Сучасні проблеми наукового забезпечення енергетики». – 23-26 квітня 2024. – С. 218-220.
dc.description.abstractotherMaster's degree thesis: 97 p., 23 figs., 12 tables, 24 references, 1 appendics. Relevance. Anomaly detection in data is an essential step in data analysis and processing in various fields, such as financial monitoring, cybersecurity, healthcare, and others. With the advancement of machine learning technologies, automating anomaly detection processes is becoming crucial for improving accuracy and reducing time costs. Currently, there are many methods and approaches for anomaly detection, with the most popular being the Isolation Forest, Local Outlier Factor (LOF), and DBSCAN methods. Given the limited resources for analyzing large volumes of data, developing a system for automating this process is a significant task. The purpose of the study is to develop a system for automating anomaly detection in data using machine learning methods, particularly Isolation Forest, LOF, and DBSCAN, to improve the accuracy and efficiency of anomaly detection in various datasets. To achieve this goal, the following tasks were completed: - A review of existing methods and systems for anomaly detection. - Development of the software architecture for automating anomaly detection. - Selection of development tools and system modeling. - Development of software for anomaly detection using Isolation Forest, LOF, and DBSCAN methods. - Testing and evaluation of the developed system on test datasets. The object of the study is the process of anomaly detection in datasets using machine learning methods. The subject of the study is methods and information systems for anomaly detection, particularly based on the Isolation Forest, LOF, and DBSCAN methods. Research methods: machine learning, anomaly detection methods (Isolation Forest, LOF, DBSCAN), data preprocessing. Practical significance of the results: The developed software allows for the automatic detection of anomalies in datasets, which can be used for financial monitoring, cybersecurity, healthcare, and other fields where timely identification of abnormal events is essential. The system uses machine learning algorithms that ensure high accuracy and efficiency in detecting anomalies and also provides a user-friendly interface for users. Publications: Moroz Y. O. DETECTION OF ANOMALIES IN DATA BASED ON MACHINE LEARNING METHODS / Y. O. Moroz, O. M. Shushura. // "Modern Problems of Scientific Support in Energy". – April 23–26, 2024. – P. 218–220.
dc.format.extent97
dc.identifier.citationМороз, Є. О. Система виявлення аномалій в даних на основі методів машинного навчання : магістерська дис. : 122 Комп’ютерні науки / Мороз Єлизавета Олександрівна. – Київ, 2024. – 97 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/71675
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectвиявлення аномалій
dc.subjectмашинне навчання
dc.subjectIsolation Forest
dc.subjectLOF
dc.subjectDBSCAN
dc.subjectавтоматизація
dc.subjectпопередня обробка даних
dc.titleСистема виявлення аномалій в даних на основі методів машинного навчання
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Moroz_magistr.pdf
Розмір:
6.38 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (ЦТЕ)
Магістерські роботи