Вебзастосунок для агрегації та очищення даних біткоїна для ринкового прогнозування
Вантажиться...
Дата
2025
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломний проєкт присвячено розробленню вебзастосунку, призначеного для збору, комплексної обробки та підготовки фінансових даних, зокрема даних криптовалютного ринку (біткоїн), для подальшого використання в задачах машинного навчання. Метою проєкту є надання користувачам гнучкого та потужного інструменту для формування якісних багатофакторних наборів даних.
У рамках проєкту було спроєктовано та реалізовано архітектуру вебсервісу, що складається з серверної та клієнтської частин. Серверна частина, розроблена на Python з використанням фреймворку Flask, відповідає за взаємодію із зовнішніми API для збору даних, їх агрегацію, валідацію, очищення, трансформацію (включаючи нормалізацію, кодування, обробку аномалій та пропусків) та збереження результатів. Клієнтська частина надає користувацький вебінтерфейс для конфігурації параметрів збору та обробки даних, моніторингу процесу та завантаження фінальних датасетів і звітів.
Для зберігання сирих та оброблених даних, а також конфігурацій користувача, розроблено структуру бази даних (PostgreSQL), з якою взаємодія відбувається через SQLAlchemy ORM. Це забезпечує надійне зберігання інформації та швидкий доступ до неї.
Ключовою особливістю розробленого вебзастосунку є його здатність створювати кастомізовані багатофакторні набори даних. Користувачі можуть гнучко обирати та комбінувати дані з різних джерел: ринкові дані (ціни, обсяги) з провідних криптовалютних бірж (Binance, Coinbase, Kraken), ончейн-метрики (наприклад, хешрейт, кількість транзакцій), макроекономічні показники та власноруч визначені фактори. Застосунок автоматизує складні етапи попередньої обробки, такі як фільтрація аномалій, інтерполяція пропущених значень, нормалізація числових ознак та кодування категоріальних змінних.
Ще однією важливою функцією є генерація цільових змінних, необхідних для навчання моделей машинного навчання (регресії та класифікації), що значно спрощує підготовку даних для прогнозних завдань. Система також формує детальні звіти про якість зібраних даних та етапи їх обробки, забезпечуючи прозорість процесу.
Цей проєкт має великий потенціал для спрощення роботи аналітиків, дослідників і розробників моделей машинного навчання, пропонуючи ефективний інструмент для підготовки якісних даних, що є ключовим для успішного аналізу та прогнозування майбутніх тенденцій на ринку криптовалют.
Опис
Ключові слова
Бібліографічний опис
Фадєєв, О. О. Вебзастосунок для агрегації та очищення даних біткоїна для ринкового прогнозування : дипломний проєкт ... бакалавра : 121 Інженерія програмного забезпечення / Юрчишин Василь Якович. – Київ, 2025. – 177 с.