Побудова архітектури збору даних з відкритих джерел, їх агрегації та категоризації
Ескіз недоступний
Дата
2021
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
У даній роботі було поставлене завдання розробити архітектуру збору даних із відкритих джерел у мережі Інтернет, їх зберігання та подальшої обробки. У ході виконання роботи було досліджені сучасні підходи до збирання даних з вебсторінок: вебскрапінг та використання відкритих API. Як методологію проєктування було вибрано предметно-орієнтоване проєктування, яке найбільш точно задовольняє потреби даної інформаційної системи.
Як прикладну задачу вибрано збір та подальший аналіз даних про товари в інтернет-магазинах українських мереж продуктових супермаркетів для пошуку раціонального рішення щодо вибору магазину по даній продуктовому кошику та місцерозташуванню.
У результаті роботи було детально описано розроблену архітектуру та алгоритми кожної з її компонент та їх взаємодію. Після цього були реалізовані окремі модулі збору, зберігання та обробки інформації про товари в інтернет-магазинах мовою програмування Python, які надалі можуть стати основою комерційного рішення для розв'язання даної задачі. Також було проаналізовані можливості щодо міграції на актуальні сервіси хмарних обчислень та інтеграції serverless рішень для запропонованої архітектури.
Загальний обсяг роботи 69 сторінок, 11 рисунків, 8 таблиць, 17 посилань.
Опис
Ключові слова
збір даних, зберігання даних, архітектура збору даних, вебскрапінг, предметно-орієнтоване проєктування, озеро даних, сховище даних, інтернет-магазини, класифікація товарів, хмарні обчислення, serverless архітектура, API, DDD, data collection, data saving, data gathering architecture, web scraping, domain-driven development, data lake, data warehouse, online retailers, goods classification, cloud computing, serverless architecture
Бібліографічний опис
Циолковський, Р. Р. Побудова архітектури збору даних з відкритих джерел, їх агрегації та категоризації : дипломна робота ... бакалавра : 122 Комп'ютерні науки / Циолковський Роман Романович. – Київ, 2021. – 67 с.