Письменний, Ігор ОлександровичЦиолковський, Роман Романович2023-05-312023-05-312021Циолковський, Р. Р. Побудова архітектури збору даних з відкритих джерел, їх агрегації та категоризації : дипломна робота ... бакалавра : 122 Комп'ютерні науки / Циолковський Роман Романович. – Київ, 2021. – 67 с.https://ela.kpi.ua/handle/123456789/56374У даній роботі було поставлене завдання розробити архітектуру збору даних із відкритих джерел у мережі Інтернет, їх зберігання та подальшої обробки. У ході виконання роботи було досліджені сучасні підходи до збирання даних з вебсторінок: вебскрапінг та використання відкритих API. Як методологію проєктування було вибрано предметно-орієнтоване проєктування, яке найбільш точно задовольняє потреби даної інформаційної системи. Як прикладну задачу вибрано збір та подальший аналіз даних про товари в інтернет-магазинах українських мереж продуктових супермаркетів для пошуку раціонального рішення щодо вибору магазину по даній продуктовому кошику та місцерозташуванню. У результаті роботи було детально описано розроблену архітектуру та алгоритми кожної з її компонент та їх взаємодію. Після цього були реалізовані окремі модулі збору, зберігання та обробки інформації про товари в інтернет-магазинах мовою програмування Python, які надалі можуть стати основою комерційного рішення для розв'язання даної задачі. Також було проаналізовані можливості щодо міграції на актуальні сервіси хмарних обчислень та інтеграції serverless рішень для запропонованої архітектури. Загальний обсяг роботи 69 сторінок, 11 рисунків, 8 таблиць, 17 посилань.67 с.ukзбір данихзберігання данихархітектура збору данихвебскрапінгпредметно-орієнтоване проєктуванняозеро данихсховище данихінтернет-магазиникласифікація товарівхмарні обчисленняserverless архітектураAPIDDDdata collectiondata savingdata gathering architectureweb scrapingdomain-driven developmentdata lakedata warehouseonline retailersgoods classificationcloud computingserverless architectureBachelor Thesis