Побудова архітектури збору даних з відкритих джерел, їх агрегації та категоризації

Скорочена інформація про документ
dc.contributor.advisorПисьменний, Ігор Олександрович
dc.contributor.authorЦиолковський, Роман Романович
dc.date.accessioned2023-05-31T07:19:31Z
dc.date.available2023-05-31T07:19:31Z
dc.date.issued2021
dc.description.abstractУ даній роботі було поставлене завдання розробити архітектуру збору даних із відкритих джерел у мережі Інтернет, їх зберігання та подальшої обробки. У ході виконання роботи було досліджені сучасні підходи до збирання даних з вебсторінок: вебскрапінг та використання відкритих API. Як методологію проєктування було вибрано предметно-орієнтоване проєктування, яке найбільш точно задовольняє потреби даної інформаційної системи. Як прикладну задачу вибрано збір та подальший аналіз даних про товари в інтернет-магазинах українських мереж продуктових супермаркетів для пошуку раціонального рішення щодо вибору магазину по даній продуктовому кошику та місцерозташуванню. У результаті роботи було детально описано розроблену архітектуру та алгоритми кожної з її компонент та їх взаємодію. Після цього були реалізовані окремі модулі збору, зберігання та обробки інформації про товари в інтернет-магазинах мовою програмування Python, які надалі можуть стати основою комерційного рішення для розв'язання даної задачі. Також було проаналізовані можливості щодо міграції на актуальні сервіси хмарних обчислень та інтеграції serverless рішень для запропонованої архітектури. Загальний обсяг роботи 69 сторінок, 11 рисунків, 8 таблиць, 17 посилань.uk
dc.description.abstractotherThis thesis aims to develop an architecture for data collection from open sources on the Internet and its saving and processing. Actual technics of data gathering were investigated, including web scraping and usage of open APIs. Domain-driven development was chosen as a software development methodic. It completely satisfies the requirements of the system. The task of rational choice between different Ukrainian food retailers was chosen as an example where the proposed architecture helps to solve a practical problem. This system takes information about goods basket and user location as input. As a result, a detailed description of the developed architecture, algorithms of every component and their interconnections were obtained. After that, data gathering, saving and processing modules, which working with information about online retailers’ items, were implemented in Python programming language. Opportunities for cloud computing and serverless techniques were also analyzed for the proposed architecture. Bachelor's thesis size 69 pages, 11 pictures, 8 tables, 17 sources.uk
dc.format.extent67 с.uk
dc.identifier.citationЦиолковський, Р. Р. Побудова архітектури збору даних з відкритих джерел, їх агрегації та категоризації : дипломна робота ... бакалавра : 122 Комп'ютерні науки / Циолковський Роман Романович. – Київ, 2021. – 67 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/56374
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectзбір данихuk
dc.subjectзберігання данихuk
dc.subjectархітектура збору данихuk
dc.subjectвебскрапінгuk
dc.subjectпредметно-орієнтоване проєктуванняuk
dc.subjectозеро данихuk
dc.subjectсховище данихuk
dc.subjectінтернет-магазиниuk
dc.subjectкласифікація товарівuk
dc.subjectхмарні обчисленняuk
dc.subjectserverless архітектураuk
dc.subjectAPIuk
dc.subjectDDDuk
dc.subjectdata collectionuk
dc.subjectdata savinguk
dc.subjectdata gathering architectureuk
dc.subjectweb scrapinguk
dc.subjectdomain-driven developmentuk
dc.subjectdata lakeuk
dc.subjectdata warehouseuk
dc.subjectonline retailersuk
dc.subjectgoods classificationuk
dc.subjectcloud computinguk
dc.subjectserverless architectureuk
dc.titleПобудова архітектури збору даних з відкритих джерел, їх агрегації та категоризаціїuk
dc.title.alternativeBuilding an architecture for collecting data from open sources, their aggregation and categorizationuk
dc.typeBachelor Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
Tsyolkovskyi_bakalavr.docx
Розмір:
472.42 KB
Формат:
Microsoft Word XML
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
1.71 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (СП)
Бакалаврські роботи