Застосування Data pipelines в хмарних сервісах для медіа – аналітики засобів масової інформації України

Скорочена інформація про документ
dc.contributor.advisorОнисько, Андрій Ілліч
dc.contributor.authorКулижко, Андрій Олександрович
dc.date.accessioned2021-10-05T13:41:36Z
dc.date.available2021-10-05T13:41:36Z
dc.date.issued2021-06
dc.description.abstractenThe purpose of this work is to develop a local solution - data pipeline for data analysis of the social network Twitter, offering a similar solution using Amazon Web Services (AWS), determining the feasibility of using one approach and another, economic feasibility, identified advantages and disadvantages of each option. the expediency of use is substantiated and the recommendation for introduction at the enterprises of each of options is given, efficiency of IaaS-services from the economic point of view, in comparison with capital investments in own data centers is defined. In the course of the work the task of designing a local data pipeline solution for application in the field of media data analytics was considered and outlined, a solution was created on how to read data from the stream of all tweets and filter by certain keywords. A solution based on the Kafka cluster was designed and launched, and a tweet analytics display module for the user was developed. The solution was developed using the Python language and the Flask framework and the Leaflet.js library, Kafka cluster, AWS S3, AWS EC2, Amazon Kinesis Data Stream, AWS infrastructure calculator.uk
dc.description.abstractruЦелью данной работы является разработка локального решения - data pipeline для анализа данных социальной сети Twitter, предлагаемых аналогичного решения с помощью сервисов Amazon Web Services (AWS), определение целесообразности использования одного подхода и прочего, проведение экономического обоснования, определенные преимущества и недостатки каждого из вариантов , обоснована целесообразность использования и предоставлена рекомендация для внедрения на предприятиях каждого из вариантов, определенная эффективность IaaS-сервисов с экономической точки зрения, по сравнению с капитальными инвестициями в собственные дата-центры. В ходе работы были рассмотрены и намечены задачу проектирования локального решения data pipeline для применения в сфере аналитики данных средств массовой информации, создан решение, как считывает данные из потока всех твитов и фильтрует по определенным ключевым словам. Спроектировано и запущено решения на базе Kafka кластера, а также разработан модуль отображения аналитики твитов для пользователя. Решение было разработано с использованием языка Python и фреймворка Flask и библиотеки Leaflet.js, Kafka cluster, AWS S3, AWS EC2, Amazon Kinesis Data Stream, калькулятор AWS инфраструктуры.uk
dc.description.abstractukМетою даної роботи є розробка локального рішення - data pipeline для аналізу даних соціальної мережі Twitter, запропонування аналогічного рішення за допомогою сервісів Amazon Web Services (AWS), визначення доцільності використання одного підходу та іншого, проведення економічного обґрунтування, визначені переваги та недоліки кожного з варіантів, обґрунтована доцільність використання та надана рекомендація для впровадження на підприємствах кожного з варіантів, визначена ефективність IaaS-сервісів з економічної точки зору, у порівнянні з капітальними інвестиціями у власні дата-центри. В ході роботи було розглянуто та окреслено задачу проектування локального рішення data pipeline для застосування в сфері аналітики даних засобів масової інформації, створено рішення, як зчитує дані з потоку всіх твітів та фільтрує за визначеними ключовими словами. Спроектовано та запущено рішення на базі Kafka кластеру, а також розроблений модуль відображення аналітики твітів для користувача. Рішення було розроблено із використанням мови Python та фреймворку Flask та бібліотеки Leaflet.js, Kafka cluster, AWS S3, AWS EC2, Amazon Kinesis Data Stream, калькулятор AWS інфраструктури.uk
dc.format.page79 с.uk
dc.identifier.citationКулижко, А. О. Застосування Data pipelines в хмарних сервісах для медіа – аналітики засобів масової інформації України : дипломна робота ... бакалавра : 121 Інженерія програмного забезпечення / Кулижко Андрій Олександрович. – Київ, 2021. – 79 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/44149
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectTwitter APIuk
dc.subjectAmazon Kinesis Datauk
dc.titleЗастосування Data pipelines в хмарних сервісах для медіа – аналітики засобів масової інформації Україниuk
dc.typeBachelor Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Kuligko_bakalavr.pdf
Розмір:
1.06 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.01 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (АПЕПС)
Бакалаврські роботи