Застосування Data pipelines в хмарних сервісах для медіа – аналітики засобів масової інформації України
Вантажиться...
Дата
2021-06
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Метою даної роботи є розробка локального рішення - data pipeline для аналізу даних соціальної мережі Twitter, запропонування аналогічного рішення за допомогою сервісів Amazon Web Services (AWS), визначення доцільності використання одного підходу та іншого, проведення економічного обґрунтування, визначені переваги та недоліки кожного з варіантів, обґрунтована доцільність використання та надана рекомендація для впровадження на підприємствах кожного з варіантів, визначена ефективність IaaS-сервісів з економічної точки зору, у порівнянні з капітальними інвестиціями у власні дата-центри.
В ході роботи було розглянуто та окреслено задачу проектування локального рішення data pipeline для застосування в сфері аналітики даних засобів масової інформації, створено рішення, як зчитує дані з потоку всіх твітів та фільтрує за визначеними ключовими словами. Спроектовано та запущено рішення на базі Kafka кластеру, а також розроблений модуль відображення аналітики твітів для користувача.
Рішення було розроблено із використанням мови Python та фреймворку Flask та бібліотеки Leaflet.js, Kafka cluster, AWS S3, AWS EC2, Amazon Kinesis Data Stream, калькулятор AWS інфраструктури.
Опис
Ключові слова
Twitter API, Amazon Kinesis Data
Бібліографічний опис
Кулижко, А. О. Застосування Data pipelines в хмарних сервісах для медіа – аналітики засобів масової інформації України : дипломна робота ... бакалавра : 121 Інженерія програмного забезпечення / Кулижко Андрій Олександрович. – Київ, 2021. – 79 с.