Дослідження парадигми керування потоками даних в системах збереження та обробки даних
Вантажиться...
Дата
2021-12
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Робота виконана на 133 сторінках, містить 45 ілюстрацій, 24 таблиці. При
підготовці використовувалася література з 20 джерел.
Актуальність теми
Упродовж останніх кількох років ми можемо спостерігати процес цифрової
трансформації, який торкнувся майже всіх сфер життя, оскільки світ не може
існувати без інформації. Та чим більше розвиваються технології, тим простіше та
доступніше стає процес розповсюдження даних с більшим масштабом. В цьому
наповненому інформацією світі займає виграшні позиції той, хто вміє даними
правильно розпоряджатися. Але зростає не лише об’єм інформації, а ще й
кількість джерел, з яких вона надходить. А для прийняття найкращих рішень
потрібно об’єднати ці дані в якесь одне джерело та працювати вже з ним, в чому
допомагає інтеграція даних, основною робочою сутністю якої є керовані потоки
даних.
Мета і завдання дослідження
Метою цієї роботи є продовженням циклу досліджень кафедрою теми
керування потоками даних з фокусуванням на практичному застосуванні.
Поставлена мета передбачає розв’язок цілої низки конкретних завдань, а
саме:
дослідження парадигми керування потоками даних;
дослідження потокової архітектури;
дослідження особливостей інтеграції даних з різнорідних
систем;
огляд наявних засобів для керування потоками даних;
використовуючи отримані під час дослідження знання,
розробити методологію та провести тестування систем інтеграції даних.
Об’єкт та предмет дослідження.
Об'єктом дослідження є парадигма керування потоками даних. Предметом
дослідження є практичний аспект роботи парадигми керування потоками даних
на прикладі систем інтеграції даних.
Рішення поставлених завдань і досягнуті результати
За результатами здійсненого дослідження було розроблено методологію
тестування систем інтеграції даних, а також проведено саме тестування на
системах, які підтримують ETL сценарій та проаналізовано результати; для чого
було спроектовано спрощену схему майбутнього Data Lake, створено тестові
набори даних, налаштовано тестове середовище та продумано схему інтеграції.
Наукова новизна одержаних результатів.
Розроблено методологію тестування систем інтеграції даних.
Опис
Ключові слова
потоки даних, інтеграція даних, системи збереження та обробки даних, бази даних, тестування, ETL, dataflow, data integration, data storage and processing systems, database, testing
Бібліографічний опис
Кузьмінова, А. А. Дослідження парадигми керування потоками даних в системах збереження та обробки даних : магістерська дис. : 122 Комп’ютерні науки / Кузьмінова Анна Анатоліївна. – Київ, 2021. – 133 с.