Метод та програмні засоби підвищення ефективності роботи розподілених сховищ даних
Вантажиться...
Дата
2022-06
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Розмір пояснювальної записки – 73 аркуші, містить 35 ілюстрацій, 14 таблиць, 6 додатків.
Актуальність теми. У роботі розглянуто проблему збереження та обробки великих даних, показано основні особливості існуючих рішень, їх переваги та недоліки. Виявлено потребу в удосконаленні або розробці методів роботи із сховищами даних.
Мета дослідження. Основною метою є підвищення швидкості обробки великих даних при виконанні запитів до них.
Об’єкт дослідження: архітектура сховища великих даних.
Предмет дослідження: програмне забезпечення та алгоритми для обробки та зберігання великих даних.
Для реалізації поставленої мети сформульовані наступні завдання:
− дослідити алгоритми роботи із структурованими даними за допомогою Apache Spark SQL;
− дослідити алгоритми роботи із неструктурованими даними і поєднати Hbase із Apache Spark Streaming;
− дослідити доступні алгоритми перетворення внутрішньої будови сховища великих даних;
− обрати метрики для оцінки ефективності роботи сховища;
− запропонувати або удосконалити метод роботи із сховищем великих даних за рахунок використання алгоритмів адаптації архітектури сховища;
− розробити програмне забезпечення, що реалізує запропонований метод.
Наукова новизна результатів магістерської дисертації полягає в тому, що удосконалено метод роботи із сховищем великих даних за рахунок використання алгоритмів адаптації архітектури сховища.
Практичне значення отриманих результатів полягає в розробці програмного забезпечення, що реалізує метод побудови архітектури сховища даних, яка адаптована до задач, що вирішуватимуться з використанням цього сховища. Результат досягнутий шляхом використання існуючих реплік сховища, які створювалися для резервного копіювання, та блоку керування для обрання сховища, з якого будуть завантажуватись дані для конкретної поточної задачі.
Зв’язок з науковими програмами, планами, темами. Робота виконувалась на кафедрі інформатики та програмної інженерії Національного технічного університету України "Київський політехнічний інститут імені Ігоря Сікорського".
Апробація. Наукові положення дисертації пройшли апробацію на міжнародній науково-практична конференції «Innovative development in the global science 2022» – м. Бостон.
Публікації. Наукові положення дисертації опубліковані в:
1) Мамута М. Д. Підвищення ефективності роботи розподілених сховищ даних / М. Д. Мамута, Т. А .Ліхоузова // Міжвідомчий науково-технічний збірник «Адаптивні системи автоматичного управління» № 1(40), 2022 – прийнято до друку.
2) Мамута М. Д. Метод підвищення ефективності роботи розподілених сховищ даних з використанням резервних копій різної структури / М. Д. Мамута, Т. А. Ліхоузова // International Scientific and Practical Conference INNOVATIVE DEVELOPMENT IN THE GLOBAL SCIENCE 2022 – м. Бостон, 6-8 червня 2022 р.
Опис
Ключові слова
великі дані, оптимальний розподіл ресурсів, сховище даних, big data, optimal distribution of resources, big data storage
Бібліографічний опис
Мамута, М. Д. Метод та програмні засоби підвищення ефективності роботи розподілених сховищ даних : магістерська дис. : 121 Інженерія програмного забезпечення / Мамута Максим Дмитрович. – Київ, 2022. – 105 с.