Метод та програмні засоби підвищення ефективності роботи розподілених сховищ даних

Скорочена інформація про документ
dc.contributor.advisorЛіхоузова, Тетяна Анатоліївна
dc.contributor.authorМамута, Максим Дмитрович
dc.date.accessioned2023-01-16T09:31:40Z
dc.date.available2023-01-16T09:31:40Z
dc.date.issued2022-06
dc.description.abstractenExplanatory note size – 73 pages, contains 35 illustrations, 14 tables, 6 applications. Topicality. Examines the problem of storage and processing big data, the main features of storing solutions, their advantages and disadvantages. The need to improve or develop methods of working with data warehouses has been identified. The aim of the study. The main target is to increase the speed of big data processing when querying them. Object of research: big data storage architecture. Subject of research: software and algorithms for processing and storing big data. To achieve this goal, the following tasks were formulated: − explore algorithms for working with structured data using Apache Spark SQL; − explore algorithms for working with unstructured data and combine Hbase with Apache Spark Streaming; − to investigate the available algorithms for transforming the internal structure of the big data warehouse; − choose metrics to assess the effectiveness of the repository; − to propose or improve the method of working with the big data repository through the use of algorithms for adapting the repository architecture; − to develop software that implements the proposed method. The scientific novelty of the results of the master's dissertation is … The practical value of the obtained results is that the method of working with the big data repository is improved due to the use of algorithms for adapting the repository architecture. Relationship with working with scientific programs, plans, topics. Work was performed at the Department of Informatics and Software Engineering of the National Technical University of Ukraine «Kyiv Polytechnic Institute. Igor Sikorsky». Approbation. The scientific provisions of the dissertation were tested at the international scientific-practical conference "Innovative Development in Global Science 2022" - Boston. Publications. The scientific provisions of the dissertation published in: 1) Mamuta M. D. Improving the efficiency of distributed data warehouses / M. D. Mamuta, T. A. Likhouzova // Interdepartmental scientific and technical collection "Adaptive automatic control systems" № 1 (40), 2022 - accepted for publication. 2) Mamuta M. D. Method of increasing the efficiency of distributed data warehouses using backups of different structures / M. D. Mamuta, T. A. Likhouzova // International Scientific and Practical Conference INNOVATIVE DEVELOPMENT IN THE GLOBAL SCIENCE 2022 - Boston, June 6-8, 2022uk
dc.description.abstractukРозмір пояснювальної записки – 73 аркуші, містить 35 ілюстрацій, 14 таблиць, 6 додатків. Актуальність теми. У роботі розглянуто проблему збереження та обробки великих даних, показано основні особливості існуючих рішень, їх переваги та недоліки. Виявлено потребу в удосконаленні або розробці методів роботи із сховищами даних. Мета дослідження. Основною метою є підвищення швидкості обробки великих даних при виконанні запитів до них. Об’єкт дослідження: архітектура сховища великих даних. Предмет дослідження: програмне забезпечення та алгоритми для обробки та зберігання великих даних. Для реалізації поставленої мети сформульовані наступні завдання: − дослідити алгоритми роботи із структурованими даними за допомогою Apache Spark SQL; − дослідити алгоритми роботи із неструктурованими даними і поєднати Hbase із Apache Spark Streaming; − дослідити доступні алгоритми перетворення внутрішньої будови сховища великих даних; − обрати метрики для оцінки ефективності роботи сховища; − запропонувати або удосконалити метод роботи із сховищем великих даних за рахунок використання алгоритмів адаптації архітектури сховища; − розробити програмне забезпечення, що реалізує запропонований метод. Наукова новизна результатів магістерської дисертації полягає в тому, що удосконалено метод роботи із сховищем великих даних за рахунок використання алгоритмів адаптації архітектури сховища. Практичне значення отриманих результатів полягає в розробці програмного забезпечення, що реалізує метод побудови архітектури сховища даних, яка адаптована до задач, що вирішуватимуться з використанням цього сховища. Результат досягнутий шляхом використання існуючих реплік сховища, які створювалися для резервного копіювання, та блоку керування для обрання сховища, з якого будуть завантажуватись дані для конкретної поточної задачі. Зв’язок з науковими програмами, планами, темами. Робота виконувалась на кафедрі інформатики та програмної інженерії Національного технічного університету України "Київський політехнічний інститут імені Ігоря Сікорського". Апробація. Наукові положення дисертації пройшли апробацію на міжнародній науково-практична конференції «Innovative development in the global science 2022» – м. Бостон. Публікації. Наукові положення дисертації опубліковані в: 1) Мамута М. Д. Підвищення ефективності роботи розподілених сховищ даних / М. Д. Мамута, Т. А .Ліхоузова // Міжвідомчий науково-технічний збірник «Адаптивні системи автоматичного управління» № 1(40), 2022 – прийнято до друку. 2) Мамута М. Д. Метод підвищення ефективності роботи розподілених сховищ даних з використанням резервних копій різної структури / М. Д. Мамута, Т. А. Ліхоузова // International Scientific and Practical Conference INNOVATIVE DEVELOPMENT IN THE GLOBAL SCIENCE 2022 – м. Бостон, 6-8 червня 2022 р.uk
dc.format.page105 с.uk
dc.identifier.citationМамута, М. Д. Метод та програмні засоби підвищення ефективності роботи розподілених сховищ даних : магістерська дис. : 121 Інженерія програмного забезпечення / Мамута Максим Дмитрович. – Київ, 2022. – 105 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/51849
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectвеликі даніuk
dc.subjectоптимальний розподіл ресурсівuk
dc.subjectсховище данихuk
dc.subjectbig datauk
dc.subjectoptimal distribution of resourcesuk
dc.subjectbig data storageuk
dc.subject.udc004.67uk
dc.titleМетод та програмні засоби підвищення ефективності роботи розподілених сховищ данихuk
dc.title.alternativeMethod and Software Tools to Optimize Performance of Distributed Data Warehousesuk
dc.typeMaster Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Mamuta_magistr.pdf
Розмір:
2.77 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.1 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (ІПІ)
Магістерські роботи