Метод та програмне забезпечення для зберігання великих масивів даних з використанням алгоритмів ущільнення

Скорочена інформація про документ
dc.contributor.advisorСулема, Ольга Костянтинівна
dc.contributor.authorВергун, Марія Олександрівна
dc.date.accessioned2025-10-16T12:02:30Z
dc.date.available2025-10-16T12:02:30Z
dc.date.issued2024
dc.description.abstractСучасні інформаційні системи щодня обробляють все більші обсяги даних, які є критично важливими для їх функціонування і часто потребують тривалого зберігання. Це створює потребу в збільшенні обсягу сховищ для даних, хоча ресурси, виділені для цього, часто бувають обмеженими. У зв'язку з необхідністю більш ефективного використання простору для зберігання даних застосовуються різні методи та алгоритми ущільнення, які зазвичай базуються на використанні стандартних алгоритмів перетворення для зменшення кількості бітів, необхідних для представлення кожного вхідного байту інформації. У цій магістерській дисертації було виконано аналіз наявних методів ущільнення даних з метою виявлення їх придатності для ущільнення великих обсягів даних. В результаті було запропоновано новий метод ущільнення, який базується на методі ущільнення Brotli та має на меті підвищення його швидкодії. Таким чином пропонується модифікація базового методу з метою його адаптації до роботи з великими масивами даних. В результаті розробки та аналізу запропонованого методу виявлено покращення швидкодії в середньому в 4 рази. При цьому зменшення ефективності методу при будьякому рівні ущільнення спостерігається в межах від 3% до 10%. В межах цієї магістерської дисертації було розроблено вебзастосунок, що надає графічний інтерфес для використання методу, з використанням технологій Go, Flask, NextJS та хмарних сервісів AWS. Для реалізації методу ущільнення використовувалася мова програмування Go та її нативні потоки виконання Goroutines.
dc.description.abstractotherModern information systems process ever-increasing volumes of data daily, which are critically important for their functioning and often require long-term storage. This creates a need to expand data storage capacity, although the resources allocated for this are often limited. Due to the necessity of more efficient use of storage space, various compression methods and algorithms are applied, typically based on standard transformation algorithms aimed at reducing the number of bits required to represent each input byte of information. This master's thesis analyzes existing data compression methods to assess their suitability for compressing large volumes of data. As a result, a new compression method was proposed, based on the Brotli compression algorithm, with the goal of improving its performance. Thus, a modification of the base method is proposed to adapt it for working with large data sets. The development and analysis of the proposed method revealed an average performance improvement of 4 times. At the same time, the reduction in the method's efficiency at any compression level ranges from 3% to 10%. Within this master's thesis, a web application was developed, providing a graphical interface for using the method, utilizing Go, Flask, NextJS technologies, and AWS cloud services. The compression method was implemented using the Go programming language and its native execution threads, Goroutines.
dc.format.extent202 с.
dc.identifier.citationВергун, М. О. Метод та програмне забезпечення для зберігання великих масивів даних з використанням алгоритмів ущільнення : магістерська дис. : 121 Інженерія програмного забезпечення / Вергун Марія Олександрівна . – Київ, 2024. – 202 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/76907
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectущільнення
dc.subjectалгоритм
dc.subjectфрагмент
dc.subjectпроцес
dc.subjectпотік
dc.subjectдані
dc.subjectгорутина
dc.subjectрівень ущільнення
dc.subjectступінь ущільнення
dc.subject.udc004.627
dc.titleМетод та програмне забезпечення для зберігання великих масивів даних з використанням алгоритмів ущільнення
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Verhun_magistr.pdf
Розмір:
6.17 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (ПЗКС)
Магістерські роботи