Підхід щодо організації розподіленого зберігання та доступу до cloud даних

Скорочена інформація про документ
dc.contributor.advisorГлоба, Л. С.
dc.contributor.authorКарташов, Антон Димитрович
dc.date.accessioned2025-10-30T13:12:56Z
dc.date.available2025-10-30T13:12:56Z
dc.date.issued2025
dc.description.abstractА.Д. Підхід щодо організації розподіленого зберігання та доступу до cloud даних. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 172 – Телекомунікації та радіотехніка. – Навчально-науковий інститут телекомунікаційних систем КПІ ім. Ігоря Сікорського, Київ, 2025. Стрімке зростання обсягів цифрових даних та поширення хмарних сервісів суттєво змінили підходи до зберігання інформації. Сьогодні організації активно впроваджують мультихмарні стратегії, щоб зменшити залежність від одного постачальника, підвищити надійність зберігання даних та оптимізувати витрати. Проте такий розподілений підхід створює нові виклики: складність розміщення даних, нестабільну продуктивність різних провайдерів, труднощі з дотриманням нормативних вимог та зростаючу операційну складність. Незважаючи на наявні рішення, досі бракує комплексних підходів, які б одночасно враховували технічні, економічні, регуляторні та екологічні аспекти управління даними в мультихмарному середовищі, особливо коли умови зберігання постійно змінюються. Дана робота вирішує актуальну науково-практичну задачу розробки вдосконаленого підходу щодо підвищення ефективності розподіленого зберігання та доступу до даних у динамічно змінюваному мультихмарному середовищі. Дослідження представляє фреймворк Інтелектуальний Оркестратор Хмарних Даних – Intelligent Cloud Data Orchestrator (ICDO), який використовує методи штучного інтелекту, багатоцільової оптимізації та хмарних технологій для забезпечення адаптивного розподілу та надійного зберігання даних у мультихмарному середовищі, гарантуючи їх цілісність. Метою дисертаційної роботи є підвищення ефективності розподілу та зберігання даних в мультихмарному середовищі за рахунок оцінювання показників доступності, затримки, надійности, пропускної здатності, вартості та ін., та завдяки утворенню віртуальної логічно-єдиної системи зберігання даних. Для досягнення мети дослідження було поставлено та вирішено задачі визначення основниххарактеристик, властивостей, показників та критеріїв оцінювання ефективності розподіленого зберігання та доступу до даних у мультихмарних середовищах; систематизації та формального опису складних взаємозв'язків між технічними, економічними, регуляторними та екологічними аспектами управління даними в мультихмарному середовищі; розробки взаємодоповнюючих онтологічної та математичної моделей; запропоновано метод, який ефективно інтегрує навчання з підкріпленням та багатоцільові еволюційні алгоритми для ефективного визначення Парето-оптимальних рішень; спроектовано та реалізовано фреймворк, який інтегрує методи штучного інтелекту з технологіями багатокритеріальної оптимізації; експериментально оцінено ефективність запропонованого підходу за ключовими показниками продуктивності. Детальний аналіз існуючих рішень та їхніх обмежень дозволив визначити актуальність застосування комплексного підходу щодо оптимізації визначених кінцевим користувачем критеріїв зберігання даних у мультихмарному середовищі. Для формалізації цієї складної області розроблено взаємодоповнюючі онтологічну та математичну моделі, які відображають складні взаємозв'язки між компонентами мультихмарного середовища та представляють багатоцільову природу проблеми оптимізації. Онтологічна модель формалізує складні взаємозв'язки між компонентами, тоді як математична модель представляє багатоцільову природу задачі оптимізації. Основними завданнями дослідження було створення теоретичного підґрунтя для розробки інтелектуальної системи управління даними в мультихмарному середовищі, яка здатна адаптуватися до динамічних змін умов зберігання та доступу до даних. Важливим завданням було також розробити механізми, що дозволяють системі автоматично реагувати на зміни в шаблонах доступу до даних, коливання продуктивності хмарних провайдерів, зміни в тарифних планах та регуляторних вимогах. Наукова новизна дисертаційної роботи полягає у вирішенні важливого наукового завдання розробки підходу щодо розподіленого зберігання та доступу до даних з динамічно-змінюваними умовами зберігання у мультихмарному середовищі та реалізації практичних методів на його основі. Запропоновано методінтеграції алгоритмів навчання з підкріплення та багатоцільових еволюційних алгоритмів для оптимізації процесу розподіленого зберігання даних, який на відміну від існуючих, автоматизує й оптимізує процес вибору провайдера та підвищує ефективність прийняття рішень у мультихмарному середовищі з динамічно-змінюваними умовами зберігання даних. Запропоновано онтологічну модель розподілу і зберігання даних, що формалізує та систематизує складні взаємозв'язки між показниками ефективності та змінними факторами, які впливають на процес розподілу і зберігання даних в залежності від пріоритетів користувачів та статистичних показників ефективності надання послуг хмарними провайдерами. Удосконалено математичну модель системи з динамічнозмінюваними умовами зберігання даних в мультихмарних середовищах шляхом інтеграції статичних та динамічних критеріїв, яка надає можливість автоматизованого врахування змін параметрів середовища в режимі реального часу. Запропонований підхід щодо зберігання даних у мультихмарному середовищі вирізняється інтеграцією методів штучного інтелекту з методами багатоцільової оптимізації. В результаті виконання дослідження теоретичні розробки дисертації представлені автором у вигляді комплексного фреймворку Інтелектуальний Оркестратор Хмарних Даних – Intelligent Cloud Data Orchestrator (ICDO), який дозволяє підвищити ефективность зберігання та доступу до даних з динамічнозмінюваними умовами їх зберігання у мультихмарних середовищах. Підхід ICDO досяг 44,1% покращення загальної продуктивності порівняно з традиційними підходами з однією хмарою та 14,9% покращення порівняно з найкращим альтернативним мультихмарним підходом. На основі розроблених онтологічних та математичних моделей створено програмне забезпечення для оптимізації розміщення та управління даними, яке дозволяє підвищити продуктивність, надійність та безпеку зберігання даних з одночасним зниженням витрат та дотриманням регуляторних вимог. Виконано практичне впровадження розробленого програмного забезпечення для управління даними з динамічнозмінюваними умовами їх зберігання в мультихмарних середовищах у клієнтськихпроектах копанії Tech-5 UG, що спеціалізуються на обробці великих обсягів даних та потребують гнучких рішень для їх зберігання. За підсумками впровадження було зафіксовано зниження середніх витрат на хмарну інфраструктуру на 9%, а також скорочення затримки при доступі до даних на 25% у порівнянні з попередніми підходами. Розроблені підходи впроваджено у навчальні та дослідницькі програми кафедри ІТТ НТУУ «КПІ» імені Ігоря Сікорського для підготовки фахівців у сфері хмарних обчислень. Проведені експериментальні дослідження підтверджують, що підхід ICDO забезпечує суттєві покращення за всіма ключовими показниками ефективності, включаючи продуктивність, вартість, надійність, безпеку та адаптивність, порівняно з існуючими рішеннями. Експериментальне дослідження демонструє, що адаптивність є критичним фактором для ефективного управління даними в динамічних мультихмарних середовищах, а механізми адаптації та навчання, впроваджені в підхід ICDO, дозволяють автоматизувати процес реагування на зміни в шаблонах доступу до даних та умовах середовища. Крім того, дослідження підтверджує ефективність інтегрованого підходу знаходження Паретооптимальних рішень у порівнянні з оптимізацією за окремими критеріями. Дослідження завершується визначенням перспективних напрямків для подальшої роботи. Ці результати суттєво сприяють розвитку галузі розподіленого управління даними та пропонують практичні рішення для нагальних викликів оптимізації мультихмарного зберігання даних.
dc.description.abstractotherA. Kartashov Approach to organizing distributed storage and access to cloud data. – Qualifying scientific work on manuscript rights. Thesis for graduation scientific degree of Philosophy Doctor by specialty 172 – Telecommunications and radio engineering. – Educational and Scientific Institute of Telecommunication Systems of KPI named after Igor Sikorsky, Kyiv, 2025. The rapid growth of digital data volumes and the rise of cloud services have significantly changed approaches to data storage. Today, organizations are actively implementing multi-cloud strategies to reduce dependence on a single provider, improve data storage reliability, and optimize costs. However, this distributed approach creates new challenges: complexity of data placement, unstable performance of different providers, difficulties in complying with regulatory requirements, and increasing operational complexity. Despite a number of existing solutions, there is still a lack of comprehensive approaches that simultaneously consider technical, economic, regulatory, and environmental aspects of data management in a multi-cloud environment, especially when storage conditions are constantly changing. This work addresses the relevant scientific and practical task of developing an improved approach to enhance the efficiency of distributed storage and access to data in a dynamically changing multi-cloud environment. The research presents the Intelligent Cloud Data Orchestrator (ICDO) framework, which uses artificial intelligence methods, multi-objective optimization, and cloud technologies to ensure adaptive distribution and reliable data storage in a multi-cloud environment, guaranteeing their integrity. The aim of the research is to improve the efficiency of data distribution and storage in a multi-cloud environment by evaluating indicators of availability, latency, reliability, throughput, cost, etc., and by creating a virtual logically unified data storage system. To achieve the research goal, tasks were set and solved to determine the main characteristics, properties, indicators, and criteria for evaluating the effectiveness of distributed storage and access to data in multi-cloud environments; systematization and formal description of complex relationships between technical, economic, regulatory, and environmental aspects of data management in a multi-cloud environment; development of complementary ontological and mathematical models; a method was proposed that effectively integrates reinforcement learning and multi-objective evolutionary algorithms for efficient determination of Pareto-optimal solutions; a framework was designed and implemented that integrates artificial intelligence methods with multi-criteria optimization technologies; the effectiveness of the proposed approach was experimentally evaluated according to key performance indicators. A detailed analysis of existing solutions and their limitations allowed determining the relevance of applying a comprehensive approach to optimizing user-defined criteria for data storage in a multi-cloud environment. To formalize this complex area, complementary ontological and mathematical models were developed that reflect complex relationships between components of the multi-cloud environment and represent the multi-objective nature of the optimization problem. The ontological model formalizes complex relationships between components, while the mathematical model represents the multi-objective nature of the optimization task. The main objectives of the research were to create a theoretical foundation for developing an intelligent data management system in a multi-cloud environment that can adapt to dynamic changes in storage conditions and data access. An important task was also to develop mechanisms that allow the system to automatically respond to changes in data access patterns, fluctuations in cloud provider performance, changes in tariff plans, and regulatory requirements. The scientific novelty of the research lies in solving an important scientific task of developing an approach for distributed storage and access to data with dynamically changing storage conditions in a multi-cloud environment and implementing practical methods based on it. A method for integrating reinforcement learning algorithms and multi-objective evolutionary algorithms for optimizing the process of distributed data storage is proposed, which, unlike existing ones, automates and optimizes the provider selection process and increases the efficiency of decision-making in a multi-cloud environment with dynamically changing data storage conditions. An ontological model of data distribution and storage is proposed, which formalizes and systematizes complex relationships between performance indicators and variable factors that affect the process of data distribution and storage depending on user priorities and statistical indicators of cloud service providers' efficiency. The mathematical model of the system with dynamically changing data storage conditions in multi-cloud environments has been improved by integrating static and dynamic criteria, which enables automated consideration of changes in environmental parameters in real-time. The proposed approach to data storage in a multi-cloud environment is distinguished by the integration of artificial intelligence methods with multi-objective optimization methods. As a result of the research, the theoretical developments are presented in the form of a comprehensive framework, the Intelligent Cloud Data Orchestrator (ICDO), which improves the efficiency of storage and access to data with dynamically changing storage conditions in multi-cloud environments. The ICDO approach achieved a 44.1% improvement in overall performance compared to traditional single-cloud approaches and a 14.9% improvement compared to the best alternative multi-cloud approach. Based on the developed ontological and mathematical models, software was created for optimizing data placement and management, which improves performance, reliability, and security of data storage while reducing costs and complying with regulatory requirements. Practical implementation of the developed software for managing data with dynamically changing storage conditions in multi-cloud environments was carried out in client projects of Tech-5 UG company, which specializes in processing large volumes of data and requires flexible solutions for their storage. As a result of the implementation, a reduction in average cloud infrastructure costs by 9% was recorded, as well as a reduction in data access latency by 25% compared to previous approaches. The developed approaches have been implemented in the educational and research programs of the ITT Department of NTUU "Igor Sikorsky KPI" for training specialists in the field of cloud computing. Experimental studies confirm that the ICDO approach provides significant improvements in all key performance indicators, including productivity, cost, reliability, security, and adaptability, compared to existing solutions. The experimental study demonstrates that adaptability is a critical factor for effective data management in dynamic multi-cloud environments, and the adaptation and learning mechanisms implemented in the ICDO approach allow automating the process of responding to changes in data access patterns and environmental conditions. In addition, the study confirms the effectiveness of an integrated approach to finding Pareto-optimal solutions compared to optimization by individual criteria. The study concludes by identifying promising directions for further work. These results significantly contribute to the development of the field of distributed data management and offer practical solutions for the urgent challenges of optimizing multi-cloud data storage.
dc.format.extent164 с.
dc.identifier.citationКарташов, А. Д. Підхід щодо організації розподіленого зберігання та доступу до cloud даних : дис. … д-ра філософії : 172 Телекомунікації та радіотехніка / Карташов Антон Димитрович. – Київ, 2025. – 164 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/77045
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectмультихмарне середовище
dc.subjectуправління хмарами
dc.subjectрозподіл ресурсів
dc.subjectуправління ресурсами
dc.subjectякість обслуговування
dc.subjectугоди про рівень обслуговування
dc.subjectмульти-критеріальна оптимізація
dc.subjectонтологічне моделювання
dc.subjectmulti-cloud environment
dc.subjectcloud management
dc.subjectresource allocation
dc.subjectresource management
dc.subjectQuality of Service
dc.subjectService Level Agreements
dc.subjectMulti-Criteria optimisation
dc.subjectontological modeling
dc.subject.udc004.75
dc.titleПідхід щодо організації розподіленого зберігання та доступу до cloud даних
dc.title.alternativeApproach to organizing distributed storage and access to cloud data
dc.typeThesis Doctoral

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Kartashov_dys.pdf
Розмір:
5.28 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Дисертації (ІТТ)
Дисертації (вільний доступ)