Методи і програмні засоби підвищення ефективності виконання запитів у високонавантажених системах
Вантажиться...
Дата
2025
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Актуальність дослідження обумовлена стрімким зростанням обсягів даних та кількості запитів, що обробляються сучасними розподіленими інформаційними системами. Високонавантажені розподілені бази даних забезпечують обробку інформації в режимі реального часу, підтримуючи роботу широкого спектра застосувань – від соціальних мереж до корпоративних хмарних платформ. Однак, збільшення кількості та складності запитів створює значні труднощі у підтримці високої продуктивності та надійності. Зокрема, істотний вплив на ефективність мають мережеві затрати при передаванні даних між вузлами, коректне підтримання узгодженості даних та оптимальне розподілення навантаження. У дисертаційній роботі запропоновано науково-обґрунтовані методи та програмні засоби, що спрямовані на підвищення ефективності виконання запитів у високонавантажених розподілених системах. Для досягнення цієї мети було враховано потребу в оптимізації мережевого трафіку, вдосконаленні механізмів узгодженості даних та ефективному ребалансуванні ресурсів. Особливу увагу приділено оптимізації поведінки розподілених систем, що використовують алгоритми консенсусу Raft, оскільки саме в цих підходах закладено основу для надійного оновлення та синхронізації даних між множиною вузлів. Оптимізація Raft та пов’язаних з ним процесів передачі та узгодження даних дозволяє суттєво покращити час відгуку системи та знизити мережеве навантаження, що є критичним для стабільного функціонування високонавантажених застосувань. Вперше розроблено метод мінімізації обсягу мережевого трафіку у Raft Consensus Algorithm розподілених базах даних , який базується на поєднанні принципів, притаманних як Raft, так і Leaderless Replication та ґрунтується на 3 попередньому обміні метаданими між вузлами та в подальшому збережені отриманих результатів. Суть методу полягає в тому, що перед початком передавання основних даних, вузли спочатку обмінюються метаданими, які містять інформацію про стан кардинальності та вектори даних. Це дозволяє зменшити обсяг даних, що передаються через мережу, оскільки вузли можуть узгодити лише ті зміни, які дійсно потребують синхронізації. Після цього, на основі отриманих метаданих, відбувається локальне збереження результатів, що мінімізує кількість переданих даних, знижуючи тим самим навантаження на мережу та підвищуючи ефективність роботи алгоритму Raft у розподілених базах даних. Удосконалено метод оптимізації запитів у розподілених базах даних шляхом удосконалення ребалансування даних за допомогою генетичних алгоритмів з елітарністю та адаптивним схрещенням. Цей підхід дозволяє ефективніше розподіляти дані між вузлами системи, що зменшує час виконання запитів. Використання елітарності забезпечує збереження найкращих рішень на кожному етапі алгоритму, а адаптивне схрещення підвищує різноманітність рішень та прискорює конвергенцію до оптимального. У результаті, модифікований метод ребалансування сприяє підвищенню ефективності виконання запитів у розподілених базах даних, особливо в умовах високих навантажень. Удосконалено метод узгодженості даних у розподілених базах даних на основі методу Левенштейна, який відрізняється від існуючих підходів і мінімізує обсяг мережевого трафіку під час процесу узгодження даних, особливо при частих і малих змінах. Цей метод використовує вдосконалений метод Левенштейна, що дозволяє передавати тільки зміни замість повних копій даних. Завдяки цьому, значно зменшується кількість переданих даних по мережі, що особливо важливо в умовах частих оновлень і модифікацій невеликих обсягів текстов даних, забезпечуючи ефективну синхронізацію реплік і підтримуючи високу продуктивність системи. Для дослідження отриманих наукових результатів було розроблено спеціалізоване програмне забезпечення, яке являє собою електронний онлайнжурнал для студентів, викладачів, батьків та адміністрації навчальних закладів. 4 Цей програмний продукт дозволяє вчителям виставляти оцінки, створювати та призначати домашні завдання, а також вести звітність щодо успішності студентів. Студенти мають доступ до персонального кабінету, де відображається їхня академічна успішність, а батьки можуть отримувати доступ до інформації, що стосується їхньої дитини, включаючи оцінки та завдання. Адміністрація навчального закладу, у свою чергу, може генерувати різноманітні звіти та статистику щодо успішності студентів та інших показників. Для забезпечення ефективності, надійності та масштабованості застосунок було побудовано на основі Raft¬архітектури, яка гарантує узгодженість даних у розподіленій системі. Застосунок реалізовано з використанням сучасного стека технологій, включаючи Docker, Laravel та Vue.js. Застосування цих технологій дозволило створити гнучку, стійку до помилок і легко масштабовану систему, яка ефективно підтримує всі необхідні функції та забезпечує можливість дослідження і аналізу наукових результатів у контексті роботи розподілених систем. Дисертаційна робота складається зі вступу, 5 розділів, загальних висновків, списку використаних джерел із 47 найменувань та 2 додатків. Загальний обсяг дисертації становить 152 сторінок, з яких 126 сторінки основного тексту, містить 45 рисунків та 6 таблиць.
Опис
Ключові слова
бази даних, розподілені системи, розподілені бази даних, ребалансування, узгодженість, нереляційні бази даних, NoSQL, інформаційні системи, система управління, архітектура програмного забезпечення, інформаційні технології, програмне забезпечення, Raft, мережевий трафік, цілісність, доступність, інженерія програмного забезпечення, databases, distributed systems, distributed databases, rebalancing, consistency, nonrelational databases, information systems, management system, software architecture, information technology, software, network traffic, integrity, availability, software engineering
Бібліографічний опис
Белоус, Р. В. Методи і програмні засоби підвищення ефективності виконання запитів у високонавантажених системах : дис. … д-ра філософії : 12 Інформаційні технології / Белоус Роман Володимирович. – Київ, 2025. – 142 с.