Моделі та методи обробки запитів в гетерогенних розподілених нереляційних базах даних
Вантажиться...
Дата
2024
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Барабаш А.О. Моделі та методи обробки запитів в гетерогенних розподілених нереляційних базах даних. – Кваліфікаційна наукова праця на правах рукопису.
Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 121 «Інженерія програмного забезпечення». – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2024.
Актуальність теми. Існуючі методи та засоби організації сучасних гетерогенних розподілених нереляційних баз даних дає змогу зробити висновок, що вони представляють собою складний комплекс у якому потрібно забезпечити високу швидкість, надійність і достовірність запису і вивантаження даних при умові постійних випадкових або зловмисних впливів на передачу інформації і засоби обробки запитів при постійному збільшені обсягу оброблюваних даних. Однак проведення розробки і інтеграції гетерогенних розподілених нереляційних баз даних вимагає виконання синхронізації обробки запитів та їх контролю. Недоліки сучасних систем управління і моніторингу обробки запитів гетерогенних розподілених нереляційних баз даних виникають під час суміщення різнорідних баз даних. Проте застосування звичайних засобів та апаратів моніторингу обробки запитів є недостатнім, тому що вони виконують тільки базові функції та не контролюють функціонування самої гетерогенної розподіленої структури в умовах постійних їх модифікацій. Питанням побудови складних технічних систем розглядається в великій кількісті наукових робіт, зокрема, О.А. Машкова, Ю.П. Зайченка, В.Г. Лазарева, О.В. Коваля, В.С. Семеніхіна, В.Ф. Колчина, В.К. Попкова, О.В. Барабаша, Мусієнко А.П., Г.А. Кучука, Д.М., Обідіна, О.А. Кононова, а також Д. Девіса, Г. Френка, Р. Прима і ін. Питання щодо відмовостійкості систем розглядалися в роботах А.А. Авіжиєніса, В.А. Машкова, О.Ю. Ільїна, І.Ю. Субача, Ю.М. Коростіля, В.А. Савченка та інших вчених. Питаннями побудови та управління розподіленими системами займались: В.Є. Мухін, Я.І. Корнага, В. Цветков, А. Алпатов, S. Newman, K. Hoffman, K. Horsedal, B. Burns, D. Baleato, S. Koloth, B. Couriol
В наведених роботах досліджувалися питання проектування та оптимізації складних технічних розподілених систем, які володіють певною ефективністю функціонування у залежності від обраного критерія якості: вартості проектування та експлуатації системи чи середнього часу затримки запиту в мережі або надійності елементів системи. В даних роботах приділялася велика увага задачам синтезу живучих та надійних систем. Про те, в даних роботах недостатньо відображені результати щодо визначення ефективного управління гетерогенними розподіленими нереляційними базами даних з структурою середовища зберігання даних, що змінюється з часом. Отже, недосконалість і обмеженість наукових методів для обробки даних, не дозволяє забезпечити повноцінне функціонування гетерогенних розподілених нереляційних баз даних. В даний час в теорії та практиці створення та застосування існуючих гетерогенних розподіленими нереляційних баз даних загострилося протиріччя між необхідністю сталого функціонування гетерогенних розподілених нереляційних базах даних та можливостями існуючих методів та моделей забезпечити обробку запитів в гетерогенних розподілених нереляційних базах даних. Для розв’язання протиріччя, яке було визначене, в дисертаційній роботі розвязується актуальне наукове завдання щодо розробки моделі та методів обробки запитів в гетерогенних розподілених нереляційних базах даних на основі використання вузлів обробки запитів. Дисертаційне дослідження виконане відповідно до планів наукової та науковотехнічної діяльності Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського» і кафедри інженерії програмного забезпечення в енергетиці та є частиною досліджень в рамках науково-дослідних робіт: «Оптимізація роботи веб-орієнтованих систем з великим набором даних» (державний реєстраційний № 0117U004913, КПІ ім. Ігоря Сікорського, м. Київ), «Методи управління гетерогенними розподіленими базами даних з динамічною структурою на основі мережецентричного підходу» (державний реєстраційний № 0121U109260, КПІ ім. Ігоря Сікорського, м. Київ), які виконує Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» у 2020 – 2024 р. Мета дисертаційної роботи полягає в підвищенні ефективності функціонування гетерогенних розподілених нереляційних баз даних шляхом розробки та реалізації моделі та методів обробки даних в розподілених системах. Основні завдання дослідження включають: 1. Провести порівняльний аналіз методів і засобів організації сучасних гетерогенних нереляційних розподілених баз даних для визначення особливостей та проблем їх реалізації. 2. Дослідити методи і засоби підтримки процесу запису, пошуку та захисту даних в гетерогенних нереляційних розподілених баз даних для підвищення швидкості обробки даних та попередження несанкціонованого доступу. 3. Розробити модель моніторингу обробки запитів у гетерогенних розподілених нереляційних базах даних. 4. Розробити метод виявлення некоректної роботи вузлів гетерогенних розподілених нереляційних баз даних на основі застосування дворівневої системи контролю обробки запитів Аналіз, розробка та дослідження механізмів та засобів підтримки процедури моніторингу операцій в розподілених базах даних на основі сенсорів подій. 5. Розробити метод визначення працездатності вузлів обробки запитів гетерогенних розподілених нереляційних баз даних. 6. Розробити програмне забезпечення комплексної системи управління та перевірки гетерогенного середовища обробки та зберігання даних в нереляційних базах даних. Об'єктом досліджень є процес обробки запитів в гетерогенних розподілених нереляційних базах даних. Предметом досліджень є засоби комплексного моніторингу обробки запитів в гетерогенних розподілених нереляційних базах даних на основі вузлів обробки запитів. Дисертаційні дослідження проводились на основі теорії гетерогенних розподілених нереляційних баз даних із використанням математичних моделей і методів теорії складних систем, дискретної математики та інших. Теоретичні засади функціонування гетерогенних розподілених баз даних будуються із використанням аналітичного моделювання, комбінаторної теорії, теорії графів та дискретної оптимізації. Механізми теорії моделювання спостережень під час використання експериментальних даних та векторно-матричні операції. Наукова новизна одержаних результатів. Удосконалено модель моніторингу обробки запитів у гетерогенних розподілених нереляційних базах даних, яка відрізняється від існуючих використанням механізмів на основі застосування матриці обробки запитів. Зазначена модель дозволяє, у випадку виникнення нештатних ситуацій, передати попередження адміністратору серверу моніторингу обробки запитів, прийняти оперативні рішення щодо реагування на порушення безпеки під час обробки даних. Вперше розроблено метод виявлення некоректної роботи вузлів гетерогенних розподілених нереляційних баз даних на основі застосування дворівневої системи контролю обробки запитів. Наукова новизна даного методу полягає у визначені прихованих несправностей вузла шляхом взаємного обміну запитами між вузлами з урахуванням припущень щодо синхронності гетерогенних розподілених нереляційних баз даних, а також можливості користувачем визначити вузол обробки. Зазначений метод дозволяє здійснювати виявлення випадків некоректної роботи вузлів обробки запитів. Удосконалено метод визначення працездатності вузлів обробки запитів гетерогенних розподілених нереляційних баз даних, який відрізняється від існуючих способом обробки запитів на основі визначення апостеріорних ймовірностей справного стану вузлів. Зазначений метод дозволяє підвищити ефективність обробки даних. Вперше розроблено програмне забезпечення комплексної системи управління та перевірки гетерогенного середовища обробки та зберігання даних в нереляційних базах даних, яке базується на розроблених в дисертації моделі моніторингу обробки запитів, методі виявлення некоректної роботи вузлів бази даних та методі визначення працездатності вузлів обробки запитів. Впровадження зазначеного програмного забезпечення дозволяє підвищити ефективність функціонування гетерогенних розподілених нереляційних баз даних. Практичне значення отриманих результатів. Реалізація запропонованої в дисертації комплексної системи управління та перевірки гетерогенного середовища обробки та зберігання даних в розподілених нереляційних базах даних дозволяє: проектувати і експлуатувати розподілені бази даних; зменшити час, який дається на обробку запитів за рахунок ефективної побудови розподіленої системи; викунувати зміну параметрів в гетерогенній розподіленій системі обробки даних під час динамічної зміни структури комп’ютерної мережі та параметрів; створення гетерогенних розподілених систем з обробкою даних при заданих відповідно заданих обмежень на параметри мережі. Проведено аналіз ефективності запропонованих засобів моніторингу обробки запитів, який показав, що, відповідно до отриманих експериментальних даних, із збільшенням кількості запитів за даними моніторингу, зменшується кількість помилкових ідентифікацій подій безпеки до 6,4 %, при цьому імовірність помилок ІІ роду знижується до 1,5 %. Це надає можливість стверджувати, що ефективність функціонування гетерогенних розподілених нереляційних баз даних підвищується. Результати досліджень прийняті до впровадження в Науково-методичному центрі кадрової політики Міністерства оборони України (акт від 16.01.2024 р.), в Конструкторському бюро інформаційних систем КПІ ім. Ігоря Сікорського (акт від 26.12.2023 р.), в ТОВ «Інтехфорвард» (акт від 27.12.2023 р.), в навчальний процес кафедри інженерії програмного забезпечення в енергетиці Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського» при викладанні дисциплін «Бази даних» та «Побудова масштабованих систем обробки даних в реальному часі» для студентів, які навчаються за освітнім рівнем «Бакалавр» спеціальності 121 «Інженерія програмного забезпечення» денної та заочної форми навчання (акт від 12.02.2024 р.). Реалізація запропонованої в дисертації комплексної системи управління та перевірки гетерогенного середовища обробки та зберігання даних в розподілених нереляційних базах даних дозволяє: проектувати і експлуатувати розподілені бази даних в умовах впливу зовнішніх та внутрішніх факторів; зменшити час обробки запитів за рахунок ефективної побудови розподіленої системи; здійснювати зміну компонентів гетерогенної розподіленої системи обробки даних при постійній зміні структури комп’ютерної мережі і параметрів цієї мережі; створювати гетерогенні розподілені системи з ефективною обробкою даних щодо вказаних обмежень на параметри системи. Отже, мета дисертаційного дослідження відповідно щодо підвищення ефективності функціонування гетерогенних розподілених нереляційних баз даних шляхом розробки та реалізації моделі та методів обробки даних в розподілених системах, досягнута та всі часткові наукові завдання вирішені у повній мірі. Отримані наукові результати дисертаційного дослідження є внеском у розвиток інформаційних технологій щодо розроблення архітектури та методів побудови багаторівневих систем, для системного аналізу, дослідження, територіально розподілених комп’ютерних систем і мереж із розосередженими розподіленими базами даних, в тому числі і комерційного призначення. Перспективними шляхами наукових досліджень є розробка та впровадження нових методів та удосконалення існуючих методів підвищення ефективності функціонування та доступності гетерогенних розподілених нереляційних баз даних в умовах впливу внутрішніх та зовнішніх дестабілізуючих факторів.
Опис
Ключові слова
програмне забезпечення, інформаційна технологія, інформаційна система, контроль обробки запитів, база даних, аналіз даних, гетерогенна розподілена нереляційна база даних, обробка запитів, приховані відмови, інциденти безпеки, прийняття рішень, функціональна стійкість, моніторинг, математичне моделювання, комплексна система управління, software, information technology, information system, query processing control, database, data analysis, heterogeneous distributed non-relational database, query processing, hidden failures, security incidents, decision making, functional stability, monitoring, mathematical modelling, integrated management system
Бібліографічний опис
Барабаш, А. О. Моделі та методи обробки запитів в гетерогенних розподілених нереляційних базах даних : дис. … д-ра філософії : 121 Інженерія програмного забезпечення / Барабаш Андрій Олегович. – Київ, 2024. – 192 с.