Моделі та методи обробки запитів в гетерогенних розподілених нереляційних базах даних
| dc.contributor.advisor | Корнага, Ярослав Ігорович | |
| dc.contributor.advisor | Мусієнко, Андрій Петрович | |
| dc.contributor.author | Барабаш, Андрій Олегович | |
| dc.date.accessioned | 2024-05-20T14:26:32Z | |
| dc.date.available | 2024-05-20T14:26:32Z | |
| dc.date.issued | 2024 | |
| dc.description.abstract | Барабаш А.О. Моделі та методи обробки запитів в гетерогенних розподілених нереляційних базах даних. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 121 «Інженерія програмного забезпечення». – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2024. Актуальність теми. Існуючі методи та засоби організації сучасних гетерогенних розподілених нереляційних баз даних дає змогу зробити висновок, що вони представляють собою складний комплекс у якому потрібно забезпечити високу швидкість, надійність і достовірність запису і вивантаження даних при умові постійних випадкових або зловмисних впливів на передачу інформації і засоби обробки запитів при постійному збільшені обсягу оброблюваних даних. Однак проведення розробки і інтеграції гетерогенних розподілених нереляційних баз даних вимагає виконання синхронізації обробки запитів та їх контролю. Недоліки сучасних систем управління і моніторингу обробки запитів гетерогенних розподілених нереляційних баз даних виникають під час суміщення різнорідних баз даних. Проте застосування звичайних засобів та апаратів моніторингу обробки запитів є недостатнім, тому що вони виконують тільки базові функції та не контролюють функціонування самої гетерогенної розподіленої структури в умовах постійних їх модифікацій. Питанням побудови складних технічних систем розглядається в великій кількісті наукових робіт, зокрема, О.А. Машкова, Ю.П. Зайченка, В.Г. Лазарева, О.В. Коваля, В.С. Семеніхіна, В.Ф. Колчина, В.К. Попкова, О.В. Барабаша, Мусієнко А.П., Г.А. Кучука, Д.М., Обідіна, О.А. Кононова, а також Д. Девіса, Г. Френка, Р. Прима і ін. Питання щодо відмовостійкості систем розглядалися в роботах А.А. Авіжиєніса, В.А. Машкова, О.Ю. Ільїна, І.Ю. Субача, Ю.М. Коростіля, В.А. Савченка та інших вчених. Питаннями побудови та управління розподіленими системами займались: В.Є. Мухін, Я.І. Корнага, В. Цветков, А. Алпатов, S. Newman, K. Hoffman, K. Horsedal, B. Burns, D. Baleato, S. Koloth, B. Couriol В наведених роботах досліджувалися питання проектування та оптимізації складних технічних розподілених систем, які володіють певною ефективністю функціонування у залежності від обраного критерія якості: вартості проектування та експлуатації системи чи середнього часу затримки запиту в мережі або надійності елементів системи. В даних роботах приділялася велика увага задачам синтезу живучих та надійних систем. Про те, в даних роботах недостатньо відображені результати щодо визначення ефективного управління гетерогенними розподіленими нереляційними базами даних з структурою середовища зберігання даних, що змінюється з часом. Отже, недосконалість і обмеженість наукових методів для обробки даних, не дозволяє забезпечити повноцінне функціонування гетерогенних розподілених нереляційних баз даних. В даний час в теорії та практиці створення та застосування існуючих гетерогенних розподіленими нереляційних баз даних загострилося протиріччя між необхідністю сталого функціонування гетерогенних розподілених нереляційних базах даних та можливостями існуючих методів та моделей забезпечити обробку запитів в гетерогенних розподілених нереляційних базах даних. Для розв’язання протиріччя, яке було визначене, в дисертаційній роботі розвязується актуальне наукове завдання щодо розробки моделі та методів обробки запитів в гетерогенних розподілених нереляційних базах даних на основі використання вузлів обробки запитів. Дисертаційне дослідження виконане відповідно до планів наукової та науковотехнічної діяльності Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського» і кафедри інженерії програмного забезпечення в енергетиці та є частиною досліджень в рамках науково-дослідних робіт: «Оптимізація роботи веб-орієнтованих систем з великим набором даних» (державний реєстраційний № 0117U004913, КПІ ім. Ігоря Сікорського, м. Київ), «Методи управління гетерогенними розподіленими базами даних з динамічною структурою на основі мережецентричного підходу» (державний реєстраційний № 0121U109260, КПІ ім. Ігоря Сікорського, м. Київ), які виконує Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» у 2020 – 2024 р. Мета дисертаційної роботи полягає в підвищенні ефективності функціонування гетерогенних розподілених нереляційних баз даних шляхом розробки та реалізації моделі та методів обробки даних в розподілених системах. Основні завдання дослідження включають: 1. Провести порівняльний аналіз методів і засобів організації сучасних гетерогенних нереляційних розподілених баз даних для визначення особливостей та проблем їх реалізації. 2. Дослідити методи і засоби підтримки процесу запису, пошуку та захисту даних в гетерогенних нереляційних розподілених баз даних для підвищення швидкості обробки даних та попередження несанкціонованого доступу. 3. Розробити модель моніторингу обробки запитів у гетерогенних розподілених нереляційних базах даних. 4. Розробити метод виявлення некоректної роботи вузлів гетерогенних розподілених нереляційних баз даних на основі застосування дворівневої системи контролю обробки запитів Аналіз, розробка та дослідження механізмів та засобів підтримки процедури моніторингу операцій в розподілених базах даних на основі сенсорів подій. 5. Розробити метод визначення працездатності вузлів обробки запитів гетерогенних розподілених нереляційних баз даних. 6. Розробити програмне забезпечення комплексної системи управління та перевірки гетерогенного середовища обробки та зберігання даних в нереляційних базах даних. Об'єктом досліджень є процес обробки запитів в гетерогенних розподілених нереляційних базах даних. Предметом досліджень є засоби комплексного моніторингу обробки запитів в гетерогенних розподілених нереляційних базах даних на основі вузлів обробки запитів. Дисертаційні дослідження проводились на основі теорії гетерогенних розподілених нереляційних баз даних із використанням математичних моделей і методів теорії складних систем, дискретної математики та інших. Теоретичні засади функціонування гетерогенних розподілених баз даних будуються із використанням аналітичного моделювання, комбінаторної теорії, теорії графів та дискретної оптимізації. Механізми теорії моделювання спостережень під час використання експериментальних даних та векторно-матричні операції. Наукова новизна одержаних результатів. Удосконалено модель моніторингу обробки запитів у гетерогенних розподілених нереляційних базах даних, яка відрізняється від існуючих використанням механізмів на основі застосування матриці обробки запитів. Зазначена модель дозволяє, у випадку виникнення нештатних ситуацій, передати попередження адміністратору серверу моніторингу обробки запитів, прийняти оперативні рішення щодо реагування на порушення безпеки під час обробки даних. Вперше розроблено метод виявлення некоректної роботи вузлів гетерогенних розподілених нереляційних баз даних на основі застосування дворівневої системи контролю обробки запитів. Наукова новизна даного методу полягає у визначені прихованих несправностей вузла шляхом взаємного обміну запитами між вузлами з урахуванням припущень щодо синхронності гетерогенних розподілених нереляційних баз даних, а також можливості користувачем визначити вузол обробки. Зазначений метод дозволяє здійснювати виявлення випадків некоректної роботи вузлів обробки запитів. Удосконалено метод визначення працездатності вузлів обробки запитів гетерогенних розподілених нереляційних баз даних, який відрізняється від існуючих способом обробки запитів на основі визначення апостеріорних ймовірностей справного стану вузлів. Зазначений метод дозволяє підвищити ефективність обробки даних. Вперше розроблено програмне забезпечення комплексної системи управління та перевірки гетерогенного середовища обробки та зберігання даних в нереляційних базах даних, яке базується на розроблених в дисертації моделі моніторингу обробки запитів, методі виявлення некоректної роботи вузлів бази даних та методі визначення працездатності вузлів обробки запитів. Впровадження зазначеного програмного забезпечення дозволяє підвищити ефективність функціонування гетерогенних розподілених нереляційних баз даних. Практичне значення отриманих результатів. Реалізація запропонованої в дисертації комплексної системи управління та перевірки гетерогенного середовища обробки та зберігання даних в розподілених нереляційних базах даних дозволяє: проектувати і експлуатувати розподілені бази даних; зменшити час, який дається на обробку запитів за рахунок ефективної побудови розподіленої системи; викунувати зміну параметрів в гетерогенній розподіленій системі обробки даних під час динамічної зміни структури комп’ютерної мережі та параметрів; створення гетерогенних розподілених систем з обробкою даних при заданих відповідно заданих обмежень на параметри мережі. Проведено аналіз ефективності запропонованих засобів моніторингу обробки запитів, який показав, що, відповідно до отриманих експериментальних даних, із збільшенням кількості запитів за даними моніторингу, зменшується кількість помилкових ідентифікацій подій безпеки до 6,4 %, при цьому імовірність помилок ІІ роду знижується до 1,5 %. Це надає можливість стверджувати, що ефективність функціонування гетерогенних розподілених нереляційних баз даних підвищується. Результати досліджень прийняті до впровадження в Науково-методичному центрі кадрової політики Міністерства оборони України (акт від 16.01.2024 р.), в Конструкторському бюро інформаційних систем КПІ ім. Ігоря Сікорського (акт від 26.12.2023 р.), в ТОВ «Інтехфорвард» (акт від 27.12.2023 р.), в навчальний процес кафедри інженерії програмного забезпечення в енергетиці Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського» при викладанні дисциплін «Бази даних» та «Побудова масштабованих систем обробки даних в реальному часі» для студентів, які навчаються за освітнім рівнем «Бакалавр» спеціальності 121 «Інженерія програмного забезпечення» денної та заочної форми навчання (акт від 12.02.2024 р.). Реалізація запропонованої в дисертації комплексної системи управління та перевірки гетерогенного середовища обробки та зберігання даних в розподілених нереляційних базах даних дозволяє: проектувати і експлуатувати розподілені бази даних в умовах впливу зовнішніх та внутрішніх факторів; зменшити час обробки запитів за рахунок ефективної побудови розподіленої системи; здійснювати зміну компонентів гетерогенної розподіленої системи обробки даних при постійній зміні структури комп’ютерної мережі і параметрів цієї мережі; створювати гетерогенні розподілені системи з ефективною обробкою даних щодо вказаних обмежень на параметри системи. Отже, мета дисертаційного дослідження відповідно щодо підвищення ефективності функціонування гетерогенних розподілених нереляційних баз даних шляхом розробки та реалізації моделі та методів обробки даних в розподілених системах, досягнута та всі часткові наукові завдання вирішені у повній мірі. Отримані наукові результати дисертаційного дослідження є внеском у розвиток інформаційних технологій щодо розроблення архітектури та методів побудови багаторівневих систем, для системного аналізу, дослідження, територіально розподілених комп’ютерних систем і мереж із розосередженими розподіленими базами даних, в тому числі і комерційного призначення. Перспективними шляхами наукових досліджень є розробка та впровадження нових методів та удосконалення існуючих методів підвищення ефективності функціонування та доступності гетерогенних розподілених нереляційних баз даних в умовах впливу внутрішніх та зовнішніх дестабілізуючих факторів. | |
| dc.description.abstractother | Barabash A.O. Models and methods of query processing in heterogeneous distributed non-relational databases. – Qualifying scientific work, the manuscript. Ph.D. thesis for the Doctor of Philosophy degree, with a speciality in 121 Software Engineering. – National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Kyiv, 2024. Relevance of the topic. The existing methods and means of organising modern heterogeneous distributed non-relational databases allow us to conclude that they represent a complex in which it is necessary to ensure high speed, reliability and accuracy of data writing and reading under the condition of constant accidental or malicious influences on the transmission of information and means of processing queries with a constant increase in the amount of data processed. However, developing and integrating heterogeneous distributed non-relational databases requires synchronisation of query processing and their control. The disadvantages of modern systems for managing and monitoring the query processing of heterogeneous distributed non-relational databases arise when combining heterogeneous databases. However, the use of conventional means and devices for monitoring query processing is insufficient since they perform only basic functions and do not control the functioning of the heterogeneous distributed structure itself in the conditions of constant modifications. A large number of scientific works consider the issue of building complex technical systems, in particular, by O.A. Mashkov, Y.P. Zaychenko, V.G. Lazarev, O.V. Koval, V.S. Semenikhin, V.F. Kolchin, V.K. Popkov, O.V. Barabash, A.P. Musienko, G.A. Kuchuk, D.M. Obidin, O.A. Kononov, as well as D. Davis, G. Frank, R. Prim, and others. The issues of fault tolerance of systems were considered in the works of A.A. Avizienis, V.A. Mashkov, O.Y. Ilyin, I.Y. Subach, Y.M. Korostil, V.A. Savchenko and other scientists. The issues of construction and management of distributed systems were dealt with by: V.E. Mukhin, Y.I. Kornaga, V. Tsvetkov, A. Alpatov, S. Newman, K. Hoffman, K. Horsedal, B. Burns, D. Baleato, S. Koloth, B. Couriol. The above works investigated the design and optimisation of complex technical distributed systems with a certain efficiency of operation depending on the chosen quality criterion: the cost of designing and operating the system, the average request delay time in the network, or the reliability of the system elements. In these works, much attention was paid to the problems of synthesising survivable and reliable systems. However, these works do not sufficiently reflect the results of determining the effective management of heterogeneous distributed non-relational databases with a data storage environment structure that changes over time. Consequently, the imperfection and limitations of scientific methods for data processing do not allow to ensure the full functioning of heterogeneous distributed non-relational databases. At present, in the theory and practice of creating and using existing heterogeneous distributed non-relational databases, the contradiction between the need for sustainable operation of heterogeneous distributed non-relational databases and the capabilities of existing methods and models to provide query processing in heterogeneous distributed non-relational databases has become acute. To resolve the identified contradiction, the dissertation solves the urgent scientific task of developing a model and methods for processing queries in heterogeneous distributed non-relational databases based on the use of query processing nodes. The dissertation research was carried out in accordance with the plans of scientific and technical-scientific activities of the National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" and the Department of Software Engineering in Energy and is a part of the research within the context of research works: "Optimisation of web-oriented systems with a large data set" (state registration No. 0117U004913, Igor Sikorsky Kyiv Polytechnic Institute, Kyiv), "Methods of managing heterogeneous distributed databases with a dynamic structure based on a network-centric approach" (state registration No. 0121U109260, Igor Sikorsky Kyiv Polytechnic Institute, Kyiv), which are being implemented by the National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" from 2020 to 2024. The purpose of the dissertation is to improve the efficiency of heterogeneous distributed non-relational databases by developing and implementing a model and methods of data processing in distributed systems. The main objectives of the study include: 1. To carry out a comparative analysis of methods and means of organising modern heterogeneous non-relational distributed databases to determine the features and problems of their implementation. 2. To investigate methods and tools to support the process of recording, searching and protecting data in heterogeneous non-relational distributed databases to increase the speed of data processing and prevent unauthorised access. 3. Develop a model for monitoring query processing in heterogeneous distributed non-relational databases. 4. To develop a method for detecting incorrect operation of nodes in heterogeneous distributed non-relational databases based on the use of a two-level query processing control system. Analysis, development and research of mechanisms and tools to support the procedure for monitoring operations in distributed databases based on event sensors. 5. Develop a method for determining the availability of query processing nodes of heterogeneous distributed non-relational databases. 6. Develop software for an integrated system for managing and verifying a heterogeneous environment that processes and stores data in non-relational databases. The object of research is the process of query processing in heterogeneous distributed non-relational databases. The research subject is the means of comprehensive monitoring of query processing in heterogeneous distributed non-relational databases based on query processing nodes. The dissertation research was carried out on the basis of the theory of heterogeneous distributed non-relational databases using mathematical models and methods of complex systems theory, discrete mathematics and others. The theoretical foundations of the functioning of heterogeneous distributed databases are built using analytical modelling, combinatorial theory, graph theory and discrete optimisation. Mechanisms of the theory of modelling observations using experimental data and vector-matrix operations. The scientific novelty of the results. The article improves the model of monitoring query processing in heterogeneous distributed non-relational databases, which differs from the existing ones by using mechanisms based on the query processing matrix. This model allows, in the event of abnormal situations, to transmit a warning to the administrator of the query processing monitoring server and to make prompt decisions on responding to security breaches during data processing. For the first time, a method for detecting incorrect operation of nodes in heterogeneous distributed non-relational databases has been developed using a twolevel query processing control system. This method's scientific novelty is that it identifies hidden node faults by mutually exchanging queries between nodes, taking into account the assumptions about the synchrony of heterogeneous distributed nonrelational databases and the user's ability to determine the processing node. This method allows the detection of cases of incorrect operation of query processing nodes. Improved method for determining the operability of query processing nodes of heterogeneous distributed non-relational databases. This method differs from the existing ones by processing queries based on determining the posteriori probabilities of the nodes' serviceable state. This method allows for increased data processing efficiency. For the first time, software for an integrated system for managing and verifying a heterogeneous environment for processing and storing data in non-relational databases has been developed, based on the query processing monitoring model developed in the thesis, a method for detecting incorrect operation of database nodes, and a method for determining the operability of query processing nodes. Implementation of this software allows increasing the efficiency of heterogeneous distributed non-relational databases. Practical significance of the results. The implementation of the integrated system for managing and verifying a heterogeneous environment for processing and storing data in distributed non-relational databases proposed in this thesis allows to design and operate distributed databases; to reduce the time given for query processing due to the efficient construction of a distributed system; to make a change in parameters in a heterogeneous distributed data processing system during a dynamic shift in the structure of a computer network and parameters; to create heterogeneous distributed systems with data processing under the given constraints on the network parameters. An analysis of the effectiveness of the proposed means of monitoring query processing is carried out, which shows that, in accordance with the experimental data obtained, with an increase in the number of queries according to the monitoring data, the number of false identifications of security events decreases to 6.4 %, while the probability of type II errors decreases to 1.5 %. This makes it possible to assert that the efficiency of heterogeneous distributed non-relational databases is increasing. The results of the research were accepted for implementation in the Scientific and Methodological Centre of Personnel Policy of the Ministry of Defence of Ukraine (act of 16.01.2024), in the Design Bureau of Information Systems of Igor Sikorsky Kyiv Polytechnic Institute (act of 26.12.2023), in Intehforward LLC (act of 27.12.2023), in the educational process of the Department of Software Engineering in Energy of the National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" in teaching the disciplines "Databases" and "Building Scalable Real-Time Data Processing Systems" for students studying for a bachelor's degree with speciality 121 "Software Engineering" full-time and part-time (act of 12.02.2024). The implementation of the complex system for managing and verifying a heterogeneous environment for processing and storing data in distributed non-relational databases proposed in the thesis allows to design and operate distributed databases under the influence of external and internal factors; to reduce query processing time due to the efficient construction of a distributed system; to change the components of a heterogeneous distributed data processing system with constant changes in the structure of a computer network and the parameters of this network; to create heterogeneous distributed systems with efficient data processing with respect to the specified restrictions on network parameters. Thus, the goal of the dissertation research, respectively, to improve the efficiency of heterogeneous distributed non-relational databases by developing and implementing a model and methods of data processing in distributed systems has been achieved, and all partial scientific tasks have been fully solved. The obtained scientific results of the dissertation research contribute to the development of information technologies for the development of architecture and methods for building multi-level systems, for system analysis and study of geographically distributed computer systems and networks with dispersed distributed databases, including commercial applications. Promising areas of research are the development and implementation of new methods and the improvement of existing methods to improve the efficiency of functioning and availability of heterogeneous distributed non-relational databases under the influence of internal and external destabilising factors. | |
| dc.format.extent | 192 с. | |
| dc.identifier.citation | Барабаш, А. О. Моделі та методи обробки запитів в гетерогенних розподілених нереляційних базах даних : дис. … д-ра філософії : 121 Інженерія програмного забезпечення / Барабаш Андрій Олегович. – Київ, 2024. – 192 с. | |
| dc.identifier.uri | https://ela.kpi.ua/handle/123456789/66827 | |
| dc.language.iso | uk | |
| dc.publisher | КПІ ім. Ігоря Сікорського | |
| dc.publisher.place | Київ | |
| dc.subject | програмне забезпечення | |
| dc.subject | інформаційна технологія | |
| dc.subject | інформаційна система | |
| dc.subject | контроль обробки запитів | |
| dc.subject | база даних | |
| dc.subject | аналіз даних | |
| dc.subject | гетерогенна розподілена нереляційна база даних | |
| dc.subject | обробка запитів | |
| dc.subject | приховані відмови | |
| dc.subject | інциденти безпеки | |
| dc.subject | прийняття рішень | |
| dc.subject | функціональна стійкість | |
| dc.subject | моніторинг | |
| dc.subject | математичне моделювання | |
| dc.subject | комплексна система управління | |
| dc.subject | software | |
| dc.subject | information technology | |
| dc.subject | information system | |
| dc.subject | query processing control | |
| dc.subject | database | |
| dc.subject | data analysis | |
| dc.subject | heterogeneous distributed non-relational database | |
| dc.subject | query processing | |
| dc.subject | hidden failures | |
| dc.subject | security incidents | |
| dc.subject | decision making | |
| dc.subject | functional stability | |
| dc.subject | monitoring | |
| dc.subject | mathematical modelling | |
| dc.subject | integrated management system | |
| dc.subject.udc | 004.65 | |
| dc.title | Моделі та методи обробки запитів в гетерогенних розподілених нереляційних базах даних | |
| dc.type | Thesis Doctoral |
Файли
Контейнер файлів
1 - 1 з 1
Ліцензійна угода
1 - 1 з 1
Ескіз недоступний
- Назва:
- license.txt
- Розмір:
- 8.98 KB
- Формат:
- Item-specific license agreed upon to submission
- Опис: