Методи та програмне забезпечення візуалізації мультимодальних темпоральних потокових даних пристроїв IoT
| dc.contributor.advisor | Сулема, Євгенія Станіславівна | |
| dc.contributor.author | Лук'янець, Михайло Олександрович | |
| dc.date.accessioned | 2026-07-03T08:04:38Z | |
| dc.date.available | 2026-07-03T08:04:38Z | |
| dc.date.issued | 2026 | |
| dc.description.abstract | Лук'янець М.О. Методи та програмне забезпечення візуалізації мультимодальних темпоральних потокових даних пристроїв IoT. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії в галузі знань 12 Інформаційні технології за спеціальністю 121 Інженерія програмного забезпечення. – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2025. Стрімкий розвиток екосистем IoT та кіберфізичних систем спричинив створення нової парадигми цифрової взаємодії з фізичним світом, згідно з якою безперервно генеруються й циркулюють потоки мультимодальних темпоральних даних, які відображають сенсорні вимірювання, відео й аудіопотоки, дані телеметрії та подієвих журналів, що характеризуються різною частотою дискретизації, нерівномірними затримками, пропусками та шумами. Особливістю таких даних є їхня висока динамічність та неоднорідність, що ускладнює процес інтеграції, синхронізації та подальшої інтерпретації. Постійне зростання кількості джерел інформації вимагає від програмних систем здатності до масштабування під час інтенсивного навантаження. Візуалізація цих потоків у програмних системах виконує не лише функцію відображення, а й є ключовим інструментом оперативного аналізу, виявлення аномалій і підтримки прийняття рішень у режимі реального часу, з урахуванням людського фактору та вимог до інтерпретованості. Процеси візуалізації виступають проміжною ланкою між отриманням мультимодальних потоків «сирих» даних від пристроїв ІоТ і аналізом інформації про об’єкти моніторингу користувачем, забезпечуючи перехід від неструктурованих числових масивів до більш зрозумілих графічних моделей. Попри істотний прогрес у створенні графічних інтерфейсів для візуалізації потокових даних залишається низка викликів: гетерогенністьформатів і протоколів, відсутність уніфікованих моделей представлення мультимодальних потоків, складність часової синхронізації за умов запізнілих і невпорядкованих подій, а також брак стандартизованих архітектур і шаблонів проєктування для систем візуалізації. Це ускладнює проєктування програмних систем, здатних адаптуватися до специфіки конкретних пристроїв без суттєвої зміни існуючих частин систем. Окремою проблемою є забезпечення стабільності відображення раніше візуалізованих даних під час їх безперервного оновлення та ресемплінгу, що напряму впливає на довіру користувача до аналітичних матеріалів. Стабільність відображення у візуальному представленні зменшує кількість помилок оператора системи при тривалій роботі з візуалізованими даними. Ситуацію ускладнюють обмеження обчислювальних ресурсів (особливо на місцях роботи операторів) і когнітивне перевантаження операторів при роботі з багатоподієвими потоками високої інтенсивності. Аналіз наявних програмних рішень свідчить про їхню фрагментованість і вузькоспеціалізованість, орієнтацію на окремі вертикалі пристроїв або конкретних виробників, обмежену переносимість і повторне використання компонентів. Подолання зазначених бар’єрів потребує створення уніфікованих, гнучких і масштабованих програмних підходів та рішень, які поєднують подієво-орієнтоване оброблення, механізми надійної часової узгодженості та архітектурні рішення для стабільної, інтерпретованої візуалізації мультимодальних потокових даних у реальному часі. Розв’язанню саме цієї науково-технічної задачі й присвячено дисертаційну роботу. Метою дисертаційної роботи є підвищення ефективності процесів створення програмного забезпечення візуалізації потокових даних пристроїв IoT. У першому розділі виконано аналіз методів оброблення та візуалізації IoT-даних, підходів до часової синхронізації та архітектурпотокового аналізу, сформульовано вимоги до програмного забезпечення і критерії якості. Окрему увагу приділено особливостям візуальної аналітики у доменах кібербезпеки та радіомоніторингу. Додатково проаналізовано обмеження відомих рішень щодо масштабованості та стабільності відображення даних, що визначило напрям подальших досліджень. У другому розділі розроблено метод групування мультимодальних потокових даних з урахуванням темпорального параметру даних на основі підходів реактивного програмування. Запропонований підхід надає змогу обробляти події асинхронно, використовуючи механізми потокового планування та оброблення у реальному часі, що робить його придатним для високонавантажених систем IoT. Описано механізми узгодження часових міток і роботи з запізнілими подіями, що забезпечують коректне поєднання даних із різних каналів, навіть у разі різної частоти надходження інформації або імовірних затримок спричинених мережевими проблемами. Також перевірено швидкодію розробленого методу декількома замірами часу виконання для різної кількості вхідних даних. У третьому розділі запропоновано метод стабільного відображення точкових темпоральних даних із даунсемплінгом у межах змінної частини даних, що не порушує уже відображені дані. На відміну від повного оновлення відображуваних даних, де зміна масштабів чи ресемплінг можуть призводити до перемальовування всієї сцени, у цьому підході введено принцип поділу буфера на застарілу, стабільну та активну зони, що уможливлює мінімізацію обчислювальних витрат та надає можливість зберегти візуальну узгодженість. У четвертому розділі представлено узагальнену архітектуру програмного забезпечення, що підтримує централізовані та децентралізовані розгортання, наведено перелік виділених функціональних та нефункціональних вимог до програмного забезпечення IoT, запропоновані варіанти реалізації частин архітектури залежно від потреб, а також розроблено архітектурний шаблон проєктування програмногозабезпечення Multimodal Stream Stable Visualization (MSSV) для відображення мультимодальних потокових даних, який визначає організацію презентаційного шару та взаємодію його ключових компонентів між собою. Для цього архітектурного шаблону розроблено узагальнену схему користувацького інтерфейсу, що ілюструє узгоджене подання багатовимірних потоків і перехід від розрізненого відображення даних до інтегрованого інтерфейсу. Розглянуто можливості інтеграції архітектури з наявними інфраструктурами та шляхи масштабування під різні сценарії використання. У дисертаційній роботі отримано низку нових наукових результатів, зокрема, уперше розроблено метод подієво-орієнтованого групування наборів мультимодальних темпоральних даних, особливістю якого є використання попередньо заданих часових вікон і правил відкладеного злиття пізніх подій та врахування заданої максимально допустимої розбіжності у часі надходження даних, що уможливлює групування даних за наявності лише частини потоків, які безперервно надходять з IoT пристроїв. Уперше розроблено метод візуалізації, який, на від відміну від відомих методів, забезпечує незмінність вже візуалізованих фрагментів потоку під час надходження нових даних і застосування до них ресемплінгу, що дає змогу знизити навантаження на комп’ютерну систему в умовах високої інтенсивності передавання даних з IoT пристроїв. Уперше розроблено узагальнену архітектуру програмного забезпечення візуалізації потокових даних пристроїв IoT, характерними рисами якої є: подієво-орієнтоване групування темпоральних мультимодальних даних та стабільне відображення даних великих обсягів у реальному часі, що забезпечує розширення функціональних можливостей візуалізації для систем оброблення даних ІоТ та уможливлює розроблення користувацьких інтерфейсів нового типу – подієво-орієнтованих інтерфейсів систем підтримки прийняття рішень. Уперше розроблено архітектурний шаблон проєктування MSSV, який, на відміну від відомих, призначений для оперування згрупованими потоками даних, що робить можливим спрощення процесів розроблення програмних засобів візуалізації потокових даних пристроїв IoT із забезпеченням подієво-орієнтованого та синхронізованого відображення даних великих обсягів. Основні наукові результати дисертаційної роботи опубліковано у 8 наукових працях, зокрема у 4 наукових статтях, опублікованих у фахових виданнях, включених до переліку наукових фахових видань України з присвоєнням категорії «Б», та у 4 матеріалах наукових конференцій. | |
| dc.description.abstractother | Lukianets M.O. Methods and Software for the Visualization of Multimodal Temporal Streaming Data from IoT Devices. – Qualification academic work, manuscript. PhD thesis in the field of knowledge 12 Information technologies in speciality 121 Software Engineering. – National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Kyiv, 2025. The rapid development of IoT ecosystems and cyber-physical systems has led to the emergence of a new paradigm of digital interaction with the physical world, according to which continuous streams of multimodal temporal data are generated and circulate. These streams reflect sensor measurements, video and audio flows, telemetry data, and event logs characterized by different sampling rates, irregular latencies, missing values, and noise. A distinctive feature of such data is their high dynamism and heterogeneity, which complicates the processes of integration, synchronization, and subsequent interpretation. The constant growth in the number of information sources requires software systems to be scalable under intensive loads. Visualization of these streams in software systems performs not only a display function but also serves as a key instrument for operational analysis, anomaly detection, and real-time decision support, taking into account human factors and interpretability requirements. Visualization processes act as an intermediate layer between the acquisition of multimodal raw data streams from IoT devices and the user’s analysis of information about monitored objects, ensuring the transition from unstructured numerical arrays to more comprehensible graphical models. Visualization of these streams thus goes beyond simple rendering and becomes a crucial tool for real-time analytical reasoning, anomaly identification, and decision support, with due consideration of human factors and interpretability constraints. It serves as an intermediary between complex raw data streams and the user, enabling the transformation of unstructured numerical data into intuitive graphical representations. Despite significant progress in the development of graphical interfaces for streaming data visualization, a number of challenges remain: heterogeneity of formats and protocols, the lack of unified models for representing multimodal streams, the complexity of temporal synchronization under conditions of delayed and out-of-order events, as well as the shortage of standardized architectures and design patterns for visualization systems. Despite this progress, these challenges persist, including heterogeneous data formats and protocols, the absence of unified representation models for multimodal streams, difficulties in temporal synchronization when events arrive late or out of order, and the lack of standardized architectures and design patterns for visualization systems. This complicates the design of software systems capable of adapting to the specifics of particular devices without significant changes to existing system components. A separate challenge is ensuring the stability of previously visualized data during continuous updates and resampling, which directly affects user trust in analytical results. The stability of previously visualized data allows for minimizing operator errors during prolonged work with visualized data. This situation is further complicated by limited computational resources (especially at operator workstations) and the cognitive overload experienced by operators when working with high-intensity, multi-event data streams. An analysis of existing solutions indicates fragmentation and narrow specialization, a focus on individual verticals or specific vendors, and limited portability and reusability of components. Many systems rely on ad hoc dashboards that do not generalize across modalities, and they lack principled mechanisms for temporal alignment, scalable data reduction, and reproducible visual states. Overcoming these barriers requires unified, flexible, and scalable software approaches that combine event-driven processing, robust mechanisms for temporal consistency, and architectural solutions for stable, interpretable real- time visualization of multimodal data. This dissertation is devoted to addressing this scientific and technical problem. The aim of this dissertation is to improve the efficiency of the processes of creating software for visualizing streaming data from IoT devices. In the first chapter, a review is provided of methods for processing and visualizing IoT data, approaches to time synchronization, and streaming analytics architectures, and the software requirements and quality criteria are formulated. Special attention is given to the specifics of visual analytics in the domains of cybersecurity and radio monitoring. Additionally, the limitations of existing solutions regarding scalability and stability of data visualization are analyzed, which determined the direction of further research. In the second chapter, a method is developed for grouping multimodal streaming data that accounts for the temporal parameter of the data, based on reactive programming approaches. The proposed approach enables asynchronous event handling using stream scheduling and real-time processing mechanisms, making it suitable for high-throughput IoT systems. Mechanisms for timestamp alignment and handling of late events are described, ensuring the correct combination of data from different channels, even when arrival rates differ or delays arise due to network issues. The performance of the developed method was also verified through several execution time measurements for varying amounts of input data. In the third chapter, a method is proposed for stable visualization of pointbased temporal data with downsampling applied within the variable portion of the data, without affecting data that have already been displayed. Unlike full updates of the display, where rescaling or resampling may trigger redrawing of the entire scene, this approach introduces a three-zone buffer-outdated, stable, and active- which minimizes computational costs and preserves visual consistency. In the fourth chapter, a generalized software architecture is presented that supports centralized and decentralized deployments; implementation options for architectural components are proposed depending on requirements; and an architectural software design pattern Multimodal Stream Stable Visualization (MSSV) for visualizing multimodal streaming data is developed, defining the organization of the presentation layer and the interaction of its key components. For this architectural pattern, a generalized user interface scheme is provided, illustrating the coordinated presentation of multidimensional streams and the transition from fragmented data views to an integrated interface. The possibilities for integrating the architecture with existing infrastructures and scaling paths for different usage scenarios are also considered. In this dissertation, a number of novel scientific results were obtained, in particular: for the first time, an event-driven method for grouping sets of multimodal temporal data has been developed, characterized by the use of predefined time windows and rules for deferred merging of late-arriving events, as well as accounting for a specified maximum permissible discrepancy in data arrival time, which enables grouping even when only part of the data streams continuously arriving from IoT devices is available. For the first time, a specialized visualization method has been established which, in contrast to existing methodologies, guarantees the persistence and immutability of previously rendered stream segments during the arrival of new data and the subsequent application of resampling techniques, thereby substantially mitigating the computational overhead within systems characterized by high-intensity IoT data transmission. For the first time, a generalized software architecture for IoT streaming data visualization has been developed, characterized by event-driven grouping of temporal multimodal data and stable real-time display of large data volumes, which expands visualization functionality for IoT systems and enables the creation of a new type of user interface – event-driven interfaces for decision support systems. For the first time, the MSSV architectural design pattern has been introduced, specifically engineered to manage and manipulate aggregated data streams – unlike conventional patterns –thereby streamlining the developmental processes of IoT streaming data visualization software while ensuring strictly synchronized and event-driven rendering of high-volume data. The main scientific results of the dissertation are published in 8 scientific works, including 4 articles in specialized journals recognized by the list of scientific specialized editions of Ukraine (category “Б”) and 4 conference proceedings. | |
| dc.format.extent | 175 с. | |
| dc.identifier.citation | Лук'янець, М. О. Методи та програмне забезпечення візуалізації мультимодальних темпоральних потокових даних пристроїв IoT : дис. … д-ра філософії : 121 Інженерія програмного забезпечення / Лук'янець Михайло Олександрович. - Київ, 2026. - 175 с. | |
| dc.identifier.uri | https://ela.kpi.ua/handle/123456789/82099 | |
| dc.language.iso | uk | |
| dc.publisher | КПІ ім. Ігоря Сікорського | |
| dc.publisher.place | Київ | |
| dc.subject | інженерія програмного забезпечення | |
| dc.subject | Інтернет речей | |
| dc.subject | кіберфізичні системи | |
| dc.subject | потоки даних | |
| dc.subject | мультимодальні темпоральні дані | |
| dc.subject | архітектура програмних систем | |
| dc.subject | візуалізація | |
| dc.subject | прийняття рішень | |
| dc.subject | software engineering | |
| dc.subject | Internet of Things | |
| dc.subject | cyber-physical systems | |
| dc.subject | data streams | |
| dc.subject | multimodal temporal data | |
| dc.subject | software system architecture | |
| dc.subject | visualization | |
| dc.subject | decision making | |
| dc.subject.udc | 004.51:004.67 | |
| dc.title | Методи та програмне забезпечення візуалізації мультимодальних темпоральних потокових даних пристроїв IoT | |
| dc.title.alternative | Methods and Software for the Visualization of Multimodal Temporal Streaming Data from IoT Devices | |
| dc.type | Thesis Doctoral |
Файли
Контейнер файлів
1 - 1 з 1
Вантажиться...
- Назва:
- Lukianets_dys.pdf
- Розмір:
- 3.25 MB
- Формат:
- Adobe Portable Document Format
Ліцензійна угода
1 - 1 з 1
Ескіз недоступний
- Назва:
- license.txt
- Розмір:
- 8.98 KB
- Формат:
- Item-specific license agreed upon to submission
- Опис: