Методи та програмне забезпечення візуалізації мультимодальних темпоральних потокових даних пристроїв IoT
Вантажиться...
Дата
2026
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Лук'янець М.О. Методи та програмне забезпечення візуалізації мультимодальних темпоральних потокових даних пристроїв IoT. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії в галузі знань 12 Інформаційні технології за спеціальністю 121 Інженерія програмного забезпечення. – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2025. Стрімкий розвиток екосистем IoT та кіберфізичних систем спричинив створення нової парадигми цифрової взаємодії з фізичним світом, згідно з якою безперервно генеруються й циркулюють потоки мультимодальних темпоральних даних, які відображають сенсорні вимірювання, відео й аудіопотоки, дані телеметрії та подієвих журналів, що характеризуються різною частотою дискретизації, нерівномірними затримками, пропусками та шумами. Особливістю таких даних є їхня висока динамічність та неоднорідність, що ускладнює процес інтеграції, синхронізації та подальшої інтерпретації. Постійне зростання кількості джерел інформації вимагає від програмних систем здатності до масштабування під час інтенсивного навантаження. Візуалізація цих потоків у програмних системах виконує не лише функцію відображення, а й є ключовим інструментом оперативного аналізу, виявлення аномалій і підтримки прийняття рішень у режимі реального часу, з урахуванням людського фактору та вимог до інтерпретованості. Процеси візуалізації виступають проміжною ланкою між отриманням мультимодальних потоків «сирих» даних від пристроїв ІоТ і аналізом інформації про об’єкти моніторингу користувачем, забезпечуючи перехід від неструктурованих числових масивів до більш зрозумілих графічних моделей. Попри істотний прогрес у створенні графічних інтерфейсів для візуалізації потокових даних залишається низка викликів: гетерогенністьформатів і протоколів, відсутність уніфікованих моделей представлення мультимодальних потоків, складність часової синхронізації за умов запізнілих і невпорядкованих подій, а також брак стандартизованих архітектур і шаблонів проєктування для систем візуалізації. Це ускладнює проєктування програмних систем, здатних адаптуватися до специфіки конкретних пристроїв без суттєвої зміни існуючих частин систем. Окремою проблемою є забезпечення стабільності відображення раніше візуалізованих даних під час їх безперервного оновлення та ресемплінгу, що напряму впливає на довіру користувача до аналітичних матеріалів. Стабільність відображення у візуальному представленні зменшує кількість помилок оператора системи при тривалій роботі з візуалізованими даними. Ситуацію ускладнюють обмеження обчислювальних ресурсів (особливо на місцях роботи операторів) і когнітивне перевантаження операторів при роботі з багатоподієвими потоками високої інтенсивності. Аналіз наявних програмних рішень свідчить про їхню фрагментованість і вузькоспеціалізованість, орієнтацію на окремі вертикалі пристроїв або конкретних виробників, обмежену переносимість і повторне використання компонентів. Подолання зазначених бар’єрів потребує створення уніфікованих, гнучких і масштабованих програмних підходів та рішень, які поєднують подієво-орієнтоване оброблення, механізми надійної часової узгодженості та архітектурні рішення для стабільної, інтерпретованої візуалізації мультимодальних потокових даних у реальному часі. Розв’язанню саме цієї науково-технічної задачі й присвячено дисертаційну роботу. Метою дисертаційної роботи є підвищення ефективності процесів створення програмного забезпечення візуалізації потокових даних пристроїв IoT. У першому розділі виконано аналіз методів оброблення та візуалізації IoT-даних, підходів до часової синхронізації та архітектурпотокового аналізу, сформульовано вимоги до програмного забезпечення і критерії якості. Окрему увагу приділено особливостям візуальної аналітики у доменах кібербезпеки та радіомоніторингу. Додатково проаналізовано обмеження відомих рішень щодо масштабованості та стабільності відображення даних, що визначило напрям подальших досліджень. У другому розділі розроблено метод групування мультимодальних потокових даних з урахуванням темпорального параметру даних на основі підходів реактивного програмування. Запропонований підхід надає змогу обробляти події асинхронно, використовуючи механізми потокового планування та оброблення у реальному часі, що робить його придатним для високонавантажених систем IoT. Описано механізми узгодження часових міток і роботи з запізнілими подіями, що забезпечують коректне поєднання даних із різних каналів, навіть у разі різної частоти надходження інформації або імовірних затримок спричинених мережевими проблемами. Також перевірено швидкодію розробленого методу декількома замірами часу виконання для різної кількості вхідних даних. У третьому розділі запропоновано метод стабільного відображення точкових темпоральних даних із даунсемплінгом у межах змінної частини даних, що не порушує уже відображені дані. На відміну від повного оновлення відображуваних даних, де зміна масштабів чи ресемплінг можуть призводити до перемальовування всієї сцени, у цьому підході введено принцип поділу буфера на застарілу, стабільну та активну зони, що уможливлює мінімізацію обчислювальних витрат та надає можливість зберегти візуальну узгодженість. У четвертому розділі представлено узагальнену архітектуру програмного забезпечення, що підтримує централізовані та децентралізовані розгортання, наведено перелік виділених функціональних та нефункціональних вимог до програмного забезпечення IoT, запропоновані варіанти реалізації частин архітектури залежно від потреб, а також розроблено архітектурний шаблон проєктування програмногозабезпечення Multimodal Stream Stable Visualization (MSSV) для відображення мультимодальних потокових даних, який визначає організацію презентаційного шару та взаємодію його ключових компонентів між собою. Для цього архітектурного шаблону розроблено узагальнену схему користувацького інтерфейсу, що ілюструє узгоджене подання багатовимірних потоків і перехід від розрізненого відображення даних до інтегрованого інтерфейсу. Розглянуто можливості інтеграції архітектури з наявними інфраструктурами та шляхи масштабування під різні сценарії використання. У дисертаційній роботі отримано низку нових наукових результатів, зокрема, уперше розроблено метод подієво-орієнтованого групування наборів мультимодальних темпоральних даних, особливістю якого є використання попередньо заданих часових вікон і правил відкладеного злиття пізніх подій та врахування заданої максимально допустимої розбіжності у часі надходження даних, що уможливлює групування даних за наявності лише частини потоків, які безперервно надходять з IoT пристроїв. Уперше розроблено метод візуалізації, який, на від відміну від відомих методів, забезпечує незмінність вже візуалізованих фрагментів потоку під час надходження нових даних і застосування до них ресемплінгу, що дає змогу знизити навантаження на комп’ютерну систему в умовах високої інтенсивності передавання даних з IoT пристроїв. Уперше розроблено узагальнену архітектуру програмного забезпечення візуалізації потокових даних пристроїв IoT, характерними рисами якої є: подієво-орієнтоване групування темпоральних мультимодальних даних та стабільне відображення даних великих обсягів у реальному часі, що забезпечує розширення функціональних можливостей візуалізації для систем оброблення даних ІоТ та уможливлює розроблення користувацьких інтерфейсів нового типу – подієво-орієнтованих інтерфейсів систем підтримки прийняття рішень. Уперше розроблено архітектурний шаблон проєктування MSSV, який, на відміну від відомих, призначений для оперування згрупованими потоками даних, що робить можливим спрощення процесів розроблення програмних засобів візуалізації потокових даних пристроїв IoT із забезпеченням подієво-орієнтованого та синхронізованого відображення даних великих обсягів. Основні наукові результати дисертаційної роботи опубліковано у 8 наукових працях, зокрема у 4 наукових статтях, опублікованих у фахових виданнях, включених до переліку наукових фахових видань України з присвоєнням категорії «Б», та у 4 матеріалах наукових конференцій.
Опис
Ключові слова
інженерія програмного забезпечення, Інтернет речей, кіберфізичні системи, потоки даних, мультимодальні темпоральні дані, архітектура програмних систем, візуалізація, прийняття рішень, software engineering, Internet of Things, cyber-physical systems, data streams, multimodal temporal data, software system architecture, visualization, decision making
Бібліографічний опис
Лук'янець, М. О. Методи та програмне забезпечення візуалізації мультимодальних темпоральних потокових даних пристроїв IoT : дис. … д-ра філософії : 121 Інженерія програмного забезпечення / Лук'янець Михайло Олександрович. - Київ, 2026. - 175 с.