Сулема, Євгенія СтаніславівнаРвач, Дмитро Вячеславович2024-06-172024-06-172024Рвач, Д. В. Алгоритмічне та програмне забезпечення технології цифрових двійників мульсемедійних об’єктів : дис. … д-ра філософії : 121 Інженерія програмного забезпечення / Рвач Дмитро Вячеславович. – Київ, 2024. – 199 с.https://ela.kpi.ua/handle/123456789/67206Рвач Д. В. Алгоритмічне та програмне забезпечення технології цифрових двійників мульсемедійних об’єктів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії в галузі знань 12 Інформаційні технології за спеціальністю 121 Інженерія програмного забезпечення. – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2024. Цифрові двійники є технологією, що надають змогу створити цифрову копію фізичного об’єкту для подальшого аналізу та симуляції його поведінки. Технологія цифрових двійників пропонує новий підхід до представлення та обробки динамічної цифрової моделі фізичного об'єкта або процесу, його минулого, теперішнього і майбутніх станів та поведінки. Цифровий двійник являє собою сукупність віртуальних інформаційних структур, які повністю описують майбутній або реально існуючий фізичний об'єкт від мікрорівня (одноелементний рівень) до макрорівня (загальний вигляд, загальні властивості об'єкта в цілому). Технологія цифрових двійників сполучає конкретну фізичну систему із комп'ютерною моделлю, яка відображає архітектуру, динаміку і фактичний стан цієї конкретної системи. Давачі, що дозволяють здійснювати безперервний моніторинг об’єкта, можуть бути використанні як джерела інформації для створення таких індивідуалізованих динамічних моделей. Аналіз існуючих програмних систем для роботи з цифровими двійниками показує, що вони є вузькоспрямованими на створення цифрових двійників специфічних об’єктів для конкретної галузі та не здатні використовувати більш універсальний підхід до створення цифрової копії реального об’єкту. Також значною мірою виявлена проблема відсутності уніфікації та стандартизації форматів обміну даними між фізичною та цифровою копією об’єкта. Розв’язання цих завдань можливе шляхом створення уніфікованої, гнучкої та стандартизованої програмної системи, що надає змогу створювати цифрові копії фізичних об’єктів з різними параметрами і налаштувати роботу з ними згідно з вимогами. Технологію цифрових двійників звичайно використовують у галузі виробництва та у інженерії. Натомість, практично немає прикладів застосування цієї технології у галузі освіти та у медичній галузі. Тим не менш, застосування технології цифрових двійників у цих галузях має великий потенціал, оскільки за рахунок її використання можна досягти нової якості освіти та медичних послуг. Проте, для адаптації технології цифрових двійників до вимог цих галузей, особливостю яких є безпосередня участь людини у процесах, процедурах та сервісах, доцільно враховувати новітні технічні можливості, що спрямовані на цифрову обробку даних про фізичні властивості об’єктів навколишнього світу, які здатна сприймати людина. Тому актуальною задачею є розширення технології цифрових двійників за рахнок застосування концепції мульсемедіа, яка робить можливим сворення нових інтерфейсів людиномашинної взаємодії. Описані завдання та тенденції визначають актуальну науковотехнічну задачу вдосконалення та розвитку теоретичних основ створення алгоритмічного та програмного забезпечення технології цифрових двійників, що вирішується у цій дисертаційній роботі. Метою дисертаційної роботи є підвищення ефективності обробки даних про стан мульсемедійних об’єктів у програмних системах на основі концепції цифрового двійника. У першому розділі дисертаційної роботи проаналізовано методи, підходи та програмне забезпечення для обробки даних цифрових двійників мульсемедійних об’єктів. Досліджено технологію цифрових двійників та концепцію мульсемедіа. Вивчено поточний стан наявних програмних систем на основі технології цифрових двійників. Виявлено недостатню універсальність підходів до створення цифрового двійника у вказаних програмних системах. У результаті визначено функціональні та нефункціональні вимоги для цього класу програмного забезпечення. У другому розділі розроблено алгоритмічне та програмне забезпечення процесів консолідації мульсемедійних даних на основі концепції мультиобразу. Запропоновано метод консолідації мульсемедійних даних, який передбачає обробку мульсемедійних даних з використанням алгебраїчної системи агрегатів. Запропоновано розширення формату JSON для створення синхронізованої у часі структури мульсемедійних даних – TJSON. Використано дискретні вейвлет-перетворення та алгоритми стеганографії для поєднання даних різних модальностей в єдиний цифровий об’єкт. Запропоновано використання паралельних обчислень для підвищення ефективності реалізації запропонованого методу. У третьому розділі розглянуто наявні підходи до обробки даних про мульсемедійні об’єкти, один з яких ґрунтується на застосуванні мови програмування ASAMPL. Запропоновано шляхи вдосконалення мови програмування ASAMPL, а саме: оновлено синтаксис, що надало можливість поліпшити метрики коду при програмуванні мовою ASAMPL; уведено нові програмні конструкції, що розширило можливості мови, зокрема, зробило можливим застосування паралельних обчислень. Зазначені зміни включені до нової версії мови програмування – ASAMPL 2.0. Також запропоновано специфічні шаблони проєктування, що уніфікують та стандартизують підходи до роботи з мульсемедійними об’єктами. Четвертий розділ присвячено розробленню узагальненої архітектури програмних систем для обробки даних цифрових двійників мульсемедійних об’єктів. На основі запропонованої узагальненої архітектури розроблено архітектуру цифрового двійника пацієнта, яка призначена для використання у медичних програмних системах, та архітектуру програмної системи для тренінгів фахівців, чия професійна діяльність пов’язана з підвищеним ризиком. У дисертаційній роботі отримано низку нових наукових результатів, зокрема уперше запропоновано метод консолідації мульсемедійних даних, характерними рисами якого є застосування: концепції мультиобразу, кількісних відношень дискретних інтервалів, операцій алгебраїчної системи агрегатів, принципів стеганографії, дискретного вейвлет-перетворення, паралельних обчислень, що робить можливим поєднання даних різних модальностей в єдиний цифровий об’єкт. Удосконалено теоретичні засади обробки темпоральних мультимодальних даних, які полягають у тому, що запропоновані кількісні відношення дискретних інтервалів, які на відміну від відношень інтервальної алгебри Аллена та відношень дискретних інтервалів в алгебраїчній системі агрегатів, дають змогу встановлювати кількісні темпоральні властивості наборів даних різних модальностей. Уперше запропоновано узагальнену архітектуру програмної системи для обробки даних цифрових двійників мульсемедійних об’єктів, характерними рисами якої є оперування наборами темпоральних мультимодальних даних, які представлені як комплексна структура даних – мультиобраз мульсемедійного об’єкта, та забезпечення взаємодії з мульсемедійним об’єктом через спеціалізовані програмно-апаратні засоби (сенсори, актуатори, симулятори, рендери), що спрощує процеси розроблення нового покоління програмних систем на основі концепції цифрових двійників – мульсемедійного програмного забезпечення. Уперше запропоновано архітектурні шаблони проєктування, які, на відміну від відомих, призначені для оперування комплексними структурами мульсемедійних даних – мультиобразами мульсемедійних об’єктів, що спрощує процеси розроблення мульсемедійного програмного забезпечення. Основні наукові результати дисертаційної роботи опубліковано у 8 наукових працях, зокрема у 4 наукових статтях опублікованих у фахових виданнях, включених до переліку наукових фахових видань України з присвоєнням категорії «Б», та у 4 матеріалах наукових конференцій.199 с.ukпрограмне забезпеченняінженерія програмного забезпеченнямови програмуванняінформаційні технологіїалгоритмицифрові двійникимульсемедіамульсемедійний об’єктінформаційний об’єктконсолідація данихобчисленняsoftwaresoftware engineeringprogramming languagesinformation technologiesalgorithmsdigital twinsmulsemediamulsemedia objectinformation objectdata consolidationcomputingThesis Doctoral004.627