Алгоритмічне та програмне забезпечення технології цифрових двійників мульсемедійних об’єктів

Скорочена інформація про документ
dc.contributor.advisorСулема, Євгенія Станіславівна
dc.contributor.authorРвач, Дмитро Вячеславович
dc.date.accessioned2024-06-17T13:08:51Z
dc.date.available2024-06-17T13:08:51Z
dc.date.issued2024
dc.description.abstractРвач Д. В. Алгоритмічне та програмне забезпечення технології цифрових двійників мульсемедійних об’єктів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії в галузі знань 12 Інформаційні технології за спеціальністю 121 Інженерія програмного забезпечення. – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2024. Цифрові двійники є технологією, що надають змогу створити цифрову копію фізичного об’єкту для подальшого аналізу та симуляції його поведінки. Технологія цифрових двійників пропонує новий підхід до представлення та обробки динамічної цифрової моделі фізичного об'єкта або процесу, його минулого, теперішнього і майбутніх станів та поведінки. Цифровий двійник являє собою сукупність віртуальних інформаційних структур, які повністю описують майбутній або реально існуючий фізичний об'єкт від мікрорівня (одноелементний рівень) до макрорівня (загальний вигляд, загальні властивості об'єкта в цілому). Технологія цифрових двійників сполучає конкретну фізичну систему із комп'ютерною моделлю, яка відображає архітектуру, динаміку і фактичний стан цієї конкретної системи. Давачі, що дозволяють здійснювати безперервний моніторинг об’єкта, можуть бути використанні як джерела інформації для створення таких індивідуалізованих динамічних моделей. Аналіз існуючих програмних систем для роботи з цифровими двійниками показує, що вони є вузькоспрямованими на створення цифрових двійників специфічних об’єктів для конкретної галузі та не здатні використовувати більш універсальний підхід до створення цифрової копії реального об’єкту. Також значною мірою виявлена проблема відсутності уніфікації та стандартизації форматів обміну даними між фізичною та цифровою копією об’єкта. Розв’язання цих завдань можливе шляхом створення уніфікованої, гнучкої та стандартизованої програмної системи, що надає змогу створювати цифрові копії фізичних об’єктів з різними параметрами і налаштувати роботу з ними згідно з вимогами. Технологію цифрових двійників звичайно використовують у галузі виробництва та у інженерії. Натомість, практично немає прикладів застосування цієї технології у галузі освіти та у медичній галузі. Тим не менш, застосування технології цифрових двійників у цих галузях має великий потенціал, оскільки за рахунок її використання можна досягти нової якості освіти та медичних послуг. Проте, для адаптації технології цифрових двійників до вимог цих галузей, особливостю яких є безпосередня участь людини у процесах, процедурах та сервісах, доцільно враховувати новітні технічні можливості, що спрямовані на цифрову обробку даних про фізичні властивості об’єктів навколишнього світу, які здатна сприймати людина. Тому актуальною задачею є розширення технології цифрових двійників за рахнок застосування концепції мульсемедіа, яка робить можливим сворення нових інтерфейсів людиномашинної взаємодії. Описані завдання та тенденції визначають актуальну науковотехнічну задачу вдосконалення та розвитку теоретичних основ створення алгоритмічного та програмного забезпечення технології цифрових двійників, що вирішується у цій дисертаційній роботі. Метою дисертаційної роботи є підвищення ефективності обробки даних про стан мульсемедійних об’єктів у програмних системах на основі концепції цифрового двійника. У першому розділі дисертаційної роботи проаналізовано методи, підходи та програмне забезпечення для обробки даних цифрових двійників мульсемедійних об’єктів. Досліджено технологію цифрових двійників та концепцію мульсемедіа. Вивчено поточний стан наявних програмних систем на основі технології цифрових двійників. Виявлено недостатню універсальність підходів до створення цифрового двійника у вказаних програмних системах. У результаті визначено функціональні та нефункціональні вимоги для цього класу програмного забезпечення. У другому розділі розроблено алгоритмічне та програмне забезпечення процесів консолідації мульсемедійних даних на основі концепції мультиобразу. Запропоновано метод консолідації мульсемедійних даних, який передбачає обробку мульсемедійних даних з використанням алгебраїчної системи агрегатів. Запропоновано розширення формату JSON для створення синхронізованої у часі структури мульсемедійних даних – TJSON. Використано дискретні вейвлет-перетворення та алгоритми стеганографії для поєднання даних різних модальностей в єдиний цифровий об’єкт. Запропоновано використання паралельних обчислень для підвищення ефективності реалізації запропонованого методу. У третьому розділі розглянуто наявні підходи до обробки даних про мульсемедійні об’єкти, один з яких ґрунтується на застосуванні мови програмування ASAMPL. Запропоновано шляхи вдосконалення мови програмування ASAMPL, а саме: оновлено синтаксис, що надало можливість поліпшити метрики коду при програмуванні мовою ASAMPL; уведено нові програмні конструкції, що розширило можливості мови, зокрема, зробило можливим застосування паралельних обчислень. Зазначені зміни включені до нової версії мови програмування – ASAMPL 2.0. Також запропоновано специфічні шаблони проєктування, що уніфікують та стандартизують підходи до роботи з мульсемедійними об’єктами. Четвертий розділ присвячено розробленню узагальненої архітектури програмних систем для обробки даних цифрових двійників мульсемедійних об’єктів. На основі запропонованої узагальненої архітектури розроблено архітектуру цифрового двійника пацієнта, яка призначена для використання у медичних програмних системах, та архітектуру програмної системи для тренінгів фахівців, чия професійна діяльність пов’язана з підвищеним ризиком. У дисертаційній роботі отримано низку нових наукових результатів, зокрема уперше запропоновано метод консолідації мульсемедійних даних, характерними рисами якого є застосування: концепції мультиобразу, кількісних відношень дискретних інтервалів, операцій алгебраїчної системи агрегатів, принципів стеганографії, дискретного вейвлет-перетворення, паралельних обчислень, що робить можливим поєднання даних різних модальностей в єдиний цифровий об’єкт. Удосконалено теоретичні засади обробки темпоральних мультимодальних даних, які полягають у тому, що запропоновані кількісні відношення дискретних інтервалів, які на відміну від відношень інтервальної алгебри Аллена та відношень дискретних інтервалів в алгебраїчній системі агрегатів, дають змогу встановлювати кількісні темпоральні властивості наборів даних різних модальностей. Уперше запропоновано узагальнену архітектуру програмної системи для обробки даних цифрових двійників мульсемедійних об’єктів, характерними рисами якої є оперування наборами темпоральних мультимодальних даних, які представлені як комплексна структура даних – мультиобраз мульсемедійного об’єкта, та забезпечення взаємодії з мульсемедійним об’єктом через спеціалізовані програмно-апаратні засоби (сенсори, актуатори, симулятори, рендери), що спрощує процеси розроблення нового покоління програмних систем на основі концепції цифрових двійників – мульсемедійного програмного забезпечення. Уперше запропоновано архітектурні шаблони проєктування, які, на відміну від відомих, призначені для оперування комплексними структурами мульсемедійних даних – мультиобразами мульсемедійних об’єктів, що спрощує процеси розроблення мульсемедійного програмного забезпечення. Основні наукові результати дисертаційної роботи опубліковано у 8 наукових працях, зокрема у 4 наукових статтях опублікованих у фахових виданнях, включених до переліку наукових фахових видань України з присвоєнням категорії «Б», та у 4 матеріалах наукових конференцій.
dc.description.abstractotherRvach D. Algorithms and Software for Digital Twin Technology of Mulsemedia Objects. – Qualifying scientific work, manuscript. PhD thesis in the field of knowledge 12 Information technologies in speciality 121 Software Engineering. – National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Kyiv, 2024. Digital twins are a technology that is purposed for creation a digital copy of a physical object for further analysis and simulation of its behavior. The technology of digital twins offers a new approach to the presentation and processing of a dynamic digital model of a physical object or process, its past, present and future states and behavior. A digital twin is a collection of virtual information structures that fully describe a future or actually existing physical object from the micro level (single-element level) to the macro level (general appearance, general properties of the object as a whole). Digital twin technology connects a specific physical system with a computer model that reflects the architecture, dynamics, and actual state of that specific system. Sensors that enable continuous monitoring of the object can be used as sources of information to create such individualized dynamic models. Analysis of existing software systems for working with digital twins shows that they are narrowly focused on creating digital twins of specific objects for a specific industry and are not able to follow a more universal approach to creating a digital copy of a real object. The problem of lack of unification and standardization of data exchange formats between the physical and digital copy of the object was also identified to a large extent. Solving these tasks is possible by creating a unified, flexible and standardized software system that allows creating digital copies of physical objects with different parameters and adjusting work with them according to the necessary requirements. Digital twin technology is commonly used in manufacturing and engineering. On the other hand, there are practically no examples of the application of this technology in both education and healthcare. Nevertheless, the application of the technology of digital twins in these industries has great potential, as it is possible to achieve a new quality of education and healthcare services due to its use. However, to adapt the technology of digital twins to the requirements of these industries, the feature of which is the direct participation of a human in processes, procedures and services, it is reasonable to take into account the latest technical capabilities aimed at digital processing of data on the physical properties of real-world objects that a human is able to perceive. Therefore, an urgent task is to expand the technology of digital twins by applying the concept of mulsemedia, which makes it possible to create new interfaces for human-machine interaction. The purpose of the dissertation is to increase the efficiency of mulsemedia objects state data processing in software systems based on the concept of a digital twin. In the first section of the dissertation, methods, approaches, and software for processing data of digital twins of mulsemedia objects were analyzed. The technology of digital twins and the concept of mulsemedia were studied. The current state of existing software systems based on the technology of digital twins was studied. Insufficient universality of approaches to creating a digital twin in the specified software systems was revealed. As a result, functional and non-functional requirements for this class of software were formed. In the second section, algorithmic and software solutions for the consolidation of mulsemedia data based on the concept of multi-image have been developed. A method of mulsemedia data consolidation is proposed, which involves processing mulsemedia data using an algebraic system of aggregates. An extension of the JSON format to create a time-synchronized mulsemedia data structure named TJSON is proposed. Discrete wavelet transforms and steganography algorithms were used to combine data from different modalities into a single digital object. It is proposed to use parallel calculations to increase the effectiveness of the implementation of the proposed method. In the third section, available approaches to data processing of mulsemedia objects are considered, one of which is based on the application of the ASAMPL programming language. Ways to improve the ASAMPL programming language are proposed, namely: the syntax has been updated, which made it possible to improve code metrics when programming in the ASAMPL language; new software designs were introduced, which expanded the capabilities of the language, in particular, made it possible to use parallel calculations. The specified changes are included in the new version of the programming language named ASAMPL 2.0. Specific design patterns are also proposed, which unify and standardize approaches to working with mulsemedia objects. The fourth section is dedicated to the development of a generalized architecture for software systems processing data of digital twins of mulsemedia objects. Based on this developed generalized architecture, the architecture of a patient's digital twin was created, intended for use in medical software systems. Also, on the basis of the proposed generalized architecture, the architecture of the software system for the training of specialists whose professional activity is associated with increased risk has been developed. In the dissertation, a series of new scientific results were obtained. In particular, for the first time, a method for mulsemedia data consolidation, a characteristic features of which is the use of the multi-image concept, quantitative relations between discrete intervals, operations of the algebraic system of aggregates, steganography principles, discrete wavelet transformation, and parallel computing, was proposed that enables data fusion of different modalities in a joint digital object. The theoretical foundations of temporal multimodal data processing have been improved, which consist in the fact that the proposed quantitative relations between discrete intervals, unlike Allen's interval algebra relations and discrete intervals relationship in the algebraic system of aggregates, enable establishing quantitative features of multimodal data sets. For the first time, a generalized architecture of software systems for mulsemedia object digital twin data processing was proposed, characteristic features of which are both handling temporal multimodal data sets, which are presented as a complex data structure – a mulsemedia object multi-image, and enabling the interaction with the mulsemedia object through specialized software and hardware (sensors, actuators, simulators, renders) that together simplify the development of the new generation of software systems based on the technology of digital twins – mulsemedia software. For the first time, architectural software design patterns, which unlike the existing patterns enable handling a complex structure of mulsemedia data named mulsemedia object’s multi-image, are proposed that allows simplifying the development of mulsemedia software. The main scientific results of the dissertation have been published in eight scientific works, including four articles were published in professional journals included in the list of scientific professional publications of Ukraine with the category "Б" assigned. Additionally, the work is featured in four materials of scientific conferences.
dc.format.extent199 с.
dc.identifier.citationРвач, Д. В. Алгоритмічне та програмне забезпечення технології цифрових двійників мульсемедійних об’єктів : дис. … д-ра філософії : 121 Інженерія програмного забезпечення / Рвач Дмитро Вячеславович. – Київ, 2024. – 199 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/67206
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectпрограмне забезпечення
dc.subjectінженерія програмного забезпечення
dc.subjectмови програмування
dc.subjectінформаційні технології
dc.subjectалгоритми
dc.subjectцифрові двійники
dc.subjectмульсемедіа
dc.subjectмульсемедійний об’єкт
dc.subjectінформаційний об’єкт
dc.subjectконсолідація даних
dc.subjectобчислення
dc.subjectsoftware
dc.subjectsoftware engineering
dc.subjectprogramming languages
dc.subjectinformation technologies
dc.subjectalgorithms
dc.subjectdigital twins
dc.subjectmulsemedia
dc.subjectmulsemedia object
dc.subjectinformation object
dc.subjectdata consolidation
dc.subjectcomputing
dc.subject.udc004.627
dc.titleАлгоритмічне та програмне забезпечення технології цифрових двійників мульсемедійних об’єктів
dc.typeThesis Doctoral

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Rvach_dys.pdf
Розмір:
2.51 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Дисертації (ПЗКС)
Дисертації (вільний доступ)