Алгоритмічне та програмне забезпечення технології створення цифрових двійників медико-біологічних об’єктів

Скорочена інформація про документ
dc.contributor.advisorСулема, Євгенія Станіславівна
dc.contributor.authorПесчанський, Владислав Юрійович
dc.date.accessioned2025-05-22T08:43:38Z
dc.date.available2025-05-22T08:43:38Z
dc.date.issued2024
dc.description.abstractПесчанський В.Ю. Алгоритмічне та програмне забезпечення технології цифрових двійників медико-біологічних об’єктів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії в галузі знань 12 Інформаційні технології за спеціальністю 121 Інженерія програмного забезпечення. – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2024. Цифрові двійники набувають дедалі більшого поширення у сфері медицини, оскільки вони дозволяють створити динамічну цифрову модель реального медико-біологічного об’єкта, відображаючи як анатомічні, так і функціональні аспекти його роботи. Ця технологія передбачає інтеграцію даних із різних джерел (медичні зображення, відеоендоскопія, аудіодані, сенсорні показники) у єдину інформаційну структуру, що описує стан і динаміку об’єкта. Цифровий двійник при цьому здатен оновлюватися у режимі реального часу, відображаючи зміни фізіологічних характеристик та надаючи можливість досліджувати, прогнозувати та моделювати розвиток патологічних процесів. Незважаючи на значний прогрес у цій сфері, існують проблеми уніфікації форматів даних, відсутність узагальнених підходів до представлення мультимодальних темпоральних сигналів та складнощі з інтеграцією технологій цифрових двійників у медичні інформаційні системи. Також потребують уваги питання анонімізації та безпеки медичних даних, стандартизації програмної архітектури, а також адаптації базових 3D-моделей під індивідуальні особливості конкретного пацієнта. Метою дисертаційної роботи є підвищення ефективності процесів проєктування медичних інформаційних систем на основі технології цифрових двійників за рахунок розроблення алгоритмічного та програмногозабезпечення для оброблення мультимодальних темпоральних даних про медико-біологічний об’єкт. Для досягнення цієї мети було розроблено метод синхронізації та семантичного аналізу темпоральних мультимодальних медико-біологічних даних, метод адаптації базової 3D-моделі медикобіологічного об’єкта, розроблено узагальнену архітектуру програмної системи для створення і використання цифрових двійників медикобіологічних об’єктів а також архітектурні шаблони проєктування для розроблення програмних систем на основі цифрових двійників медикобіологічних об’єктів. У першому розділі дисертації проаналізовано відомі методи обробки даних про медико-біологічні об’єкти, підходи до створення цифрових двійників та вимоги до програмного забезпечення. Виявлено проблеми у представленні мультимодальних даних і визначено ключові критерії для забезпечення високої точності та функціональності цифрових двійників. У другому розділі розроблено методи синхронізації темпоральних мультимодальних даних, а також семантичного аналізу та інтеграції інформації. Запропоновано використання семантичних графів та онтологій, а також графових нейронних мереж для ефективного виявлення закономірностей та прогнозування поведінки. Обґрунтовано застосування нормалізації, синхронізації сигналів, крос-кореляційного аналізу й інтеграції даних у графовій моделі. У третьому розділі розроблено метод адаптації базової 3D-моделі медико-біологічного об’єкта. Застосовано 3D-згорткові нейронні мережі для аналізу просторово-часових залежностей у відеопотоці та потоці аудіоданих. Інтегровано мультимодальний підхід, що дає змогу поєднувати інформацію з різних джерел для персоналізованого моделювання стану медико-біологічного об’єкта та його візуалізації. У четвертому розділі розроблено архітектуру медичної програмної системи на основі технології цифрових двійників. Запропонованомікросервісний підхід, використання контейнеризації, засобів безпеки, анонімізації та автоматизації тестування (CI/CD) для забезпечення масштабованості, надійності та високої якості програмного забезпечення. Описано можливості інтеграції з існуючими медичними системами, принципи проєктування інтерфейсів візуалізації та ролей користувачів у системі. У дисертаційній роботі отримано низку нових наукових результатів, зокрема, уперше розроблено узагальнену архітектуру програмної системи для створення і використання цифрових двійників медико-біологічних об’єктів, характерними рисами якої є поєднання мультимодальних темпоральних даних у форматі, який підтримує двосторонню інтеграцію з фізичним об’єктом через давачі, актуатори та інші програмно-апаратні засоби, що надає можливість перейти від фрагментарного оброблення окремих типів даних до цілісної моделі, яка може оновлюватися в реальному часі. Уперше розроблено метод синхронізації темпоральних мультимодальних даних, характерною рисою якого є поєднання відео та аудіо у єдиний потік даних, що забезпечує узгодження даних різної модальності та, у такий спосіб, спрощує процес створення цифрового двійника медико-біологічного об’єкта на основі даних, які надходять з давачів різних типів. Уперше розроблено метод семантичного аналізу для виявлення кореляцій між наборами даних та прогнозування поведінки програмноапаратних компонентів цифрового двійника, характерними рисами якого є застосування графових баз даних та алгоритмів машинного навчання, що дає змогу об'єднувати дані з різних джерел (пацієнти, пристрої, записи) в єдину онтологічну модель, що забезпечує автоматизоване виявлення залежностей у даних про медико-біологічний об’єкт, а також надаєінструменти для прогнозування стану програмно-апаратного забезпечення цифрового двійника. Удосконалено теоретичні засади оброблення просторово-часових параметрів медико-біологічного об’єкта для побудови його цифрового двійника, що полягає у застосуванні тривимірних згорткових нейронних мереж (3D-CNN) та рекурентних архітектур для оброблення відео- та аудіоданих та, на відміну від відомих підходів, дає змогу забезпечити комплексний аналіз динамічних змін структури та функціонування медикобіологічного об’єкта з врахуванням його індивідуальних анатомічних особливостей та динаміки. Уперше розроблено архітектурні шаблони проєктування для розроблення програмних систем на основі цифрових двійників медикобіологічних об’єктів, які, на відміну від відомих, орієнтовані на оперування складними наборами мультимодальних темпоральних даних, інтегрованих у єдину семантичну модель, що дає змогу спростити процес розроблення, обслуговування та масштабування медичних програмних систем. Основні наукові результати дисертаційної роботи опубліковано у наукових працях, зокрема у 4 наукових статтях, опублікованих у фахових виданнях, включених до переліку наукових фахових видань України з присвоєнням категорії «Б», та у 2 матеріалах наукової конференції.
dc.description.abstractotherPeschanskyi V.Y. Algorithmic and Software Support for the Digital Twin Technology of Medical and Biological Objects. – A Qualifying Scientific Work in the form of a Manuscript. technologies in speciality 121 Software Engineering. – National Technical Digital twins are becoming increasingly widespread in the field of medicine as they make it possible to create a dynamic digital model of a real medical-biological object, reflecting both the anatomical and functional aspects of its operation. This technology involves integrating data from various sources (medical images, video endoscopy, audio data, sensor readings) into a single information structure describing the state and dynamics of the object. The digital twin can be updated in real time, reflecting changes in physiological characteristics and enabling the study, prediction, and modeling of the development of pathological processes. Despite significant progress in this area, there are issues related to the unification of data formats, the lack of generalized approaches to representing multimodal temporal signals, and the complexities of integrating digital twin technologies into medical information systems. Questions of anonymization and security of medical data, standardization of software architecture, and adaptation of basic 3D models to individual patient characteristics also require attention. The purpose of this dissertation is to improve efficiency of the processes of medical information systems design based on digital twin technology by developing algorithmic and software tools for processing multimodal temporal data about a medical-biological object. To achieve this goal, a method for synchronizing and performing semantic analysis of temporal multimodal medical-biological data was developed, along with a method for adapting a basic 3D model of a medical-biological object, a generalized architecture of a softwaresystem for creating and using digital twins of medical-biological objects, and architectural design patterns for developing software systems based on digital twins of medical-biological objects. In the first chapter of the dissertation, known methods of data processing for medical-biological objects, approaches to creating digital twins, and software requirements are analyzed. Problems in representing multimodal data are identified, and key criteria for ensuring high accuracy and functionality of digital twins are determined. In the second chapter, methods for synchronizing temporal multimodal data, as well as for performing semantic analysis and information integration, are developed. The use of semantic graphs and ontologies, as well as graph neural networks, is proposed for the effective detection of patterns and prediction of behavior. The application of normalization, signal synchronization, crosscorrelation analysis, and data integration in a graph-based model is substantiated. In the third chapter, a method for adapting the basic 3D model of a medical-biological object is developed. Three-dimensional convolutional neural networks (3D CNNs) are used to analyze spatio-temporal dependencies in the video stream and audio data stream. A multimodal approach is integrated, enabling the combination of information from various sources for personalized modeling of the state of the medical-biological object and its visualization. In the fourth chapter, the architecture of a medical software system based on digital twin technology is developed. A microservices approach is proposed, utilizing containerization, security tools, anonymization, and automated testing (CI/CD) to ensure scalability, reliability, and high-quality software. Possibilities for integration with existing medical systems are described, along with principles for designing visualization interfaces and user roles within the system. A number of new scientific results have been obtained in this dissertation, specifically, for the first time, a generalized architecture of a software system for creating and using digital twins of medical-biological objects has beendeveloped. Its distinctive features include the integration of multimodal temporal data in a format that supports bidirectional interaction with a physical object via sensors, actuators, and other hardware-software means, enabling a transition from fragmented processing of individual data types to a holistic model capable of realtime updates and providing a simplified process for designing medical information systems based on digital twin technology. For the first time, a method for synchronizing temporal multimodal data has been developed. Its distinctive feature is the combination of video and audio into a single data stream, ensuring alignment of different data modalities. This approach simplifies the creation of a digital twin of a medical-biological object based on data from sensors of various types. For the first time, a method for semantic analysis has been developed for detecting correlations between datasets and predicting the behavior of digital twin hardware-software components. Its distinctive features include the use of graph databases and machine learning algorithms, allowing data from various sources (patients, devices, records) to be combined into a single ontological model. This provides automated detection of dependencies in medical-biological object data and offers tools for predicting the state of the digital twin’s hardware and software components. The theoretical foundations of processing spatio-temporal features for constructing a digital twin have been improved by applying three-dimensional convolutional neural networks (3D CNNs) and recurrent architectures for video and audio data processing. Unlike known approaches, this makes it possible to provide a comprehensive analysis of the dynamic changes in the structure and functioning of a medical-biological object, taking into account its individual anatomical features and functional dynamics.For the first time, architectural design patterns for developing software systems based on digital twins of medical-biological objects have been created. Unlike known patterns, they are oriented towards managing complex sets ofmultimodal temporal data integrated into a single semantic model, thereby simplifying the development, maintenance, and scaling of medical software systems. The main scientific results of the dissertation are published in 6 scientific works, including 4 articles in specialized journals recognized by the list of scientific specialized editions of Ukraine (category “B”) and 2 conference proceedings.
dc.format.extent167 с.
dc.identifier.citationПесчанський В. Ю. Алгоритмічне та програмне забезпечення технології створення цифрових двійників медико-біологічних об’єктів : дис. … д-ра філософії : 121 Інженерія програмного забезпечення / Песчанський Владислав Юрійович. – Київ, 2024. – 167 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/73884
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectінженерія програмного забезпечення
dc.subjectпрограмне забезпечення технології цифрових двійників
dc.subjectпрограмування
dc.subjectалгоритмічне забезпечення
dc.subjectмультимодальні дані
dc.subjectмедико-біологічний об’єкт
dc.subjectнейронні мережі
dc.subjectсемантичні графи
dc.subjectонтологія
dc.subjectмоделювання
dc.subjectархітектура програмної системи
dc.subjectхмарні обчислення
dc.subjectмікросервіси
dc.subjectанонімізація
dc.subjectCI/CD
dc.subjectдавачі
dc.subjectsoftware engineering
dc.subjectdigital twin technology software
dc.subjectprogramming
dc.subjectalgorithms
dc.subjectmultimodal data
dc.subjectmedical-biological object
dc.subjectneural networks
dc.subjectsemantic graphs
dc.subjectontology
dc.subjectmodelling
dc.subjectsoftware system architecture
dc.subjectcloud computing
dc.subjectmicroservices
dc.subjectanonymization
dc.subjectCI/CD
dc.subjectsensors
dc.subject.udc004.62:004.043
dc.titleАлгоритмічне та програмне забезпечення технології створення цифрових двійників медико-біологічних об’єктів
dc.title.alternativeAlgorithmic and Software Support for the Digital Twin Technology of Medical and Biological Objects
dc.typeThesis Doctoral

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Peschanskyi_dys.pdf
Розмір:
2.54 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Дисертації (ПЗКС)
Дисертації (вільний доступ)