Гібридні методи сегментації медичних зображень при наявності обмеженої кількості маркованих даних

Скорочена інформація про документ
dc.contributor.advisorЧумаченко, Олена Іллівна
dc.contributor.authorРязановський, Кирило Денисович
dc.date.accessioned2026-06-08T08:04:56Z
dc.date.available2026-06-08T08:04:56Z
dc.date.issued2026
dc.description.abstractРязановський К. Д. Гібридні методи сегментації медичних зображень при наявності обмеженої кількості маркованих даних. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 122 «Комп’ютерні науки». – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2026. У дисертації здійснено всебічне дослідження теоретико-методичних засад, алгоритмічних рішень та прикладних аспектів розроблення гібридних методів сегментації медичних зображень в умовах обмеженості маркованих даних. Робота спрямована на подолання фундаментальної проблеми сучасної медичної візуалізації, а саме необхідності великих, збалансованих та експертно розмічених наборів даних для навчання глибоких нейронних мереж. Уперше запропоновано комплексну методологію, що інтегрує механізми трансферного навчання та напівкерованого навчання, доповнену системним використанням просторово-інтенсивнісних (4D) ймовірнісних атласів, метрик оптимального транспорту та регуляризації карт уваги. Актуальність дослідження зумовлена тим, що сегментація медичних зображень є фундаментальним етапом у діагностиці, плануванні лікування та моніторингу захворювань. Хоча моделі глибокого навчання, зокрема згорткові нейронні мережі, досягли значного прогресу, їх ефективність критично залежить від наявності великих обсягів маркованих даних. Процес створення таких наборів даних є головним вузьким місцем у впровадженні систем штучного інтелекту, оскільки він надзвичайно трудомісткий, дорогий і вимагає залучення висококваліфікованих медичних фахівців. В умовах обмежених даних класичні підходи втрачають ефективність через перенавчання та нездатність до узагальнення на нових зразках, що стимулює пошук гібридних рішень, здатних ефективно навчатися на невеликих наборах розмічених та великих обсягах нерозмічених даних. Мета дослідження полягає у підвищенні точності сегментації медичних зображень на коротких вибірках та зменшенні відсотку маркованих зразків у вибірці шляхом розробки методології, що інтегрує напівкероване та трансферне навчання з використанням ансамблів. Для досягнення поставленої мети було сформульовано шість задач: провести аналіз існуючих методів сегментації та підходів до навчання на обмежених даних; розробити гібридну методологію з п’ятиетапним конвеєром обробки; створити метод відбору донорського датасету на основі метрики оптимального транспорту для забезпечення максимальної ефективності переносу знань; розробити гібридний метод напівкерованого навчання з використанням 4D ймовірнісного атласу для генерації анатомічно правдоподібних сегментацій; розвинути метод формування ансамблю сегментаторів на основі конкурентного ранжування; реалізувати та валідувати розроблену методологію на реальних клінічних даних різних модальностей. Об’єктом дослідження є процес семантичної сегментації медичних зображень. Предметом дослідження виступають методи та моделі глибокого навчання для сегментації медичних зображень на коротких вибірках, засновані на комбінації трансферного навчання та напівкерованого навчання. Методи дослідження включають методи глибокого навчання (згорткові нейронні мережі), методи оптимізації, теорію ймовірностей та математичну статистику, методи обробки зображень, методи трансферного та напівкерованого навчання. У першому розділі «Теоретичні основи сегментації медичних зображень в умовах обмежених даних» досліджено особливості та складність медичних зображень, отриманих з ключових модальностей (комп’ютерна томографія, магнітно-резонансна томографія, ультразвукове дослідження), їх формати та специфічні виклики, такі як низька контрастність, наявність шумів та артефактів. Проаналізовано основні формати медичних зображень – DICOM та NIfTI – та їх вплив на побудову алгоритмів сегментації. Розглянуто методи попередньої обробки медичних зображень, включаючи зниження шуму за допомогою згорткових нейронних мереж та генеративно-змагальних мереж, підвищення якості таконтрастності зображень. Детально проаналізовано сучасні підходи до семантичної сегментації на основі глибокого навчання: архітектури U-Net та DeepLabV3+, тривимірні згорткові нейронні мережі, генеративно-змагальні мережі, ансамблеві методи, механізми уваги та візуальні трансформери. Окрему увагу приділено фундаментальним моделям сегментації, зокрема Segment Anything Model та його медичним адаптаціям (MedSAM), визначено їх ключові обмеження для клінічних задач, такі як залежність від підказок, нестабільна продуктивність на низькоконтрастних зображеннях та високі обчислювальні вимоги. Детально проаналізовано причини проблеми коротких вибірок, включаючи високу вартість та час експертної розмітки, питання приватності пацієнтів та проблему рідкісних захворювань. Виявлено фундаментальні недоліки глибоких моделей при навчанні на малих даних, зокрема перенавчання та низьку здатність до узагальнення. Систематизовано існуючі підходи до навчання на обмежених даних, розглянуто концепції трансферного навчання, напівкерованого навчання та аугментації даних, що стало теоретичною основою для їх подальшої гібридизації. Проведено критичний аналіз існуючих підходів комбінування трансферного та напівкерованого навчання, виявлено їх переваги та обмеження, що обґрунтувало доцільність розробки нової інтегрованої методології. У другому розділі «Дослідження методів трансферного та напівкерованого навчання для медичної сегментації» розроблено ключові компоненти наукової новизни дисертації. Розроблено підхід до трансферного навчання, в рамках якого вперше запропоновано метод відбору донорського датасету для сегментації, що базується на адаптованій метриці оптимального транспорту. Ця метрика використовує відстань Вассерштейна для кількісної оцінки відстані між наборами даних, моделюючи розподіл сегментів (їх положення та інтенсивності) за допомогою моделей гаусових сумішей. Процес відбору включає побудову GMM-представлень для кожного набору даних у просторі просторових координат та інтенсивностей вокселів, обчислення парних відстаней Вассерштейна між GMM-представленнями та ранжування кандидатів за мірою близькості до цільового домену. Це дозволяєздійснити кількісно обґрунтований вибір джерела для трансферного навчання та знизити ризики негативного переносу при некоректно обраному донорському датасеті. Також вперше створено метод напівкерованого навчання, що інтегрує апріорні знання у вигляді 4D ймовірнісного атласу, який поєднує просторові координати та інтенсивність вокселів. Цей атлас на основі моделей гаусових сумішей, побудований на обмежених маркованих даних, використовується для формування спеціалізованої функції втрат, що змушує модель генерувати анатомічно правдоподібні сегментації при навчанні на нерозмічених даних. Функція втрат включає три складові: стандартну компоненту для маркованих даних (комбінація Dice-втрат та перехресної ентропії), атлас-орієнтовану компоненту для нерозмічених даних (на основі KL-дивергенції між виходом моделі та ймовірнісним атласом) та компоненту регуляризації узгодженості карт уваги між моделями ансамблю. Описано алгоритми градієнтної оптимізації запропонованих функцій втрат та організацію навчального процесу на основі змішаних міні-батчів маркованих та немаркованих даних. У третьому розділі «Розроблення методології сегментації медичних зображень на основі інтеграції трансферного та напівкерованого навчання» обґрунтовано та розроблено єдину гібридну методологію. На відміну від відомих підходів, запропонована методологія системно інтегрує трансферне та напівкероване навчання в єдиний конвеєр. Центральним елементом, що об’єднує етапи, є ймовірнісний атлас на основі моделей гаусових сумішей, який виступає інформаційним хребтом всієї системи. Концепція включає п’ять послідовних етапів. Перший етап передбачає побудову 4D ймовірнісного атласу з короткої цільової вибірки. На другому етапі здійснюється принциповий відбір донорського набору даних для трансферного навчання на основі розробленої метрики оптимального транспорту. Третій етап полягає у попередньому навчанні ансамблю моделей (зокрема U-Net та DeepLabV3+) з модулями згорткової блокової уваги на відібраному донорському датасеті. Четвертий етап реалізує напівкероване донавчання з використанням гібридної функції втрат, що включає атлас-орієнтовані обмеження для нерозмічених даних тарегуляризацію узгодженості карт уваги між моделями ансамблю. На п’ятому етапі формується кінцевий прогноз шляхом зваженої агрегації ансамблю на основі розробленого конкурентного підходу до ранжування моделей. Наведено теоретичне обґрунтування синергії компонентів методології з позицій байєсівського виводу. У четвертому розділі «Експериментальна валідація та практичне впровадження методології» проведено експериментальну перевірку на трьох клінічних задачах: сегментації пухлин головного мозку на МРТ, вогнищ туберкульозу на КТ та вегетацій при інфекційному ендокардиті на ехокардіографії. Для кожної задачі підготовлено окремі набори даних із дотриманням стандартних протоколів поділу на навчальну, валідаційну та тестову підмножини. Як основну метрику використано коефіцієнт подібності Дайса. Результати показали стійке покращення запропонованої гібридної моделі: DSC склав 88.9% для пухлин мозку, 86.8% для туберкульозу та 79.6% для ендокардиту, що перевищує найкращий базовий метод в середньому на 3.2 відсоткових пункти (p < 0.01). Абляційне дослідження підтвердило синергетичний ефект інтеграції TL та SSL: видалення будь-якого з ключових компонентів (атлас-орієнтованих обмежень, регуляризації карт уваги або етапу трансферного навчання) призводило до статистично значущого зниження якості сегментації. Аналіз чутливості показав високу робастність методу: при зменшенні частки маркованих даних до 10% деградація DSC становила лише 6.0-7.1 пунктів проти 12-18 пунктів для класичних підходів, що підтверджує здатність запропонованої методології ефективно використовувати нерозмічені дані для компенсації дефіциту маркованих зразків. Розроблений ансамблевий метод експериментально показав приріст коефіцієнту Дайса на 6 пунктів, демонструючи ефективність розробленого конкурентного підходу до агрегації моделей. Основні висновки свідчать, що запропонована гібридна методологія стабільно перевершує всі базові підходи на всіх тестових наборах даних. Експериментально підтверджено наукову гіпотезу, що системна інтеграція TL та SSL, об’єднаних використанням ймовірнісних пріорів, дозволяє досягти високої якості та робастності сегментації навіть за умов критично обмежених маркованих даних (10-30%).Доведено, що використання ймовірнісного атласу як єдиного інформаційного хребта, що пов’язує етапи відбору донора, напівкерованого навчання та ансамблевої агрегації, створює синергетичний ефект, який перевищує результати ізольованого застосування кожного з компонентів. Розроблена методологія є універсальною та може бути адаптована до різних клінічних модальностей та анатомічних структур без суттєвих змін загальної архітектури конвеєра. Практичне значення одержаних результатів полягає у розробці методології та програмних систем, що дозволяють створювати високоточні моделі сегментації для специфічних клінічних завдань за наявності лише невеликої кількості розмічених експертами зображень. Це значно знижує витрати та прискорює впровадження систем штучного інтелекту в медичну практику. Розроблене програмне забезпечення може використовуватися у клінічних закладах для автоматизації процесу аналізу медичних зображень, підвищуючи ефективність діагностичного процесу та зменшуючи навантаження на медичних фахівців. Запропоновані методи дозволяють медичним установам впроваджувати системи автоматичної сегментації без необхідності збору великих розмічених наборів даних, що особливо актуально для рідкісних захворювань та нових діагностичних протоколів. Результати дисертаційної роботи та розроблені програмні системи для сегментації аномалій (пухлин мозку, туберкульозу легень, ендокардиту клапанів серця) протестовано на базі Національного наукового центру фтизіатрії, пульмонології та алергології імені Ф.Г. Яновського НАМН України та Інституту серця МОЗ України.
dc.description.abstractotherRiazanovskyi K. D. Hybrid methods for medical image segmentation with limited labeled data. – A qualifying scientific work on the rights of a manuscript. Dissertation for the degree of Doctor of Philosophy in specialty 122 “Computer Science”. – National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Kyiv, 2026. The dissertation provides a comprehensive study of the theoretical and methodological foundations, algorithmic solutions, and applied aspects of developing hybrid methods for medical image segmentation under conditions of limited labeled data. The work is aimed at overcoming the fundamental problem of modern medical imaging, namely the need for large, balanced, and expertly labeled datasets for training deep neural networks. For the first time, a comprehensive methodology is proposed that integrates transfer learning and semi-supervised learning mechanisms, supplemented by the systematic use of spatio-intensity (4D) probabilistic atlases, optimal transport metrics, and attention map regularization. The relevance of the research is determined by the fact that medical image segmentation is a fundamental stage in diagnostics, treatment planning, and disease monitoring. Although deep learning models, particularly convolutional neural networks, have achieved significant progress, their effectiveness critically depends on the availability of large volumes of labeled data. The process of creating such datasets is the main bottleneck in the implementation of artificial intelligence systems, as it is extremely timeconsuming, expensive, and requires the involvement of highly qualified medical specialists. Under conditions of limited data, classic approaches lose their effectiveness due to overfitting and inability to generalize to new samples, which stimulates the search for hybrid solutions capable of effectively learning from small sets of labeled data and large volumes of unlabeled data. The aim of the research is to improve the accuracy of medical image segmentation on short samples and to reduce the percentage of labeled samples in the dataset by developing a methodology that integrates semi-supervised and transfer learning using ensembles. To achieve this goal, six tasks were formulated: to analyze existing segmentation methods and approaches to learning on limited data; to develop a hybrid methodology with a five-stage processing pipeline; to create a method for selecting a donor dataset based on an optimal transport metric to ensure maximum knowledge transfer efficiency; to develop a hybrid semi-supervised learning method using a 4D probabilistic atlas for generating anatomically plausible segmentations; to improve the method of forming a segmentor ensemble based on competitive ranking; and to implement and validate the developed methodology on real clinical data of various modalities. The object of the research is the process of semantic segmentation of medical images. The subject of the research is the methods and models of deep learning for medical image segmentation on short samples, based on a combination of transfer learning and semi-supervised learning. The research methods include deep learning methods (convolutional neural networks), optimization methods, probability theory and mathematical statistics, image processing methods, transfer learning, and semi-supervised learning methods. In the first chapter, “Theoretical foundations of medical image segmentation under limited data conditions,” the features and complexity of medical images obtained from key modalities (computed tomography, magnetic resonance imaging, ultrasound) are explored, along with their formats and specific challenges such as low contrast, presence of noise, and artifacts. The main formats of medical images – DICOM and NIfTI – are analyzed, along with their impact on the construction of segmentation algorithms. Methods of preprocessing medical images are considered, including noise reduction using convolutional neural networks and generative adversarial networks, as well as image quality and contrast enhancement. Modern approaches to semantic segmentation based on deep learning are analyzed in detail: U-Net and DeepLabV3+ architectures, three- dimensional convolutional neural networks, generative adversarial networks, ensemble methods, attention mechanisms, and vision transformers. Special attention is given to foundation segmentation models, particularly the Segment Anything Model and its medical adaptations (MedSAM), identifying their key limitations for clinical tasks, such as prompt dependency, unstable performance on low-contrast images, and high computational requirements. The causes of the short-sample problem are analyzed in detail, including the high cost and time of expert annotation, patient privacy issues, and the problem of rare diseases. The fundamental shortcomings of deep models when trained on small data are identified, particularly overfitting and low generalization ability. Existing approaches to learning on limited data are systematized, reviewing the concepts of transfer learning, semi-supervised learning, and data augmentation, which became the theoretical basis for their further hybridization. A critical analysis of existing approaches to combining transfer and semi-supervised learning is conducted, identifying their advantages and limitations, which justified the development of a new integrated methodology. In the second chapter, “Research of transfer learning and semi-supervised learning methods for medical segmentation,” the key components of the dissertation’s scientific novelty are developed. The approach to transfer learning was further advanced, where for the first time a method for selecting a donor dataset for segmentation is proposed, based on an adapted optimal transport metric. This metric uses the Wasserstein distance to quantify the distance between datasets by modeling the distribution of segments (their position and intensity) using Gaussian Mixture Models. The selection process involves constructing GMM representations for each dataset in the space of spatial coordinates and voxel intensities, computing pairwise Wasserstein distances between GMM representations, and ranking candidates by their proximity to the target domain. This allows for a quantitatively justified selection of a source for transfer learning and reduces the risks of negative transfer when an incorrect donor dataset is chosen. Also, for the first time, a semi-supervised learning method was created that integrates a priori knowledge in the form of a 4D probabilistic atlas combining spatial coordinates and voxel intensity. This atlas based on Gaussian Mixture Models, built from limited labeled data, is used to form a specialized loss function that forces the model to generate anatomically plausible segmentations when learning from unlabeled data. The loss function includes three components: a standard component for labeled data (a combination of Dice loss and cross-entropy), an atlasoriented component for unlabeled data (based on KL-divergence between the model output and the probabilistic atlas), and an attention map consistency regularization component between ensemble models. The gradient optimization algorithms for the proposed loss functions and the organization of the training process based on mixed mini-batches of labeled and unlabeled data are described. In the third chapter, “Development of a methodology for medical image segmentation based on the integration of transfer learning and semi-supervised learning,” a unified hybrid methodology is substantiated and developed. Unlike known approaches, the proposed methodology systematically integrates transfer learning and semi-supervised learning into a single pipeline. The central element that unites the stages is the probabilistic atlas based on Gaussian Mixture Models, which acts as the informational backbone of the entire system. The concept includes five sequential stages. The first stage involves the construction of the 4D probabilistic atlas from the short target sample. The second stage performs principled selection of the donor dataset for transfer learning based on the developed optimal transport metric. The third stage consists of pre-training an ensemble of models (specifically U-Net and DeepLabV3+) with Convolutional Block Attention Modules (CBAM) on the selected donor dataset. The fourth stage implements semisupervised fine-tuning using a hybrid loss function, which includes atlas-oriented constraints for unlabeled data and regularization of attention map consistency between the ensemble models. The fifth stage forms the final prediction through weighted aggregation of the ensemble based on a developed competitive approach to model ranking. A theoretical justification for the synergy of the methodology components from the perspective of Bayesian inference is provided. In the fourth chapter, “Experimental validation and practical implementation of the methodology,” experimental verification was conducted on three clinical tasks: segmentation of brain tumors on MRI, tuberculosis lesions on CT, and infective endocarditis vegetations on echocardiography. For each task, separate datasets were prepared following standard protocols for splitting into training, validation, and test subsets. The Dice Similarity Coefficient was used as the primary metric. The results showed consistent improvement of the proposed hybrid model: DSC of 88.9% for brain tumors, 86.8% for tuberculosis, and 79.6% for endocarditis, exceeding the best baseline method by an average of 3.2 percentage points (p < 0.01). The ablation study confirmed the synergistic effect of TL and SSL integration: removing any of the key components (atlas-oriented constraints, attention map regularization, or the transfer learning stage) led to a statistically significant decrease in segmentation quality. Sensitivity analysis showed high robustness of the method: when reducing the fraction of labeled data to 10%, DSC degradation was only 6.0-7.1 points versus 12-18 points for classic approaches, confirming the ability of the proposed methodology to effectively utilize unlabeled data to compensate for the deficit of labeled samples. The developed ensemble method experimentally demonstrated an increase in the Dice coefficient by 6 points, confirming the effectiveness of the proposed competitive approach to model aggregation. The main conclusions indicate that the proposed hybrid methodology consistently outperforms all baseline approaches on all test datasets. The scientific hypothesis is experimentally confirmed that the systematic integration of TL and SSL, united using probabilistic priors, allows for achieving high quality and robustness in segmentation, even under conditions of critically limited labeled data (10-30%). It has been proven that the use of the probabilistic atlas as a unified informational backbone connecting the stages of donor selection, semi-supervised learning, and ensemble aggregation creates a synergistic effect that exceeds the results of isolated application of each component. The developed methodology is universal and can be adapted to various clinical modalities and anatomical structures without significant changes to the overall pipeline architecture. The practical significance of the obtained results lies in the development of a methodology and software systems that allow for the creation of high-accuracy segmentation models for specific clinical tasks in the presence of only a small number of images labeled by experts. This significantly reduces costs and accelerates the implementation of artificial intelligence systems into medical practice. The developed software can be used in clinical facilities to automate the process of medical image analysis, increasing the efficiency of the diagnostic process and reducing the workload on medical specialists. The proposed methods allow medical institutions to implement automatic segmentation systems without the need to collect large labeled datasets, which is particularly relevant for rare diseases and new diagnostic protocols. The results of the dissertation and the software systems developed for segmenting anomalies (brain tumors, lung tuberculosis, heart valve endocarditis) were tested at the National Institute of Phthisiology, Pulmonology and Allergology named after F.G. Yanovsky of the NAMS of Ukraine and the Heart Institute of the Ministry of Health of Ukraine.
dc.format.extent192 с.
dc.identifier.citationРязановський, К. Д. Гібридні методи сегментації медичних зображень при наявності обмеженої кількості маркованих даних : дис. … д-ра філософії : 122 Комп’ютерні науки / Рязановський Кирило Денисович. – Київ, 2026. – 192 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/81514
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectглибоке навчання
dc.subjectаналіз медичних зображень
dc.subjectобробка зображень
dc.subjectнапівкероване навчання
dc.subjectтрансферне навчання
dc.subjectнейронні мережі
dc.subjectзгорткові нейронні мережі
dc.subjectкласифікація
dc.subjectоптимізація
dc.subjectсегментація
dc.subjectоптимальний транспорт
dc.subjectмеханізм уваги
dc.subjectансамблеві методи
dc.subjectмашинне навчання
dc.subjectштучний інтелект
dc.subjectdeep learning
dc.subjectmedical image analysis
dc.subjectimage processing
dc.subjectsemisupervised learning
dc.subjecttransfer learning
dc.subjectneural networks
dc.subjectconvolutional neural networks
dc.subjectclassification
dc.subjectoptimization
dc.subjectsegmentation
dc.subjectoptimal transport
dc.subjectattention mechanism
dc.subjectensemble methods
dc.subjectmachine learning
dc.subjectartificial intelligence
dc.subject.udc004.85:[004.932:61](043.3)
dc.titleГібридні методи сегментації медичних зображень при наявності обмеженої кількості маркованих даних
dc.title.alternativeHybrid methods for medical image segmentation with limited labeled data
dc.typeThesis Doctoral

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Riazanovskyi_dys.pdf
Розмір:
7.72 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Дисертації (ШІ)
Дисертації (вільний доступ)