Метод мультимодального глибокого навчання з механізмами уваги для прогнозування чутливості пухлин до протипухлинних препаратів

Скорочена інформація про документ
dc.contributor.advisorКучанський, Олександр Юрійович
dc.contributor.authorПорхало, Денис Федорович
dc.date.accessioned2026-06-01T13:31:08Z
dc.date.available2026-06-01T13:31:08Z
dc.date.issued2026
dc.description.abstractМагістерська дисертація за темою «Метод мультимодального глибокого навчання з механізмами уваги для прогнозування чутливості пухлин до протипухлинних препаратів» виконана студентом кафедри біомедичної кібернетики ФСП Порхало Денисом Федоровичем зі спеціальності 122 «Комп’ютерні науки» за освітньо-науковою програмою «Комп’ютерні науки» та складається зі: вступу; 4 розділи (Аналітичний огляд сучасного стану проблеми прогнозування чутливості пухлинних клітин до протипухлинних препаратів, Архітектура та методи навчання мультимодальної моделі BCNexus з механізмами уваги, Обґрунтування вибору програмного середовища для мультимодального глибокого навчання на основі натренованих молекулярно-мовних моделях для вирішення задач обчислювальної фармакогеноміки, Інформаційне забезпечення. Програмна реалізація та методика роботи програмної системи OncoPredict AI на основі гібридної архітектури BCNexus). Інформаційне забезпечення. Програмна реалізація та методика роботи програмної системи OncoPredict AI на основі гібридної архітектури BCNexus), висновків до кожного з цих розділів; загальних висновків; списку використаних джерел, який налічує 65 джерел. Загальний обсяг роботи 124 сторінки. Актуальність теми. Прогнозування чутливості пухлинних клітинних ліній до протипухлинних препаратів — одна з основних задач персоналізованої онкології. За строгого протоколу Drug Split, який відтворює клінічно релевантний сценарій передбачення відповіді на структурно нові сполуки, точність сучасних моделей не перевищує діапазону Pearson r = 0,45–0,60. Це робить актуальним пошук нових архітектурних рішень. У роботі застосовано архітектуру «трансформер», графові нейронні мережі GATv2, багатоголову крос-увагу, трансферне навчання з ChemBERTa, імовірнісне моделювання з функцією втрат Gaussian NLL, парний t-критерій Стьюдента, критерій знакових рангів Вілкоксона, аналіз калібрування за критерієм Expected Calibration Error та інтерпретаційний аналіз вагових коефіцієнтів уваги. Уперше запропоновано та експериментально досліджено архітектуру BCNexus, яка об'єднує: гібридний кодувальник препарату на основі ChemBERTa та GATv2 з ген-обумовленим біо-гейтингом; модульний транскриптомний кодувальник; модуль багатоголової крос-уваги між геномним запитом та токенами SMILES; імовірнісний вихід з оцінюванням невизначеності. Емпірично встановлено емерджентне фокусування ваг кросуваги на токенах-гетероатомах (N, O, S), що відповідають фармакофорним підструктурам, без апріорної біологічної підказки у навчальному процесі. Кількісно охарактеризовано підпростори хімічного простору, у яких прогноз є достатньо надійним. Модель BCNexus застосовна як інструмент попереднього обчислювального скринінгу нових протипухлинних сполук та як компонент систем підтримки клінічних рішень у персоналізованій онкології. На кросдатасет валідації GDSC2 → GDSC1 без донавчання BCNexus перевершила DeepCDR за обома ключовими метриками (Pearson r = 0,4730 проти 0,4647; RMSE = 2,5289 проти 2,5981); відносне падіння якості при переході між наборами для BCNexus удвічі менше (9,6 % проти 18,2 %). Мета і задачі дослідження. Метою дисертаційної роботи є визначення ефективності мультимодального методу глибинного навчання з механізмами крос-уваги та трансферним навчанням із молекулярно мовних моделей для прогнозування чутливості пухлинних клітинних ліній до протипухлинних препаратів за умов узагальнення на структурно нові хімічні сполуки. Сформульовано наступні задачі: 1) Провести аналіз сучасного стану проблеми прогнозування чутливості до протипухлинних препаратів 2) Оглянути існуючі підходи (класичні методи машинного навчання, графові нейронні мережі, мультимодальні архітектури) та виявлення їх обмежень у контексті генералізації на нові хімічні сполуки. 3) Дослідити можливості трансферного навчання з попередньо натренованих молекулярних мовних моделей у задачах обчислювальної фармакогеноміки. 4) Розробити архітектуру мультимодальної нейронної мережі, що об’єднує гібридний кодувальник препарату на основі ChemBERTa та GATv2 з ген-обумовленим гейтингом, модульний транскриптомний кодувальник, модуль багатоголової крос-уваги між геномним запитом і токенами SMILES, а також імовірнісний вихід із функцією втрат типу Gaussian Negative Log-Likelihood. 5) Дослідити ефективність запропонованої моделі за протоколом Drug Split на наборах даних GDSC2 та GDSC1 у порівнянні з трьома базовими архітектурами (DeepCDR, GraphDRP, MLP на відбитках Моргана) із застосуванням критеріїв Пірсона, Спірмена, RMSE та тестів статистичної значущості (парний t-критерій Стьюдента, критерій знакових рангів Вілкоксона). 6) Провести абляційне дослідження для кількісного оцінювання внеску кожного архітектурного компонента (графовий кодувальник GATv2, модульний геномний кодувальник, модуль крос-уваги) у точність прогнозу. 7) Проаналізувати якість калібрування імовірнісного виходу моделі за критерієм Expected Calibration Error (ECE) та дослідження біологічної когерентності ваг крос-уваги на рівні токенів SMILES. 8) Проаналізувати залежність абсолютної похибки прогнозу від молекулярних дескрипторів хімічних сполук із метою характеризації підпросторів хімічного простору, у яких прогноз є достатньо надійним. Об’єкт дослідження. Процес прогнозування чутливості пухлинних клітинних ліній до протипухлинних препаратів на основі геномних та молекулярно-хімічних даних. Предмет дослідження. Методи та моделі мультимодального глибинного навчання з механізмами уваги та трансферним навчанням для прогнозування логарифма напівмаксимальної інгібіторної концентрації (LN_IC50) пар «препарат – клітинна лінія». Методи дослідження. Для розв’язання поставлених завдань використано методи глибинного навчання (архітектури типу «трансформер», графові нейронні мережі з механізмом уваги GATv2, модулі багатоголової крос-уваги, методи регуляризації dropout та шарової нормалізації), методи трансферного навчання з двофазним режимом донавчання та диференціальними швидкостями навчання, методи оптимізації (AdamW, ReduceLROnPlateau, обмеження норми градієнта), методи математичної статистики (парний t-критерій Стьюдента, критерій знакових рангів Вілкоксона, міра ефекту Коена), а також методи кількісного оцінювання калібрування імовірнісних прогнозів (Expected Calibration Error, діаграми надійності). Практичне значення одержаних результатів. Розроблена модель BCNexus може використовуватися як інструмент попереднього обчислювального скринінгу нових протипухлинних сполук, як компонент систем підтримки клінічних рішень у персоналізованій онкології, а також як базовий метод для подальшого донавчання на клінічних наборах даних (зокрема, на даних пацієнт-похідних ксенотрансплантатів та клінічних когорт). Наявність імовірнісного виходу та інтерпретованих ваг крос-уваги дає змогу оцінювати надійність прогнозів індивідуально для кожного передбачення і формулювати біологічно обґрунтовані гіпотези щодо фармакофорних фрагментів молекул, релевантних у контексті конкретного транскриптомного профілю.
dc.description.abstractotherThe master’s thesis titled “A Multimodal Deep Learning Method with Attention Mechanisms for Predicting Tumor Sensitivity to Anticancer Drugs” was completed by Porkhalo Denys, a student in the Department of Biomedical Cybernetics at the Faculty of Software Engineering, majoring in 122 “Computer Science” under the educational and research program “Computer Science” and consists of: an introduction; 4 chapters (Analytical Review of the Current State of the Problem of Predicting Tumor Cell Sensitivity to Anticancer Drugs, Architecture and Training Methods of the Multimodal BCNexus Model with Attention Mechanisms, Justification of the choice of software environment for multimodal deep learning based on pretrained molecular language models for solving problems of computational pharmacogenomics, Software Implementation and Operating Methodology of the OncoPredict AI Software System Based on the Hybrid BCNexus Architecture). Information Support. Software Implementation and Operating Methodology of the OncoPredict AI System Based on the Hybrid BCNexus Architecture), conclusions for each of these chapters; general conclusions; a list of references comprising 65 sources. The total length of the work is 124 pages. Relevance of the topic. Predicting the sensitivity of tumor cell lines to anticancer drugs is one of the main tasks of personalized oncology. Under the strict Drug Split protocol, which replicates a clinically relevant scenario for predicting responses to structurally novel compounds, the accuracy of modern models does not exceed the range of Pearson r = 0.45–0.60. This makes the search for new architectural solutions a pressing need. The work employs a “transformer” architecture, GATv2 graph neural networks, multi-head cross-attention, transfer learning from ChemBERTa, probabilistic modeling with the Gaussian NLL loss function, the paired Student’s ttest, the Wilcoxon signed-rank test, calibration analysis using the Expected Calibration Error criterion, and interpretative analysis of attention weight coefficients. We propose and experimentally investigate the BCNexus architecture, which combines: a hybrid drug encoder based on ChemBERT and GATv2 with genedriven bio-gating; a modular transcriptome encoder; a multi-head cross-attention module between the genomic query and SMILES tokens; and a probabilistic output with uncertainty estimation. It has been empirically established that cross-attention weights emerge to focus on heteroatom tokens (N, O, S) corresponding to pharmacophore substructures, without any prior biological guidance during the training process. We have quantitatively characterized the subspaces of chemical space where the prediction is sufficiently reliable. The BCNexus model is applicable both as a tool for preliminary computational screening of new anticancer compounds and as a component of clinical decision support systems in personalized oncology. On the GDSC2 → GDSC1 validation cross-dataset without retraining, BCNexus outperformed DeepCDR on both key metrics (Pearson r = 0.4730 vs. 0.4647; RMSE = 2.5289 vs. 2.5981); the relative drop in quality when switching between datasets for BCNexus is half that of DeepCDR (9.6% vs. 18.2%). Purpose and Objectives of the Study. The purpose of this dissertation is to determine the effectiveness of a multimodal deep learning method incorporating cross-attention mechanisms and transfer learning from molecular language models for predicting the sensitivity of tumor cell lines to anticancer drugs, with a focus on generalizing to structurally novel chemical compounds. The following objectives are formulated: 1) To analyze the current state of the problem of predicting sensitivity to anticancer drugs 2) To review existing approaches (classical machine learning methods, graph neural networks, multimodal architectures) and identify their limitations in the context of generalization to new chemical compounds. 3) Investigate the possibilities of transfer learning from pre-trained molecular language models in computational pharmacogenomics tasks. 4) Develop a multimodal neural network architecture that combines a hybrid drug encoder based on ChemBERT and GATv2 with gene-based gating, a modular transcriptome encoder, a multi-head cross-attention module between the genomic query and SMILES tokens, as well as a probabilistic output with a Gaussian Negative Log-Likelihood loss function. 5) Evaluate the performance of the proposed model on the Drug Split protocol using the GDSC2 and GDSC1 datasets, comparing it to three baseline architectures (DeepCDR, GraphDRP, MLP on Morgan fingerprints) using Pearson’s, Spearman’s, and RMSE criteria, as well as statistical significance tests (paired Student’s t-test, Wilcoxon signed-rank test). 6) Conduct an ablation study to quantitatively assess the contribution of each architectural component (GATv2 graph encoder, modular genomic encoder, crossattention module) to prediction accuracy. 7) Analyze the calibration quality of the model’s probabilistic output using the Expected Calibration Error (ECE) criterion and investigate the biological coherence of cross-attention weights at the SMILES token level. 8) Analyze the dependence of the absolute prediction error on the molecular descriptors of chemical compounds to characterize subspaces of chemical space where the prediction is sufficiently reliable. Research Object. The process of predicting the sensitivity of tumor cell lines to anticancer drugs based on genomic and molecular-chemical data. Research subject. Methods and models of multimodal deep learning with attention mechanisms and transfer learning for predicting the logarithm of the halfmaximal inhibitory concentration (LN_IC50) of “drug–cell line” pairs. Research methods. To solve the set tasks, deep learning methods were used (transformer-type architectures, graph neural networks with the GATv2 attention mechanism, multi-head cross-attention modules, dropout and layer normalization regularization methods), transfer learning methods with a two-phase retraining mode and differential learning rates, and optimization methods (AdamW, ReduceLROnPlateau, gradient norm constraints), methods of mathematical statistics (Student’s paired t-test, Wilcoxon signed-rank test, Cohen’s effect size), as well as methods for quantitative assessment of the calibration of probabilistic forecasts (Expected Calibration Error, reliability plots). Practical significance of the results obtained. The developed BCNexus model can be used as a tool for preliminary computational screening of new anticancer compounds, as a component of clinical decision support systems in personalized oncology, and as a baseline method for further fine-tuning on clinical datasets (in particular, on patient-derived xenograft and clinical cohort data). The presence of a probabilistic output and interpretable cross-attention weights allows for the assessment of prediction reliability on an individual basis for each prediction and the formulation of biologically grounded hypotheses regarding the pharmacophore fragments of molecules relevant in the context of a specific transcriptomic profile.
dc.format.extent155 с.
dc.identifier.citationПорхало, Д. Ф. Метод мультимодального глибинного навчання з механізмами уваги для прогнозування чутливості пухлин до протипухлинних препаратів : магістерська дис. : 122 Комп'ютерні науки / Порхало Денис Федорович. – Київ, 2026. – 155 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/81405
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectглибинне навчання
dc.subjectмеханізм крос-уваги
dc.subjectChemBERTa
dc.subjectGDSC
dc.subjectперсоналізована онкологія
dc.subjectфармакогеноміка
dc.subjectdeep learning
dc.subjectcross-attention mechanism
dc.subjectpersonalized oncology
dc.subjectpharmacogenomics
dc.titleМетод мультимодального глибокого навчання з механізмами уваги для прогнозування чутливості пухлин до протипухлинних препаратів
dc.title.alternativeMultimodal Deep Learning Method with Attention Mechanisms for Predicting Tumor Sensitivity to Anticancer Drugs
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Porkhalo_mahistr.pdf
Розмір:
2.65 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (БМК)
Магістерські роботи