Дисертації та автореферати
Постійне посилання на фонд
У фонді розміщено автореферати дисертацій та дисертації, захищені в КПІ ім. Ігоря Сікорського.
Переглянути
Перегляд Дисертації та автореферати за Ключові слова "004.032.26 (043.3)"
Зараз показуємо 1 - 4 з 4
Результатів на сторінці
Налаштування сортування
Документ Відкритий доступ Метод адаптації глибоких нейронних мереж до апаратного забезпечення зі спеціалізованою архітектурою(КПІ ім. Ігоря Сікорського, 2022) Таран, Владислав Ігорович; Гордієнко, Юрій ГригоровичДокумент Відкритий доступ Метод сегментації зображень з використанням глибоких нейронних мереж(КПІ ім. Ігоря Сікорського, 2024) Статкевич, Роман Вадимович; Гордієнко, Юрій ГригоровичСтаткевич Р.В. Метод сегментації зображень з використанням глибоких нейронних мереж. – Кваліфікаційна наукова робота на правах рукопису Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 121 – Інженерія програмного забезпечення з галузі знань 12 – Інформаційні технології. – Національний Технічний Університет України «Київський Політехнічний Інститут імені Ігоря Сікорського», Київ, 2024. Дисертаційна робота присвячена розробці та удосконаленню нейронних мереж для семантичної сегментації зображень, що базуються на архітектурі U-Net, та дозволяє покращити результати та метрики передбачень, у порівнянні з базовою архітектурою. Аналіз зображень у контексті семантичної сегментації є однією з актуальних задач, що широко використовуються у різних галузях, таких як аналіз та діагностика медичних зображень, автономні автомобілі, тощо. Покращення методів семантичної сегментації дозволяє краще виявляти патології у людському організмі, а для систем управління автомобілем – краще розуміти навколишнє середовища та краще реагувати на виникнення небезпечних ситуацій у процесі дорожнього руху. Саме тому важливо постійно удосконалювати уже наявні методи. Тема дисертаційної роботи входить в план наукової роботи затвердженому на кафедрі обчислювальної техніки КПІ ім. Ігоря Сікорського, що враховує розпорядження Кабінету Міністрів України від 2 грудня 2020 р. № 1556-р про схвалення Концепції розвитку штучного інтелекту в Україні. Метою дисертації було покращення існуючих засобів аналізу зображень в контексті задач сегментації зображень, що дозволять отримувати більш точні результати. Для досягнення цієї мети, було поставлено та вирішено наступні завдання: - Проведено огляд та описано особливості основних архітектур нейронних мереж для аналізу зображень в контектсі задач класифікації та сегментації; - У деталях розглянуто сімейство нейронних мереж U-Net; - Запропоновано та обґрунтовано методи модифікації архітектур U-Net з використанням способу підбору коефіцієнта розширення та способу глибинних роздільних проміжних зв’язків. - Проведено велику кількість експериментів на різних наборах даних, з використанням різних підходів та запропонованих нововведень і К-кратної перехресної перевірки для підтвердження якісних покращень результатів. - Проведено виміри впливу запропонованого методу модифікації нейронної мережі U-Net на метрики швидкодії та пам’яті Запропоновано спосіб підбору коефіцієнту розширення архітектури U-Net, що дозволяє регулювати глибину нейронної мережі та збільшення (чи зменшення) кількості параметрів даної архітектури. Завдяки цьому з’явилася можливість оптимізувати розмір нейронної мережі, та отримати результати, співставні з результатами базової архітектури, при 2.5 меншій кількості параметрів нейронної мережі. Також було запропоновано спосіб глибинних роздільних проміжних зв’язків архітектури U-Net, що базується на основі глибинних роздільних згорткових шарів. Дана модифікація дозволила покращити точність сегментації при незначному збільшенні кількості параметрів. Разом з цим, ці модифікації дозволяють також покращувати результати не лише базової архітектури U-Net, але і її модифіковані версії, що було показано на прикладі Attention-UNet. Для різних наборів даних, було виявлено щонайменше один з варіантів модулів глибинних роздільних проміжних зв’язків, що дозволив покращити точність сегментації від 1% до 5%. У деяких випадках дане покращення було досягнуте за рахунок збільшення архітектури лише на 1%, що підтверджує якісні властивості даних змін. На основі запропонованих способів, було розроблено метод модифікації нейронних мереж U-Net для задач сегментації зображень, з використанням мови програмування Python та бібліотеки Tensorflow для експериментального підтвердження доцільності даних модифікацій. Експерименти було проведено у різних доменах знань, таких як аналіз медичних зображень, а також аналіз міського середовища. Також, запропоновані підходи були перевірені як на двовимірних зображеннях, так і тривимірних об’ємах, що підтверджує практичність застосування запропонованих у роботі способів модифікації нейронних мереж. Для експериментів використовувалися відомі набори даних, такі як UWGIT, BraTS, CityScapes, Synapse. Було також продемонстровано, що запропоновані модифікації дозволяють досягнути, а в деяких випадках, перевершити точність деяких відомих та широковживаних архітектур нейронних мереж. Окрім того, було проведено аналіз швидкодії та використання пам’яті для запропонованих модифікацій нейронних мереж. Було встановлено, що глибші мережі, які використовують підхід з коефіцієнтом розширення, можуть працювати швидше, аніж базова архітектура, при приблизно однаковій точності сегментації. Розроблений метод має велике практичне значення та широке поле для застосування у галузі аналізу зображень, що було експериментально підтверджено у ході досліджень.Документ Відкритий доступ Метод та програмні засоби мультимодального аналізу медичних даних на основі глибокого навчання(КПІ ім. Ігоря Сікорського, 2023) Шульга, Максим Володимирович; Гордієнко, Юрій ГригоровичШульга М.В. Метод та програмні засоби мультимодального аналізу медичних даних на основі глибокого навчання. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 121 – Інженерія програмного забезпечення з галузі знань 12 – Інформаційні технології. – Національний Технічний Університет України «Київський Політехнічний Інститут імені Ігоря Сікорського», Київ, 2023. Дисертаційна робота присвячена розробці методу та програмних засобів мультимодального аналізу медичних даних на основі глибокого навчання, що дозволяє підвищити точність багатокласової класифікації. Останнім часом сфера медицини активно використовує можливості штучного інтелекту. Зокрема, глибокі нейронні мережі довели свою ефективність і придатність для автоматизованого виявлення та класифікації захворювань. Інтеграція методів штучного інтелекту має потенціал для оптимізації та покращення точності програм скринінгу шляхом автоматизації аналізу медичних даних, усуваючи необхідність безпосередньої участі медичного персоналу на етапі скринінгу. Нагальною проблемою в цьому контексті є діагностика діабетичної ретинопатії, поширеного ускладнення діабету, що призводить до погіршення зору серед дорослого населення світу. Отже, в даний час існує актуальна потреба в застосуванні підходу з використанням комп’ютерного зору та глибоких нейронних мереж для надання передових медичних послуг за допомогою штучного інтелекту, з особливим акцентом на класифікації діабетичної ретинопатії. Тема дисертаційної роботи входить в план наукової роботи затвердженому на кафедрі обчислювальної техніки КПІ ім. Ігоря Сікорського, що враховує розпорядження Кабінету Міністрів України від 2 грудня 2020 р. № 1556-р про схвалення Концепції розвитку штучного інтелекту в Україні. Метою дисертаційної роботи є підвищення точності багатокласової класифікації захворювань глибокими нейронними мережами, шляхом розробки методу мультимодального аналізу медичних даних. Об’єктом дослідження є процеси аналізу вимог, розробки, впровадження і супроводження програмного забезпечення для мультимодального аналізу медичних даних на основі глибокого навчання, які сприяють підвищенню точності визначення окремих класів для завдання багатокласової класифікації медичних даних; а предметом дослідження – методи і моделі розробки і супроводу програмного забезпечення для мультимодального аналізу медичних даних на основі глибоких нейронних мереж різної архітектури і способів організації додаткових модальностей. Методичною основою дослідження є системне опрацювання та аналіз теоретичного матеріалу, присвяченого підвищенню точності вирішення завдання багатокласової класифікації, шляхом аналізу медичних даних за допомогою моделей глибоких нейронних мереж. Для досягнення поставленої мети були вирішені такі завдання: - було досліджено сучасні методи та системи виявлення та багатокласової класифікації захворювань на прикладі діабетичної ретинопатії; - було виявлено шляхи покращення існуючих методів та систем виявлення та багатокласової класифікації захворювань на прикладі діабетичної ретинопатії; - було розроблено метод мультимодального аналізу медичних даних на основі доповнення метаданих; - було розвинуто спосіб підвищення точності багатокласової класифікації завдяки використанню методу мультимодального аналізу для різних архітектур згорткової компоненти нейронної мережі; - було розроблено метод недетермінованого штучного доповнення метаданих; - було розвинуто спосіб підвищення точності багатокласової класифікації завдяки використанню методу недетермінованого штучного доповнення метаданих для різних стандартних і спеціалізованих медичних наборів даних; - було розроблено математичний опис для оцінки підвищення точності багатокласової класифікації на різних стандартних і спеціалізованих медичних наборах даних. За результатами проведеного дослідження та згідно поставленого завдання було запропоновано комплексний метод мультимодального аналізу медичних даних на основі глибокого навчання, при розробці якого були проведені наступні дослідження: - дослідження доповнення метаданих для вирішення завдання багатокласової класифікації; - дослідження впливу складності мультимодальної моделі на вирішення завдання багатокласової класифікації; - дослідження недетермінованого доповнення метаданих для вирішення завдання багатокласової класифікації; - дослідження впливу мультимодального доповнення метаданих на точність багатокласової класифікації. Розглянуто проблему багатокласової класифікації для одномодальної (з введенням зображення) моделі та мультимодальної (з введенням зображення та тексту) моделі та створено кілька варіантів вхідних значень і відповідних моделей на основі аналізу способів та методів використання глибокого навчання для виявлення захворювань на прикладі діабетичної ретинопатії і аналізу існуючих методологій виявлення захворювань: одномодальна модель (SM) лише з вхідним зображенням і мультимодальні моделі з вхідними зображеннями та текстом, як-от мультимодальна модель із думкою пацієнта (MP), мультимодальна модель із думкою експерта (ME), мультимодальна модель із думкою пацієнта та експерта (MPE) та мультимодальна модель з недетермінованою думкою експерта (MMFE). Вплив додаткових даних, таких як суб'єктивна думка “пацієнта” про свій стан здоров'я та думка “експерта” (що забезпечує “витік даних”), може бути корисним у деяких практичних ситуаціях. Думки пацієнтів та експертів були імітовані додатковими (доповненими) даними, отриманими з змодельованих анкет. Проведено дослідження доповнення метаданих для вирішення завдання багатокласової класифікації, яке показало, що всі створені мультимодальні моделі (MP, ME, MPE) у порівнянні з одномодальною моделлю (SM) дозволили досягти різних статистично значущих покращень точності багатокласової класифікації за значенням площі під кривою похибок (AUC) для всіх класів у діапазоні від 4% до 27%, що виходять за межі стандартного відхилення 2-3% виміряного перехресною перевіркою. Проведено дослідження дослідження впливу складності мультимодальної моделі на вирішення завдання багатокласової класифікації, яке показало, що мультимодальна модель (MP) у порівнянні з одномодальною моделлю (SM) дозволила досягти різних статистично значущих покращень точності багатокласової класифікації за значенням AUC для деяких класів у діапазоні від 15% до 26% (в залежності від складності архітектури згорткової компоненти нейронної мережі), що виходять за межі стандартного відхилення 3-8% виміряного перехресною перевіркою. Проведено дослідження недетермінованого доповнення метаданих для вирішення завдання багатокласової класифікації, яке показало, що мультимодальна модель (MMFE) у порівнянні з одномодальною моделлю (SM) дозволила досягти різних статистично значущих покращень точності багатокласової класифікації за значенням AUC у діапазоні від 12% до 26%. Наведено теоретичні оцінки можливих (найкращих – коли точність за класами підвищується на сумарну похибку точності за окремими класами для одномодальної моделі, де похибку вдається зменшити завдяки застосуванню маркування у додатковій модальності; проміжних – коли точність за класами підвищується на сумарну похибку точності, помножену на функцію розподілу ймовірностей, де продемонстровано можливу залежність покращення від середньої точності для одномодальної моделі; і найгірших – коли точність за класами не підвищується взагалі) рівнів покращення точності багатокласової класифікації за допомогою простого математичного опису з акцентом на деяких практичних випадках. На основі теоретичних оцінок проведено дослідження впливу мультимодального доповнення метаданих на точність багатокласової класифікації з використанням різних стандартних (CIFAR10) і спеціалізованих медичних (PathMNIST, RetinaMNIST) наборів даних, яке показало, що точність мультимодальних моделей значно змінюється залежно від складності набору даних, розміру вибірки та мінливості даних. Запропоновано комплексний метод мультимодального аналізу медичних даних на основі глибокого навчання, який полягає у використанні “витоку даних” на крайніх і подібних класах, що дозволяє підвищити точність визначення окремих класів для вирішення завдань багатокласової класифікації. Проведено аналіз результатів використання запропонованого комплексного методу мультимодального аналізу медичних даних, який показав, що запропонований метод на відміну від існуючих рішень за рахунок використання додаткових модальностей на основі доповнення метаданих дозволив отримати підвищення точності визначення окремих класів для завдань багатокласової класифікації захворювань на 4-27% у порівняння зі стандартним одномодальним підходом для розглянутих ідентичних наборів даних і архітектур нейронних мереж.Документ Відкритий доступ Методи та засоби математичного моделювання руху рідин з використанням машинного навчання(КПІ ім. Ігоря Сікорського, 2023) Кузьмич, Валентин Анатолійович; Новотарський, Михайло АнатолійовичКузьмич В.А. Методи та засоби математичного моделювання руху рідин з використанням машинного навчання. - Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 123 – Комп’ютерна інженерія з галузі знань 12 – Інформаційні технології. – Національний Технічний Університет України «Київський Політехнічний Інститут імені Ігоря Сікорського», Київ, 2023. Дисертаційна робота присвячена розробці дворівневого методу моделювання руху рідин на основі решітчастої моделі Больцмана та згорткової нейронної мережі, що дозволяє точно і ефективно моделювати рух нестисливих рідин. Решітчаста модель Больцмана - це математичний інструмент, який знаходить широке застосування в чисельному моделюванні руху газів та рідин. Вона ґрунтується на статистичних принципах та дозволяє моделювати рух частинок в рідині на основі їхньої взаємодії через взаємодію з іншими частинками та перешкодами. Решітчаста модель Больцмана дозволяє враховувати мікроскопічні взаємодії частинок та отримувати макроскопічні властивості рідини, такі як тиск, температура та швидкість. Машинне навчання - це область науки використовує алгоритми та моделі, які дозволяють комп'ютерам навчатися на даних та робити прогнози або приймати рішення без явного програмування. У контексті дослідження руху рідини, машинне навчання може бути використане для аналізу великих обсягів даних та побудови прогностичних моделей. Згорткові нейронні мережі є одним з типів моделей машинного навчання, які знайшли широке застосування в різних практичних сферах діяльності, таких як обробці зображень, включаючи аналіз руху рідини. Вони імітують спосіб, яким працює візуальний кортекс у людей, дозволяючи автоматично визначати особливості та закономірності в даних. Згорткові нейронні мережі здатні виявляти взаємозв'язки між частинами зображень та ефективно використовувати цю інформацію для розв'язання завдань, пов'язаних із рухом рідини. Поєднання обчислювальної гідромеханіки і машинного навчання відіграє ключову роль у вирішенні актуальних проблем і завдань в багатьох галузях науки та техніки. В різних наукових та технологічних сферах людської діяльності існують величезні вимоги до точності та ефективності моделювання руху рідин, особливо в важливих галузях, таких як аеродинаміка, морська гідродинаміка, автомобільна і космічна інженерія, біомедицина і багато інших. Розуміння та передбачення поведінки рідини є важливим елементом для оптимізації дизайну, підвищення продуктивності і зменшення витрат в цих галузях. Використання решітчастої моделі Больцмана у поєднанні з машинним навчанням відкриває нові можливості для точного та швидкого моделювання руху рідин. Такий підхід дозволяє знижувати обчислювальну складність та споживання ресурсів, що є критичним для великих і складних задач гідродинаміки. Особливо важливим є використання машинного навчання для автоматичного аналізу великих обсягів даних, отриманих під час моделювання, і для здатності виділяти з них ключові закономірності, які можуть бути важливими для подальшого удосконалення моделі. Запропоновано дворівневий метод моделювання руху рідини за допомогою решітчастої моделі Больцмана і згорткової нейронної мережі, що використовується для уточнення значень поля швидкостей на основі вирішення крайової задачі на основі рівняння Пуассона, який відрізняється від відомих методів тим, що зменшує час моделювання. Набув подальшого розвитку метод решітчастої моделі Больцмана за рахунок методу розпаралелювання на основі підходу domain decomposition та використання модифікованої рівноважної функції розподілу на основі мінімізації дискретної ентропії, яка відрізняється від відомих методів кращою безумовною лінійною стабільністю моделювання. Набув подальшого розвитку метод моделювання розв’язку крайової задачі на основі рівняння Пуассона для тиску, значення якого використовуються для корекції поля швидкості при моделюванні нестисливих рідин, на основі модифікованої нейронної мережі, що враховує геометрію обчислювального простору, який відрізняється від відомих методів можливістю обробки складних обчислювальних областей та обчислювальною швидкістю. Запропоновано адаптацію дворівневого методу моделювання руху рідини для використання на спеціальному обчислювальному пристрої, яка відрізняється тим, що забезпечує зменшення кількості обчислень для розробленої нейронної мережі при моделюванні розв’язку крайової задачі на основі рівняння Пуассона для тиску. У першому розділі здійснено огляд наукової літератури по тематиці досліджень. Розглянуті та описати основні типи методів моделювання руху рідин. Було виділено три основні типи підходів до моделювання руху рідин: методи моделювання на основі рівняння Нав'є-Стокса, методи LBM та методи машинного навчання. Був описаний їх загальний історичний розвиток, наведено загальні переваги та недоліки цих типів методів. Також окремо було розглянута література про методи розв'язання рівняння Пуассона, яке є важливою складовою в кожному з трьох згаданих вище підходах. Завдяки аналізу результатів першого розділу була сформована задача дисертаційного дослідження: розробка дворівневого методу моделювання руху потоку рідини, за допомогою методу LBM та машинного навчання. В другому розділі описується метод решітчастої моделі Больцмана: його місце в контексті рівнів абстракції опису рідини, теоретичне обгрунтування можливості застосування методу LBM для моделювання руху рідин та зв’язок між рівнянням Больцмана на рівнянням Нав’є-Стокса. Розглянуті та описані найбільш поширені чисельні схеми. Описані механізми задання початкових та граничних умов, що використовуються в методі LBM. Були розглянуті особливості задання притоку та витоку рідини, умови зворотного відображення, що моделює взаємодію потоку рідини з твердим тілом. Була описана модифікована рівноважна функція розподілу на основі мінімізації дискретної ентропії, що дозволяє досягти безумовну лінійну стабільність моделювання. Обгрунтовано необхідність уточнення поля швидкості за допомогою рівняння Пуассона для тиску під час моделювання руху нестисливих рідин методом LBM. В третьому розділі дисертації було досліджено особливості використання нейронних мереж для моделювання розв’язку крайової задачі на основі рівняння Пуассона. Оскільки нейронні мережі можуть задавати набагато складніші функції джерела, ніж традиційні аналітичні або чисельні методи, а також через чисельну ефективність нейронних мереж, Використання нейронних мереж для моделювання розв’язку рівняння Пуассона є обіцяючим підходом. Також були розглянуті ітераційні чисельні методи вирішення систем алгебраїчних рівнянь, які традиційно використовуються для моделювання розв’язку рівняння Пуассона. Доцільне їх використання для генерації навчального та тестового датасетів для нейронної мережі. Були розглянуті різні шари штучних нейронних мереж та функції активацій, які використовуються для досягнення бажаних результатів. Приведений загальний огляд процесу вирішення диференціальних рівнянь за допомогою штучних нейронних мереж. В четвертому розділі був розроблений дворівневий метод моделювання руху рідини за допомогою решітчастої моделі Больцмана та згорткової нейронної мережі. Була описана структура нейронної мережі для моделювання розв’язку крайової задачі на основі рівняння Пуассона, особливості генерації тренувального датасету для нейронної мережі, розглянуті особливості приведення результатів роботи нейронної мережі до значень тиску, який використовується для корекції значень поля швидкості в методі LBM. Детально описаний алгоритм дворівневого методу моделювання руху рідини, що складається з методу LBM, який використовує модифіковану рівноважну функцію розподілу, та з розробленої згорткової нейронної мережі для моделювання розв’язку крайової задачі на основі рівняння Пуассона. Розроблений масштабований паралельний алгоритм для дворівневого методу на основі підходу domain decomposition. Розглянуті види апаратних прискорювачів для штучних нейронних мереж. На основі їх переваг і недоліків, нейронна мережа була оптимізована під обраний прискорювач NPU. Для тестування розробленого методу було розроблене тестове програмне забезпечення для моделювання руху рідин в довільних обчислювальних просторах розміру 96 × 96, з можливістю зміни параметрів моделювання. В п’ятому розділі був проведений аналіз результатів моделювання руху рідин з допомогою розробленого дворівневого методу, який був реалізований в тестовому програмному забезпеченні. Результати експериментів підтвердили здатність розробленого дворівневого методу забезпечувати нестисливість рідини, в порівнянні зі звичайним методом LBM. Була досліджена точність нейронної мережі в порівнянні з чисельним методом. Була показана взаємна відповідність між ними. Були досліджені обчислювальна швидкість розробленого методу та вплив використання різних апаратних прискорювачів на швидкість обчислень. Дворівневий метод показав більш ніж у 6 разів кращу ефективність, ніж чисельний метод, при використанні GPU, та у 13 разів кращу ефективність, при використанні NPU. Розроблений метод дозволяє точно і ефективно моделювати рух нестисливих рідин та використовувати різні типи апаратних прискорювачів для збільшення швидкості обчислень згорткової нейронної мережі. Це має практичне значення для різних областей наукової та технічної діяльності, зокрема біомедична інженерія, моделювання руху рідин в гідротехнічних конструкціях.