Дисертації (ІПЗЕ)
Постійне посилання зібрання
У зібранні розміщено дисертації, які захищені працівниками кафедри.
Переглянути
Перегляд Дисертації (ІПЗЕ) за Ключові слова "artificial intelligence"
Зараз показуємо 1 - 2 з 2
Результатів на сторінці
Налаштування сортування
Документ Відкритий доступ Методи та програмні засоби підвищення швидкодії моделей розпізнавання образів на основі машинного навчання(КПІ ім. Ігоря Сікорського, 2024) Мельниченко, Артем Васильович; Шалденко, Олексій Вікторович; Недашківський, Олексій ЛеонідовичМельниченко А.В. Методи та програмні засоби підвищення швидкодії моделей розпізнавання образів на основі машинного навчання. − Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії з галузі знань 12 Інформаційні технології за спеціальністю 121 Інженерія програмного забезпечення. – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2024. Дисертаційна робота присвячена аналізу методів оптимізації нейронних мереж і розробці програмних засобів для збільшення швидкодії нейронних мереж під час навчання і виконання. У сучасному високотехнологічному світі, нейронні мережі вийшли на передній план як ключова технологія. Ця варіація математичних моделей продемонструвала високу ефективність у багатьох задачах, що варіюються від комп'ютерного зору до розуміння природніх мов, тим самим ставши невід'ємною частиною щоденного життя. Втім, розгортання нейронних мереж у реальних сценаріях часто ускладняється їхньою обчислювальною складністю та ресурсоємністю. Великий об’єм енергоспоживання, що потребується для навчання і використання великих моделей нейронних також має негативний вплив на навколишнє середовище. Обчислювальна складність часто проявляється у вигляді великої кількості параметрів та глибоких архітектур, які вимагають значного об’єму обчислювальної потужності як для навчання, так і для подальшого використання на кінцевих пристроях. Ця складність є особливо проблематичною в застосуваннях нейронних мереж на пристроях Інтернету речей (IoT), де обчислювальні ресурси часто обмежені. Ресурсоємні характеристики включають в себе обчислювальну потужність і використання пам'яті. Це питання є особливо актуальним у мобільних та вбудованих пристроях, де пам'ять є обмеженим ресурсом. Більше того, затримка, спричинена нестачею ресурсів, часто є неприйнятною в ряді задач, що включає в себе системи автономного керування, де навіть невелика затримка в прийнятті рішень може мати серйозні наслідки. Оптимізація нейронних мереж є актуальною задачею в технологічній галузі, що підкреслюється емпіричними даними. Об’єм обчислювальних ресурсів, необхідний для навчання найсучасніших нейронних мереж, подвоювався приблизно кожні 3 місяці з 2012 року. Це експоненційне зростання обчислювальних вимог не є сталим на довгострокову перспективу, особливо з урахуванням енергоспоживання та екологічного впливу, пов'язаного з датацентрами. Метою дисертації є збільшення ефективності моделeй нейронних мереж, а саме зменшення втрати точності при збільшенні швидкодії, після застосування методів оптимізації моделей глибинного навчання, створених для вирішення задач комп’ютерного зору. В області оптимізації нейронних мереж існуючі дослідження виділяють декілька найбільш поширених методів серед яких методи низькорангової факторизації вагів, квантування і прунінг. Методи низькорангової факторизації використовують концепцію того, що вагові матриці в нейронних мережах часто містять значну кількість надмірності. Апроксимуючи ці вагові матриці факторизаціями нижчого рангу можна досягти зменшення кількості параметрів мережі. Квантування дозволяє зменшити обчислювальну складність нейромереж шляхом представлення числових значень із типами даних нижчої точності, такими як цілі числа, замість традиційних 32-розрядних чисел з плаваючою комою. Попри ти що квантування і низькорангова факторизація є досить ефективними методами, квантування потребує вже натренованої мережі, а низькорангова факторизація вагових матриць часто призводить до вагомих втрат точності мережі. Прунінг нейронних мереж, ключовий метод оптимізації нейронних мереж, ґрунтується на концепції спрощення складних математичних моделей зі збереженням або покращенням їхньої продуктивності. Цей підхід стає все більш актуальним, оскільки нейронні мережі дедалі частіше стають частиною додатків, що вимагає ефективного використання обчислювальних ресурсів. Галузь методів прунінгу перед навчанням дозволяє оптимізувати мережу перед стадією навчання, тим самим потенційно скорочуючи витрати на навчання. Прунінг передбачає систематичне видалення менш значущих параметрів нейронної мережі, таких як ваги або зв'язки, таким чином зменшуючи розмір моделі та обчислювальну складність. Цей процес має вирішальне значення для розгортання нейронних мереж в середовищах з обмеженими обчислювальними ресурсами або там, де важлива швидка обробка даних. Розробка та вдосконалення методів прунінгу є основним напрямком досліджень в галузі оптимізації нейронних мереж. Прунінгу присвячені роботи зарубіжних вчених: Molchanov P., Tyree S., Hu H., Peng R., Li H., Kadav A., He Y., Zhang X., Narang S., Elsen E. Прунінгу і оптимізації перед навчанням присвячені роботи Lee N., Ajanthan T., Frankle J., Carbin M. Розробці методів архітектурної оптимізації присвячені роботи Сінькевич O.O., Терейковський І.А., Кудін О.В., Кривохата А.Г., Howard A. G., Zhu M., Hinton G., Dean J. та інші. Дослідженням методів зниження витрат обчислювальних ресурсів займались Рувінська В.М., Тімков Ю.Ю., Струнін І.В., Прогонов Д.О. Liang T., Li B., Kong Z. Tan M., Wang Z., Frankle J., Carbin M. Han S., Pool J., Li H. та інші. Методи прунінгу перед навчанням, такі як SNIP (Single-Shot Network Pruning), надають можливість оптимізації нейронних мереж на ранніх етапах розробки. SNIP обчислює оцінку значущості для кожної ваги на основі її внеску у функцію втрат і відсікає найменш значущі ваги перед початком навчання. Однак цей метод може потребувати коригувань для конкретного набору даних. Незважаючи на високі показники ефективності методів прунінгу, значна кількість досліджень була проведена на типових моделях, тому існує потреба в дослідженнях методів і їх ефективності для нових моделей в області комп`ютерного зору. Дисертаційна робота виконана відповідно з поточними та перспективними планами наукової та науково-технічної діяльності Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського» і є частиною досліджень в рамках науково-дослідницької роботи «Методи і алгоритми оптимізації розпізнавання образів на основі методів машинного навчання» (Державний реєстраційний номер №0121U109207, м. Київ). Особисто автором в НДР №0121U109207 запропоновано вдосконалений метод розрахунку критерію важливості ваг нейронної мережі при видаленні вагів перед навчанням для моделі розпізнавання обличчя, та моделі архітектури трансформер. Проведено експерименти для оцінки ефективності розробленого методу. Наукова новизна одержаних результатів полягає в наступному. Удосконалено модель нейронної мережі для виявлення облич RetinaFace, яка на відміну від існуючих використовує метод прунінгу SNIP для оптимізації, що дозволяє використовувати розріджені матриці для зберігання і виконання мережі з метою подальшого удосконалення та збільшення швидкодії. Удосконалено метод прунінгу SNIP для моделі виявлення облич RetinaFace, який на відміну від існуючих передбачає можливість виключення контекстних модулів з процесу прунінгу. Вдосконалений метод дозволяє досягти більшої точності при незмінній кількості виключених параметрів. Вперше розроблено метод прунінгу перед навчанням для моделей архітектури трансформер, який на відміну від існуючих враховує важливість механізму «уваги». Використання розробленого методу дозволяє значно збільшити точність класифікації кінцевої моделі в порівнянні з методом SNIP. Вперше розроблено архітектуру програмного забезпечення для моделювання та дослідження методів прунінгу перед навчанням нейронних мереж, яка на відміну від існуючих дозволяє приводити матриці вагових коефіцієнтів мережі до розрідженого формату, використовуючи запропонований механізм оцінки важливості вагів. Оптимізована мережа RetinaFace містить на 68% параметрів менше ніж початкова мережа при втраті точності на лише 1.4%. Вдосконалений метод дозволив зменшити втрати точності з 1.4% до 0.7% порівняно з методом SNIP при порівнянні з необрізаною моделлю, при скороченні параметрів на 68%. Реалізація методу прунінгу для архітектури трансформер дозволила натренувати мережу з покращенням точності до 37% порівняно з методом SNIP при порівнянні з необрізаною моделлю, при скороченні кількості параметрів на 90%. Встановлено, що результати визначення критеріїв важливості вагів, отриманих розробленим алгоритмом, можуть бути використані для підвищення швидкодії нейронних мереж від 20% до 65% шляхом використання розріджених матриць формату 2:4, в залежності від графічного процесора. Встановлено, що додаткові виходи для сіамських нейронних мереж, призначених для встановлення схожості двох зображень, не дають приросту в швидкості сходження і точності моделі. Дослідження показало, що наразі оцінка методів прунінгу проводилась на типових архітектурах моделей нейронних мереж. При дослідженні мережі для виявлення облич і застосуванні методу прунінгу перед навчанням, було виявлено що мережа може зберігати високий рівень точності, при цьому значно знижуючи кількість параметрів що беруть участь у навчанні. Це пришвидшує навчання і полегшує подальше використання моделей, оскільки сучасні CPU і GPU оптимізують обчислення, в яких беруть участь розріджені матриці. Методика дослідження та отриманні результати можуть також бути використані для створення та оцінки архітектур нейронних мереж для інших доменів, тим самим розширюючи сферу потенційних застосувань. Дослідження може стати основою для оцінки ефективності інших методів оптимізації для моделей комп’ютерного зору та внести вклад у зростаючий обсяг наукової літератури з оптимізації нейронних мереж. Наукові результати досліджень є внеском у розвиток теоретичних і прикладних основ розробки й дослідження науково-методичного і програмного апарату для оптимізації глибоких нейронних мереж з розпізнавання образів. Наступними перспективними дослідженнями можуть стати дослідження для вдосконалення критеріїв визначення важливості вагів, ітеративне додавання параметрів під час навчання, дослідження інших форматів стиснених матриць та розширення експериментів на інші задачі та архітектури нейронних мереж.Документ Відкритий доступ Моделі та програмні засоби управління вентиляційними установками НБК ЧАЕС з використанням машинного навчання(КПІ ім. Ігоря Сікорського, 2024) Старовіт, Іван Сергійович; Гаврилко, Євген Володимирович; Круковський, Павло ГригоровичСтаровіт І.С. Моделі та програмні засоби управління вентиляційними установками НБК ЧАЕС з використанням машинного навчання − Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії з галузі знань 12 Інформаційні технології за спеціальністю 121 Інженерія програмного забезпечення. – Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2024. Дисертаційна робота присвячена розробці науково-методичних підходів щодо оптимізації управління вентиляційними установками Нового Безпечного Конфайнменту (НБК) Чорнобильської атомної електростанції (ЧАЕС). Аварія на ЧАЕС, що сталась в 1986 році, та результатом якої був викид великої кількості радіоактивних речовин мала катастрофічні наслідки для навколишнього середовища. Сумарна маса ядерного палива, що була безпосередньо завантажена в реактор та зберігалась в межах обʼєкту, складала близько 200 тон. Значна частина паливного пилу була розсіяна за межами пошкодженого четвертого енергоблока у вигляді радіоактивних аерозолів (РА), спричиняючи радіоактивне забруднення територій, решта осіла в межах енергоблока та на поверхні споруд. У 1987-1988 роках, завдяки масштабним зусиллям, над аварійним 4-м реактором було зведено захисну конструкцію, відому як «Об’єкт Укриття» (ОУ). При побудові ОУ частково використовувались опори старих конструкцій (пошкоджені під час аварії), що збільшувало шанс виникнення руйнувань; загальна площа негерметичностей з часом доходила до 1000 м2, що призводило до викидів РА з об’єкту, а також збільшенню кількості води всередині забруднених приміщень за рахунок проникнення атмосферних опадів. Для вирішення описаних проблем, прийнято рішення про розробку Нового Безпечного Конфайнмент ОУ, який здано в експлуатацію в 2019 році. Основне призначення НБК – перешкоджання виходу радіоактивних речовин за його межі під час звичайної експлуатації та аварійних ситуацій, найбільш небезпечними з яких є вже згадані радіоактивні аерозолі. Саме за цю функцію відповідає система вентиляції НБК, що є однією з систем життєзабезпечення обʼєкту. Виконання даної функції – складний інженерний, та технологічний виклик, одним з напрямів рішення якого є створення спеціалізованих моделей та програм для вибору оптимального режиму управління вентиляційними установками (ВУ) НБК ЧАЕС, з врахуванням поточного стану обʼєкту, запланованих режимів роботи персоналу та параметрів оточуючого середовища. Врахування різноманітних умов експлуатації обʼєкту, а також забезпечення персоналу всією необхідною інформацією вимагає розроблення відповідної системи підтримки прийняття рішень (СППР) для оптимального управління ВУ. Питаннями моделювання гідравлічного стану НБК, а також розвитком методології перетворення його на екологічно безпечну конструкцію займались такі вчені як П.Г. Круковський, Д.І. Скляренко, Є.В. Дядюшко, Д.А. Смольченко, В.Г. Батій, А.О. Сізов, Л. І. Павловський, Д.В. Городецький, О.В. Балан, С.А. Паскевич та інші. Розроблені ними моделі та підходи носять більш теоретичний характер, є складними для інтеграції в процес експлуатації НБК та вимагають подальшого розроблення методів їх застосування. Наукові дослідження аспектів розроблення СППР привернули увагу провідних вчених, серед яких слід відзначити П. Бідюка, С. Субботіна, Г. Гнатієнко, Б. Герасимова, Ю. Зайченка, І. Богаєнка, M. Morton, P. Keen, P. Gray, H. Watson та інших. Незважаючи на те, що їхні дослідження охоплюють широкий спектр застосувань СППР в різних галузях, унікальність НБК та задачі які виникають під час експлуатації системи вентиляції вимагають розроблення та застосування новітніх підходів. Окреслене сформувало комплексне протиріччя: з одного боку, в ході експлуатації НБК виникає необхідність оцінки та прогнозування гідравлічного стану, мінімізації викидів радіоактивних речовин та використання електроенергії ВУ; з іншого боку, НБК є складною динамічною системою, де знаходження оптимальних режимів проведення робіт та ефективна робота підсистем залежать від різноманітних факторів, таких як зміни умов експлуатації та навколишньому середовищі, внутрішні процеси об’єкту (вимагає ретельного балансування між потребами в енергоефективності та безпекою, а також надійністю та адаптивністю систем управління). Відповідне протиріччя (поєднання теоретичних напрацювань з практичними потребами) може бути вирішене за допомогою розроблення і впровадження передових інформаційних та аналітичних технологій, включно з використанням прогнозуючих моделей, які здатні надати рекомендації щодо керування у відповідь на змінні умови, забезпечуючи тим самим підвищення ефективності та безпеки експлуатації НБК. Об’єктом дослідження є процес управління ВУ НБК. Предметом дослідження є моделі та програмне забезпечення для оптимального управління вентиляційними установками НБК. Метою роботи є мінімізація викидів РА та оптимізація витрат електроенергії шляхом підвищення ефективності управління ВУ НБК з використанням прогнозуючих моделей. Наукова новизна результатів дослідження полягає в наступному. Вперше, для Нового Безпечного Конфайнменту, розроблено архітектуру системи підтримки прийняття рішень щодо оптимального управління вентиляційними установками, що дозволяє в режимі реального часу отримувати інформацію щодо оптимальних витрат ВУ та проводити прогнозні розрахунки гідравлічного стану НБК. Вперше запропоновано алгоритм з використанням багатопоточності (паралелізм на рівні даних) для удосконалення алгоритмічно-програмних методів визначення тисків всередині НБК та площ неконтрольованих протічок на основі фізичної моделі, що дозволило пришвидшити розрахунки в 5 разів (паралельність 80%). Вперше розроблено спосіб використання моделей машинного навчання для оцінки гідравлічного стану НБК, який відрізняється від відомих тим, що використовує нейронні мережі для прогнозування перепадів тисків, що дозволило підвищити точність прогнозування тисків всередині НБК, а саме зменшити середню абсолютну похибку прогнозування на 30.5% (0.432 Па) для внутрішнього датчика та 34% (5.61 Па) для зовнішніх датчиків. Вперше розроблено алгоритмічно-програмний метод знаходження оптимальних витрат ВУ при змінних граничних умовах з використанням моделей на основі машинного навчання, який дозволив знизити витрати електроенергії в 2 рази (на 52%), а витоки радіоактивних аерозолей за межі НБК на 98% (з 4753 м3 до 122 м3). Вперше розроблено алгоритмічно-програмний метод оцінки очікуваних викидів радіоактивних аерозолей за межі НБК на підставі статистичних метеорологічних даних, що дозволило отримати розподіл викидів при різних режимах роботи вентиляційних установок. Використання розроблених моделей та програмних засобів дозволило підвищити ефективність, а також мінімізувати необхідний час для прийняття рішень щодо управління ВУ. Розроблений метод оптимізації витрат ВУ, протестований на експлуатаційній виборці показав можливість уникнення більшості викидів РА (близько 98%), з одночасним зменшенням витрат електроенергії в 2 рази (на 52%). Результати дослідження прийнято до впровадження в Державному спеціалізованому підприємстві «Чорнобильська АЕС» (№ 0700-148 від 29.06.2023); в Інституті технічної теплофізики НАН України (акт реалізації від 12.01.2024 р.); в навчальному процесі Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського» (акт реалізації від 15.09.2023 р.) при викладанні дисципліни «Математичне моделювання та оптимізація процесів і систем». Наукові результати дослідження є внеском у розвиток теоретичних і прикладних основ управління вентиляційними установок динамічних систем підвищеної небезпеки, зокрема пов'язаних зі зберіганням ядерних відходів. В якості можливих напрямків продовження дослідження можна відмітити розроблення алгоритмів для врахування змінної концентрації РА в основному об’ємі, розроблення методів що враховують інерційність обʼєкту (вимагає проведення експериментальних тестів), розвиток методів прогнозування метереологічних даних для підвищення точності розрахунку викидів РА, а також інтеграцію з іншим програмним забезпеченням, наприклад, таким, що розраховує розповсюдження РА всередині НБК.