Мультимодальний аналіз властивостей зернових культур на основі RGB та гіперспектральних зображень
Вантажиться...
Дата
2026
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Пояснювальна записка складається з 47 сторінок основного тексту, містить 12 рисунків, 3 таблиці та додаток. Перелік посилань охоплює 28 найменувань.
Об’єктом дослідження є процес оцінювання вмісту азоту в рослинності за даними дистанційного зондування та оптичного моніторингу. Предметом дослідження є мультимодальні нейромережеві архітектури, методи крос-модальної дистиляції знань та контрастивного навчання для прогнозування вмісту азоту за RGB та спектральними даними. Метою роботи є розроблення, програмна реалізація та експериментальне дослідження мультимодального підходу до автоматизованого прогнозування вмісту азоту в рослинності на основі інтеграції RGB-зображень і спектральних ознак із використанням механізмів крос-модальної дистиляції та CLIPподібного контрастивного навчання. У роботі проаналізовано сучасні методи дистанційного оцінювання агрохімічних показників рослинності та обґрунтовано доцільність використання мультимодального глибинного навчання для подолання обмежень традиційних підходів. Досліджено архітектури ResNet-18 та Vision Transformer (ViT-B/16), методи крос-модальної дистиляції знань і контрастивного вирівнювання латентних просторів ознак. Розроблено програмний комплекс, що реалізує три підходи: модель пізнього злиття (Late Fusion), модель крос-модальної дистиляції знань та CLIPподібну систему контрастивного навчання на основі ViT. Для контрастивного вирівнювання запропоновано функцію втрат CLIPAgLoss. Проведено експериментальне дослідження ефективності запропонованих підходів. Отримані результати підтвердили можливість прогнозування вмісту азоту лише за RGB-зображеннями після попереднього навчання на мультимодальних даних, що дозволяє відмовитися від використання дорогого спектрометричного обладнання на етапі інференсу. Практична цінність роботи полягає у створенні програмного комплексу для підтримки задач точного землеробства, який може бути інтегрований у системи моніторингу стану посівів на основі доступних оптичних сенсорів.
Опис
Ключові слова
мультимодальне глибинне навчання, регресія азоту, крос-модальна дистиляція, контрастивне навчання, vision transformer, clip, late fusion, precision agriculture
Бібліографічний опис
Карпільова, А. К. Мультимодальний аналіз властивостей зернових культур на основі RGB та гіперспектральних зображень : дипломна робота … бакалавра : 122 Комп'ютерні науки / Карпільова Анастасія Костянтинівна. – Київ, 2026. – 55 с.