Моделі та методи глибинного навчання для задач геопросторового аналізу
| dc.contributor.advisor | Новіков, Олексій Миколайович | |
| dc.contributor.author | Лавренюк, Микола Сергійович | |
| dc.date.accessioned | 2020-03-06T09:59:09Z | |
| dc.date.available | 2020-03-06T09:59:09Z | |
| dc.date.issued | 2020 | |
| dc.description.abstractuk | Розвиток науки та її застосування в багатьох практичних галузях базуються на використанні штучного інтелекту. Основними його напрямками є інженерія даних, комп’ютерний аналіз, нечітка логіка, машинне сприйняття, видобуток знань та інші. Методологічну основу методів штучного інтелекту складають математичні методи та інтелектуальні моделі, які знаходяться в постійному розвитку. Особливо активно розвиваються математичні моделі та методи, які базуються на великій кількості даних та інкорпорують їх за допомогою методів глибинного навчання. Серед найважливіших практичних застосувань, в яких активно використовуються методи штучного інтелекту, основані на глибинному навчанні з використанням великих об’ємів даних, є дослідження сейсмічної активності Землі, екологічний моніторинг навколишнього середовища, виявлення аномальних даних в кібернетичній безпеці, аналіз геопросторових даних та інші. Одним з важливих аспектів, що зумовили можливість такого розвитку математичних методів глибинного навчання є поява великих об’ємів доступних даних та обчислюваних потужностей. В зв’язку з цим останні роки швидкими темпами розвивається сфера аналізу багатовимірних зашумлених даних великого об’єму. Разом з тим для задачі аналізу багатовимірних зашумлених даних великого об’єму використання методів глибинного навчання в тому вигляді, в якому вони були розроблені для інших загальновідомих задач, неможливе. Наявні публікації та експерименти з використання глибинного навчання в цій сфері проводились лише для невеликого об’єму даних з рівномірним розподілом у вхідному просторі, що є лише частковим випадком, який неможливо поширити на дані великого об’єму з не рівномірним розподілом у вхідному просторі. Не зважаючи на велику схожість математичної постановки задачі аналізу багатовимірних зашумлених даних та постановок задач для традиційного комп’ютерного аналізу та машинного сприйняття, існують і принципові відмінності між ними. Найбільш значні та успішні результати в області штучного інтелекту з глибинним навчанням були отримані в роботах закордонних авторів Куніхіко Фукусіми, Яна Лекуна, Йошуа Бенджио та Джеффри Хинтона, а також в роботах українських авторів О.Г. Івахненка, М.З. Згуровського, І.В. Сергієнка, Н.Д. Панкратової, О.А. Павлова, Н.М. Куссуль та інших. Разом з тим прогрес потужності обчислювальної техніки та поява у вільному доступі великої кількості багатовимірних даних робить актуальним задачу розробки математичних методів та моделей штучного інтелекту з глибинним навчанням для аналізу багатовимірних зашумлених даних великого об’єму в задачах геопрострового аналізу та екологічного моніторингу. Метою дисертаційного дослідження є розробка та вдосконалення математичних методів глибинного навчання, які базуються на згорткових глибинних нейронних мережах та відрізняються ініціалізацією початкових ваг мереж при використанні немаркованих даних на основі розрідженого кодування, що веде до підвищення точності задач геопросторового аналізу. В дисертації вперше отримані такі нові наукові результати: 1. Вперше розроблено математичний метод уніфікації подання багатовимірних зашумлених геопросторових даних, оснований на розрідженому кодуванні вхідних немаркованих даних, який надає можливість побудови єдиної моделі класифікації для великих об’ємів вхідних даних, що дозволяє отримати вищу точність класифікації. 2. Удосконалено метод глибинного навчання на основі згорткових нейронних мереж, що на відміну від існуючих, ініціалізують початкові ваги не випадковими значеннями, а навчаються виокремлювати ознаки з великих обсягів немаркованих часових рядів багатовимірних даних та забезпечують суттєве підвищення загальної точності задач класифікації. 3. Вперше розроблено метод фільтрації отриманих карт класифікацій геопросторових даних для збільшення їх точності, на основі об’єктного підходу, на відміну від загальноприйнятих методів, що базуються на принципі ковзного вікна, який дозволяє зберегти форму об’єктів на карті. 4. Отримали подальший розвиток запропоновані методи класифікації багатовимірних зашумлених геопросторових даних шляхом реалізації у вигляді потоку виконання з використанням хмарної платформи Amazon, що дозволило зменшити час обробки інформації за рахунок ефективного доступу до даних та розпаралелювання. Практична цінність дисертаційної роботи полягає в тому, що: розроблені та вдосконалені математичні методи штучного інтелекту з глибинним навчанням для аналізу багатовимірних зашумлених геопросторових даних реалізовано у формі потоку виконання на хмарній платформі Amazon. Запропоновані методи використано при виконанні науково-дослідної роботи 2933-ф «Моделі та методи кібернетичного захисту інформаційних систем на основі інтелектуального аналізу даних і машинного навчання» (№ держреєстрації 0116U604874) Фізико-технічного інституту НТУУ «КПІ імені Ігоря Сікорського» та в рамках спільного проекту МОН-НАНУ «Моделі та методи глибинного навчання для задач геопросторового аналізу в інтересах сільського господарства» (№ держреєстрації 0117U007234) для побудови карт земного покриву на основі оптичних та радарних геопросторових даних. Розроблені математичні методи використані при виконанні міжнародного проекту Європейського космічного агентства «Демонстрація можливостей Sentinel-2 для потреб сільського господарства» (№ держреєстрації 0116U001987) та проекту «Побудова карт класифікації сільськогосподарських культур для території України на основі злиття радарних та оптичних даних» при виконанні гранту Google Earth Engine Research Awards корпорації Google. Результати роботи впроваджені в ТОВ ЕОС ДАТА АНАЛІТІКС Україна при виконанні програми Світового банку за фінансової підтримки ЄС TF072938 «Підтримка прозорого управління земельними ресурсами в Україні». У дисертаційній роботі проаналізовано математичні методи штучного інтелекту для класифікації багатовимірних геопросторових зашумлених даних великого об’єму. Приведено загальну схему для традиційного процесу класифікації візуальної інформації. Показано, що традиційні методи класифікації, які базуються на математичних методах машинного навчання неглибокої архітектури, потребують експертних знань для виділення ознак і таким чином результат класифікації та її точність значною мірою залежать від якості виокремлених експертом ознак. Натомість, методи глибинного навчання здійснюють автоматичне виокремлення ознак з вхідних даних та перевершують в термінах загальної точності традиційні методи машинного навчання з неглибокою архітектурою в задачах аналізу геопросторових даних – ідентифікації доріг, будинків та класифікації типів земного покриву. Детально розглянуті існуючі математичні методи постобробки для карт класифікації. Описано математичні методи, які використовуються для оцінки точності методів машинного навчання. Показано, що в попередніх дослідженнях всі застосування методів машинного навчання для задачі класифікації багатовимірних даних великого об’єму здійснювались лише за умови, що розподіл даних у вхідному просторі – рівномірний. Проте для великих обсягів даних забезпечення даної умови може бути здійснене лише виключенням з аналізу великої кількості доступних даних, які не задовольняють дану умову, що призводить до зниження точності вихідної карти класифікації та суперечить принципу глибинного навчання – використовувати всі доступні дані. Для розв’язання вищенаведених проблем у дисертаційній роботі запропоновано ієрархічну декомпозицію задачі класифікації геопросторових багатовимірних зашумлених даних великого об’єму на окремі більш прості задачі: задачу уніфікації подання вхідних багатовимірних даних, задачу адаптації методів глибинного навчання (нейронних мереж) для роботи з часовими рядами багатовимірних зашумлених даних великого об’єму та задачу фільтрації отриманих карт класифікацій для зменшення шуму на них та збільшення їх точності. Описано математичну постановку кожної з задач, що розглянуті в дисертаційній роботі, та проаналізовано її відмінності від існуючих математичних моделей. В дисертаційній роботі отримано ряд нових наукових результатів, серед яких вперше запропоновано математичний метод для інтелектуальної обробки геопросторової інформації, а саме класифікації багатовимірних зашумлених даних великого об’єму. Запропонований метод, на відміну від розв’язання задачі класифікації за допомогою використання методів машинного навчання з вчителем, складається з двох частин. Перша частина базується на автоматичному виділенні ознак з величезної кількості немаркованих даних на основі навчання без вчителя за допомогою розрідженого кодування. Друга частина складається з донавчання повної нейронної мережі з використанням маркованих даних за допомогою методів навчання з вчителем. На основі запропонованого підходу розроблено метод уніфікації подання геопросторових багатовимірних зашумлених даних великого об’єму у вхідному просторі. Це дозволило використовувати інформацію з усіх наявних даних, не зменшуючи її інформативності, без виділення ознак експертом з даних великого об’єму, що мають нерівномірний розподіл у вхідному просторі. За результатами проведеного дослідження ефективності уніфікації подання вхідних даних та ієрархічного підходу до класифікації багатовимірних даних великого об’єму встановлено, що запропонований підхід вперше дозволив отримувати класифікацію багатовимірних зашумлених геопросторових даних великого об’єму за досліджуваний рік, маючи навчальні дані лише за попередній рік, загальна точність якої вище 85%. Вдосконалено ансамблевий метод глибинного навчання на основі нейронних мереж прямого поширення та ансамблевий метод класифікації на основі одновимірних і двовимірних згорткових нейронних мереж шляхом ініціалізації початкових ваг за допомогою виокремлення ознак з великих обсягів доступних немаркованих часових рядів багатовимірних зашумлених даних. Запропоновано системний підхід до структурної та параметричної ідентифікації класифікаторів неглибокої архітектури для класифікації багатовимірних зашумлених даних великого об’єму. Продемонстровано перевагу ансамблю нейронних мереж прямого поширення над методами random forest та SVM в задачі класифікації багатовимірних зашумлених даних для території Англії, та перевагу над всіма доступними в Google Earth Engine методами класифікації для території Київської області. Також порівняльний аналіз ефективності використання запропонованого методу та інших методів, що були надані науковими установами з різних країн, засвідчив перевагу даного методу для чотирьох з п’яти досліджуваних територій: Бразилії, Аргентини, Росії та України. Продемонстровано, що запропонований підхід на основі ансамблю згорткових нейронних мереж в термінах загальної точності перевершив random forest та ансамбль багатошарових персептронів на 5.9% та на 1.9%, відповідно. Вперше розроблено математичний об’єктний метод фільтрації для карти класифікації багатовимірних зашумлених геопросторових даних для зменшення наявного на ній шуму та збільшення загальної її точності. Даний метод відрізняється від відомих до цього підходів, що базувались на пошуку згорткового перетворення, за рахунок використання більш складного математичного перетворення, що враховує семантику карти класифікації на основі об’єктного підходу, комбінації логічних і морфологічних операцій, а не лише локальні ознаки. Застосовано розроблений метод до фільтрації карти класифікації багатовимірних зашумлених даних для території Київської області за 2017 рік. За отриманими результатами встановлено, що запропонований метод дозволяє отримати загальну точність на 0.6% вище порівняно з загальноприйнятими методами фільтрації шуму та дозволяє зберегти форми об’єктів і меж між ними. Розроблено математичний метод постобробки для карти класифікації багатовимірних зашумлених при наявності векторних полігонів. У роботі отримали подальший розвиток запропоновані методи класифікації багатовимірних зашумлених геопросторових даних шляхом реалізації у вигляді потоку виконання з використанням хмарної платформи Amazon. Розроблено та реалізовано процедуру доступу до досліджуваної території на кожному з файлів для ефективної роботи з часовими рядами геопрострових даних. На основі розроблених методів та моделей глибинного навчання проведено побудову карт класифікацій типів земного покриву високого розрізнення для території України за 2016 – 2018 роки та для території Англії за 2016 та 2017 роки. В результаті, для областей України досліджено зв’язок між індексом сталого розвитку і площею оброблювальних земель та між ступенем гармонізації і площею оброблювальних земель. Встановлено можливість використання розроблених методів глибинного навчання для оцінки та моделювання ступеня гармонізації для областей України. За матеріалами дисертації опубліковано 63 роботи, з яких 21 – це статті у журналах і збірниках наукових праць, що входять до переліку фахових видань затверджених МОН України за спеціальністю дисертації або у періодичних виданнях іноземних держав (3 з них без співавторів, а 12 включені до міжнародної наукометричної бази SCOPUS), та 42 – публікації у матеріалах конференцій (у тому числі, міжнародних), загальна кількість цитувань в SCOPUS – 628, SCOPUS h-index рівний 11, кількість цитувань в google scholar – 1216, та google scholar h-index рівний 14. | uk |
| dc.format.page | 191 с. | uk |
| dc.identifier.citation | Лавренюк, М. С. Моделі та методи глибинного навчання для задач геопросторового аналізу : дис. … д-ра філософії : 113 – прикладна математика / Лавренюк Микола Сергійович. – Київ, 2019. – 191 с. | uk |
| dc.identifier.uri | https://ela.kpi.ua/handle/123456789/32154 | |
| dc.language.iso | uk | uk |
| dc.publisher.place | Київ | uk |
| dc.subject | математичні методи машинного навчання | uk |
| dc.subject | глибинне навчання | uk |
| dc.subject | класифікація | uk |
| dc.subject | нейронна мережа | uk |
| dc.subject | розріджене кодування | uk |
| dc.subject | виділення ознак з немаркованих даних | uk |
| dc.subject | фільтрація | uk |
| dc.subject | геопросторові дані | uk |
| dc.subject | mathematical machine learning methods | uk |
| dc.subject | deep learning | uk |
| dc.subject | classification | uk |
| dc.subject | neural network | uk |
| dc.subject | sparse coding | uk |
| dc.subject | feature extraction from unlabeled data | uk |
| dc.subject | filtration | uk |
| dc.subject | geospatial data | uk |
| dc.subject.udc | 004.932(043.3) | uk |
| dc.title | Моделі та методи глибинного навчання для задач геопросторового аналізу | uk |
| dc.type | Thesis Doctoral | uk |
Файли
Контейнер файлів
1 - 1 з 1
Вантажиться...
- Назва:
- Lavreniuk_diss.pdf
- Розмір:
- 9.81 MB
- Формат:
- Adobe Portable Document Format
- Опис:
Ліцензійна угода
1 - 1 з 1
Ескіз недоступний
- Назва:
- license.txt
- Розмір:
- 9.06 KB
- Формат:
- Item-specific license agreed upon to submission
- Опис: