Методи розпізнавання за діагностичним сигналом на основі гібридних нейронних мереж
| dc.contributor.advisor | Шаповалова, Світлана Ігорівна | |
| dc.contributor.author | Москаленко, Юрій Володимирович | |
| dc.date.accessioned | 2021-06-16T11:54:04Z | |
| dc.date.available | 2021-06-16T11:54:04Z | |
| dc.date.issued | 2020 | |
| dc.description.abstracten | The preprocessing was carried out at the Department of Automation of energy processes and systems design of the National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”. The dissertation is devoted to the development of ways for improving the accuracy of recognition by a diagnostic signal. Recognition by a diagnostic signal is a basic problem in the implementation of automatic monitoring and diagnostics systems. Common tasks include the classification based on a characteristic signal specified as a time series, and semantic segmentation based on diagnostic images. With the development of convolutional neural networks, new prospects have opened for solving such problems quickly, in particular in real time and with sufficient accuracy. However, in many cases, the solution of the conceptual segmentation problem requires pixel accuracy because based on the scale, the image can correspond to real sizes of different order. For example, in cases of analysis of medical images it is represented in millimeters, and in objectives of seismic method of prospecting — in meters. Basic algorithms of deep learning networks may not be enough for the required accuracy of solving conceptual segmentation problems. Besides, the classification accuracy that can be achieved on these networks is not sufficient enough for convolutional networks. First of all, this occurs when the values of the characteristic vector are lost, anomalies occur, or transients begin in the object under study. At the same time, another type of neural networks, self – organization maps, have properties for learning by an indefinite set of classes and forming new clusters for previously unknown classes. In the same way, such networks provide the ability to solve problems of the specified type. Therefore, the study of both neural network approaches to improve the efficiency of each of them separately and their integration into a hybrid neural network. The theoretical basis of the research includes the works of scientists: - in the domain of deep learning networks: G. Hinton, Y. LeCun, A. Krizhevsky, I. Goodfellow etc.; - in the domain of neural networks based on the principles of self-organization: T. Kohonen, S. Furao, M. Sao etc.; Modern studies are primarily focused on searching ways to improve the accuracy of solving applied problems based on existing mechanisms of neural networks. However, for many problems of classification and semantic segmentation, the required accuracy has not yet been achieved, hence, improving the architecture and determining additional means to increase the accuracy of diagnostics is an urgent experimental problem. The aim of the research is to improve deep learning neural networks and self-organization maps to improve the accuracy of recognition based on a diagnostic signal. To achieve this aim, the following tasks were set: - to analyze the mathematical and algorithmic support of neural networks, their architectures and their inherent learning problems; - to enhance deep learning networks with the purpose of improving the accuracy of solving semantic segmentation problems; - to enhance deep learning networks with the purpose of improving the accuracy of solving semantic segmentation problems; - to improve the accuracy of high-dimensional signals classification in deep learning networks with limited computing resources; - to develop a classification method by a characteristic signal with random losses based on Kohonen’s self-organizing maps; - to develop a concept of associated memory for a deep learning network; - to effectuate software implementation of all the suggested methods for enhancing neural networks; - to experimentally verify the suggested methods in the development of software for solving applied diagnostic problems. The following scientific results were achieved for the first time in the dissertation work: - a method for implementing an additional block for deep learning networks based on the Sobel operator for forced detection of contours in an image; - method of classification by characteristic signal with random losses based on self-organization maps by determining incomplete matching of the input vector of the input layer of neurons to increase the proportion of correct recognition; - a method of association of the self-organizing grid shape reflection with fragments of the input signal for embedding the SOM block in a hybrid convolutional neural network; - architectural solution for integration of the network with the SOM block based on the association of self-organization grid mapping with fragments of the input signal to improve the accuracy of classification and semantic segmentation. A further development was achieved: - architectural solutions for FPN, PSPNet, DeepLab v3, U-Net networks by embedding the proposed Sobel block to improve the accuracy of semantic segmentation; - architectural solution of U-Net networks by integrating them with the PSP block to improve the accuracy of semantic segmentation. In the first section "Problems of solving problems of diagnostics by neural networks", the problem of classification and semantic segmentation with diagnostic images is formalized and the analysis of neural networks, its concepts, architectures, and its inherent learning problems is performed. In the second section, "Semantic segmentation on deep learning networks", the basic blocks of modern neural networks and methods of contour selection in the image are considered. Based on these studies, mathematical and algorithmic support for deep learning networks has been improved: U-Net, DeepLabv3, FPN, PSPNet. In the third section "Classification on self-organization maps based on the signal with losses", a method for increasing the accuracy of recognition of the input signal with losses based on self-organization maps is developed. A method of classification by characteristic signal with random losses based on self- organization maps has been designed. We also chose and developed our own software implementations of self-organization maps based on the classical algorithm and the algorithm supplemented by the proposed method. Based on computational experiments, the effectiveness of the proposed method is proved. In the fourth section "Neural network modeling environment for solving the clustering problem", the neural network modeling environment is developed for comparative analysis of existing SOM software implementations for solving clustering problems and proving the correctness of new developments. Computational experiments have proved the effectiveness of the proposed environment. In the fifth section, "Classification and segmentation on convolutional networks using self-organization maps", the concept of integrating a network with a self-organization map in a single neural network complex is presented to improve accuracy. The block of hybrid convolutional network architecture with an integrated self-organizing map is developed. Based on computational experiments, the effectiveness of the proposed method is proved. Based on materials of dissertation 12 papers were published, 5 of which are articles in scientific journals included in the list of professional editions approved by MES of Ukraine on the specialty of the dissertation, including a 1 included in the international scientometric databases SCOPUS, and 7 publications in materials of conferences (including international). | en |
| dc.description.abstractuk | Підготовка здійснювалась на кафедрі автоматизації проектування енергетичних процесів і систем Національного технічного університету України «Київський політехнічний інститут імені Ігоря Сікорського». Дисертація присвячена розробці засобів підвищення точності розпізнавання за діагностичним сигналом. Розпізнавання за діагностичним сигналом є базовою проблемою при реалізації систем автоматичного контролю та діагностики. Розповсюдженими задачами є безпосередньо класифікація за характеристичним сигналом, заданим як часовий ряд, та семантична сегментація за діагностичними знімками. З розвитком згорткових нейронних мереж відкрилися нові перспективи розв’язання таких задач швидко, зокрема в реальному часі, та з достатньою точністю. Однак в багатьох випадках рішення задачі семантичної сегментації потребує дотримання піксельної точності тому, що – в залежності від масштабу – зображення може відповідати розмірам об’єктів різного порядку. Наприклад, у випадках аналізу медичних зображень — це міліметри, а в задачах сейсмічної розвідки Землі — метри. Для потрібної точності розв’язання задач семантичної сегментації базових алгоритмів мереж глибокого навчання може бути не достатньо. Крім цього, не для всіх випадків діагностування достатньо точності класифікації, яку можна досягти на згорткових мережах. Насамперед це відбувається при втраті значень характеристичного вектору, виникненні аномалій або початку перехідних процесів в досліджуваному об’єкті. Водночас інший різновид нейронних мереж – карти самоорганізації Кохонена – мають властивості до навчання за невизначеною множиною класів та формування нових кластерів для заздалегідь не відомих класів. Тим самим самим, мережі Кохонена надають можливість розв'язувати задачі зазначеного типу. Тому в роботі проведено дослідження обох нейромережевих підходів для підвищення ефективності кожного з них окремо та їх інтеграції в гібридну нейронну мережу. Теоретичною базою досліджень стали роботи науковців: - у галузі мереж глибокого навчання: G. Hinton, Y. LeCun, A. Krizhevsky, I. Goodfellow та інші; - у галузі нейронних мереж, заснованих на принципах самоорганізації: T. Kohonen, S. Furao, M. Cao та інші. Сучасні дослідження спрямовані насамперед на знаходження засобів підвищення точності розв’язання прикладних задач на основі існуючих механізмів нейронних мереж. Однак для багатьох задач класифікації та семантичної сегментації досі не досягнута необхідна точність, тому вдосконалення архітектур та визначення додаткових засобів збільшення точності діагностування є актуальною прикладною задачею. Метою досліджень є розробка методів підвищення точності розпізнавання за діагностичним сигналом на основі нейронних мереж. Для розв’язання поставленої мети поставлено такі завдання: - провести аналіз математичного та алгоритмічного забезпечення нейронних мереж, їх архітектур та властивих ним проблем навчання; - вдосконалити мережі глибокого навчання для підвищення точності розв'язання задачі семантичної сегментації; - підвищити точність класифікації сигналів великої розмірності на мережах глибокого навчання за умови обмежених обчислювальних ресурсів; - розробити метод класифікації за характеристичним сигналом з втратами у випадкові моменти часу на основі карт самоорганізації Кохонена; - розробити концепцію асоційованої пам'яті для мережі глибокого навчання; - здійснити програмну реалізацію всіх запропонованих методів вдосконалення нейронних мереж; - експериментально перевірити запропоновані методи при розробці програмного забезпечення розв'язання прикладних задач діагностування. В дисертаційні роботі вперше отримано такі наукові результати: Вперше запропоновано: - метод збільшення рецептивного поля нейронів згорткових нейромереж на основі агрегації карт признаків різної розмірності для підвищення точності класифікації сигналів великої розмірності; - метод визначення відповідності нейронів решітки навченої карти самоорганізації Кохонена вхідному вектору з втраченими невизначеними компонентами для підвищення точності класифікації;; - модель формування усереднених карт признаків в згорткових нейронних мережах на основі карт самоорганізації Кохонена для підвищення точності розв’язання задач класифікації та семантичної сегментації. Отримав подальший розвиток: - метод семантичної сегментації на мережах глибокого навчання за рахунок примусового виділення контурів зображення в декодері мереж: FPN, PSPNet, DeepLab v3, U-Net та за рахунок агрегації різнорозмірних підвиборок карти признаків для підвищення точності розпізнавання. У першому розділі «Проблеми розв’язання задач діагностування нейронними мережами» формалізовано постановки задач класифікації за діагностичним сигналом та семантичної сегментації за знімками, проведено аналіз нейронних мереж, їх концепцій, архітектур та властивих проблем навчання. В другому розділі «Семантична сегментація на мережах глибокого навчання» розглянуто базові блоки сучасних архітектур нейронних мереж, методи виділення контурів на зображенні. На основі цих досліджень здійснено власну розробку і вдосконалено математичне та алгоритмічне забезпечення сучасних мереж глибокого навчання: U-Net, DeepLabv3, FPN, PSPNet. В третьому розділі «Класифікація на картах самоорганізації за сигналом з втратами» розроблено спосіб збільшення точності розпізнавання вхідного сигналу з втратами на основі карт самоорганізації. Розроблено власні програмні реалізації карт самоорганізації за класичним алгоритмом та алгоритмом, доповненим запропонованим способом. Обґрунтовано вибір існуючих програмних реалізацій мереж Кохонена, реалізованих як на базових, так і на оптимізованих алгоритмах. На основі обчислювальних експериментів з всіма програмними реалізаціями нейронних мереж доведено ефективність запропонованого способу. В четвертому розділі «Середовище моделювання нейронних мереж для розв’язання задачі кластеризації» розроблено середовище моделювання нейронних мереж Кохонена для порівняльного аналізу існуючих програмних реалізацій карт самоорганізацій при розв’язанні задач кластеризації та доведення коректності нових розробок. Запропоноване програмне середовище має практищу значущість для обґрунтування вибору програмного інструментарію ефективного розвязання поточної прикладної задачі, або доведення ефективності нових розробок карт самоорганізацій. В п’ятому розділі «Класифікація та сегментація на згорткових мережах з використанням карт самоорганізації» представлена концепція інтеграції згорткової мережі з картою самоорганізації Кохонена в єдиному нейромережевому комплексі для підвищення точності. Розроблено блок гібридної згорткової мережі з інтегрованою картою самоорганізації Кохонена. На основі обчислювальних експериментів доведено ефективність запропонованої архітектури. За матеріалами дисертації опубліковано 12 робіт, з яких 5 – це статті у періодичних журналах, що входять до переліку фахових видань, затверджених МОН України за спеціальністю дисертації, в тому числі 1 включена до міжнародної наукометричної бази SCOPUS, та 7 – публікації у матеріалах конференцій (у тому числі, міжнародних). | uk |
| dc.format.page | 175 с. | uk |
| dc.identifier.citation | Москаленко, Ю. В. Методи розпізнавання за діагностичним сигналом на основі гібридних нейронних мереж : дис. … д-ра філософії : 122 Комп’ютерні науки / Москаленко Юрій Володимирович. – Київ, 2020. – 175 с. | uk |
| dc.identifier.uri | https://ela.kpi.ua/handle/123456789/41568 | |
| dc.language.iso | uk | uk |
| dc.publisher.place | Київ | uk |
| dc.subject | згорткові нейронні мережі | uk |
| dc.subject | карти самоорганізації Кохонена | uk |
| dc.subject | глибинне навчання | uk |
| dc.subject | класифікація | uk |
| dc.subject | семантична сегментація | uk |
| dc.subject | convolutional neural networks | en |
| dc.subject | self-organization maps | en |
| dc.subject | deep learning | en |
| dc.subject | classification | en |
| dc.subject | semantic segmentation | en |
| dc.subject.udc | 004.032.26 | uk |
| dc.title | Методи розпізнавання за діагностичним сигналом на основі гібридних нейронних мереж | uk |
| dc.type | Thesis Doctoral | uk |
Файли
Контейнер файлів
1 - 1 з 1
Вантажиться...
- Назва:
- Moskalenko_dys.pdf
- Розмір:
- 4.94 MB
- Формат:
- Adobe Portable Document Format
- Опис:
Ліцензійна угода
1 - 1 з 1
Ескіз недоступний
- Назва:
- license.txt
- Розмір:
- 9.01 KB
- Формат:
- Item-specific license agreed upon to submission
- Опис: