Ієрархічна згорткова нейронна мережа для підвищення роздільної здатності інфрачервоних зображень

Скорочена інформація про документ
dc.contributor.authorЯрошенко, Максим Олександрович
dc.contributor.authorВарфоломєєв, Антон Юрійович
dc.contributor.authorЯганов, Петро Олексійович
dc.date.accessioned2021-10-11T08:29:51Z
dc.date.available2021-10-11T08:29:51Z
dc.date.issued2021
dc.description.abstractenDue to the high price of thermal imaging sensors, methods for high quality upscaling of infrared images, acquired from low-resolution inexpensive IR-cameras become in high demand. One of the very promising branches of such kinds of methods is base on super-resolution (SR) techniques that exploit convolutional neural networks (CNN), which are developed rapidly for the last decade. During the review of existing solutions, we found that most of the super-resolution neural networks are intended for the upscaling of images in the visible spectrum band. Among them, the BCLSR network has proven to be one of the best solutions that ensure a very high quality of image upscaling. Thus, we selected this network for further investigation in the current paper. Namely, in this research, we trained and tested the BCLSR network for upscaling of far-infrared (FIR) images for the first time. Moreover, inspired by the BCLSR architecture, we proposed our own neural network, which defers from the BCLSR by the absence of recursive and recurrent layers that were replaced by series-connected Residual- and parallel-connected Inception-like blocks correspondingly. During the tests, we found that the suggested modifications permit to increase the network inference speed almost twice and even improve the quality of upscaling by 0,063 dB compared to the basic BCLSR implementation. Networks were trained and tested using the CVC-14 dataset that contains FIR images acquired at the night. We used data augmentation with random dividing dataset images onto 100×100 pixel patches and with subsequent application random brightness, contrast, and mirroring to the obtained patches. The training procedure was performed in a single cycle with single increase and decrease of the learning rate and used the same parameters for the proposed and the BCLSR networks. We employed the Adam optimizer for the training of both networks. Nevertheless, the proposed model has more parameters (2,7 М) compared to the BCLSR (0,6 М), both of the networks can be considered as the small ones, and thus can be used in applications for conventional personal computers, as well as in embedded solutions. The direction of the further research can be focused on the improvements of the proposed network architecture by introducing new types of layers as well as on the modifying of hyperparameters of the used layers. The quality of the upscaling can be increased also by using other loss functions and by the change of learning rate-varying strategies.uk
dc.description.abstractukЧерез відносно високу ціну інфрачервоних сенсорів існує необхідність у методах обробки інфрачер-воних зображень, отриманих із недорогих ІЧ-камер, які б підвищували їхню роздільну здатність. Одним з напрямків таких методів є надроздільна здатність (SR – Super Resolution) на основі згорткових нейронних мереж (CNN – Convolutional Neural Network), що активно розвивається останнє десятиріччя. Однак більшість існуючих нейронних SR-мереж створено для збільшення роздільної здатності зображень у видимому спектрі. В цьому ж дослідженні на інфрачервоних зображеннях перевірено працездатність однієї з кращих мереж для збільшення роздільної здатності зображень у видимому спектрі – BCLSR, та запропоновано власну мережу, яка є швидшою та точніше відновлює (збільшує) роздільну здатність вхідних зображень.uk
dc.format.pagerangeС. 41-47uk
dc.identifier.citationЯрошенко, М. О. Ієрархічна згорткова нейронна мережа для підвищення роздільної здатності інфрачервоних зображень / Ярошенко М. О., Варфоломеєв А. Ю., Яганов П. О. // Мікросистеми, Електроніка та Акустика : науково-технічний журнал. – 2021. – Т. 26, № 1(117). – С. 41–47. – Бібліогр.: 21 назва.uk
dc.identifier.doihttps://doi.org/10.20535/2523-4455.mea.230603
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/44326
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.rights.urihttps://creativecommons.org/licenses/by/4.0/
dc.sourceМікросистеми, Електроніка та Акустика : науково-технічний журнал, 2021, Т. 26, № 1(117)uk
dc.subjectпідвищення роздільної здатності зображеньuk
dc.subjectзгорткові нейронні мережіuk
dc.subjectрекурентні нейронні мережіuk
dc.subjectінфрачервоні зображенняuk
dc.subjectsuper-resolutionuk
dc.subjectconvolutional neural networksuk
dc.subjectrecurrent networksuk
dc.subjectfar infrared imagesuk
dc.subject.udc004.932.4uk
dc.titleІєрархічна згорткова нейронна мережа для підвищення роздільної здатності інфрачервоних зображеньuk
dc.title.alternativeHierarchical Convolutional Neural Network for Infrared Image Super-Resolutionuk
dc.typeArticleuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
MEA2021_26-1_p41-47.pdf
Розмір:
720.48 KB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.01 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Мікросистеми, Електроніка та Акустика: науково-технічний журнал, Т. 26, № 1(117)