Adaptive hybrid activation function for deep neural networks

Скорочена інформація про документ
dc.contributor.authorBodyanskiy, Yevgeniy V.
dc.contributor.authorKostiuk, Serhii O.
dc.date.accessioned2022-11-10T12:56:50Z
dc.date.available2022-11-10T12:56:50Z
dc.date.issued2022
dc.description.abstractenThe adaptive hybrid activation function (AHAF) is proposed that combines the properties of the rectifier units and the squashing functions. The proposed function can be used as a drop-in replacement for ReLU, SiL and Swish activations for deep neural networks and can evolve to one of such functions during the training. The effectiveness of the function was evaluated on the image classification task using the Fashion-MNIST and CIFAR-10 datasets. The evaluation shows that the neural networks with AHAF activations achieve better classification accuracy comparing to their base implementations that use ReLU and SiL. A double-stage parameter tuning process for training the neural networks with AHAF is proposed. The proposed approach is sufficiently simple from the implementation standpoint and provides high performance for the neural network training process.uk
dc.description.abstractukЗапропоновано адаптивну гібридну функцію активації (AHAF), що поєднує особливості випрямних блоків (rectifier units) та стискальних (squashing) функцій. Запропонована функція може бути використана як пряма заміна активаційних функцій ReLU, SiL і Swish для глибоких нейронних мереж, а та- кож набути форми однієї з цих функцій в процесі навчання. Ефективність функції досліджено на задачі класифікації зображень на наборах даних Fashion- MNIST і CIFAR-10. Результати дослідження показують, що нейронні мережі з активаційними функціями AHAF показують точність класифікації кращу, ніж їх базові реалізації на основі ReLU та SiL. Запропоновано двоетапний процес налаштування параметрів для навчання нейронних мереж з AHAF. Запропоно- ваний підхід достатньо простий в реалізації та забезпечує високу продуктив- ність у навчанні нейронної мережі.uk
dc.format.pagerangeС. 87-96uk
dc.identifier.citationBodyanskiy, Ye. Adaptive hybrid activation function for deep neural networks / Ye. Bodyanskiy, S. Kostiuk // Системні дослідження та інформаційні технології : міжнародний науково-технічний журнал. – 2022. – № 1. – С. 87-96. – Бібліогр.: 34 назв.uk
dc.identifier.doihttps://doi.org/10.20535/SRIT.2308-8893.2022.1.07
dc.identifier.orcid0000-0001-5418-2143uk
dc.identifier.orcid0000-0003-4196-2524uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/51020
dc.language.isoenuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.sourceСистемні дослідження та інформаційні технології : міжнародний науково-технічний журнал, № 1uk
dc.subjectadaptive hybrid activation functionuk
dc.subjectdouble-stage parameter turning processuk
dc.subjectdeep neural networksuk
dc.subjectадаптивна гібридна функція активаціїuk
dc.subjectдвоетапний процес налаштування параметрівuk
dc.subjectглибокі нейронні мережіuk
dc.subject.udc004.8:004.032.26uk
dc.titleAdaptive hybrid activation function for deep neural networksuk
dc.title.alternativeАдаптивна гібридна функція активації для глибоких нейронних мережuk
dc.typeArticleuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
2022_1_87-96.pdf
Розмір:
347.85 KB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.1 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Системні дослідження та інформаційні технології: міжнародний науково-технічний журнал, № 1