Appropriate Number and Allocation of ReLUs in Convolutional Neural Networks

Скорочена інформація про документ
dc.contributor.authorRomanuke, V. V.
dc.contributor.authorРоманюк, Вадим Васильович
dc.contributor.authorРоманюк, Вадим Васильевич
dc.date.accessioned2018-07-31T11:40:39Z
dc.date.available2018-07-31T11:40:39Z
dc.date.issued2017
dc.description.abstractenBackground. Due to that there is no common conception about whether each convolutional layer must be followed with a ReLU, the question on an appropriate number of ReLUs and their allocation is considered. Objective. The goal is to find a law for ascertaining an appropriate number of ReLUs. If this number is less than the number of convolutional layers, then the law shall stand for an appropriate allocation of ReLUs. Methods. A method of evaluating performance on the EEACL26 and CIFAR-10 datasets over various versions of ReLUs’ allocation is defined. The performance is evaluated through 4 and 8 epochs for EEACL26 and CIFAR-10, respectively, for each allocation version. The best scores of performance are extracted. Results. In convolutional neural networks with 4 or 5 convolutional layers, the first three convolutional layers shall be followed with ReLUs, and the rest of convolutional layers shall not be ReLUed. It is plausible that appropriateness of ReLUs includes from-the-start compactness of allocating them, i. e. all ReLUs are allocated one by one from the very first convolutional layer. An appropriate number of ReLUs is an integer between a half of the convolutional layers’ number and the half increased by 1. Conclusions. In some cases, the gain can grow up to 100 % and more. The gain for CIFAR-10, if any, is of roughly 10 to 20 %. Generally, as the training process goes on, the gain expectedly drops. Nevertheless, the stated appropriateness of number and allocation of ReLUs rationalizes the convolutional neural network architecture. Convolutional neural networks under the appropriate ReLUs’ allocation can be progressively optimized further on its other hyperparameters.uk
dc.description.abstractruПроблематика. Поскольку не существует общей концепции того, должен ли каждый сверточный шар сопровождаться узлом линейного выпрямителя, рассматривается вопрос касательно надлежащего числа узлов линейных выпрямителей и их расположения. Цель исследования. Целью работы является нахождение закона для определения надлежащего числа узлов линейных выпрямителей. Если это число меньше, чем число сверточных шаров, то этот закон будет обуславливать надлежащее расположение узлов линейных выпрямителей. Методика реализации. Определяется метод оценивания производительности на наборах данных EEACL26 и CIFAR-10 по различным версиям расположения узлов линейных выпрямителей. Для каждой версии расположения производительность оценивается в течение 4 и 8 эпох соответственно для EEACL26 и CIFAR-10. Извлекаются наилучшие показатели производительности. Результаты исследования. В сверточных нейронных сетях с 4 и 5 сверточными шарами первые три сверточных шара должны сопровождаться узлами линейных выпрямителей, а остальные сверточные шары не поддаются этой вычислительной процедуре. Правдоподобно то, что целесообразность узлов линейных выпрямителей включает их компактное расположение с начала, то есть все узлы линейных выпрямителей размещаются один за другим с самого первого сверточного шара. Надлежащее число узлов линейных выпрямителей является некоторым целым числом между половиной количества сверточных шаров и этой половиной, увеличенной на 1. Выводы. В некоторых случаях выигрыш может доходить до 100 % и больше. Выигрыш для CIFAR-10, если таковой будет, составляет от приблизительно 10 до 20 %. Вообще, выигрыш ожидаемо падает при продвижении процесса обучения. Тем не менее изложенная целесообразность числа и расположения узлов линейных выпрямителей рационализирует архитектуру сверточных нейронных сетей. При надлежащем расположении узлов линейных выпрямителей сверточные нейронные сети могут быть постепенно оптимизированы по другим своим гиперпараметрам.uk
dc.description.abstractukПроблематика. Оскільки не існує загальної концепції того, чи повинен кожен згортковий шар супроводжуватися вузлом лінійного випрямляча, розглядається питання щодо належного числа вузлів лінійних випрямлячів та їх розміщення. Мета дослідження. Метою роботи є знаходження закону для встановлення належного числа вузлів лінійних випрямлячів. Якщо це число є меншим за число згорткових шарів, то цей закон обумовлюватиме належне розміщення вузлів лінійних випрямлячів. Методика реалізації. Визначається метод оцінювання продуктивності на банках даних EEACL26 та CIFAR-10 за різними версіями розміщення вузлів лінійних випрямлячів. Для кожної версії розміщення продуктивність оцінюється упродовж 4 та 8 епох відповідно для EEACL26 та CIFAR-10. Виокремлюються найкращі показники продуктивності. Результати дослідження. У згорткових нейронних мережах з 4 та 5 згортковими шарами перші три згорткові шари мають супроводжуватися вузлами лінійних випрямлячів, а решта згорткових шарів не повинна піддаватися цій обчислювальній процедурі. Правдоподібно те, що доцільність вузлів лінійних випрямлячів включає їх компактне розміщення з початку, тобто всі вузли лінійних випрямлячів розміщуються один за одним від самого першого згорткового шару. Належне число вузлів лінійних випрямлячів є деяким цілим числом між половиною кількості згорткових шарів та цією половиною, збільшеною на 1. Висновки. У деяких випадках виграш може доходити до 100 % і більше. Виграш для CIFAR-10, якщо такий матиме місце, становить від близько 10 до 20 %. Взагалі, виграш очікувано спадає з просуванням процесу навчання. Однак наведена доцільність числа та розміщення вузлів лінійних випрямлячів раціоналізує архітектуру згорткових нейронних мереж. За належного розміщення вузлів лінійних випрямлячів згорткові нейронні мережі можуть бути поступово оптимізовані далі за іншими своїми гіперпараметрами.uk
dc.format.pagerangeС. 69-78uk
dc.identifier.citationRomanuke V. V. Appropriate Number and Allocation of ReLUs in Convolutional Neural Networks / V. V. Romanuke // Наукові вісті НТУУ «КПІ» : міжнародний науково-технічний журнал. – 2017. – № 1(111). – С. 69–78. – Бібліогр.: 10 назв.uk
dc.identifier.doihttps://doi.org/10.20535/1810-0546.2017.1.88156
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/24089
dc.language.isoenuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.sourceНаукові вісті НТУУ «КПІ» : міжнародний науково-технічний журнал, 2017, № 1(111)uk
dc.subjectconvolutional neural networkuk
dc.subjectReLUuk
dc.subjectEEACL26uk
dc.subjectCIFAR-10uk
dc.subjectзгорткова нейронна мережаuk
dc.subjectсверточная нейронная сетьuk
dc.subject.udc519.226+004.852uk
dc.titleAppropriate Number and Allocation of ReLUs in Convolutional Neural Networksuk
dc.title.alternativeНалежне число і розміщення вузлів лінійних випрямлячів у згорткових нейронних мережахuk
dc.title.alternativeНадлежащее число и расположение узлов линейных выпрямителей в сверточных нейронных сетяхuk
dc.typeArticleuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
NVKPI2017-1_08.pdf
Розмір:
633.4 KB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
7.74 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Наукові вісті НТУУ «КПІ»: міжнародний науково-технічний журнал, № 1(111)