Flexible Solution of a 2-layer Perceptron Optimization by its Size and Training Set Smooth Distortion Ratio for Classifying Simple-Structured Objects

Скорочена інформація про документ
dc.contributor.authorRomanuke, V. V.
dc.contributor.authorРоманюк, В. В.
dc.contributor.authorРоманюк, В. В.
dc.date.accessioned2018-12-18T17:46:02Z
dc.date.available2018-12-18T17:46:02Z
dc.date.issued2017
dc.description.abstractenBackground. Two-layer perceptrons are preferred to complex neural network classifiers when objects to be classified have a simple structure. However, even images consisting of a few geometrically primitive elements on a monotonous background are classified poorly with two-layer perceptron if they are badly distorted (shifted, skewed, and scaled). Performance of two-layer perceptron can be bettered much with modifying its training. This is done by deliberately importing distortions like shifting, skewness, and scaling into a training set, but only controlling volumes of the distor­tions with a special ratio. Besides, the performance is improved with optimally sizing the hidden layer. Objective. The goal is to optimize the two-layer perceptron by its size and the ratio for classifying simple-structured objects. Methods. The objects are monochrome images of enlarged English alphabet capital letters (the EEACL26 dataset) of a medium size 60-by-80. EEACL26 is an infinite artificial dataset, so mathematical models of distorted images are given. Then two-layer perceptrons having various sizes and training set smooth distortion ratios are trained and tested. The performance is evaluated via ultimate-distortion classification error percentage. Results. Based on statistical evaluations of classification error percentage at ultimate distortions, it is revealed that, while the best ratio should be between 0.01 and 0.02, and an optimal number of neurons in the hidden layer should be between 361 and 390. Sizes closer to 375 are counted as statistically more reliable, whereas the ratios are selected uni­formly. Such solution is flexible allowing not only further-training with changing the hidden layer size and ratio, but also a smart initial training for the first passes. Nevertheless, even after the first 100 passes, the two-layer perceptron further-trained for extra 1190 passes by 10 times increasing distortion smoothness performs at 8.91 % of errors at ultimate distortions, which is about 45 % better than a previously known result. At the expected practicable distortions, which are far less, the error rate is 0.8 % that is quite tolerable. But here the main benefit of the optimized two-layer perceptron is its fast operation speed, rather than accuracy. Conclusions. The obtained flexible solution fits other datasets similar to EEACL26. Number of classes can vary between 20 and 30, and number of features can vary between a few hundred and a few thousand. The stated example of achieving high-performance classification with two-layer perceptrons is a part of the common technique of statistical optimization relating to neural network classifiers. For a more sophisticated dataset of objects, this technique is built and executed in a similar way.uk
dc.description.abstractruПроблематика. Двухслойные персептроны предпочитаемы сложным нейронным сетям, когда объекты для классификации имеют простую структуру. Однако даже изображения, состоящие из нескольких геометрически примитивных элементов на монотонном фоне, классифицируются двухслойным персептроном плохо, если они сильно искажены (сдвинуты, перекошены и отмасштабированы). Производительность двухслойного персептрона может быть значительно улучшена модификацией его обучения. Это делается преднамеренным внесением искажений, подобных сдвигу, перекошенности и масштабированию, в обучающее множество, но только с помощью контроля объемов этих искажений специальным соотношением. Кроме того, произво­дительность улучшается подбором оптимального размера скрытого слоя. Цель исследования. Целью работы является оптимизация двухслойного персептрона по его размеру и упомянутого соотношения для классификации объектов простой структуры. Методика реализации. Объектами являются монохромные изображения увеличенных заглавных букв английского алфавита (набор данных EEACL26) среднего размера 60х80. EEACL26 является бесконечным искусственным набором данных, поэ­тому даются математические модели искаженных изображений. Затем обучаются и тестируются двухслойные персептроны, имеющие различные размеры и соотношения гладких искажений в обучающем множестве. Производительность оценивается через процент ошибок классификации на предельных искажениях. Результаты исследования. Исходя из статистических оценок процента ошибок классификации на предельных искажениях, обнаружено, что наилучшее соотношение должно быть между 0,01 и 0,02, а оптимальное число нейронов в скрытом слое должно быть между 361 и 390. Размеры ближе к 375 считаются статистически более надежными, тогда как соотношения выбираются равномерно. Такое решения является гибким, позволяя не только дальнейшее обучение с изменением размера скрытого слоя и соотношения, но также и изящное начальное обучение на первых проходах. Тем не менее даже после первых 100 проходов двухслойный персептрон, обученный далее на 1190 экстрапроходах с увеличенной в 10 раз гладкостью искажений, работает на уровне 8,91 % ошибок при предельных искажениях, что примерно на 45 % лучше, чем предыдущий известный результат. На уровне практически ожидаемых искажений, которые значительно меньше, уровень ошибок составляет 0,8 %, что вполне сносно. Однако здесь главной выгодой оптимизированного двухслойного персептрона является не точность, а его быстродействие. Выводы. Полученное гибкое решение подходит другим наборам данных, подобным EEACL26. Число классов может ва­рь­ироваться между 20 и 30, а число признаков – между несколькими сотнями и несколькими тысячами. Приведенный пример достижения высокопроизводительной классификации двухслойными персептронами является частью об­щей методики статистической оптимизации в отношении нейросетевых классификаторов. Для более сложных наборов данных объектов эта методика строится и исполняется в подобном стиле.uk
dc.description.abstractukПроблематика. Двошаровим персептронам надається перевага над складними нейронними мережами, коли об’єкти для класифікації мають просту структуру. Однак навіть зображення, що складаються з декількох геометрично примітивних елементів на монотонному фоні, класифікуються двошаровим персептроном погано, якщо вони сильно спотворені (зсунуті, перекошені та масштабовані). Продуктивність двошарового персептрона може бути значно покращена модифікацією його навчання. Це робиться навмисним внесенням спотворень, подібних зсуву, перекошеності та масштабуванню, у навчальну множину, але тільки за допомогою контролю об’ємів цих спотворень спеціальним співвідношенням. Крім того, продуктивність покращується підбором оптимального розміру прихованого шару. Мета дослідження. Метою роботи є оптимізація двошарового персептрона за його розміром і згаданого співвідношення для класифікації об’єктів простої структури. Методика реалізації. Об’єктами є монохромні зображення збільшених великих літер англійського алфавіту (набір даних EEACL26) середнього розміру 60x80. EEACL26 є нескінченним штучним набором даних, тому даються математичні моделі спотворених зображень. Далі навчаються і тестуються двошарові персептрони, що мають різні розміри та співвідношення гладких спотворень у навчальній множині. Продуктивність оцінюється за відсотком помилок класифікації на граничних спотвореннях. Результати дослідження. Виходячи зі статистичних оцінок відсотка помилок класифікації на граничних спотвореннях, виявлено, що найкраще співвідношення повинно бути між 0,01 та 0,02, а оптимальне число нейронів у прихованому шарі має бути між 361 та 390. Розміри ближче до 375 вважаються статистично більш надійними, тоді як співвідношення вибираються рівномірно. Такий розв’язок є гнучким, дозволяючи не тільки подальше навчання зі зміною розміру прихованого шару та співвідношення, а й витончене першопочаткове навчання на перших проходах. Проте навіть після перших 100 проходів двошаровий персептрон, навчаний далі на 1190 екстрапроходах зі збільшеною в 10 разів гладкістю спотворень, працює на рівні 8,91 % помилок на граничних спотвореннях, що приблизно на 45 % краще, ніж попередній відомий результат. На рівні практично очікуваних спотворень, які значно менші, рівень помилок становить 0,8 %, що цілком прийнятно. Однак тут головною вигодою оптимізованого двошарового персептрона є не точність, а його швидкодія. Висновки. Отриманий гнучкий розв’язок підходить іншим наборам даних, подібних EEACL26. Число класів може варіюватися між 20 і 30, а число ознак – між декількома сотнями і декількома тисячами. Наведений приклад досягнення високопродуктивної класифікації двошаровими персептронами є частиною загальної методики статистичної оптимізації стосовно нейромережевих класифікаторів. Для більш складних наборів даних об’єктів ця методика будується і виконується у подібному стилі.uk
dc.format.pagerangeС. 59–73uk
dc.identifier.citationRomanuke, V. V. Flexible Solution of a 2-layer Perceptron Optimization by its Size and Training Set Smooth Distortion Ratio for Classifying Simple-Structured Objects / V. V. Romanuke // Наукові вісті НТУУ «КПІ» : міжнародний науково-технічний журнал. – 2017. – № 6(116). – С. 59–73. – Бібліогр.: 21 назва.uk
dc.identifier.doihttps://doi.org/10.20535/1810-0546.2017.6.110724
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/25447
dc.language.isoenuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.sourceНаукові вісті НТУУ «КПІ» : міжнародний науково-технічний журнал, 2017, № 6(116)uk
dc.subjectClassificationuk
dc.subjectShifted-skewed-scaled objectsuk
dc.subject2-layer perceptron sizeuk
dc.subject2-layer perceptron configurationuk
dc.subjectTraining setuk
dc.subjectMATLAB training functionuk
dc.subject2-layer perceptron performanceuk
dc.subjectкласифікаціяuk
dc.subjectЗсунуті масштабовані скошені об’єктиuk
dc.subjectрозмір двошарового персептронаuk
dc.subjectКонфігурація двошарового персептронаuk
dc.subjectнавчальна множинаuk
dc.subjectMATLAB-функція для навчанняuk
dc.subjectпродуктивність двошарового персептронаuk
dc.subjectклассификацияuk
dc.subjectсдвинутые масштабированные скошенные объектыuk
dc.subjectразмер двухслойного персептронаuk
dc.subjectконфигурация двухслойного персептронаuk
dc.subjectобучающее множествоuk
dc.subjectMATLAB-функция для обученияuk
dc.subjectпроизводительность двухслойного персептронаuk
dc.subject.udc004.032.26:004.93+519.615.7uk
dc.titleFlexible Solution of a 2-layer Perceptron Optimization by its Size and Training Set Smooth Distortion Ratio for Classifying Simple-Structured Objectsuk
dc.title.alternativeГнучкий розв’язок задачі оптимізації двошарового персептрона за його розміром і співвідношенням гладких спотворень у навчальній множині для класифікації об’єктів простої структуриuk
dc.title.alternativeГибкое решение задачи оптимизации двухслойного персептрона по его размеру и соотношению гладких искажений в обучающем множестве для классификации объектов простой структурыuk
dc.typeArticleuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
NVKPI2017-6_08.pdf
Розмір:
1.25 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
7.74 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Наукові вісті НТУУ «КПІ»: міжнародний науково-технічний журнал, № 6(116)