The problem of automatic classification of pictures using an intelligent decision-making system based on the knowledge graph and fine-grained image analysis

Скорочена інформація про документ
dc.contributor.authorMartynenko, A. A.
dc.contributor.authorTevyashev, A. D.
dc.contributor.authorKulishova, N. Ye.
dc.contributor.authorMoroz, B. I.
dc.date.accessioned2023-05-02T08:10:24Z
dc.date.available2023-05-02T08:10:24Z
dc.date.issued2022
dc.description.abstractIn order to prevent the illegal export of paintings abroad, a museum examination using various methods for studying a work of art is carried out. At the same time, an analysis is also made of historical, art history, financial and other information and documents confirming the painting’s authenticity — provenance. Automation of such examination is hampered by the need to take into account numerical values of visual features, quality indicators, and verbal descriptions from provenance. In this paper, we consider the problem of automatic multi-task classification of paintings for museum expertise. A system architecture is proposed that checks provenance, implements a fine-grained image analysis (FGIA) of visual image features, and automatically classifies a painting by authorship, genre, and time of creation. Provenance is contained in a knowledge graph; for its vectorization, it is proposed to use a graph2vec type encoder with an attention mechanism. Fine-grained image analysis is proposed to be performed using searching discriminative regions (SDR) and learning discriminative regions (LDR) allocated by convolutional neural networks. To train the classifier, a generalized loss function is proposed. A data set is also proposed, including provenance and images of paintings by European and Ukrainian artists.uk
dc.description.abstractotherДля запобігання незаконному вивезенню картин за кордон прово- диться музейна експертиза з використанням різних методів дослідження твору мистецтва, зокрема аналіз історичних, мистецтвознавчих, фінансових та інших відомостей і документів, що підтверджують справжність картин – провенансу. Автоматизація такої експертизи ускладнюється необхідністю враховувати числові значення візуальних ознак, показників якості та словесні описи з провенансу. Розглянуто завдання автоматичної багатозадачної класифікації картин під час музейної експертизи. Запропоновано архітектуру системи, яка перевіряє провенанс, реалізує детальний аналіз (FGIA) візуальних ознак зображення та виконує автоматичну класифікацію картини за авторством, жанром та часом створення. Провенанс міститься у графі знань, для векторизації якого запропоновано використовувати енкодер типу graph2vec з механізмом уваги, а детальний аналіз пропонується виконувати за допомогою пошукових відмітних регіонів (SDR) та навчальних відмітних регіонів (LDR), що виділяються згортковими нейронними мережами. Для навчання класифікатора запропоновано узагальнену функцію втрат, а також набір даних, що включає провенанс та зображення картин європейських та українських художників.uk
dc.format.pagerangeС. 58-67uk
dc.identifier.citationThe problem of automatic classification of pictures using an intelligent decision-making system based on the knowledge graph and fine-grained image analysis / A. A. Martynenko, A. D. Tevyashev, N. Ye. Kulishova, B. I. Moroz // Системні дослідження та інформаційні технології : міжнародний науково-технічний журнал. – 2022. – № 4. – С. 58-67. – Бібліогр.: 30 назв.uk
dc.identifier.doihttps://doi.org/10.20535/SRIT.2308-8893.2022.4.05
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/55173
dc.language.isoenuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.relation.ispartofСистемні дослідження та інформаційні технології : міжнародний науково-технічний журнал, № 4uk
dc.subjectautomatic multi-task classificationuk
dc.subjectknowledge graphuk
dc.subjectattention mechanismuk
dc.subjectfine-grained image analysisuk
dc.subjectmuseum expertiseuk
dc.subjectpaintingsuk
dc.subjectconvolutional neural networksuk
dc.subjectавтоматична багатозадачна класифікаціяuk
dc.subjectграф знаньuk
dc.subjectмеханізм увагиuk
dc.subjectдрібнодетальний аналіз зображеньuk
dc.subjectмузейна експертизаuk
dc.subjectтвори живописуuk
dc.subjectзгорткові нейронні мережіuk
dc.subject.udc303.732.4 + 004.67 + 004.8uk
dc.titleThe problem of automatic classification of pictures using an intelligent decision-making system based on the knowledge graph and fine-grained image analysisuk
dc.title.alternativeПроблема автоматичної класифікації зображень за використання інтелектуальної системи прийняття рішень на основі графа знань і точного аналізу зображеньuk
dc.typeArticleuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
2022_4_58-67.pdf
Розмір:
458.8 KB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.1 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Системні дослідження та інформаційні технології: міжнародний науково-технічний журнал, № 4