Techniques and components for natural language processing

Скорочена інформація про документ
dc.contributor.authorIosifova, O.
dc.contributor.authorIosifov, I.
dc.contributor.authorRolik, O.
dc.date.accessioned2020-12-08T11:22:11Z
dc.date.available2020-12-08T11:22:11Z
dc.date.issued2020
dc.description.abstractenA dramatic change in the abilities of language models to provide state of the art accuracy in a number of Natural Language Processing tasks is currently observed. These improvements open a lot of possibilities in solving NLP downstream tasks. Such tasks include machine translation, speech recognition, information retrieval, sentiment analysis, summarization, question answering, multilingual dialogue systems development and many more. Language models are one of the most important components in solving each of the mentioned tasks. This paper is devoted to research and analysis of the most adopted techniques and designs for building and training language models that show a state of the art results. Techniques and components applied in creation of language models and its parts are observed in this paper, paying attention to neural networks, embedding mechanisms, bidirectionality, encoder and decoder architecture, attention and self-attention, as well as parallelization through using Transformer. Results: the most promising techniques imply pre-training and fine-tuning of a language model, attention-based neural network as a part of model design, and a complex ensemble of multidimensional embeddings to build deep context understanding. The latest offered architectures based on these approaches require a lot of computational power for training language model and it is a direction of further improvement.en
dc.description.abstractruВ настоящее время языковые модели позволяют обеспечивать высокую точность при решении ряда задач обработки естественного языка (natural language processing – NLP). К таким задачам относятся – машинный перевод, распознавание речи, поиск информации, анализ настроений, обобщение, ответы на вопросы, разработка многоязычных диалоговых систем и многое другое. Статья посвящена исследованию и анализу наиболее распространенных в настоящее время методов и конструкций для построения и обучения языковых моделей, которые позволяют получить лучшие результаты. Рассматриваются методы и компоненты, применяемые при создании языковых моделей и их частей. Особое внимание уделяется рекуррентным нейронным сетям, механизмам представления словарей, архитектуре «кодера» и «декодера», концепции «внимания», а также распараллеливанию с использованием «Transformer». Установлено, что наиболее многообещающими методами являются: предварительное обучение моделей на больших массивах данных с последующей тонкой настройкой; нейронные сети, основанные на внимании, как части дизайна модели; сложный ансамбль многомерных представлений словарей для построения глубокого понимания контекста. Архитектуры, основанные на этих подходах, требуют большой вычислительной мощности для обучения моделей, что определяет направление дальнейших исследований.ru
dc.description.abstractukВ даний час мовні моделі дозволяють забезпечувати високу точність при вирішенні ряду задач обробки природної мови (natural language processing – NLP). До таких завдань відносяться – машинний переклад, розпізнавання мови, пошук інформації, аналіз настроїв, узагальнення, відповіді на питання, розробка багатомовних діалогових систем і багато іншого. Стаття присвячена дослідженню та аналізу найбільш поширених в даний час методів і конструкцій для побудови і навчання мовних моделей, які дозволяють отримати найкращі результати. Розглядаються методи та компоненти, що застосовуються при створенні мовних моделей та їх частин. Особлива увага приділяється рекурентним нейронним мережам, механізмам представлення словників, архітектурі «кодера» і «декодера», концепції «уваги», а також розпаралелюванню з використанням «Transformer». Встановлено, що найбільш перспективними методами є: попереднє навчання моделей на великих масивах даних з подальшою тонкою настройкою; нейронні мережі, засновані на увазі, як частині дизайну моделі; складний ансамбль багатовимірних представлень словників для побудови глибокого розуміння контексту. Архітектури, засновані на цих підходах, вимагають великої обчислювальної потужності для навчання моделей, що визначає напрямок подальших досліджень.uk
dc.format.pagerangePp. 93-113uk
dc.identifier.citationIosifova, O. Techniques and components for natural language processing / O. Iosifova, I. Iosifov, O. Rolik // Адаптивні системи автоматичного управління : міжвідомчий науково-технічний збірник. – 2020. – № 1 (36). – С. 93–113. – Бібліогр.: 49 назв.uk
dc.identifier.doihttps://doi.org/10.20535/1560-8956.36.2020.209780
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/37957
dc.language.isoenuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.sourceАдаптивні системи автоматичного управління : міжвідомчий науково-технічний збірник, 2020, № 1 (36)uk
dc.subjectNLPen
dc.subjectlanguage modelen
dc.subjectembeddingsen
dc.subjectRNNen
dc.subjectGRUen
dc.subjectLSTMen
dc.subjectencoderen
dc.subjectdecoderen
dc.subjectattentionen
dc.subjecttransformeren
dc.subjecttransfer learningen
dc.subjectdeep learningen
dc.subjectneural networken
dc.subjectмовна модельuk
dc.subjectкодерuk
dc.subjectдекодерuk
dc.subjectтрансформерuk
dc.subjectтрансферне навчанняuk
dc.subjectглибоке навчанняuk
dc.subjectнейронна мережаuk
dc.subjectНЛПru
dc.subjectязыковая модельru
dc.subjectтрансферное обучениеru
dc.subjectглубокое обучениеru
dc.subjectнейронная сетьru
dc.subject.udc004.8uk
dc.titleTechniques and components for natural language processingen
dc.title.alternativeМетоди та компоненти обробки природної мовиuk
dc.title.alternativeМетоды и компоненты обработки естественного языкаru
dc.typeArticleuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
asau-2020-1_93-113.pdf
Розмір:
828.34 KB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.16 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Адаптивні системи автоматичного управління: міжвідомчий науково-технічний збірник, № 1 (36)