Двонаправлена адаптацiя великих мовних моделей-декодерiв для обробки української природної мови

Скорочена інформація про документ
dc.contributor.advisorБаздирев, Антон Андрiйович
dc.contributor.authorГавлицький, Iван Вiкторович
dc.date.accessioned2025-09-30T08:42:47Z
dc.date.available2025-09-30T08:42:47Z
dc.date.issued2025
dc.description.abstractДипломна робота: 148 с., 8 табл., 15 рис., 2 додатки, 32 джерела. Об’єкт дослiдження– авторегресивнi трансформернi моделi великої розмiру (LLMs) декодерного типу. Предмет дослiдження– методи перетворення декодер-онлi моделей на iнструмент, здатний працювати з двостороннiм контекстом для задач аналiзу української природної мови. Мета роботи– розробити, дослiдити та експериментально обґрунтувати ефективнiсть пiдходiв до двонаправленої адаптацiї авторегресивних мовних моделей шляхом архiтектурних модифiкацiй i спецiалiзованого донавчання, а також визначити вплив мовної специфiки та обраних стратегiй адаптацiї на результати в задачах маркування послiдовностей українською мовою. Результатом роботи є розроблений фреймворк двонаправленої адаптацiї декодерних моделей на основi модифiкацiї механiзму уваги та цiльового донавчання, а також демонстрацiя переваг запропонованого пiдходу на задачах маркування послiдовностей для української мови. Проведено комплексний аналiз впливу рiзних стратегiй донавчання та мовної специфiки корпусу, здiйснено порiвняння з сучасними енкодерними моделями, виявлено практичнi обмеження iснуючих метрик оцінки двонаправленостi. Подальший розвиток дослідження передбачає впровадження альтернативних позицiйних енкодингiв та схем пулiнгу, розширення експериментального бенчмарку на задачi семантичних ембедингiв, а також продовження аналiзу внутрiшнiх метрик процесу адаптацiї трансформерних моделей.
dc.description.abstractotherThesis: 148 pages, 8 tables, 15 figures, 2 appendices, 32 references. The object of the study is autoregressive large-length transformer models (LLMs) of the decoder type. The subject of the study is methods of transforming decoder-only models into a tool capable of working with a bilateral context for the tasks of analyzing Ukrainian natural language. The aim of the study is to develop, investigate, and experimentally prove the effectiveness of approaches to bidirectional adaptation of autoregressive language models through architectural modifications and specialized retraining, as well as to determine the impact of language specificity and selected adaptation strategies on the results in Ukrainian sequence labeling tasks. The result of the work is a framework for bidirectional adaptation of decoder models based on modification of the attention mechanism and targeted retraining, as well as a demonstration of the advantages of the proposed approach on sequence labeling tasks for the Ukrainian language. A comprehensive analysis of the impact of different retraining strategies and the language specifics of the corpus is carri ed out, a comparison with modern encoder models is made, and the practical limitations of existing bidirectionality assessment metrics are revealed. The further development of the study involves the introduction of alternati ve positional encodings and pooling schemes, the extension of the experimental benchmark to the task of semantic embedding, as well as the continuation of the analysis of internal metrics of the process of adaptation of transformer models.
dc.format.extent148 с.
dc.identifier.citationГавлицький, I. В. Двонаправлена адаптацiя великих мовних моделей-декодерiв для обробки української природної мови : дипломна робота … бакалавра : 124 Системний аналіз / Гавлицький Iван Вiкторович. – Київ, 2025. – 148 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/76403
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectвеликi мовнi моделi
dc.subjectдекодер-онлi
dc.subjectдвонаправленiсть
dc.subjectукраїнська мова
dc.subjectадаптацiя
dc.subjectтрансформер
dc.subjectмаркування послiдовностей
dc.subjectмалоресурснi мови
dc.titleДвонаправлена адаптацiя великих мовних моделей-декодерiв для обробки української природної мови
dc.typeBachelor Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Havlytskyi_bakalavr.pdf
Розмір:
8.58 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (ММСА)
Бакалаврські роботи