Двонаправлена адаптацiя великих мовних моделей-декодерiв для обробки української природної мови
Вантажиться...
Дата
2025
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломна робота: 148 с., 8 табл., 15 рис., 2 додатки, 32 джерела.
Об’єкт дослiдження– авторегресивнi трансформернi моделi великої розмiру (LLMs) декодерного типу. Предмет дослiдження– методи перетворення декодер-онлi моделей на iнструмент, здатний працювати з двостороннiм контекстом для задач аналiзу української природної мови. Мета роботи– розробити, дослiдити та експериментально обґрунтувати ефективнiсть пiдходiв до двонаправленої адаптацiї авторегресивних мовних моделей шляхом архiтектурних модифiкацiй i спецiалiзованого донавчання, а також визначити вплив мовної специфiки та обраних стратегiй адаптацiї на результати в задачах маркування послiдовностей українською мовою. Результатом роботи є розроблений фреймворк двонаправленої адаптацiї декодерних моделей на основi модифiкацiї механiзму уваги та цiльового донавчання, а також демонстрацiя переваг запропонованого пiдходу на задачах маркування послiдовностей для української мови. Проведено комплексний аналiз впливу рiзних стратегiй донавчання та мовної специфiки корпусу, здiйснено порiвняння з сучасними енкодерними моделями, виявлено практичнi обмеження iснуючих метрик оцінки двонаправленостi. Подальший розвиток дослідження передбачає впровадження альтернативних позицiйних енкодингiв та схем пулiнгу, розширення експериментального бенчмарку на задачi семантичних ембедингiв, а також продовження аналiзу внутрiшнiх метрик процесу адаптацiї трансформерних моделей.
Опис
Ключові слова
великi мовнi моделi, декодер-онлi, двонаправленiсть, українська мова, адаптацiя, трансформер, маркування послiдовностей, малоресурснi мови
Бібліографічний опис
Гавлицький, I. В. Двонаправлена адаптацiя великих мовних моделей-декодерiв для обробки української природної мови : дипломна робота … бакалавра : 124 Системний аналіз / Гавлицький Iван Вiкторович. – Київ, 2025. – 148 с.