Інкрементальне навчання великих мовних моделей для багатомовної класифікації текстів із використанням фіксованої пам'яті та регуляризації
Вантажиться...
Дата
2026
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Актуальність теми. Корпоративні системи задля автоматизації та аналізу текстових даних частіше базуються на великих мовних моделях, що також відомі як LLM. Однак при їх адаптації до нових доменів виникає явище катастрофічного забування, яке характеризується втратою точності на раніше засвоєних завданнях, що своєю чергою провокує дилему стабільності-пластичності, вирішення якої є критично важливим для створення ефективних систем інкрементальної класифікації текстових потоків, які працюють у реальному часі. Тому реалізація та досліди гібридних методів подолання катастрофічного забування для трансформерних моделей мають значне практичне значення та високий рівень актуальності.
Метою роботи є підвищення стійкості моделей-трансформерів до втрати засвоєних знань під час навчання на гетерогенних завданнях..
Завдання дослідження сформовано таким чином:
- Провести аналіз існуючих рішень подолання проблеми катастрофічного забування.
- Розробити метод навчання LLM, який мінімізує катастрофічне забування.
- Розробити програмне забезпечення реалізації запропонованого методу
- Провести обчислювальні експерименти для оцінювання стабільності навчання моделі.
Об’єкт дослідження: процес подолання катастрофічного забування у великих мовних моделях (LLM).
Предмет дослідження: методи подолання катастрофічного забування для трансформерних моделей класифікації текстів в умовах послідовної зміни доменів даних.
Наукова новизна: запропоновано гібридний метод подолання катастрофічного забування в LLM через поєднання: 1) математичного захисту параметрів шляхом регуляризації ваг, що мінімізує втрату раніше засвоєних знань; 2) змішування репрезентативних векторів минулого досвіду з поточними даними, що забезпечує стабільність моделі на гетерогенних задачах та забезпечує приріст 0,17 за метрикою F1-score на найбільш чутливому домені, досягаючи значення 0,56.
Методи дослідження. Для досягнення поставленої мети застосовано комплекс наукових методів. Метод порівняльного аналізу застосовується задля оцінювання чинних підходів до інкрементального навчання (наївний підхід, EWC, Replay) та визначення їхніх переваг і недоліків. Методи математичного моделювання використано для формалізації гібридної функції втрат, обрахунок інформаційної матриці Фішера та доведення наявності перетину областей низької помилки для старих та нових завдань. Експериментальний метод застосовано для навчання моделі на трьох послідовних завданнях (AG News, Tweet Eval Emotion, зашумлені новини) з фіксацією метрик точності та F1-score після кожної епохи. Методи статистичного аналізу даних, а саме розрахунок середнього, стандартного відхилення, порівняння вибірок, використано для аналізу результатів експериментів і їх підтвердження статистичної значущості переваги гібридного методу.
Практична цінність отриманих результатів полягає у створенні програмної системи, що готова до промислового впровадження для автоматизованої маршрутизації звернень клієнтів за тематикою та емоційним забарвленням, а також для модерації контенту соціальних мереж. Запропонований гібридний метод дозволяє скоротити витрати на зберігання історичних даних та забезпечує масштабованість через інтеграцію з AWS SageMaker та S3.
Публікація результатів дисертації. Основні положення даної роботи опубліковані у фаховому науковому журналі категорії «Б» «Таврійський науковий вісник». Серія: «Технічні науки» № 2/2026.
Апробація результатів. Результати роботи були представлені під час X Міжнародної науково-практичної конференції «THEORETICAL AND EMPIRICAL SCIENTIFIC RESEARCH: CONCEPT AND TRENDS» (08.05.2026; Оксфорд, Сполучене Королівство).
Структура та обсяг роботи. Дисертація складається зі вступу, чотирьох розділів, висновків до розділів, загальних висновків, списку використаних джерел та двох додатків. Повний обсяг дисертації становить 118 сторінок, з яких 82 сторінки – основний текст. Робота містить 4 таблиці, 11 рисунків, список використаних джерел із 129 найменувань. Додатки займають 21 сторінку.
Опис
Ключові слова
інкрементальне навчання, катастрофічне забування, еластична консолідація ваг (EWC), буфер відтворення досвіду (Replay), гібридний метод, трансформерні моделі, RoBERTa-base, класифікація текстів, AWS SageMaker, доменно-інкрементальне навчання, incremental learning, catastrophic forgetting, Elastic Weight Consolidation (EWC), replay buf er, hybrid method, transformer models, text classification, domain-incremental learning
Бібліографічний опис
Титаренко, О. В. Інкрементальне навчання великих мовних моделей для багатомовної класифікації текстів із використанням фіксованої пам'яті та регуляризації : магістерська дис. : 122 Комп’ютерні науки / Титаренко Ольга Володимирівна. – Київ, 2026. – 118 с.