Великі мовні моделі з використанням LoRA для одночасної подвійної класифікації тексту
Вантажиться...
Дата
2024
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломна робота містить 137 сторінок, 7 рисунків, 11 таблиць, 2 додатки,
36 джерел посилання.
Об‘єкт дослідження – дописи у соціальних мережах.
Мета дослідження – побудувати класифікаційну модель, що здатна
класифікувати текст для двох окремих задач одночасно; створити примітивну
систему моніторингу суспільних настроїв у соціальних мережах.
Актуальність дослідження – застосування великих мовних моделей для
багатовимірних одночасних класифікаційних задач – оцінки настроїв
суспільства.
Методи дослідження – великі мовні моделі, Low-Rank Adaptation, Weight-
Decomposed Low-Rank Adaptation, Rank Stabilized Low-Rank Adaptation; оцінка
результатів Accuracy, F1-score, Precision, Recall
Отримані результати: було проведено три експерименти з різними
параметрами низькорангової адаптації; з трьох експериментів було обрано
найкращу модель та побудовано примітивну систему оцінки настроїв
суспільства на її основі.
У майбутніх дослідженнях пропонується застосувати низькорангову
адаптацію до n останніх шарів, додати третій лінійний шар для класифікації
релевантності допису користувача до питання та теми, збільшити кількість
тренувальних даних.
Опис
Ключові слова
великі мовні моделі, машинне навчання, задача класифікації, низькорангова адаптація, аналіз настроїв, розпізнавання позиції стосовно питання, large language models, machine learning, classification task, low-rank adaptation, sentiment analysis, position recognition on an issue
Бібліографічний опис
Северин, О. В. Великі мовні моделі з використанням LoRA для одночасної подвійної класифікації тексту : дипломна робота ... бакалавра : 124 Системний аналіз / Северин Олександр Владиславович. – Київ, 2024. – 137 с.