Великі мовні моделі з використанням LoRA для одночасної подвійної класифікації тексту

Скорочена інформація про документ
dc.contributor.advisorКузнєцова, Наталія Володимирівна
dc.contributor.authorСеверин, Олександр Владиславович
dc.date.accessioned2024-09-19T08:47:03Z
dc.date.available2024-09-19T08:47:03Z
dc.date.issued2024
dc.description.abstractДипломна робота містить 137 сторінок, 7 рисунків, 11 таблиць, 2 додатки, 36 джерел посилання. Об‘єкт дослідження – дописи у соціальних мережах. Мета дослідження – побудувати класифікаційну модель, що здатна класифікувати текст для двох окремих задач одночасно; створити примітивну систему моніторингу суспільних настроїв у соціальних мережах. Актуальність дослідження – застосування великих мовних моделей для багатовимірних одночасних класифікаційних задач – оцінки настроїв суспільства. Методи дослідження – великі мовні моделі, Low-Rank Adaptation, Weight- Decomposed Low-Rank Adaptation, Rank Stabilized Low-Rank Adaptation; оцінка результатів Accuracy, F1-score, Precision, Recall Отримані результати: було проведено три експерименти з різними параметрами низькорангової адаптації; з трьох експериментів було обрано найкращу модель та побудовано примітивну систему оцінки настроїв суспільства на її основі. У майбутніх дослідженнях пропонується застосувати низькорангову адаптацію до n останніх шарів, додати третій лінійний шар для класифікації релевантності допису користувача до питання та теми, збільшити кількість тренувальних даних.
dc.description.abstractotherThe Diploma thesis contains 137 pages, 7 figures, 11 tables, 2 appendices, 36 references. Research subject – social media posts. Research objective – to build a classification model that can classify text for two separate tasks simultaneously; to create a primitive system for monitoring public sentiment on social media. Relevance of the research – application of large language models for multidimensional simultaneous classification tasks – assessment of public sentiment. Research methods – large language models, Low-Rank Adaptation, Weight- Decomposed Low-Rank Adaptation, Rank Stabilized Low-Rank Adaptation; evaluation of results: Accuracy, F1-score, Precision, Recall Obtained results – three experiments were conducted with different parameters of low-rank adaptation; the best model was selected from the three experiments and a primitive system for assessing public sentiment was built on its basis. For future research, it is proposed to apply low-rank adaptation to the last n layers, add a third linear layer to classify the relevance of a user's post to the question and topic, and increase the amount of training data.
dc.format.extent137 с.
dc.identifier.citationСеверин, О. В. Великі мовні моделі з використанням LoRA для одночасної подвійної класифікації тексту : дипломна робота ... бакалавра : 124 Системний аналіз / Северин Олександр Владиславович. – Київ, 2024. – 137 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/69044
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectвеликі мовні моделі
dc.subjectмашинне навчання
dc.subjectзадача класифікації
dc.subjectнизькорангова адаптація
dc.subjectаналіз настроїв
dc.subjectрозпізнавання позиції стосовно питання
dc.subjectlarge language models
dc.subjectmachine learning
dc.subjectclassification task
dc.subjectlow-rank adaptation
dc.subjectsentiment analysis
dc.subjectposition recognition on an issue
dc.titleВеликі мовні моделі з використанням LoRA для одночасної подвійної класифікації тексту
dc.typeBachelor Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Severyn_bakalavr.pdf
Розмір:
4.95 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (ММСА)
Бакалаврські роботи