Спектральний аналіз відповідей великих мовних моделей: виявлення патернів надмірного узагальнення

Скорочена інформація про документ
dc.contributor.advisorКухарєв, Сергій Олександрович
dc.contributor.authorПензовський, Дмитро Сергійович
dc.date.accessioned2025-09-03T10:39:06Z
dc.date.available2025-09-03T10:39:06Z
dc.date.issued2025
dc.description.abstractДипломна робота: 83 с., 7 рис., 7 табл., 9 посилань, 2 додатки. Об’єкт дослідження – прояви надмірного узагальнення у текстах згенерованих GPT-2. Предмет дослідження – спектральні характеристики векторних представлень текстів та їхній зв’язок із надмірним узагальненням. Мета роботи – виявити та кількісно охарактеризувати патерни надмірного узагальнення у відповідях LLM на основі спектрального аналізу їхніх векторних представлень. У роботі оглянуто сучасні великі мовні моделі, досліджено проблему явища надмірного узагальнення. Проаналізовано роль прихованих векторних представлень у розумінні внутрішніх механізмів LLM. Сформовано спеціальний набір промптів і оцінено їхній рівень надмірного узагальнення. Запропоновано підхід, що базується на аналізі спектральних характеристик векторів текстових відповідей. Встановлено, що рівень надмірного узагальнення корелює зі зниженням спектральної ентропії, швидкістю спадання спектрів та кількістю значущих компонент векторних представлень.
dc.description.abstractotherMaster's thesis: 83 p., 7 figures, 7 tables, 9 references, 2 appendixes. Object of study is manifestations of overgeneralization in texts generated by GPT-2. The subject of the study is the spectral characteristics of vector representations of texts and their connection with overgeneralization. The purpose of the study is to identify and quantitatively characterize patterns of overgeneralization in LLM answers based on the spectral analysis of their vector representations. The study reviews modern large language models and investigates the problem of overgeneralization. The role of hidden vector representations is analyzed for understanding the internal mechanisms of LLM.. A special set of prompts is formulated and their level of overgeneralization is estimated. An approach based on the analysis of the spectral characteristics of text response vectors is proposed. It has been found that the level of overgeneralization correlates with a decrease in spectral entropy, the speed of spectral decay, and the number of significant components of vector representations.
dc.format.extent83 с.
dc.identifier.citationПензовський, Д. С. Спектральний аналіз відповідей великих мовних моделей: виявлення патернів надмірного узагальнення : дипломна робота … бакалавра : 122 Комп'ютерні науки / Пензовський Дмитро Сергійович. – Київ, 2025. – 83 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/75782
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectвеликі мовні моделі
dc.subjectgpt-2
dc.subjectнадмірне узагальнення
dc.subjectспектральний аналіз
dc.subjectembeddings
dc.subjectвекторні представлення
dc.subjectnlp
dc.subjectаналіз текстів
dc.subjectкореляція
dc.subjectпатерни
dc.subjectlarge language models
dc.subjectgpt-2
dc.subjectovergeneralization
dc.subjectspectral analysis
dc.subjectembeddings
dc.subjectvector representations
dc.subjectnlp
dc.subjecttext analysis
dc.subjectcorrelation
dc.subjectpatterns
dc.titleСпектральний аналіз відповідей великих мовних моделей: виявлення патернів надмірного узагальнення
dc.typeBachelor Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Penzovskyi_bakalavr.pdf
Розмір:
2.81 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (ШІ)
Бакалаврські роботи