Спектральний аналіз відповідей великих мовних моделей: виявлення патернів надмірного узагальнення
Вантажиться...
Дата
2025
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломна робота: 83 с., 7 рис., 7 табл., 9 посилань, 2 додатки.
Об’єкт дослідження – прояви надмірного узагальнення у текстах згенерованих GPT-2. Предмет дослідження – спектральні характеристики векторних представлень текстів та їхній зв’язок із надмірним узагальненням. Мета роботи – виявити та кількісно охарактеризувати патерни надмірного узагальнення у відповідях LLM на основі спектрального аналізу їхніх векторних представлень. У роботі оглянуто сучасні великі мовні моделі, досліджено проблему явища надмірного узагальнення. Проаналізовано роль прихованих векторних представлень у розумінні внутрішніх механізмів LLM. Сформовано спеціальний набір промптів і оцінено їхній рівень надмірного узагальнення. Запропоновано підхід, що базується на аналізі спектральних характеристик векторів текстових відповідей. Встановлено, що рівень надмірного узагальнення корелює зі зниженням спектральної ентропії, швидкістю спадання спектрів та кількістю значущих компонент векторних представлень.
Опис
Ключові слова
великі мовні моделі, gpt-2, надмірне узагальнення, спектральний аналіз, embeddings, векторні представлення, nlp, аналіз текстів, кореляція, патерни, large language models, gpt-2, overgeneralization, spectral analysis, embeddings, vector representations, nlp, text analysis, correlation, patterns
Бібліографічний опис
Пензовський, Д. С. Спектральний аналіз відповідей великих мовних моделей: виявлення патернів надмірного узагальнення : дипломна робота … бакалавра : 122 Комп'ютерні науки / Пензовський Дмитро Сергійович. – Київ, 2025. – 83 с.