Дослідження зв'язку параметрів тексту та величини контексту з функцією втрат великих мовних моделей
Вантажиться...
Дата
2024
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломна робота: 110 с., 14 рис., 8 табл., 49 посилань, 1 додаток.
Актуальність роботи: використання функції втрат (perplexity) на різних розмірах
контексту дозволяє більш точно оцінювати складність текстів, що є важливим для
розробки ефективних інструментів для перевірки читабельності, оптимізації
навчальних матеріалів та покращення алгоритмів обробки природної мови.
Об'єктом дослідження є зв’язок між різними параметрами тексту та функцією
втрат великих мовних моделей при різних значеннях розміру контексту.
Предметом дослідження є взаємозв'язок між складністю тексту, такими як його
параметри та розмір контексту, і результуючими значеннями функції втрат при обробці
за допомогою великих мовних моделей.
Мета роботи – з'ясувати, як різні аспекти композиції тексту та обсяг контексту
впливають на значення функції втрат великих мовних моделей, і таким чином
зрозуміти рівні складності текстів на основі цих параметрів.
Результати роботи: було проведено збір та аналіз даних щодо perplexity на різних
розмірах контексту з використанням різних наборів даних. Було встановлено, що
середнє значення perplexity та різниця між значеннями на малих і великих розмірах
контексту можуть використовуватись для визначення складності текстів.
Опис
Ключові слова
параметри тексту, розмір контексту, функція втрат, великі мовні моделі, рівень складності, gpt, генеративний ші, глибинне навчання, perplexity, text parameters, context size, loss function, large language models, complexity level, generative ai, deep learning
Бібліографічний опис
Рентюк, В. В. Дослідження зв'язку параметрів тексту та величини контексту з функцією втрат великих мовних моделей : дипломна робота ... бакалавра : 122 Комп'ютерні науки / Рентюк Віталій Валерійович. – Київ, 2024. – 110 с.