Дослідження зв'язку параметрів тексту та величини контексту з функцією втрат великих мовних моделей

Скорочена інформація про документ
dc.contributor.advisorПишнограєв, Іван Олександрович
dc.contributor.authorРентюк, Віталій Валерійович
dc.date.accessioned2024-10-30T13:06:22Z
dc.date.available2024-10-30T13:06:22Z
dc.date.issued2024
dc.description.abstractДипломна робота: 110 с., 14 рис., 8 табл., 49 посилань, 1 додаток. Актуальність роботи: використання функції втрат (perplexity) на різних розмірах контексту дозволяє більш точно оцінювати складність текстів, що є важливим для розробки ефективних інструментів для перевірки читабельності, оптимізації навчальних матеріалів та покращення алгоритмів обробки природної мови. Об'єктом дослідження є зв’язок між різними параметрами тексту та функцією втрат великих мовних моделей при різних значеннях розміру контексту. Предметом дослідження є взаємозв'язок між складністю тексту, такими як його параметри та розмір контексту, і результуючими значеннями функції втрат при обробці за допомогою великих мовних моделей. Мета роботи – з'ясувати, як різні аспекти композиції тексту та обсяг контексту впливають на значення функції втрат великих мовних моделей, і таким чином зрозуміти рівні складності текстів на основі цих параметрів. Результати роботи: було проведено збір та аналіз даних щодо perplexity на різних розмірах контексту з використанням різних наборів даних. Було встановлено, що середнє значення perplexity та різниця між значеннями на малих і великих розмірах контексту можуть використовуватись для визначення складності текстів.
dc.description.abstractotherBachelor's thesis: 110 p., 14 figures, 8 tables, 49 references, 1 appendix. The relevance of the work: the use of the perplexity function at different context sizes allows for a more accurate assessment of the complexity of texts, which is important for developing effective tools for checking readability, optimizing educational materials, and improving natural language processing algorithms. The object of the study is the relationship between various text parameters and the loss function of large language models at different values of the context size. The subject of research is the relationship between the intricacies of text, such as its parameters and context size, and the resultant loss function values when processed through large language models. The purpose of the work is to elucidate how different aspects of text composition and contextual scope influence the loss-function of large language models, thereby understanding the complexity levels of texts based on these parameters. Results: data on perplexity at different context sizes were collected and analyzed using different datasets. It was found that the average value of perplexity and the difference between the values on small and large context sizes can be used to determine the complexity of texts.
dc.format.extent110 с.
dc.identifier.citationРентюк, В. В. Дослідження зв'язку параметрів тексту та величини контексту з функцією втрат великих мовних моделей : дипломна робота ... бакалавра : 122 Комп'ютерні науки / Рентюк Віталій Валерійович. – Київ, 2024. – 110 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/70261
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectпараметри тексту
dc.subjectрозмір контексту
dc.subjectфункція втрат
dc.subjectвеликі мовні моделі
dc.subjectрівень складності
dc.subjectgpt
dc.subjectгенеративний ші
dc.subjectглибинне навчання
dc.subjectperplexity
dc.subjecttext parameters
dc.subjectcontext size
dc.subjectloss function
dc.subjectlarge language models
dc.subjectcomplexity level
dc.subjectgenerative ai
dc.subjectdeep learning
dc.titleДослідження зв'язку параметрів тексту та величини контексту з функцією втрат великих мовних моделей
dc.typeBachelor Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Rentiuk_bakalavr.pdf
Розмір:
1.72 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (ШІ)
Бакалаврські роботи