Пишнограєв, Іван ОлександровичРентюк, Віталій Валерійович2024-10-302024-10-302024Рентюк, В. В. Дослідження зв'язку параметрів тексту та величини контексту з функцією втрат великих мовних моделей : дипломна робота ... бакалавра : 122 Комп'ютерні науки / Рентюк Віталій Валерійович. – Київ, 2024. – 110 с.https://ela.kpi.ua/handle/123456789/70261Дипломна робота: 110 с., 14 рис., 8 табл., 49 посилань, 1 додаток. Актуальність роботи: використання функції втрат (perplexity) на різних розмірах контексту дозволяє більш точно оцінювати складність текстів, що є важливим для розробки ефективних інструментів для перевірки читабельності, оптимізації навчальних матеріалів та покращення алгоритмів обробки природної мови. Об'єктом дослідження є зв’язок між різними параметрами тексту та функцією втрат великих мовних моделей при різних значеннях розміру контексту. Предметом дослідження є взаємозв'язок між складністю тексту, такими як його параметри та розмір контексту, і результуючими значеннями функції втрат при обробці за допомогою великих мовних моделей. Мета роботи – з'ясувати, як різні аспекти композиції тексту та обсяг контексту впливають на значення функції втрат великих мовних моделей, і таким чином зрозуміти рівні складності текстів на основі цих параметрів. Результати роботи: було проведено збір та аналіз даних щодо perplexity на різних розмірах контексту з використанням різних наборів даних. Було встановлено, що середнє значення perplexity та різниця між значеннями на малих і великих розмірах контексту можуть використовуватись для визначення складності текстів.110 с.ukпараметри текстурозмір контекстуфункція втратвеликі мовні моделірівень складностіgptгенеративний шіглибинне навчанняperplexitytext parameterscontext sizeloss functionlarge language modelscomplexity levelgenerative aideep learningBachelor Thesis