Елайнмент мовних моделей через модифiкацiю внутрiшнiх ваг

Скорочена інформація про документ
dc.contributor.authorЧернишев, М. О.
dc.contributor.authorЯворський, О. А.
dc.date.accessioned2024-10-18T14:04:44Z
dc.date.available2024-10-18T14:04:44Z
dc.date.issued2024
dc.description.abstractУ цій роботі представлено способи регулювання розподілу слів, згенерованих мовною моделлю з GPT архітектурою. Шляхом прямої модифікації ваг голів уваги моделі, з меншим залученням обчислювальних ресурсів, можна впливати на ймовірність генерації токенів певного сентименту. Результати даного дослідження дають можливість глибше зрозуміти принципи роботи трансформерних моделей та ідентифікувати шари моделі, які відповідають за генерацію певних типів токенів. Це, в свою чергу, відкриває нові перспективи для адаптації трансформерних моделей до специфічних задач та покращення їхньої продуктивності.
dc.format.pagerangeС. 374-377
dc.identifier.citationЧернишев, М. О. Елайнмент мовних моделей через модифiкацiю внутрiшнiх ваг / М. О. Чернишев, О. А. Яворський // Теоретичні і прикладні проблеми фізики, математики та інформатики : матерiали XXII Всеукраїнської науково-практичної конференцiї студентiв, аспiрантiв та молодих вчених, [Київ], 13−17 травня 2024 р. / КПІ ім. Ігоря Сікорського. – Київ, 2024. – С. 374-377.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/70004
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.sourceТеоретичні і прикладні проблеми фізики, математики та інформатики : матерiали XXII Всеукраїнської науково-практичної конференцiї студентiв, аспiрантiв та молодих вчених (13−17 травня 2024 р., м. Київ, Україна)
dc.subjectNLP
dc.subjectLLM
dc.subjectalignment
dc.subjecttransformer
dc.subjectGPT
dc.subjectattention
dc.subjectLLM transparency
dc.subject.udc004.8
dc.titleЕлайнмент мовних моделей через модифiкацiю внутрiшнiх ваг
dc.typeArticle

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Pp-374-377.pdf
Розмір:
605.5 KB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Секцiя 7. Математичне моделювання та аналiз даних