Чернишев, М. О.Яворський, О. А.2024-10-182024-10-182024Чернишев, М. О. Елайнмент мовних моделей через модифiкацiю внутрiшнiх ваг / М. О. Чернишев, О. А. Яворський // Теоретичні і прикладні проблеми фізики, математики та інформатики : матерiали XXII Всеукраїнської науково-практичної конференцiї студентiв, аспiрантiв та молодих вчених, [Київ], 13−17 травня 2024 р. / КПІ ім. Ігоря Сікорського. – Київ, 2024. – С. 374-377.https://ela.kpi.ua/handle/123456789/70004У цій роботі представлено способи регулювання розподілу слів, згенерованих мовною моделлю з GPT архітектурою. Шляхом прямої модифікації ваг голів уваги моделі, з меншим залученням обчислювальних ресурсів, можна впливати на ймовірність генерації токенів певного сентименту. Результати даного дослідження дають можливість глибше зрозуміти принципи роботи трансформерних моделей та ідентифікувати шари моделі, які відповідають за генерацію певних типів токенів. Це, в свою чергу, відкриває нові перспективи для адаптації трансформерних моделей до специфічних задач та покращення їхньої продуктивності.ukNLPLLMalignmenttransformerGPTattentionLLM transparencyЕлайнмент мовних моделей через модифiкацiю внутрiшнiх вагArticleС. 374-377004.8