(КПІ ім. Ігоря Сікорського, 2024) Чернишев, М. О.; Яворський, О. А.
У цій роботі представлено способи регулювання розподілу слів, згенерованих мовною моделлю з GPT архітектурою. Шляхом прямої модифікації ваг голів уваги моделі, з меншим залученням обчислювальних ресурсів, можна впливати на ймовірність генерації токенів певного сентименту. Результати даного дослідження дають можливість глибше зрозуміти принципи роботи трансформерних моделей та ідентифікувати шари моделі, які відповідають за генерацію певних типів токенів. Це, в свою чергу, відкриває нові перспективи для адаптації трансформерних моделей до специфічних задач та покращення їхньої продуктивності.