Спосіб компресії великих мовних моделей
Дата
2023
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
В магістерській дисертації запропоновано спосіб компресії великих мовних моделей BERT-подібної архітектури, що заснований на комбінації дистилювання на логітах та скорочення голів уваги, та досліджені його властивості. Програма дозволяє отримати й оцінити результати компресії моделі з високою гранулярністю для порівняння ефективності роботи алгоритму у відношенні із аналогами. Програмний продукт був створений на мові Python.
Опис
Ключові слова
нейронна мережа, neural network, трансформер, transformer, BERT, компресія, compression, скорочення голів уваги, attention head pruning, дистиляція знання, knowledge distillation
Бібліографічний опис
Кравець, П. А. Спосіб компресії великих мовних моделей : магістерська дис. : 121 Інженерія програмного забезпечення / Кравець Павло Андрійович. – Київ, 2023. – 84 с.