Волокита, Артем МиколайовичКравець, Павло Андрійович2024-02-142024-02-142023Кравець, П. А. Спосіб компресії великих мовних моделей : магістерська дис. : 121 Інженерія програмного забезпечення / Кравець Павло Андрійович. – Київ, 2023. – 84 с.https://ela.kpi.ua/handle/123456789/64530В магістерській дисертації запропоновано спосіб компресії великих мовних моделей BERT-подібної архітектури, що заснований на комбінації дистилювання на логітах та скорочення голів уваги, та досліджені його властивості. Програма дозволяє отримати й оцінити результати компресії моделі з високою гранулярністю для порівняння ефективності роботи алгоритму у відношенні із аналогами. Програмний продукт був створений на мові Python.84 сukнейронна мережаneural networkтрансформерtransformerBERTкомпресіяcompressionскорочення голів увагиattention head pruningдистиляція знанняknowledge distillationMaster Thesis004.9