Методи прунінгу для оптимізації великих мовних моделей
Вантажиться...
Дата
2025
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломна робота: 127 с., 11 рис., 25 табл., 23 посилання, 1 додаток.
Об’єкт дослідження – процеси компресії великих мовних моделей.
Предмет дослідження – методи прунінгу великих мовних моделей.
Мета дослідження – підвищення ефективності розгортання LLM на
користувацьких ресурсно-обмежених пристроях шляхом прунінгу моделей.
Актуальність роботи полягає у необхідності демократизації доступу до
великих мовних моделей. Сучасні моделі з мільярдами параметрів вимагають
колосальних обчислювальних ресурсів, пам’яті та енергії, що обмежує їхнє
розгортання на користувацьких пристроях і збільшує вартість інференсу.
Прунінг є одним з ключових методів компресії, який дозволяє видаляти
надлишкові параметри з мінімізацією втрати якості.
Наукова новизна полягає у розробці методу прунінгу великих мовних
моделей, який поєднує механізм адаптивності коефіцієнтів стиснення для
різних блоків мережі разом зі структурним прунінгом в глибину та ширину.
Результати дослідження можуть бути застосовані для оптимізації
комерційних та відкритих LLM, роблячи їх доступнішими для широкого кола
застосувань, особливо в умовах обмежених обчислювальних ресурсів.
За темою дослідження була зроблена публікація у збірнику матеріалів
ІV Всеукраїнської науково-практичної конференції «Системні науки та
інформатика». Заплановано опублікувати статтю «Structured pruning method
for large language models with adaptive compression ratios» у журналі «Artificial
intelligence» у грудні 2025.
Опис
Ключові слова
великі мовні моделі, прунінг, llm, компресія, структурний прунінг, адаптивний прунінг
Бібліографічний опис
Швець, В. О. Методи прунінгу для оптимізації великих мовних моделей : магістерська дис. : 122 Комп'ютерні науки / Швець Віталій Олександрович. – Київ, 2025. – 127 с.