Методи прунінгу для оптимізації великих мовних моделей

Скорочена інформація про документ
dc.contributor.advisorШаповал, Наталія Віталіївна
dc.contributor.authorШвець, Віталій Олександрович
dc.date.accessioned2026-02-18T12:51:47Z
dc.date.available2026-02-18T12:51:47Z
dc.date.issued2025
dc.description.abstractДипломна робота: 127 с., 11 рис., 25 табл., 23 посилання, 1 додаток. Об’єкт дослідження – процеси компресії великих мовних моделей. Предмет дослідження – методи прунінгу великих мовних моделей. Мета дослідження – підвищення ефективності розгортання LLM на користувацьких ресурсно-обмежених пристроях шляхом прунінгу моделей. Актуальність роботи полягає у необхідності демократизації доступу до великих мовних моделей. Сучасні моделі з мільярдами параметрів вимагають колосальних обчислювальних ресурсів, пам’яті та енергії, що обмежує їхнє розгортання на користувацьких пристроях і збільшує вартість інференсу. Прунінг є одним з ключових методів компресії, який дозволяє видаляти надлишкові параметри з мінімізацією втрати якості. Наукова новизна полягає у розробці методу прунінгу великих мовних моделей, який поєднує механізм адаптивності коефіцієнтів стиснення для різних блоків мережі разом зі структурним прунінгом в глибину та ширину. Результати дослідження можуть бути застосовані для оптимізації комерційних та відкритих LLM, роблячи їх доступнішими для широкого кола застосувань, особливо в умовах обмежених обчислювальних ресурсів. За темою дослідження була зроблена публікація у збірнику матеріалів ІV Всеукраїнської науково-практичної конференції «Системні науки та інформатика». Заплановано опублікувати статтю «Structured pruning method for large language models with adaptive compression ratios» у журналі «Artificial intelligence» у грудні 2025.
dc.description.abstractotherMaster’s thesis: 127 p., 11 figures, 25 tables, 23 references, 1 appendix. The object of research is the processes of compression of large language models. The subject of research is methods for pruning large language models. The purpose of the research is to improve the efficiency of LLM deployment on user resource-constrained devices by pruning models. The relevance of the work lies in the need to democratize access to large language models. Modern models with billions of parameters require enormous computing resources, memory, and energy, which limits their deployment on user devices and increases the cost of inference. Pruning is one of the key compression methods that allows removing redundant parameters. The scientific novelty lies in the development of a method for pruning large language models, which combines a mechanism of adaptability of compression ratios for different network blocks with structural pruning in depth and width. Overall, the research results can be applied to optimize commercial and open LLMs, making them more accessible for a wide range of applications, especially in conditions of limited computing resources. A publication on the research topic was included in the collection of materials from the IV All-Ukrainian Scientific and Practical Conference «System Sciences and Informatics». An article titled «Structured Truncation Method for Large Language Models with Adaptive Compression Ratios» has been submitted for printing in the journal Artificial Intelligence in December 2025.
dc.format.extent127 с.
dc.identifier.citationШвець, В. О. Методи прунінгу для оптимізації великих мовних моделей : магістерська дис. : 122 Комп'ютерні науки / Швець Віталій Олександрович. – Київ, 2025. – 127 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/78847
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectвеликі мовні моделі
dc.subjectпрунінг
dc.subjectllm
dc.subjectкомпресія
dc.subjectструктурний прунінг
dc.subjectадаптивний прунінг
dc.subject.udc004.8:004.032.26:004.051](043.3)
dc.titleМетоди прунінгу для оптимізації великих мовних моделей
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Shvets_magistr.pdf
Розмір:
1.81 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (ШІ)
Магістерські роботи