Яворський, Олександр АндрійовичШморгун, Данило Олександрович2023-09-102023-09-102023Шморгун, Д. О. Порiвняння методiв токенiзацiї WordPiece, та SentencePiece на прикладi задачi автоматизованого реферування : дипломна робота … бакалавра : 113 Прикладна математика / Шморгун Данило Олександрович. – Київ, 2023. – 58 с.https://ela.kpi.ua/handle/123456789/60140Квалiфiкацiйна робота мiстить: 58 сторiнок, 11 рисункiв, 6 таблиць, 38 джерел. У данiй роботi розглядаються методи обробки даних для моделей глибинного навчання, а саме: частина речення, частина слова. Для порiвняння даних методiв, було вибрано модель трансформер, а задача – автоматизоване реферування тексту, або пiдсумовування тексту. В ходi дослiдження, було показано що метод частина речення є кращим методом за метрикою Rouge для поданих в данiй роботi даних та конфiгурацiї моделi.58 с.ukобробка природньої мовиnatural language processingмашинне навчанняmachine learningтрансформерtransformerоптимiзацiяoptimizationметоди токенiзацiїtokenization methodssentencepiecewordpieceBachelor Thesis