A comparative study of task formulations for detecting propaganda using large language models

Скорочена інформація про документ
dc.contributor.authorOliinyk, V.
dc.contributor.authorZakharchyn, N.
dc.date.accessioned2025-11-28T13:56:01Z
dc.date.available2025-11-28T13:56:01Z
dc.date.issued2025
dc.description.abstractThis paper extends existing studies on propaganda detection using large language models by examiningseveral approaches to task formulation and applying them on different LLMs, namely, GPT-4o mini and Gemma / Gemma 2, aiming to find the most effective approach.Using a combination of two text corpora in English and Russian languages with 18 propaganda techniques, we fine-tune models on character-based, phrase-based and class-?fication -only variationsof this dataset with corresponding instructions to define which ins truction yields the best performance. We conducted experiments and evaluated performance across classification, span identification, and joint tasks, demonstrating the clear superiority of the phrase-based approach over the character-based one. At the same time, our findings indi cate that fine-tuning significantly improved model performance on span identification and joint tasks, while offering limited benefit for the classification task alone.
dc.description.abstractotherСтаття доповнює наявні дослідження на тему виявлення пропаганди за допомогою великих мовних моделей, вивчаючи декілька підходів до формулювання задачі та їх використання з різними моделями, зокрема, GPT-4o mini and Gemma / Gemma 2, ставлячи за мету знаходження найбільш ефективного підходу. Використовуючи комбінацію двох текстових корпусів англійською та російською мовами з 18-ма техніками пропаганди, було доналаштовано моделі на символьній, фразовій та класифікаційній варіації набору даних з відповідними інструкціями, щоб визначити, яка з інструкцій приносить найкращі результати. Було проведено експерименти та порівняно результати на завданнях класифікації, ідентифікації проміжків та об’єднаному завданні, та продемонстровано явну перевагу підходу на основі фраз над підходом на основі символьних проміжків. Окрім того, отримані дані показують, що точне налаштування значно покращило ефективність моделей на завданні ідентифікації проміжків та об’єднаному завданні, водночас надаючи обмежений ефект для самостійної задачі класифікації.
dc.format.pagerangeС. 14-24
dc.identifier.citationOliinyk, V. A comparative study of task formulations for detecting propaganda using large language models / V. Oliinyk, N. Zakharchyn // Адаптивні системи автоматичного управління : міжвідомчий науково-технічний збірник. – 2025. – № 2 (47). – С. 14-24. – Бібліогр.: 12 назв.
dc.identifier.doihttps://doi.org/10.20535/1560-8956.47.2025.340158
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/77438
dc.language.isoen
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.relation.ispartofАдаптивні системи автоматичного управління : міжвідомчий науково-технічний збірник, № 2 (47), 2025
dc.rights.urihttps://creativecommons.org/licenses/by-nc-sa/4.0/
dc.subjectpropaganda detection
dc.subjectLarge Language Models
dc.subjectpropaganda techniques
dc.subjectfine-tuning
dc.subjectnatural language processing
dc.subjectвиявлення пропаганди
dc.subjectвеликі мовні моделі
dc.subjectметоди пропаганди
dc.subjectточне налаштування
dc.subjectобробка природної мови
dc.subject.udc004.8
dc.titleA comparative study of task formulations for detecting propaganda using large language models
dc.title.alternativeПорівняльне дослідження формулювань задачі виявлення пропаганди з використанням великих мовних моделей
dc.typeArticle

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Pp_14-24.pdf
Розмір:
939.05 KB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Адаптивні системи автоматичного управління : міжвідомчий науково-технічний збірник. – 2025. – № 2 (47)