Багатокритеріальне розпізнавання відповідності текста темі на основі алгоритму TS.IDS

Скорочена інформація про документ
dc.contributor.advisorОтрох, Сергій Іванович
dc.contributor.authorШалигін, Михаїл Олексійович
dc.date.accessioned2026-06-04T11:31:54Z
dc.date.available2026-06-04T11:31:54Z
dc.date.issued2026
dc.description.abstractДисертація складається зі вступу, чотирьох розділів, загальних висновків, списку використаних джерел і додатків. Повний обсяг дисертації становить 117 сторінок, у тому числі 86 сторінок основного тексту, 17 рисунків, 3 таблиці, 4 сторінки списку використаних джерел у кількості 40 найменувань. Актуальність теми. Задача автоматичного встановлення відповідності текстового документа заданій тематиці належить до числа фундаментальних проблем обробки природної мови і водночас залишається практично значущою для широкого спектру прикладних систем — від пошукових рушіїв та рекомендаційних сервісів до корпоративних систем фільтрації документообігу і систем модерації контенту в соціальних мережах. Класичні однокритеріальні підходи на основі TF-IDF, BM25 та їхніх пізніших модифікацій таких як TS.IDS демонструють обмеження, пов’язані з неможливістю одночасно охопити лексичну, семантичну та статистично-тематичну природу відповідності тексту темі. Формалізація цієї задачі як задачі багатокритеріального прийняття рішень (БКПР, MCDM) і побудова zero-shot програмного конвеєра, який об’єднує п’ять незалежних вимірів релевантності, визначає актуальність дослідження. Метою роботи є створення програмного фреймворку для багатокритеріального розпізнавання відповідності тексту темі, що поєднує алгоритм TS.IDS, синтаксичні, імовірністні та статистичні методи поєднані за допомогою різних методів БКПР (TOPSIS, VIKOR, WASPAS) у єдиній zero-shot архітектурі. Завдання дослідження: — провести систематичний огляд методів оцінювання тематичної релевантності текстів та сучасних підходів БКПР із метою обґрунтування вибору компонент фреймворку; — математично формалізувати задачу тематичної класифікації тексту як задачу багатокритеріального прийняття рішень і описати внутрішню математику кожного з обраних критеріїв та методів агрегації; — спроєктувати та реалізувати мовою Python модульну архітектуру фреймворку MCTRF (Multi-Criteria Text-Topic Relevance Framework), яка охоплює повний конвеєр — від передобробки тексту до видачі ранжованого списку тем-кандидатів; — виконати обчислювальні експерименти на корпусі 20 Newsgroups, порівняти дванадцять методів (шість варіантів MCDM-агрегації та шість базових) за п’ятьма метриками якості класифікації та ранжування. Об’єкт дослідження — процес визначення відповідності текстового документа наперед не заданій тематиці в умовах відсутності розмічених навчальних прикладів. Предмет дослідження — багатокритеріальний метод визначення тематичної релевантності тексту на основі алгоритму TS.IDS та методів прийняття рішень TOPSIS, VIKOR і WASPAS. Методами дослідження що застосовано у роботі є методи інформаційного пошуку (TF-IDF/TS.IDS, BM25), методи машинного та глибинного навчання (Sentence-BERT, Cross-Encoder, LDA), методи витягування ключових слів без навчання (YAKE), статистичні міри подібності розподілів (Jensen-Shannon Divergence), методи багатокритеріального прийняття рішень (TOPSIS, VIKOR, WASPAS) та метод автоматичного зважування критеріїв CRITIC. Експериментальна оцінка виконана на збалансованому корпусі 20 Newsgroups із стратифікованим поділом 80/20. Практичне значення отриманих результатів полягає в тому, що розроблений фреймворк MCTRF здатен виконувати тематичну класифікацію довільної множини текстів без етапу навчання — достатньо подати коротке текстове описання теми. Це робить систему придатною для швидкого розгортання у сценаріях із динамічними таксономіями, у яких перенавчання класичних керованих класифікаторів є надто витратним. Експериментально показано, що формальна MCDM-агрегація підвищує точність порівняно з простим арифметичним усередненням тих самих критеріїв. Апробація результатів дисертації. За темою магістерської дисертації опубліковано 2 наукові праці: стаття «Багатокритеріальне розпізнавання відповідності текстів темі на основі алгоритму TF-IDF» та стаття «Розпізнавання емоцій людини в реальному часі», обидві — у науковому журналі «Зв’язок».
dc.description.abstractotherThe thesis consists of an introduction, four chapters, general conclusions, a list of references and appendices. The total volume of the thesis is 117 pages, including 86 pages of the main text, 17 figures, 3 tables, 4 pages of the list of references with 40 items. Relevance of the topic. Automatic topical classification of text documents is both a foundational problem of natural language processing and a practically important component of a wide range of applied systems — from search engines and recommendation services to enterprise-grade document routing and social-media content moderation. Single-criterion approaches based on TF-IDF, BM25 and their later variants such as TS.IDS cannot simultaneously capture lexical, semantic and statistical-topic dimensions of text-topic correspondence. Formalising this task as a multi-criteria decision-making (MCDM) problem and building a zero-shot software pipeline that fuses five independent relevance criteria defines the relevance of the present research. The objective of the study is to develop a software framework for multi-criteria text-to-topic relevance recognition, integrating the TS-IDS algorithm with syntactic, probabilistic, and statistical methods using various MCDM (Multi-Criteria Decision Making) methods (TOPSIS, VIKOR, WASPAS) within a unified zero-shot architecture. Research tasks: — to perform a systematic review of methods for assessing text topical relevance and of modern MCDM approaches in order to justify the selection of the framework components; — to mathematically formalise the topical text classification problem as a multi-criteria decision-making problem and to describe the inner mathematics of each chosen criterion and aggregation method; — to design and implement in Python a modular architecture of the MCTRF framework (Multi-Criteria Text-Topic Relevance Framework) covering the full pipeline from text preprocessing to the output of a ranked list of candidate topics; — to carry out computational experiments on the 20 Newsgroups corpus, comparing twelve methods (six MCDM variants and six baselines) using five quality metrics of classification and ranking. Object of research — the process of determining the correspondence of a text document to a topic not specified in advance under conditions of absent labelled training examples. Subject of research — a multi-criteria method of determining text-topic relevance based on the TS.IDS algorithm and the decision-making methods TOPSIS, VIKOR and WASPAS. Research methods that are used in a study are of information retrieval (TF-IDF/TS.IDS), machine and deep learning (Sentence-BERT, Cross-Encoder, LDA), unsupervised keyword extraction (YAKE), statistical measures of distribution similarity (Jensen-Shannon Divergence), multi-criteria decision-making methods (TOPSIS, VIKOR, WASPAS) and the CRITIC method of objective criteria weighting. Experimental evaluation is performed on the balanced 20 Newsgroups corpus with a stratified 80/20 split. Practical value of the obtained results consists in the fact that the developed MCTRF framework can perform topical classification of arbitrary text sets without a training stage — it is enough to provide a short text description of the topic. This makes the system suitable for rapid deployment in scenarios with dynamic taxonomies where retraining of classical supervised classifiers is prohibitive. It has been experimentally shown that formal MCDM aggregation improves accuracy compared to a simple arithmetic averaging of the same criteria. Approbation of the dissertation results. On the topic of the master’s thesis, 2 scientific papers have been published: the article “Multi-Criteria Recognition of Text-Topic Correspondence Based on the TF-IDF Algorithm” and the article “Real-time Recognition of Human Emotions”, both in the scientific journal “Communication” (“Zv’yazok”).
dc.format.extent117 с.
dc.identifier.citationШалигін, М. О. Багатокритеріальне розпізнавання відповідності текста темі на основі алгоритму TS.IDS : магістерська дис. : 122 Комп’ютерні науки / Шалигін Михаїл Олексійович. – Київ, 2026. – 117 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/81471
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectбагатокритеріальне прийняття рішень
dc.subjectTF-IDF
dc.subjectBM25
dc.subjectSentence-BERT
dc.subjectTOPSIS
dc.subjectVIKOR
dc.subjectWASPAS
dc.subjectzero-shot класифікація
dc.subjectтематична релевантність
dc.subjectобробка природної мови
dc.subjectmulti-criteria decision-making
dc.subjectzero-shot classification
dc.subjecttopical relevance
dc.subjectnatural language processing
dc.titleБагатокритеріальне розпізнавання відповідності текста темі на основі алгоритму TS.IDS
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Shaligin_magistr.pdf
Розмір:
4.3 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (ЦТЕ)
Магістерські роботи