Створення мереж слів на основі текстів з використанням алгоритмів графів видимості

Вантажиться...
Ескіз

Дата

2018

Науковий керівник

Назва журналу

Номер ISSN

Назва тому

Видавець

Institute of Special Communication and Information Protection of National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”

Анотація

Пропонується метод створення мереж із текстів, так званих мереж слів (Language Network). Із масиву заздалегідь вибраних текстових документів, які описують певну предметну область, виділяються окремі слова та ключові поняття. Використовуючи статистичний показник TF-IDF окремим словам ставляться у відповідність числові вагові значення, і як результат, формується часовий ряд. Використовуючи алгоритми побудови графів видимості як інструмент для аналізу часових рядів, між отриманими ключовими поняттями будується граф предметної області. Для прикладу, в роботі розглядаються актуальні предметні області: “Космічний простір” та “Комп’ютерна графіка”. Для масиву заздалегідь вибраних текстових документів, тематично пов’язаних з поняттям космічного простору та комп’ютерної графіки, застосовуються алгоритми побудови графів видимості та будується мережа слів. В результаті проведення досліджень встановлено, що такі слова, як “uranium”, “nuclear”, “waste”, “Jupiter”, “Mercury”, “Moon”, “Earth”, “comet”, “space” та інші є ключовими для предметної області “Космічний простір”. Також у роботі порівнюються результати застосування алгоритму побудови графів видимості з алгоритмом побудови компактифікованого графу горизонтальної видимості. Досліджуючи предметну область “Комп’ютерна графіка” встановлено, що у випадку застосування алгоритму побудови компактифікованого графу горизонтальної видимості такі ключові слова, як “design”, “graphic”, “graphics”, “display”, “tiff” мають більше зв’язків у мережі, ніж у випадку застосування алгоритму побудови графів видимості. В якості допоміжних інструментів для дослідження використовуються пакет візуалізації та моделювання графів Gephi та власний набір спеціально розроблених модулів на Python. Запропонований метод може бути використаний для візуалізації певної предметної області, а також в системах інформаційної підтримки автоматизації процесів прийняття рішень, даючи змогу виявити найбільш важливі компоненти предметної області. Також результати роботи можуть бути використані під час створення персональних пошукових інтерфейсів користувачів інформаційно-пошукових систем, що, в свою чергу, дозволить спростити процес пошуку необхідної інформації.

Опис

Ключові слова

масив документів, предметна область, часовий ряд, мережа слів, статистична вага слова, граф видимості, компактифікований граф горизонтальної видимості, set of documents, domain, time series, network of words, statistical weight of word, visibility graph, compactified horizontal visibility graph, массив документов, предметная область, временной ряд, сеть слов, статистический вес слова, граф видимости, компактифицированный граф горизонтальной видимости

Бібліографічний опис

Ланде, Д. Створення мереж слів на основі текстів з використанням алгоритмів графів видимості / Дмитро Ланде, Олег Дмитренко // Information Technology and Security. – 2018. – Vol. 6, Iss. 2 (11). – Pp. 5–18. – Bibliogr.: 27 ref.