Алгоритми та програмне забезпечення для прогнозування геолокації у соціальних мережах за допомогою моделей на основі BERT

Скорочена інформація про документ
dc.contributor.advisorБаклан, Ігор Всеволодович
dc.contributor.authorЛуцай, Катерина Андріївна
dc.date.accessioned2024-02-28T14:36:29Z
dc.date.available2024-02-28T14:36:29Z
dc.date.issued2023
dc.description.abstractПояснювальна записка дипломного проєкту складається з чотирьох розділів, містить 30 таблиць, 15 рисунків та 46 джерел – загалом 105 сторінок. Дипломний проєкт присвячений аналізу великих масивів коротких текстових даних, таких як запису у соціальних мережах, для визначення місцезнаходження авторів. Мета цього проєкту – покращення точності прогнозування місцезнаходження за текстом та надання гнучкої методології для маркування датасетів іншим розробникам. Об'єкт дослідження: нейронні мережі сімейства представлення двонаправленого кодера у трансформерах (BERT) для аналізу натуральної мови (NLP). Предмет дослідження: система прогнозування місцезнаходження за текстом на базі даних Твіттера. У Розділі 1 розглянуто минулі роботи в предметній області дослідження нейронних мереж та алгоритмів машинного навчання для вирішення задачі регресії до чисельного представлення місцезнаходження автора. Описано вимоги до програмного забезпечення на базі аналізу минулих підходів з використанням BERT, та поставлено задачі даної роботи. Визначено основний функціонал та спеціальні вимоги до реалізації алгоритмів, архітектури, та допоміжних програмних засобів. Розділ 2 присвячений моделюванню архітектури нейронної мережі та конструюванню багатозадачних алгоритмів машинного навчання для обрахунки функцій втрат нестандартного вихідного формату. Описано архітектуру ПЗ Розробника та ПЗ Користувача у вигляді серверної частини Телеграм боту для демонстрації роботи найкращої з навчених моделей. Розглянуто розділення на класи модульної архітектури на мові Python та розподіл функціоналу за відповідними утилітами. Запропонований підхід використовує нейронні мережі для обробки природної мови (NLP) для оцінки місцезнаходження у вигляді пар координат (довгота, широта) та моделей сумісних двовимірних розподілів (GMM) з обмеженням вихідного параметра що відповідає за коефіцієнт сферичної матриці коваріації. У Розділі 3 розглянуто минулі роботи в предметній області дослідження з точки зору загальноприйнятий метрик ефективності (точності) прогнозування місцезнаходження. Показники ефективності показують, що середня похибка становить менше 30 км на світовому рівні і менше 15 км на рівні США для моделей, навчених і оцінених на текстових змінних контенту твітів (текст) і контексті їх метаданих (користувач, місце). Описано мануальне тестування навчання, оцінки та прогнозування місцезнаходження в ролях Розробника та Користувача. Нарешті, Розділ 4 присвячений лише розгортанню серверної частини Телеграм боту, оскільки ПЗ Розробника призначене до локального запуску. Програмне забезпечення впроваджено на високопродуктивному кластері на базі ОС з ядром Unix без графічного інтерфейсу користувача. Результати роботи пройшли апробацію на рівні директора департаменту European Laboratory for Learning and Intelligent Systems (ELLIS) Christroph H.Lampert’а та подані на публікацію в Journal of Spatial Information Science (JOSIS).
dc.description.abstractotherThe explanatory note of the diploma project consists of four sections, contains 30 tables, 15 figures and 46 sources – in total 105 pages. The purpose of the diploma project is providing software to analyze large amounts of short text data, such as social media posts, to predict the location of authors. The goal of this project is to improve the accuracy of geolocation prediction from text and provide a flexible methodology for labelling datasets for other developers. Object of research: neural networks of the Bidirectional Encoder Representation in Transformers (BERT) family for natural language processing (NLP). Subject of research: a text-based location prediction system based on custom Twitter data. Section 1 reviews past work in the subject area of neural networks and machine learning algorithms for solving the problem of regression to a numerical representation of the author's geolocation. The software requirements are described based on the analysis of past approaches using BERT, and the tasks of this work are set. The main functionality and special requirements for the implementation of algorithms, architecture, and auxiliary software tools are defined. Section 2 is devoted to modelling the neural network architecture and designing multitasking machine learning algorithms for calculating loss functions of non-standard output format. The architecture of the Developer's software and the User's software in the form of the Telegram bot server side is described to demonstrate the work of the best trained model. The division of the modular architecture into classes in Python and the distribution of functionality to the corresponding utilities are considered. The proposed approach uses natural language processing (NLP) neural networks to estimate location in the form of coordinate pairs (longitude, latitude) and joint Gaussian Mixture Models (GMMs) with a restriction of the output parameter responsible for the coefficient of the spherical covariance matrix. In Section 3, we review past work in the subject area in terms of commonly used metrics of location prediction performance (accuracy). The performance metrics show that the average error is less than 30 km at the global level and less than 15 km at the US level for models trained and evaluated on the textual variables of tweet content (text) and their metadata context (user, location). Manual testing of training, evaluation and location prediction in the roles of Developer and User is described. Finally, Section 4 is devoted only to the deployment of the server side of the Telegram bot, as the Developer's software is designed to run locally. The software was implemented on a high-performance cluster based on a Unixbased OS without a graphical user interface. The results of the work were tested at the level of the Director of the European Laboratory for Learning and Intelligent Systems (ELLIS) Christroph H. Lampert and submitted for publication in the Journal of Spatial Information Science (JOSIS).
dc.format.extent207 c.uk
dc.identifier.citationЛуцай, К. А. Алгоритми та програмне забезпечення для прогнозування геолокації у соціальних мережах за допомогою моделей на основі BERT : дипломний проєкт ... бакалавра : 121 Інженерія програмного забезпечення / Луцай Катерина Андріївна. - Київ, 2023. - 207 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/65068
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиїв
dc.subjectпрогнозування місцезнаходженняuk
dc.subjectтрансформериuk
dc.subjectнабір даних твітерuk
dc.subjectмашинне навчанняuk
dc.subjectзадача регресіїuk
dc.subjectсумісна модель гаусаuk
dc.subjectбагатозадачне навчанняuk
dc.subjectтелеграм ботuk
dc.subjectаналіз данихuk
dc.subjectобробка натуральної мовиuk
dc.subjectgeolocation predictionuk
dc.subjecttransformersuk
dc.subjecttwitter datasetuk
dc.subjectmachine learninguk
dc.subjectregres- sion taskuk
dc.subjectgaussian mixture modeluk
dc.subjectmultitask learninguk
dc.subjecttelegram botuk
dc.subjectnumerical data analysisuk
dc.subjectnatural language processinguk
dc.titleАлгоритми та програмне забезпечення для прогнозування геолокації у соціальних мережах за допомогою моделей на основі BERT
dc.typeBachelor Thesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Lutsai_bakalavr.pdf
Розмір:
16.08 MB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (ІПІ)
Бакалаврські роботи