Рекомендаційна система на основі нейронних мереж та динамічних вкладень графів
| dc.contributor.advisor | Недашківська, Надія Іванівна | |
| dc.contributor.author | Андросов, Дмитро Васильович | |
| dc.date.accessioned | 2026-07-15T13:13:45Z | |
| dc.date.available | 2026-07-15T13:13:45Z | |
| dc.date.issued | 2026 | |
| dc.description.abstract | Андросов Д. В. Рекомендаційна система на основі нейронних мереж та динамічних вкладень графів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 122 Компʼютерні науки (12 – Інформаційні технології). – Національний Технічний Університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2026. Розуміння поведінки користувачів на різноманітних платформахмаркетплейсах є одним з ключових завдань для компаній, які прагнуть зберегти лояльність клієнтів та тим самим забезпечити собі стабільний дохід. Очевидно, що поведінкові шаблони користувачів формуються як на основі довгострокових індивідуальних уподобань, так і під впливом нещодавніх взаємодій користувачів з платформою. З метою моделювання та подальшого дослідження цих складних патернів використовуються рекомендаційні системи – спеціалізований клас алгоритмів статистичного навчання. Головна суть цих систем полягає в генерації персоналізованих рекомендацій – найбільш релевантних пропозицій – детально аналізуючи минулі дії, уподобання та історію взаємодій користувачів. На практиці релевантність рекомендацій може оцінюватись за допомогою явного зворотного зв'язку, як-от рейтингів, які користувачі надають взаємодіям з контентом. Однак, коли отримання таких даних є складним або непрактичним, застосовуються неявні джерела зворотного зв'язку. До неявних сигналів належать показники активності користувачів, такі як кліки, перегляди, історія покупок, час перебування на сторінці та інші взаємодії з платформою, які дозволяють визначити приховані уподобання та наміри користувачів. Таким чином, рекомендаційні системи на основі неявного зворотного зв'язку відіграють ключову роль у прогнозуванні майбутніх дій та покращенні користувацького досвіду. Попри суттєві досягнення у сфері глибоких нейронних мереж, ці підходи часто мають обмеження, включаючи скінченність розміру послідовностей, що подаються на вхід до мережі, та, як наслідок, схильність до рекомендації пропозицій, що є популярними на загал. Такі результати роботи рекомендаційної системи зменшують різноманітність рекомендацій, негативно впливаючи на залученість користувачів. Щоб вирішити ці проблеми, у роботі запропоновано новий методологічний підхід, що інтегрує зовнішню реляційну інформацію у вигляді графів знань, побудованих на основі історичних даних взаємодій. Завдяки включенню графів знань у механізм багатоголової уваги, запропонована модель ефективно враховує складні взаємозв'язки та контекстну інформацію. Метою дисертаційної роботи є підвищення точності прогнозування наступної найкращої дії користувача, одночасно забезпечуючи швидкість обчислень, необхідну для видачі рекомендацій у режимі реального часу. Заради досягнення даної мети застосовано методологію побудови рекомендаційних систем на основі моделей глибинного навчання для прогнозування послідовностей, а також методів інтелектуального аналізу даних для роботи зі зваженими графами. У дисертації отримано такі результати, представлені нижче. 1. Вперше запропоновано методологію побудови гібридної рекомендаційної системи, що включає метод автоматичної генерації графів знань, метод одночасного аналізу цих графів з обробкою послідовностей поточних взаємодій користувача та платформи на основі механізмів уваги, дистиляції знань для оптимізації складності системи та метод прогнозування попиту на елементи за допомогою моделей простору станів. 2. Вперше запропоновано метод прогнозування попиту за допомогою спеціалізованих архітектур моделей простору станів, що ґрунтуються на операторах поліноміальної проекції високого порядку (HiPPO-операторах) та моделюванні неоднорідних пуасонівських процесів з метою неявного моделювання графу знань, що керується динамікою цього процесу. 3. Запропоновано метод побудови графу знань у вигляді причиннонаслідкових звʼязків на основі статистичних метрик, що відрізняється від існуючих мінімізацією втручання особи, яка приймає рішення у процес з метою автоматизації процедури конструювання. 4. Запропоновано модифікацію моделі видачі послідовних рекомендацій на основі механізму уваги, що відрізняється від інших подібних архітектур можливістю одночасного аналізу послідовностей та графу знань, що робить можливим врахувати поточний контекст та довгострокові залежності, збільшуючи точність результатів у межах вирішення видачі послідовних рекомендацій. 5. Набув подальшого розвитку метод дистиляції знань для задачі видачі послідовних та сесійних рекомендацій з метою покращення швидкодії системи. Практична цінність дисертаційної роботи полягає в тому, що: 1) розроблено методологію побудови великомасштабних рекомендаційних систем, що здатні працювати з гетерогенними даними та вирішувати задачу видачі найкращої наступної пропозиції. 2) у межах методології вперше запропоновані швидкодіючі гібридні рекомендаційні системи на основі дистиляції знань, а також моделей простору станів, що виконують неявне моделювання графу знань на основі даних візитів користувачів, що демонструють значний приріст у точності прогнозування наступної найкращої дії користувача, порівняно з іншими дослідженнями. У дисертаційному дослідженні шляхом проведення низки експериментів над набором даних REES46 OpenCDP показано, що в порівнянні з бейзлайнрішенням, що використовує моделі глибинних мереж на основі моделей LSTM з метою прогнозування послідовності взаємодії користувача з елементами, отриманими як результат застосування представленої методології моделями було досягнуто значного приросту метрик ранжування та скорочення часу видачі моделлю топ-100 найкращих пропозицій. Так, дистильована гібридна рекомендаційна система на основі модифікованого механізму уваги демонструє приріст метрики MAP@1 на 169%, MAP@10 – на 117%, NDCG@1 – на 167%, а NDCG@10 -–на 105%, при цьому час видачі топ-100 рекомендацій ATI@100 покращено на 10%. У свою чергу побудована у межах дослідження гібридна рекомендаційна система на основі HiPPO-операторів демонструє покращення відносно метрики MAP@1 на 169%, MAP@10 – на 341%, NDCG@1 – на 217%, NDCG@10 – на 301%, NDCG@10 – 192%, при цьому час видачі топ-100 рекомендацій ATI@100 гірше на 14%. В результаті провдення експериментів над популярним набором даних RetailRocket в дисертаційній роботі показано, що синтезована у результаті дослідження рекомендаційна система на основі модифікації моделей механізму уваги та моделі на основі HiPPO-операторів мають перевагу в порівнянні з моделями, що є найпопулярнішими рішеннями в індустрії – GRU4Rec, SASRec та BERT4Rec. Зокрема, гібридна рекомендаційна система на основі модифікованого механізму уваги продемонструвала сталий приріст значень метрики MAP@20 – на 70% відносно GRU4Rec, і 40% відносно SASRec, та метрики NDCG@10 – на 72% віднсоно GRU4Rec, 13% – SASRec та 38% – BERT4Rec. У свою чергу, метод на основі HiPPO-операторів надає покращення MAP@20 – на 480% в порівнянні з GRU4Rec та 406% відносно SAS4Rec, а відносно метрики NDCG@10 – на 90% відносно GRU4Rec, 20% відносно SAS4Rec та 47% – відносно BERT4Rec. Результати роботи впроваджено у навчальний процес навчальнонаукового інституту прикладного системного аналізу КПІ ім. Ігоря Сікорського. Всі теоретичні і практичні результати дисертаційної роботи у повній мірі опубліковано у фахових вітчизняних та закордонних наукових виданнях, що входять до відповідного встановленого переліку, а також виконано їх належну апробацію на міжнародних наукових конференціях і семінарах. Дисертаційна робота виконана у відповідності до планів науководослідних робіт: - НДР «Розробка моделей та методів розв’язання задач передбачення на основі великих обсягів слабкоструктурованої інформації в умовах невизначеності», №2305-ф, Державний реєстраційний номер: 0122U000671, дата реєстрації: 26-03-2025; - НДР «Розв’язання задач передбачення з використанням методів і моделей штучного інтелекту», №2314-ф, Державний реєстраційний номер:0125U000244, дата реєстрації: 13-01-2025. У дисертаційному дослідженні розв’язана задача підвищення точності статистичних моделей в контексті видачі послідовних рекомендацій, тобто рекомендацій найбільш релевантних для користувача наступних пропозицій, шляхом застосування сучасних методів інтелектуального аналізу даних, глибинного навчання та теорії графів до статистичних даних, представлених у вигляді гетерогенних часових рядів. У роботі вибрано, розглянуто і описано класи рекомендаційних систем, що використані для моделювання задачі видачі найбільш релевантної пропозиції, а також виконано опис математичних моделей та підходів, що на базі статистичних даних у вигляді часових рядів використовуються для моделювання спеціального класу графів, що називаються графами знань, а також для дослідження динаміки даних часових рядів. Задля останньої задачі були досліджені нестаціонарні пуасонівські процеси. У роботі досліджені часові ряди візитів користувачів до онлайнритейлерів, сформульовано задачу прогнозування наступної найкращої пропозиції. Однак розроблену методику можливо поширити і на інші домени, де необхідним є вирішення задачі ранжування зліченого набору предметів (товарів, послідовностей дій) за умов попередньо виконаних дій особи, що приймає рішення у межах поставленої задачі. Для прогнозування розглянуто підхід предиктивної аналітики з використанням методів інтелектуального аналізу даних та глибинного навчання. Для первинної обробки даних і створення графів знань запропоновано підходи статистичного аналізу, а саме алгоритми асоціативних правил на основі дерев FP-росту, TF-IDF та статистику взаємної попарної інформації (pointwise mutual information). У роботі запропоновано методи побудови рекомендаційних систем, що полягають в автоматичному створенні графів знань, тренуванні дворівневої моделі колаборативної фільтрації та вирішенні задачі оптимізації швидкості відповіді системи за допомогою підходу дистиляції знань та моделей простору станів. Така методологія забезпечує підвищення адекватності моделі і точності прогнозів найкращої наступної пропозиції. Для оцінок якості ранжування прогнозів побудовано критеріальну базу на основі метрик MAP та NDCG. Додатково, враховуючи важливість не лише точності системи, а й швидкодії обробки нею вихідних вибірок рекомендацій, з метою швидшого надання даних рекомендацій, критеріальну базу доповнено метрикою ATI (англ. average time of inference, середній час відповіді системи). Для конструювання нелінійної контент-орієнтованої моделі колаборативної фільтрації розглянуті підходи на базі рекурентних (RNN) нейронних мереж та механізму уваги (attention mechanism), проаналізовано їх переваги та недоліки. Для адресування проблеми вузької спеціалізації рекомендацій на основі контенту та можливості використання інформації зі сконструйованого графу знань запропоновано модифікацію механізму уваги та застосування алгоритмів поліноміальної проекції для апроксимації функцій в моделях простору станів (HiPPO-оператори). Проведено порівняльний аналіз отриманих прогнозів з результатами використання відомих підходів та методів конструювання рекомендаційних систем колаборативної фільтрації на основі RNN. За результатами всіх практичних експериментів було показано, що застосування методології робить можливим отримувати гібридні рекомендаційні системи, що надають швидкі та точні прогнози при ненабагато більших обчислювальних витратах. За матеріалами дисертації опубліковано 8 робіт, з яких 5 – це статті у журналах, що входять до переліку фахових видань затверджених МОН України за спеціальністю дисертації (2 з них включені до міжнародної наукометричної бази Scopus та 2 - до Web of Science, 1 – до фахового видання категорії «Б»), 1 стаття конференції, що увійшла до іноземного періодичного видання, що індексується в наукометричній базі Scopus та 2 публікації у матеріалах конференцій (у тому числі 1 міжнародній). | |
| dc.description.abstractother | Androsov D. V. Hybrid recommendation system based on neural networks and dynamic graph embeddings. Dissertation for the degree of Doctor of Philosophy in the field of knowledge 12 Information Technology, specialty 122 Computer Science. – National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute", Kyiv, 2026. Understanding user behavior on various marketplace platforms is one of the key tasks for companies seeking to maintain customer loyalty and thereby ensure stable revenue. It is evident that user behavioral patterns are formed both on the basis of longterm individual preferences and under the influence of users' recent interactions with the platform. To model and further study these complex patterns, recommendation systems are used – a specialized class of statistical learning algorithms. The main essence of these systems lies in generating personalized recommendations – that is, the most relevant offers – by thoroughly analyzing past actions, preferences, and interaction history of users. In practice, the relevance of recommendations can be assessed through explicit feedback, such as ratings that users provide for interactions with content. However, when obtaining such data is difficult or impractical, implicit feedback sources are applied. Implicit signals include user activity indicators such as clicks, views, purchase history, time spent on page, and other platform interactions that allow determining hidden preferences and user intentions. Thus, recommendation systems based on implicit feedback play a key role in predicting future actions and improving user experience. Despite significant achievements in the field of deep neural networks, these approaches often have limitations, including the finite size of sequences fed as input to the network and, as a consequence, a tendency to recommend offers that are generally popular. Such recommendation system results reduce the diversity of recommendations, negatively affecting user engagement. To address these problems, this work proposes a new methodological approach that integrates external relational information in the form of knowledge graphs built based on historical interaction data. By incorporating these graphs into the multi-head attention mechanism, the proposed model effectively accounts for complex relationships and contextual information. The goal of this dissertation work is to improve the accuracy of predicting the user's next best action while ensuring the computational speed necessary for delivering recommendations in real-time. To achieve this goal, a methodology for building recommendation systems based on deep learning models for sequence prediction is applied, as well as data mining methods for working with weighted graphs. The dissertation obtained the following results. 1. For the first time, a methodology for building hybrid recommender systems is proposed, which includes a method for automatic generation of knowledge graphs, a method for joint analysis of these graphs with processing of sequences of current user–platform interactions based on attention mechanisms, a knowledge distillation method for optimizing system complexity, and a method for demand forecasting for items using state-space models. 2. For the first time, a method is proposed for demand forecasting using specialized state-space model architectures based on high-order polynomial projection operators (HiPPO operators) and modeling of inhomogeneous Poisson processes with the aim of implicitly modeling the knowledge graph, which is dependent on the dynamic of the given process. 3. A method is proposed for constructing a knowledge graph in the form of causal relationships based on statistical metrics, which differs from existing approaches by minimizing decision-maker intervention in the process in order to automate the construction procedure. 4. A modification of a model for generating sequential recommendations based on the attention mechanism is proposed, which differs from other similar architectures by its ability to simultaneously analyze sequences and the knowledge graph, thereby taking into account the current context and long-term dependencies and increasing the accuracy of results in the task of generating sequential recommendations. 5. The method of knowledge distillation for the task of generating sequential and session-based recommendations has been further developed to improve the system’s performance. The practical value of the dissertation work lies in the fact that: 1) a methodology has been developed for building large-scale recommender systems capable of working with heterogeneous data and solving the task of providing the best next offer. 2) within this methodology, high-performance recommender systems based on a knowledge distillation framework were proposed for the first time, as well as state-space models that perform implicit knowledge graph modeling from user visit data, which demonstrate a significant increase in recommendation accuracy compared to other studies. In the dissertation study, a series of experiments on the REES46 OpenCDP dataset showed that, compared to a baseline solution using deep neural networks based on LSTM models for predicting sequences of user–item interactions, the models developed with the proposed methodology achieved a substantial increase in ranking metrics and a reduction in the time required to generate the top‑100 recommendations. Specifically, the distilled hybrid recommender system based on the modified attention mechanism yields an improvement in MAP@1 of 169%, MAP@10 of 117%, NDCG@1 of 167%, and NDCG@10 of 105%, while the time to produce the top‑100 recommendations (ATI@100) is reduced by 10%. In turn, the hybrid recommender system built in the study on the basis of HiPPO operators achieves improvements of 169% in MAP@1, 341% in MAP@10, 217% in NDCG@1, 301% in NDCG@10 and 192% in NDCG@10, although ATI@100 becomes 14% worse. As a result of experiments on the popular RetailRocket dataset, the dissertation demonstrates that the synthesized recommender system based on the modified attention‑mechanism models and the model based on HiPPO operators outperforms the most widely used industry baselines – GRU4Rec, SASRec, and BERT4Rec. In particular, the hybrid attention‑based recommender system shows a consistent increase in MAP@20 of 70% relative to GRU4Rec and 40% relative to SASRec, and an improvement in NDCG@10 of 72% over GRU4Rec, 13% over SASRec, and 38% over BERT4Rec. The HiPPO‑based method, in turn, provides a 480% improvement in MAP@20 compared to GRU4Rec and 406% compared to SASRec, and NDCG@10 gains of 90% over GRU4Rec, 20% over SASRec, and 47% over BERT4Rec. The results of this work have been incorporated into the teaching process of the Educational and Research Institute for Applied System Analysis at Igor Sikorsky Kyiv Polytechnic Institute. All theoretical and practical results of the dissertation work are fully published in professional domestic and foreign scientific publications included in the corresponding established list, and their proper validation has been performed at international scientific conferences and seminars. The dissertation was carried out in accordance with the plans of research projects: - Research project "Development of models and methods for solving prediction problems based on large volumes of weakly structured information under uncertainty," No. 2305-f, State registration number: 0122U000671, registration date: 26-03-2025; - Research project “Solving prediction problems using artificial intelligence methods and models,” No. 2314-f, State registration number: 0125U000244, registration date: 13-01-2025. The dissertation research solved the problem of improving the adequacy of statistical models in the context of delivering sequential recommendations, i.e., recommendations of the most relevant next offers for the user, by applying modern methods of intelligent data analysis, deep learning, and graph theory to statistical data represented as heterogeneous time series. The work selected, considered, and described classes of recommendation systems used for modeling the task of delivering the most relevant offer, and performed a description of mathematical models and approaches that, based on statistical data in the form of time series, are used for modeling a special class of graphs called knowledge graphs, as well as for studying the dynamics of time series data. For the latter task, non-stationary Poisson processes were investigated. The work investigated time series of user visits to online retailers and formulated the task of predicting the next best offer. However, the developed methodology can be extended to other domains where it is necessary to solve the problem of ranking a countable set of objects (goods, action sequences) under conditions of previously performed actions by the decision-maker within the framework of the posed task. For forecasting, a predictive analytics approach using data mining methods and deep learning is considered. For primary data processing and knowledge graph creation, statistical analysis approaches are proposed, namely association rule algorithms, TF-IDF, and mutual pairwise information statistics. The work proposes methods for building recommendation systems that consist of automatic knowledge graph creation, training a two-level collaborative filtering model, and solving the problem of optimizing system response speed using knowledge distillation approach and state-space models. This methodology ensures improved model adequacy and accuracy of next best offer predictions. For evaluating ranking quality of predictions, a criteria base was built based on MAP and NDCG metrics. For constructing a nonlinear content-oriented collaborative filtering model, approaches based on recurrent (RNN) neural networks and attention mechanism are considered, and their advantages and disadvantages are analyzed. To address the problem of narrow specialization of content-based recommendations and the possibility of using information from the constructed knowledge graph, a modification of the attention mechanism and application of polynomial projection algorithms for function approximation in state-space models (HiPPO operators) is proposed. A comparative analysis of the obtained predictions with results from using known approaches and methods for constructing collaborative filtering recommendation systems based on RNN was conducted. Based on the results of all practical experiments, it was shown that using the developed approach allows obtaining adequate models and accurate predictions with only slightly higher computational costs. Based on the dissertation materials, 8 works have been published, including 5 articles in journals and collections of scientific papers included in the list of professional publications approved by the Ministry of Education and Science of Ukraine for the dissertation specialty (2 of which are indexed in the Scopus international scientometric database and 2 in Web of Science, 1 – to a professional publication of category “B”), 1 conference paper published in a foreign periodical indexed in the Scopus scientometric database, and 2 publications in conference proceedings (including international ones). | |
| dc.format.extent | 156 с. | |
| dc.identifier.citation | Андросов, Д. В. Рекомендаційна система на основі нейронних мереж та динамічних вкладень графів : дис. … д-ра філософії : 122 – Комп’ютерні науки / Андросов Дмитро Васильович. – Київ, 2026. – 156 с. | |
| dc.identifier.uri | https://ela.kpi.ua/handle/123456789/82249 | |
| dc.language.iso | uk | |
| dc.publisher | КПІ ім. Ігоря Сікорського | |
| dc.publisher.place | Київ | |
| dc.subject | рекомендаційні системи | |
| dc.subject | гібридні системи | |
| dc.subject | графи знань | |
| dc.subject | дистиляція знань | |
| dc.subject | нестаціонарні процеси | |
| dc.subject | часові ряди | |
| dc.subject | нейронні мережі | |
| dc.subject | рекурентні нейронні мережі | |
| dc.subject | механізм уваги | |
| dc.subject | моделі у просторі станів | |
| dc.subject | апроксимаційні моделі | |
| dc.subject | автокодувальники | |
| dc.subject | соціальні мережі | |
| dc.subject | електронна комерція | |
| dc.subject | recommender systems | |
| dc.subject | hybrid systems | |
| dc.subject | knowledge graphs | |
| dc.subject | knowledge distillation | |
| dc.subject | non-stationary processes | |
| dc.subject | time series | |
| dc.subject | neural networks | |
| dc.subject | recurrent neural networks | |
| dc.subject | attention mechanism | |
| dc.subject | state-space models | |
| dc.subject | approximation models | |
| dc.subject | autoencoders | |
| dc.subject | social networks | |
| dc.subject | e-commerce | |
| dc.subject.udc | 004.942:519.216.3 | |
| dc.title | Рекомендаційна система на основі нейронних мереж та динамічних вкладень графів | |
| dc.title.alternative | Hybrid recommendation system based on neural networks and dynamic graph embeddings | |
| dc.type | Thesis Doctoral |
Файли
Контейнер файлів
1 - 1 з 1
Ліцензійна угода
1 - 1 з 1
Ескіз недоступний
- Назва:
- license.txt
- Розмір:
- 8.98 KB
- Формат:
- Item-specific license agreed upon to submission
- Опис: