Рекомендаційна система на основі нейронних мереж та динамічних вкладень графів
Вантажиться...
Дата
2026
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Андросов Д. В. Рекомендаційна система на основі нейронних мереж та динамічних вкладень графів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 122 Компʼютерні науки (12 – Інформаційні технології). – Національний Технічний Університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київ, 2026.
Розуміння поведінки користувачів на різноманітних платформахмаркетплейсах є одним з ключових завдань для компаній, які прагнуть зберегти лояльність клієнтів та тим самим забезпечити собі стабільний дохід. Очевидно, що поведінкові шаблони користувачів формуються як на основі довгострокових індивідуальних уподобань, так і під впливом нещодавніх взаємодій користувачів з платформою. З метою моделювання та подальшого дослідження цих складних патернів використовуються рекомендаційні системи – спеціалізований клас алгоритмів статистичного навчання. Головна суть цих систем полягає в генерації персоналізованих рекомендацій – найбільш релевантних пропозицій – детально аналізуючи минулі дії, уподобання та історію взаємодій користувачів. На практиці релевантність рекомендацій може оцінюватись за допомогою явного зворотного зв'язку, як-от рейтингів, які користувачі надають взаємодіям з контентом. Однак, коли отримання таких даних є складним або непрактичним, застосовуються неявні джерела зворотного зв'язку. До неявних сигналів належать показники активності користувачів, такі як кліки, перегляди, історія покупок, час перебування на сторінці та інші взаємодії з платформою, які дозволяють визначити приховані уподобання та наміри користувачів. Таким чином, рекомендаційні системи на основі неявного зворотного зв'язку відіграють ключову роль у прогнозуванні майбутніх дій та покращенні користувацького досвіду. Попри суттєві досягнення у сфері глибоких нейронних мереж, ці підходи часто мають обмеження, включаючи скінченність розміру послідовностей, що подаються на вхід до мережі, та, як наслідок, схильність до рекомендації пропозицій, що є популярними на загал. Такі результати роботи рекомендаційної системи зменшують різноманітність рекомендацій, негативно впливаючи на залученість користувачів. Щоб вирішити ці проблеми, у роботі запропоновано новий методологічний підхід, що інтегрує зовнішню реляційну інформацію у вигляді графів знань, побудованих на основі історичних даних взаємодій. Завдяки включенню графів знань у механізм багатоголової уваги, запропонована модель ефективно враховує складні взаємозв'язки та контекстну інформацію. Метою дисертаційної роботи є підвищення точності прогнозування наступної найкращої дії користувача, одночасно забезпечуючи швидкість обчислень, необхідну для видачі рекомендацій у режимі реального часу. Заради досягнення даної мети застосовано методологію побудови рекомендаційних систем на основі моделей глибинного навчання для прогнозування послідовностей, а також методів інтелектуального аналізу даних для роботи зі зваженими графами. У дисертації отримано такі результати, представлені нижче. 1. Вперше запропоновано методологію побудови гібридної рекомендаційної системи, що включає метод автоматичної генерації графів знань, метод одночасного аналізу цих графів з обробкою послідовностей поточних взаємодій користувача та платформи на основі механізмів уваги, дистиляції знань для оптимізації складності системи та метод прогнозування попиту на елементи за допомогою моделей простору станів. 2. Вперше запропоновано метод прогнозування попиту за допомогою спеціалізованих архітектур моделей простору станів, що ґрунтуються на операторах поліноміальної проекції високого порядку (HiPPO-операторах) та моделюванні неоднорідних пуасонівських процесів з метою неявного моделювання графу знань, що керується динамікою цього процесу. 3. Запропоновано метод побудови графу знань у вигляді причиннонаслідкових звʼязків на основі статистичних метрик, що відрізняється від існуючих мінімізацією втручання особи, яка приймає рішення у процес з метою автоматизації процедури конструювання. 4. Запропоновано модифікацію моделі видачі послідовних рекомендацій на основі механізму уваги, що відрізняється від інших подібних архітектур можливістю одночасного аналізу послідовностей та графу знань, що робить можливим врахувати поточний контекст та довгострокові залежності, збільшуючи точність результатів у межах вирішення видачі послідовних рекомендацій. 5. Набув подальшого розвитку метод дистиляції знань для задачі видачі послідовних та сесійних рекомендацій з метою покращення швидкодії системи. Практична цінність дисертаційної роботи полягає в тому, що: 1) розроблено методологію побудови великомасштабних рекомендаційних систем, що здатні працювати з гетерогенними даними та вирішувати задачу видачі найкращої наступної пропозиції. 2) у межах методології вперше запропоновані швидкодіючі гібридні рекомендаційні системи на основі дистиляції знань, а також моделей простору станів, що виконують неявне моделювання графу знань на основі даних візитів користувачів, що демонструють значний приріст у точності прогнозування наступної найкращої дії користувача, порівняно з іншими дослідженнями. У дисертаційному дослідженні шляхом проведення низки експериментів над набором даних REES46 OpenCDP показано, що в порівнянні з бейзлайнрішенням, що використовує моделі глибинних мереж на основі моделей LSTM з метою прогнозування послідовності взаємодії користувача з елементами, отриманими як результат застосування представленої методології моделями було досягнуто значного приросту метрик ранжування та скорочення часу видачі моделлю топ-100 найкращих пропозицій. Так, дистильована гібридна рекомендаційна система на основі модифікованого механізму уваги демонструє приріст метрики MAP@1 на 169%, MAP@10 – на 117%, NDCG@1 – на 167%, а NDCG@10 -–на 105%, при цьому час видачі топ-100 рекомендацій ATI@100 покращено на 10%. У свою чергу побудована у межах дослідження гібридна рекомендаційна система на основі HiPPO-операторів демонструє покращення відносно метрики MAP@1 на 169%, MAP@10 – на 341%, NDCG@1 – на 217%, NDCG@10 – на 301%, NDCG@10 – 192%, при цьому час видачі топ-100 рекомендацій ATI@100 гірше на 14%. В результаті провдення експериментів над популярним набором даних RetailRocket в дисертаційній роботі показано, що синтезована у результаті дослідження рекомендаційна система на основі модифікації моделей механізму уваги та моделі на основі HiPPO-операторів мають перевагу в порівнянні з моделями, що є найпопулярнішими рішеннями в індустрії – GRU4Rec, SASRec та BERT4Rec. Зокрема, гібридна рекомендаційна система на основі модифікованого механізму уваги продемонструвала сталий приріст значень метрики MAP@20 – на 70% відносно GRU4Rec, і 40% відносно SASRec, та метрики NDCG@10 – на 72% віднсоно GRU4Rec, 13% – SASRec та 38% – BERT4Rec. У свою чергу, метод на основі HiPPO-операторів надає покращення MAP@20 – на 480% в порівнянні з GRU4Rec та 406% відносно SAS4Rec, а відносно метрики NDCG@10 – на 90% відносно GRU4Rec, 20% відносно SAS4Rec та 47% – відносно BERT4Rec. Результати роботи впроваджено у навчальний процес навчальнонаукового інституту прикладного системного аналізу КПІ ім. Ігоря Сікорського. Всі теоретичні і практичні результати дисертаційної роботи у повній мірі опубліковано у фахових вітчизняних та закордонних наукових виданнях, що входять до відповідного встановленого переліку, а також виконано їх належну апробацію на міжнародних наукових конференціях і семінарах. Дисертаційна робота виконана у відповідності до планів науководослідних робіт: - НДР «Розробка моделей та методів розв’язання задач передбачення на основі великих обсягів слабкоструктурованої інформації в умовах невизначеності», №2305-ф, Державний реєстраційний номер: 0122U000671, дата реєстрації: 26-03-2025; - НДР «Розв’язання задач передбачення з використанням методів і моделей штучного інтелекту», №2314-ф, Державний реєстраційний номер:0125U000244, дата реєстрації: 13-01-2025. У дисертаційному дослідженні розв’язана задача підвищення точності статистичних моделей в контексті видачі послідовних рекомендацій, тобто рекомендацій найбільш релевантних для користувача наступних пропозицій, шляхом застосування сучасних методів інтелектуального аналізу даних, глибинного навчання та теорії графів до статистичних даних, представлених у вигляді гетерогенних часових рядів. У роботі вибрано, розглянуто і описано класи рекомендаційних систем, що використані для моделювання задачі видачі найбільш релевантної пропозиції, а також виконано опис математичних моделей та підходів, що на базі статистичних даних у вигляді часових рядів використовуються для моделювання спеціального класу графів, що називаються графами знань, а також для дослідження динаміки даних часових рядів. Задля останньої задачі були досліджені нестаціонарні пуасонівські процеси. У роботі досліджені часові ряди візитів користувачів до онлайнритейлерів, сформульовано задачу прогнозування наступної найкращої пропозиції. Однак розроблену методику можливо поширити і на інші домени, де необхідним є вирішення задачі ранжування зліченого набору предметів (товарів, послідовностей дій) за умов попередньо виконаних дій особи, що приймає рішення у межах поставленої задачі. Для прогнозування розглянуто підхід предиктивної аналітики з використанням методів інтелектуального аналізу даних та глибинного навчання. Для первинної обробки даних і створення графів знань запропоновано підходи статистичного аналізу, а саме алгоритми асоціативних правил на основі дерев FP-росту, TF-IDF та статистику взаємної попарної інформації (pointwise mutual information). У роботі запропоновано методи побудови рекомендаційних систем, що полягають в автоматичному створенні графів знань, тренуванні дворівневої моделі колаборативної фільтрації та вирішенні задачі оптимізації швидкості відповіді системи за допомогою підходу дистиляції знань та моделей простору станів. Така методологія забезпечує підвищення адекватності моделі і точності прогнозів найкращої наступної пропозиції. Для оцінок якості ранжування прогнозів побудовано критеріальну базу на основі метрик MAP та NDCG. Додатково, враховуючи важливість не лише точності системи, а й швидкодії обробки нею вихідних вибірок рекомендацій, з метою швидшого надання даних рекомендацій, критеріальну базу доповнено метрикою ATI (англ. average time of inference, середній час відповіді системи). Для конструювання нелінійної контент-орієнтованої моделі колаборативної фільтрації розглянуті підходи на базі рекурентних (RNN) нейронних мереж та механізму уваги (attention mechanism), проаналізовано їх переваги та недоліки. Для адресування проблеми вузької спеціалізації рекомендацій на основі контенту та можливості використання інформації зі сконструйованого графу знань запропоновано модифікацію механізму уваги та застосування алгоритмів поліноміальної проекції для апроксимації функцій в моделях простору станів (HiPPO-оператори). Проведено порівняльний аналіз отриманих прогнозів з результатами використання відомих підходів та методів конструювання рекомендаційних систем колаборативної фільтрації на основі RNN. За результатами всіх практичних експериментів було показано, що застосування методології робить можливим отримувати гібридні рекомендаційні системи, що надають швидкі та точні прогнози при ненабагато більших обчислювальних витратах. За матеріалами дисертації опубліковано 8 робіт, з яких 5 – це статті у журналах, що входять до переліку фахових видань затверджених МОН України за спеціальністю дисертації (2 з них включені до міжнародної наукометричної бази Scopus та 2 - до Web of Science, 1 – до фахового видання категорії «Б»), 1 стаття конференції, що увійшла до іноземного періодичного видання, що індексується в наукометричній базі Scopus та 2 публікації у матеріалах конференцій (у тому числі 1 міжнародній).
Опис
Ключові слова
рекомендаційні системи, гібридні системи, графи знань, дистиляція знань, нестаціонарні процеси, часові ряди, нейронні мережі, рекурентні нейронні мережі, механізм уваги, моделі у просторі станів, апроксимаційні моделі, автокодувальники, соціальні мережі, електронна комерція, recommender systems, hybrid systems, knowledge graphs, knowledge distillation, non-stationary processes, time series, neural networks, recurrent neural networks, attention mechanism, state-space models, approximation models, autoencoders, social networks, e-commerce
Бібліографічний опис
Андросов, Д. В. Рекомендаційна система на основі нейронних мереж та динамічних вкладень графів : дис. … д-ра філософії : 122 – Комп’ютерні науки / Андросов Дмитро Васильович. – Київ, 2026. – 156 с.