Оптимізація раннього виявлення девіацій у моделях Mamba для часових рядів
Вантажиться...
Дата
2026
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
У статті досліджується задача раннього виявлення девіацій у внутрішніх представленнях моделей Mamba для прогнозування часових рядів. Для аналізу латентного простору використано розріджувальний автокодувальник, навчений на прихованих активаціях стабільної моделі. Проведено порівняння стабільної та деградованої внаслідок оптимізації моделей Mamba з різними динаміками навчання. Дослідження виконано для декількох рівнів внутрішніх представлень моделі: block_0, block_last та final_encoder. Отримані результати показують, що деградаційні патерни виникають уже на ранніх префіксах послідовності. Для шару block_0 понад 98% максимальної девіації спостерігається вже на перших 10% токенів. Також показано, що латентні представлення, отримані за допомогою розріджувального автокодувальника, містять інформацію про деградацію прогнозування та в окремих випадках перевершують сирі активації моделі при оцінюванні помилки прогнозування. Додатково встановлено, що нелінійні моделі ефективніше виявляють зв'язок між латентними представленнями та помилкою прогнозування порівняно з лінійними методами. Результати дослідження демонструють перспективність використання розріджувальних автокодувальників для аналізу внутрішніх станів моделей простору станів і раннього виявлення деградаційних процесів у задачах часових рядів. Крім того, результати свідчать про потенційну практичну цінність підходу, зокрема можливість виявлення деградації моделі до завершення повної обробки послідовності, що відкриває перспективи для зменшення обчислювальних витрат у системах прогнозування.
Опис
Ключові слова
Mamba, розріджувальний автокодувальник, часові ряди, моделі простору станів, латентні представлення, інтерпретованість, раннє виявлення девіацій
Бібліографічний опис
Бродіна, Е. В. Оптимізація раннього виявлення девіацій у моделях Mamba для часових рядів / Е. В. Бродіна, Н. М. Куссуль // Теоретичні і прикладні проблеми фізики, математики та інформатики : матеріали XXIV Всеукраїнської науково-практичної конференції студентів, аспірантів та молодих вчених, [Київ], 13–16 травня 2026 р. / КПІ ім. Ігоря Сікорського. – Київ, 2026. – С. 291-294.