Multi-step prediction in linearized latent state spaces for representation learning
Вантажиться...
Дата
2022
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
In this paper, we derive a novel method as a generalization over LCEs
such as E2C. The method develops the idea of learning a locally linear state space
by adding a multi-step prediction, thus allowing for more explicit control over the
curvature. We show that the method outperforms E2C without drastic model changes
which come with other works, such as PCC and P3C. We discuss the relation between
E2C and the presented method and derive update equations. We provide empirical
evidence, which suggests that by considering the multi-step prediction, our
method – ms-E2C – allows learning much better latent state spaces in terms of curvature
and next state predictability. Finally, we also discuss certain stability challenges
we encounter with multi-step predictions and how to mitigate them.
Опис
Ключові слова
representation learning, learning controllable embedding, reinforcement learning, latent state space, навчання репрезентацій, навчання керованих просторів, навчання з підкріпленням, латентний простір станів
Бібліографічний опис
Tytarenko, A. Multi-step prediction in linearized latent state spaces for representation learning / A. Tytarenko // Системні дослідження та інформаційні технології : міжнародний науково-технічний журнал. – 2022. – № 3. – С. 139-148. – Бібліогр.: 18 назв.