Багатокрокове прогнозування в лінеаризованих латентних просторах для навчання репрезинтацій
In this paper, we derive a novel method as a generalization over LCEs such as E2C. The method develops the idea of learning a locally linear state space by adding a multi-step prediction, thus allowing for more explicit control over the curvature. We show that the method outperforms E2C without dras...
Gespeichert in:
| Datum: | 2022 |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Englisch |
| Veröffentlicht: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2022
|
| Schlagworte: | |
| Online Zugang: | http://journal.iasa.kpi.ua/article/view/269583 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | System research and information technologies |
Institution
System research and information technologies| _version_ | 1856543563414765568 |
|---|---|
| author | Tytarenko, Andrii |
| author_facet | Tytarenko, Andrii |
| author_sort | Tytarenko, Andrii |
| baseUrl_str | |
| collection | OJS |
| datestamp_date | 2022-12-21T22:15:21Z |
| description | In this paper, we derive a novel method as a generalization over LCEs such as E2C. The method develops the idea of learning a locally linear state space by adding a multi-step prediction, thus allowing for more explicit control over the curvature. We show that the method outperforms E2C without drastic model changes which come with other works, such as PCC and P3C. We discuss the relation between E2C and the presented method and derive update equations. We provide empirical evidence, which suggests that by considering the multi-step prediction, our method – ms-E2C – allows learning much better latent state spaces in terms of curvature and next state predictability. Finally, we also discuss certain stability challenges we encounter with multi-step predictions and how to mitigate them. |
| first_indexed | 2025-07-17T10:28:03Z |
| format | Article |
| id | journaliasakpiua-article-269583 |
| institution | System research and information technologies |
| language | English |
| last_indexed | 2025-07-17T10:28:03Z |
| publishDate | 2022 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| spelling | journaliasakpiua-article-2695832022-12-21T22:15:21Z Multi-step prediction in linearized latent state spaces for representation learning Багатокрокове прогнозування в лінеаризованих латентних просторах для навчання репрезинтацій Tytarenko, Andrii representation learning learning controllable embedding reinforcement learning latent state space навчання репрезентацій навчання керованих просторів навчання з підкріпленням латентний простір станів In this paper, we derive a novel method as a generalization over LCEs such as E2C. The method develops the idea of learning a locally linear state space by adding a multi-step prediction, thus allowing for more explicit control over the curvature. We show that the method outperforms E2C without drastic model changes which come with other works, such as PCC and P3C. We discuss the relation between E2C and the presented method and derive update equations. We provide empirical evidence, which suggests that by considering the multi-step prediction, our method – ms-E2C – allows learning much better latent state spaces in terms of curvature and next state predictability. Finally, we also discuss certain stability challenges we encounter with multi-step predictions and how to mitigate them. Запропоновано новий метод, що узагальнює підходи LCE, такі як E2C. Метод розвиває ідею вивчення локально-лінійного простору станів шляхом розглядання багатокрокового прогнозування, що дає змогу чіткіше контролювати кривизну шуканого простору. Продемонстровано, що метод перевершує E2C без суттєвих змін загальної моделі, на відміну від інших робіт, таких як PCC і P3C. Розглянуто зв’язок між E2C і запропонованим методом та між їх відповідними рівняннями оновлень. Подано емпіричні докази, які свідчать, що ms-E2C дозволяє набагато краще вивчати простори прихованих станів з точки зору кривизни та прогнозованості наступних станів. Крім того, висвітлено певні проблеми стабільності, пов’язані з багатокроковими прогнозами, та способи їх вирішення. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2022-10-30 Article Article application/pdf http://journal.iasa.kpi.ua/article/view/269583 10.20535/SRIT.2308-8893.2022.3.09 System research and information technologies; No. 3 (2022); 139-148 Системные исследования и информационные технологии; № 3 (2022); 139-148 Системні дослідження та інформаційні технології; № 3 (2022); 139-148 2308-8893 1681-6048 en http://journal.iasa.kpi.ua/article/view/269583/265053 |
| spellingShingle | навчання репрезентацій навчання керованих просторів навчання з підкріпленням латентний простір станів Tytarenko, Andrii Багатокрокове прогнозування в лінеаризованих латентних просторах для навчання репрезинтацій |
| title | Багатокрокове прогнозування в лінеаризованих латентних просторах для навчання репрезинтацій |
| title_alt | Multi-step prediction in linearized latent state spaces for representation learning |
| title_full | Багатокрокове прогнозування в лінеаризованих латентних просторах для навчання репрезинтацій |
| title_fullStr | Багатокрокове прогнозування в лінеаризованих латентних просторах для навчання репрезинтацій |
| title_full_unstemmed | Багатокрокове прогнозування в лінеаризованих латентних просторах для навчання репрезинтацій |
| title_short | Багатокрокове прогнозування в лінеаризованих латентних просторах для навчання репрезинтацій |
| title_sort | багатокрокове прогнозування в лінеаризованих латентних просторах для навчання репрезинтацій |
| topic | навчання репрезентацій навчання керованих просторів навчання з підкріпленням латентний простір станів |
| topic_facet | representation learning learning controllable embedding reinforcement learning latent state space навчання репрезентацій навчання керованих просторів навчання з підкріпленням латентний простір станів |
| url | http://journal.iasa.kpi.ua/article/view/269583 |
| work_keys_str_mv | AT tytarenkoandrii multisteppredictioninlinearizedlatentstatespacesforrepresentationlearning AT tytarenkoandrii bagatokrokoveprognozuvannâvlínearizovanihlatentnihprostorahdlânavčannâreprezintacíj |