Одне узагальнення LSTM-нейронних мереж
Основна мета публікації — розробка узагальненої LSTM-нейронної мережі з урахуванням передісторії скінченної глибини. Більшість робіт з даного напрямку присвячено багатопотоковим узагальненням з наявністю кореляції між потоками, тобто розглядається розширення LSTM-моделі в ширину аналогічно до панель...
Gespeichert in:
| Datum: | 2023 |
|---|---|
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine
2023
|
| Schlagworte: | |
| Online Zugang: | https://jais.net.ua/index.php/files/article/view/118 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Problems of Control and Informatics |
Institution
Problems of Control and Informatics| Zusammenfassung: | Основна мета публікації — розробка узагальненої LSTM-нейронної мережі з урахуванням передісторії скінченної глибини. Більшість робіт з даного напрямку присвячено багатопотоковим узагальненням з наявністю кореляції між потоками, тобто розглядається розширення LSTM-моделі в ширину аналогічно до панельних даних у часових рядах. Проводиться розширення моделі в глибину, що дозволить враховувати періодичні компоненти часових рядів та інші детерміновані складові процесу, тобто без передобробки даних. Як показано в прикладі, розробка даної моделі дозволяє розширити використання класичних LSTM-мереж на динамічні системи з чітко вираженою періодичною складовою. Крім самої розширеної моделі, розглядається проблема обчислення параметрів моделі, яке ґрунтується на методі зворотного поширення. Для цього обчислено частинні похідні результуючого вихідного сигналу за невідомими параметрами та показано рекурентність даних похідних за часом аналогічно класичній LSTM-моделі. Додатковою проблемою при створенні розширеної моделі є оцінка гіперпараметра ρ, який вказує на глибину передісторії процесу. В звʼязку з цим розроблено алгоритм оцінки гіперпараметра з подальшою оцінкою всіх параметрів моделі. |
|---|