Одне узагальнення LSTM-нейронних мереж
Основна мета публікації — розробка узагальненої LSTM-нейронної мережі з урахуванням передісторії скінченної глибини. Більшість робіт з даного напрямку присвячено багатопотоковим узагальненням з наявністю кореляції між потоками, тобто розглядається розширення LSTM-моделі в ширину аналогічно до панель...
Збережено в:
| Дата: | 2023 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine
2023
|
| Теми: | |
| Онлайн доступ: | https://jais.net.ua/index.php/files/article/view/118 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Problems of Control and Informatics |
Репозитарії
Problems of Control and Informatics| Резюме: | Основна мета публікації — розробка узагальненої LSTM-нейронної мережі з урахуванням передісторії скінченної глибини. Більшість робіт з даного напрямку присвячено багатопотоковим узагальненням з наявністю кореляції між потоками, тобто розглядається розширення LSTM-моделі в ширину аналогічно до панельних даних у часових рядах. Проводиться розширення моделі в глибину, що дозволить враховувати періодичні компоненти часових рядів та інші детерміновані складові процесу, тобто без передобробки даних. Як показано в прикладі, розробка даної моделі дозволяє розширити використання класичних LSTM-мереж на динамічні системи з чітко вираженою періодичною складовою. Крім самої розширеної моделі, розглядається проблема обчислення параметрів моделі, яке ґрунтується на методі зворотного поширення. Для цього обчислено частинні похідні результуючого вихідного сигналу за невідомими параметрами та показано рекурентність даних похідних за часом аналогічно класичній LSTM-моделі. Додатковою проблемою при створенні розширеної моделі є оцінка гіперпараметра ρ, який вказує на глибину передісторії процесу. В звʼязку з цим розроблено алгоритм оцінки гіперпараметра з подальшою оцінкою всіх параметрів моделі. |
|---|