Одне узагальнення LSTM-нейронних мереж
Основна мета публікації — розробка узагальненої LSTM-нейронної мережі з урахуванням передісторії скінченної глибини. Більшість робіт з даного напрямку присвячено багатопотоковим узагальненням з наявністю кореляції між потоками, тобто розглядається розширення LSTM-моделі в ширину аналогічно до панель...
Gespeichert in:
| Datum: | 2023 |
|---|---|
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine
2023
|
| Schlagworte: | |
| Online Zugang: | https://jais.net.ua/index.php/files/article/view/118 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Problems of Control and Informatics |
Institution
Problems of Control and Informatics| id |
oai:ojs2.jais.net.ua:article-118 |
|---|---|
| record_format |
ojs |
| institution |
Problems of Control and Informatics |
| baseUrl_str |
|
| datestamp_date |
2024-03-14T10:20:44Z |
| collection |
OJS |
| language |
Ukrainian |
| topic |
нейронні мережі оцінка параметрів метод зворотного поширення часові ряди |
| spellingShingle |
нейронні мережі оцінка параметрів метод зворотного поширення часові ряди Kushnir, Mykola Tokarieva, Kateryna Одне узагальнення LSTM-нейронних мереж |
| topic_facet |
нейронні мережі оцінка параметрів метод зворотного поширення часові ряди neural networks parameter estimation backward propagation time series нейронные сети оценка параметров метод обратного распространения временные ряды |
| format |
Article |
| author |
Kushnir, Mykola Tokarieva, Kateryna |
| author_facet |
Kushnir, Mykola Tokarieva, Kateryna |
| author_sort |
Kushnir, Mykola |
| title |
Одне узагальнення LSTM-нейронних мереж |
| title_short |
Одне узагальнення LSTM-нейронних мереж |
| title_full |
Одне узагальнення LSTM-нейронних мереж |
| title_fullStr |
Одне узагальнення LSTM-нейронних мереж |
| title_full_unstemmed |
Одне узагальнення LSTM-нейронних мереж |
| title_sort |
одне узагальнення lstm-нейронних мереж |
| title_alt |
One generalization of lstm neuron networks Одно обобщение LSTM-нейронных сетей |
| description |
Основна мета публікації — розробка узагальненої LSTM-нейронної мережі з урахуванням передісторії скінченної глибини. Більшість робіт з даного напрямку присвячено багатопотоковим узагальненням з наявністю кореляції між потоками, тобто розглядається розширення LSTM-моделі в ширину аналогічно до панельних даних у часових рядах. Проводиться розширення моделі в глибину, що дозволить враховувати періодичні компоненти часових рядів та інші детерміновані складові процесу, тобто без передобробки даних. Як показано в прикладі, розробка даної моделі дозволяє розширити використання класичних LSTM-мереж на динамічні системи з чітко вираженою періодичною складовою. Крім самої розширеної моделі, розглядається проблема обчислення параметрів моделі, яке ґрунтується на методі зворотного поширення. Для цього обчислено частинні похідні результуючого вихідного сигналу за невідомими параметрами та показано рекурентність даних похідних за часом аналогічно класичній LSTM-моделі. Додатковою проблемою при створенні розширеної моделі є оцінка гіперпараметра ρ, який вказує на глибину передісторії процесу. В звʼязку з цим розроблено алгоритм оцінки гіперпараметра з подальшою оцінкою всіх параметрів моделі. |
| publisher |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine |
| publishDate |
2023 |
| url |
https://jais.net.ua/index.php/files/article/view/118 |
| work_keys_str_mv |
AT kushnirmykola odneuzagalʹnennâlstmnejronnihmerež AT tokarievakateryna odneuzagalʹnennâlstmnejronnihmerež AT kushnirmykola onegeneralizationoflstmneuronnetworks AT tokarievakateryna onegeneralizationoflstmneuronnetworks AT kushnirmykola odnoobobŝenielstmnejronnyhsetej AT tokarievakateryna odnoobobŝenielstmnejronnyhsetej |
| first_indexed |
2025-10-30T02:48:39Z |
| last_indexed |
2025-10-30T02:48:39Z |
| _version_ |
1847373353285844992 |
| spelling |
oai:ojs2.jais.net.ua:article-1182024-03-14T10:20:44Z Одне узагальнення LSTM-нейронних мереж One generalization of lstm neuron networks Одно обобщение LSTM-нейронных сетей Kushnir, Mykola Tokarieva, Kateryna нейронні мережі оцінка параметрів метод зворотного поширення часові ряди neural networks parameter estimation backward propagation time series нейронные сети оценка параметров метод обратного распространения временные ряды Основна мета публікації — розробка узагальненої LSTM-нейронної мережі з урахуванням передісторії скінченної глибини. Більшість робіт з даного напрямку присвячено багатопотоковим узагальненням з наявністю кореляції між потоками, тобто розглядається розширення LSTM-моделі в ширину аналогічно до панельних даних у часових рядах. Проводиться розширення моделі в глибину, що дозволить враховувати періодичні компоненти часових рядів та інші детерміновані складові процесу, тобто без передобробки даних. Як показано в прикладі, розробка даної моделі дозволяє розширити використання класичних LSTM-мереж на динамічні системи з чітко вираженою періодичною складовою. Крім самої розширеної моделі, розглядається проблема обчислення параметрів моделі, яке ґрунтується на методі зворотного поширення. Для цього обчислено частинні похідні результуючого вихідного сигналу за невідомими параметрами та показано рекурентність даних похідних за часом аналогічно класичній LSTM-моделі. Додатковою проблемою при створенні розширеної моделі є оцінка гіперпараметра ρ, який вказує на глибину передісторії процесу. В звʼязку з цим розроблено алгоритм оцінки гіперпараметра з подальшою оцінкою всіх параметрів моделі. The main goal of the work is the development of a generalized LSTM neural network taking into account the history of finite depth. Most of the works in this direction are devoted to multi-stream generalizations with the presence of correlation between streams (sub processes), that is, the generalization of the LSTM model in width is considered similarly to panel data in time series theory. In this work, the model is generalized in depth, which will allow taking into account the periodic components of time series and other deterministic components, that is, without preprocessing the data. As will be shown in the example, the development of this model allows generalizing the use of classical LSTM networks to dynamic systems with a clearly defined periodic component. In addition to the generalized model itself, the problem of calculating model parameters based on the backpropagation method is considered. For this, the partial derivatives of the resulting output signal with respect to unknown parameters are calculated and the recurrence of these derivatives over time is shown, similar to the classic LSTM model. An additional problem when creating an extended model is the estimation of the hyperparameter ρ, which indicates the depth of the background history of the process. In this regard, an algorithm for estimating the hyperparameter with subsequent estimation of all model parameters was developed. Основная цель публикации – разработка обобщенной LSTM-нейронной сети с учетом предыстории конечной глубины. Большинство работ по данному направлению посвящено многопоточным обобщениям с наличием корреляции между потоками, т.е. рассматривается расширение LSTM-модели в ширину аналогично панельным данным во временных рядах. Проводится расширение модели в глубину, что позволит учитывать периодические компоненты временных рядов и другие детерминированные составляющие процесса, то есть без переработки данных. Как показано в примере, разработка данной модели позволяет расширить использование классических LSTM-сетей на динамические системы с отчетливо выраженной периодической составляющей. Помимо самой расширенной модели рассматривается проблема вычисления параметров модели, которая основывается на методе обратного распространения. Для этого вычислены частные производные результирующего выходного сигнала по неизвестным параметрам и показана рекуррентность производных данных по времени аналогично классической LSTM-модели. Дополнительной проблемой при создании расширенной модели является оценка гиперпараметра ρ, указывающего на глубину предыстории процесса. В этой связи разработан алгоритм оценки гиперпараметра с последующей оценкой всех параметров модели. V.M. Glushkov Institute of Cybernetics of NAS of Ukraine 2023-05-23 Article Article application/pdf https://jais.net.ua/index.php/files/article/view/118 10.34229/1028-0979-2023-4-10 Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; Том 68 № 4 (2023): Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; 111-118 International Scientific Technical Journal "Problems of Control and Informatics; Том 68 № 4 (2023): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 111-118 International Scientific Technical Journal "Problems of Control and Informatics"; Vol. 68 No. 4 (2023): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 111-118 2786-6505 2786-6491 10.34229/1028-0979-2023-4 uk https://jais.net.ua/index.php/files/article/view/118/211 Copyright (c) 2023 Mykola Kushnir, Kateryna Tokarieva https://creativecommons.org/licenses/by-nc-nd/4.0 |