Диффузные алгоритмы обучения нейронных сетей прямого распространения
Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове...
Gespeichert in:
| Veröffentlicht in: | Кибернетика и системный анализ |
|---|---|
| Datum: | 2013 |
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Russisch |
| Veröffentlicht: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2013
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/86230 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1862599335993147392 |
|---|---|
| author | Скороход, Б.А |
| author_facet | Скороход, Б.А |
| citation_txt | Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. |
| collection | DSpace DC |
| container_title | Кибернетика и системный анализ |
| description | Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації.
The problem of training feedforward neural networks is considered. To solve it, new algorithms are proposed. They are based on the asymptotic analysis of extended Kalman filter (EKF) and on a separable network structure. Linear weights are interpreted as diffusion random variables with zero expectation and covariance matrix proportional to an arbitrarily large parameter λ. Asymptotic expressions as λ→∞ for the EKF are derived. They are called diffusion learning algorithms (DLA). It is shown that they, unlike their prototype EKF with large yet finite λ are robust with respect to the accumulation of rounding errors and that under certain simplifying assumptions, the ELM (extreme learning machine) algorithm follows from the DLA. A numerical example shows that the accuracy of the DLA may be higher than that of the ELM algorithm.
|
| first_indexed | 2025-11-27T21:10:22Z |
| format | Article |
| fulltext | |
| id | nasplib_isofts_kiev_ua-123456789-86230 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0023-1274 |
| language | Russian |
| last_indexed | 2025-11-27T21:10:22Z |
| publishDate | 2013 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Скороход, Б.А 2015-09-10T18:21:49Z 2015-09-10T18:21:49Z 2013 Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. 0023-1274 https://nasplib.isofts.kiev.ua/handle/123456789/86230 004.032.26 Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації. The problem of training feedforward neural networks is considered. To solve it, new algorithms are proposed. They are based on the asymptotic analysis of extended Kalman filter (EKF) and on a separable network structure. Linear weights are interpreted as diffusion random variables with zero expectation and covariance matrix proportional to an arbitrarily large parameter λ. Asymptotic expressions as λ→∞ for the EKF are derived. They are called diffusion learning algorithms (DLA). It is shown that they, unlike their prototype EKF with large yet finite λ are robust with respect to the accumulation of rounding errors and that under certain simplifying assumptions, the ELM (extreme learning machine) algorithm follows from the DLA. A numerical example shows that the accuracy of the DLA may be higher than that of the ELM algorithm. ru Інститут кібернетики ім. В.М. Глушкова НАН України Кибернетика и системный анализ Кибернетика Диффузные алгоритмы обучения нейронных сетей прямого распространения Дифузійнi алгоритми навчання нейронних мереж прямого поширення Diffusion learning algorithms for feedforward neural networks Article published earlier |
| spellingShingle | Диффузные алгоритмы обучения нейронных сетей прямого распространения Скороход, Б.А Кибернетика |
| title | Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_alt | Дифузійнi алгоритми навчання нейронних мереж прямого поширення Diffusion learning algorithms for feedforward neural networks |
| title_full | Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_fullStr | Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_full_unstemmed | Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_short | Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_sort | диффузные алгоритмы обучения нейронных сетей прямого распространения |
| topic | Кибернетика |
| topic_facet | Кибернетика |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/86230 |
| work_keys_str_mv | AT skorohodba diffuznyealgoritmyobučeniâneironnyhseteiprâmogorasprostraneniâ AT skorohodba difuzíinialgoritminavčannâneironnihmerežprâmogopoširennâ AT skorohodba diffusionlearningalgorithmsforfeedforwardneuralnetworks |