Диффузные алгоритмы обучения нейронных сетей прямого распространения
Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове...
Saved in:
| Published in: | Кибернетика и системный анализ |
|---|---|
| Date: | 2013 |
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2013
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/86230 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-86230 |
|---|---|
| record_format |
dspace |
| spelling |
Скороход, Б.А 2015-09-10T18:21:49Z 2015-09-10T18:21:49Z 2013 Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. 0023-1274 https://nasplib.isofts.kiev.ua/handle/123456789/86230 004.032.26 Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації. The problem of training feedforward neural networks is considered. To solve it, new algorithms are proposed. They are based on the asymptotic analysis of extended Kalman filter (EKF) and on a separable network structure. Linear weights are interpreted as diffusion random variables with zero expectation and covariance matrix proportional to an arbitrarily large parameter λ. Asymptotic expressions as λ→∞ for the EKF are derived. They are called diffusion learning algorithms (DLA). It is shown that they, unlike their prototype EKF with large yet finite λ are robust with respect to the accumulation of rounding errors and that under certain simplifying assumptions, the ELM (extreme learning machine) algorithm follows from the DLA. A numerical example shows that the accuracy of the DLA may be higher than that of the ELM algorithm. ru Інститут кібернетики ім. В.М. Глушкова НАН України Кибернетика и системный анализ Кибернетика Диффузные алгоритмы обучения нейронных сетей прямого распространения Дифузійнi алгоритми навчання нейронних мереж прямого поширення Diffusion learning algorithms for feedforward neural networks Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| spellingShingle |
Диффузные алгоритмы обучения нейронных сетей прямого распространения Скороход, Б.А Кибернетика |
| title_short |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_full |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_fullStr |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_full_unstemmed |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_sort |
диффузные алгоритмы обучения нейронных сетей прямого распространения |
| author |
Скороход, Б.А |
| author_facet |
Скороход, Б.А |
| topic |
Кибернетика |
| topic_facet |
Кибернетика |
| publishDate |
2013 |
| language |
Russian |
| container_title |
Кибернетика и системный анализ |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| format |
Article |
| title_alt |
Дифузійнi алгоритми навчання нейронних мереж прямого поширення Diffusion learning algorithms for feedforward neural networks |
| description |
Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації.
The problem of training feedforward neural networks is considered. To solve it, new algorithms are proposed. They are based on the asymptotic analysis of extended Kalman filter (EKF) and on a separable network structure. Linear weights are interpreted as diffusion random variables with zero expectation and covariance matrix proportional to an arbitrarily large parameter λ. Asymptotic expressions as λ→∞ for the EKF are derived. They are called diffusion learning algorithms (DLA). It is shown that they, unlike their prototype EKF with large yet finite λ are robust with respect to the accumulation of rounding errors and that under certain simplifying assumptions, the ELM (extreme learning machine) algorithm follows from the DLA. A numerical example shows that the accuracy of the DLA may be higher than that of the ELM algorithm.
|
| issn |
0023-1274 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/86230 |
| citation_txt |
Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. |
| work_keys_str_mv |
AT skorohodba diffuznyealgoritmyobučeniâneironnyhseteiprâmogorasprostraneniâ AT skorohodba difuzíinialgoritminavčannâneironnihmerežprâmogopoširennâ AT skorohodba diffusionlearningalgorithmsforfeedforwardneuralnetworks |
| first_indexed |
2025-11-27T21:10:22Z |
| last_indexed |
2025-11-27T21:10:22Z |
| _version_ |
1850852823817781248 |