Диффузные алгоритмы обучения нейронных сетей прямого распространения

Диффузные алгоритмы обучения нейронных сетей прямого распространения

Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2013
Автор: Скороход, Б.А
Формат: Стаття
Мова:Russian
Опубліковано: Інститут кібернетики ім. В.М. Глушкова НАН України 2013
Назва видання:Кибернетика и системный анализ
Теми:
Кибернетика
Онлайн доступ:http://dspace.nbuv.gov.ua/handle/123456789/86230
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id irk-123456789-86230
record_format dspace
spelling irk-123456789-862302015-09-11T03:01:49Z Диффузные алгоритмы обучения нейронных сетей прямого распространения Скороход, Б.А Кибернетика Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації. The problem of training feedforward neural networks is considered. To solve it, new algorithms are proposed. They are based on the asymptotic analysis of extended Kalman filter (EKF) and on a separable network structure. Linear weights are interpreted as diffusion random variables with zero expectation and covariance matrix proportional to an arbitrarily large parameter λ. Asymptotic expressions as λ→∞ for the EKF are derived. They are called diffusion learning algorithms (DLA). It is shown that they, unlike their prototype EKF with large yet finite λ are robust with respect to the accumulation of rounding errors and that under certain simplifying assumptions, the ELM (extreme learning machine) algorithm follows from the DLA. A numerical example shows that the accuracy of the DLA may be higher than that of the ELM algorithm. 2013 Article Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. 0023-1274 http://dspace.nbuv.gov.ua/handle/123456789/86230 004.032.26 ru Кибернетика и системный анализ Інститут кібернетики ім. В.М. Глушкова НАН України
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
language Russian
topic Кибернетика
Кибернетика
spellingShingle Кибернетика
Кибернетика
Скороход, Б.А
Диффузные алгоритмы обучения нейронных сетей прямого распространения
Кибернетика и системный анализ
description Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації.
format Article
author Скороход, Б.А
author_facet Скороход, Б.А
author_sort Скороход, Б.А
title Диффузные алгоритмы обучения нейронных сетей прямого распространения
title_short Диффузные алгоритмы обучения нейронных сетей прямого распространения
title_full Диффузные алгоритмы обучения нейронных сетей прямого распространения
title_fullStr Диффузные алгоритмы обучения нейронных сетей прямого распространения
title_full_unstemmed Диффузные алгоритмы обучения нейронных сетей прямого распространения
title_sort диффузные алгоритмы обучения нейронных сетей прямого распространения
publisher Інститут кібернетики ім. В.М. Глушкова НАН України
publishDate 2013
topic_facet Кибернетика
url http://dspace.nbuv.gov.ua/handle/123456789/86230
citation_txt Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос.
series Кибернетика и системный анализ
work_keys_str_mv AT skorohodba diffuznyealgoritmyobučeniânejronnyhsetejprâmogorasprostraneniâ
first_indexed 2023-10-18T19:32:56Z
last_indexed 2023-10-18T19:32:56Z
_version_ 1796147261645783040

Схожі ресурси