Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой
Рассматриваются задачи обучения нейронных сетей и нейро-фаззи систем, приводящие к сепарабельным моделям структурам, нелинейным относительно некоторых неизвестных параметров и линейным относительно других неизвестных. Предлагаются новые алгоритмы их обучения, в основе которых нелинейная оптимизацион...
Saved in:
| Published in: | Кибернетика и системный анализ |
|---|---|
| Date: | 2015 |
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2015
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/124773 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой / Б.А. Скороход // Кибернетика и системный анализ. — 2015. — Т. 51, № 2. — С. 13-28. — Бібліогр.: 22 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1862629781472804864 |
|---|---|
| author | Скороход, Б.А. |
| author_facet | Скороход, Б.А. |
| citation_txt | Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой / Б.А. Скороход // Кибернетика и системный анализ. — 2015. — Т. 51, № 2. — С. 13-28. — Бібліогр.: 22 назв. — рос. |
| collection | DSpace DC |
| container_title | Кибернетика и системный анализ |
| description | Рассматриваются задачи обучения нейронных сетей и нейро-фаззи систем, приводящие к сепарабельным моделям структурам, нелинейным относительно некоторых неизвестных параметров и линейным относительно других неизвестных. Предлагаются новые алгоритмы их обучения, в основе которых нелинейная оптимизационная задача, включающая априорную информацию только о нелинейно входящих параметрах. Предполагается, что она может быть получена по обучающему множеству, распределению генерирующей выборки или лингвистической информации. Для решения задачи используются метод Гаусса Ньютона с линеаризацией в окрестности последней оценки, асимптотические представления псевдоинверсий возмущенных матриц и сепарабельная структура моделей. Полученные алгоритмы обладают рядом важных свойств: не требуется подбора начальных значений для линейно входящих параметров, который может приводить к расходимости, но при этом нет необходимости находить частные производные от проекционной матрицы; могут быть использованы в режимах последовательной и пакетной обработки; как частный случай, из них следуют известные алгоритмы, а моделирование показывает, что разработанные алгоритмы могут превосходить известные по точности и скорости сходимости.
Розглянуто задачі навчання нейронних мереж і нейро-фаззі систем, що призводять до сепарабельних моделей структур, нелінійних щодо деяких невідомих параметрів і лінійних щодо інших. Запропоновано нові алгоритми їх навчання, в основі яких нелінійна оптимізаційна задача, що включає апріорну інформацію тільки про нелінійні параметри. Робиться припущення, що її можна отримати за навчальною множиною, розподілом генеруючої вибірки або лінгвістичної інформації. Для розв язання задачі використано метод Гаусса Ньютона з лінеаризацією в околі останньої оцінки, асимптотичні зображення псевдоінверсії збурених матриць і сепарабельну структуру моделей. Отримані алгоритми мають низку важливих властивостей: не потрібен підбір початкових значень для лінійних параметрів, який може призвести до розбіжності, при цьому не потрібно знаходити частинні похідні від проекційної матриці; можуть використовуватися в режимах послідовного і пакетного оброблення; як окремий випадок, з них походять відомі алгоритми, а моделювання показує, що розроблені алгоритми можуть перевершувати відомі алгоритми за точністю і швидкістю збіжності.
We consider the problem of training of neural networks and neural-fuzzy systems, leading to separable models structures nonlinear in some unknown parameters and linear in the others. New algorithms for their training are proposed, based on the nonlinear optimization problem that includes a priori information only on nonlinear input parameters. It is assumed that it can be obtained on a training set, the distribution of the generating set or linguistic information. To solve the problem, the Gauss–Newton method with linearization in the vicinity of the last estimate, asymptotic representations of the pseudo-inverse of perturbed matrices, and separable structure of the models are used. The obtained algorithms have several important properties: they do not require selection of initial values of the linear parameters, which may lead to divergence, but at the same time it is not necessary to find the partial derivatives of the projection matrix; they can be used in serial mode and batch processing; as a special case, well-known algorithms follow from them, and the simulation shows that the proposed algorithms can surpass them in accuracy and rate of convergence.
|
| first_indexed | 2025-11-30T10:08:31Z |
| format | Article |
| fulltext | |
| id | nasplib_isofts_kiev_ua-123456789-124773 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0023-1274 |
| language | Russian |
| last_indexed | 2025-11-30T10:08:31Z |
| publishDate | 2015 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Скороход, Б.А. 2017-10-05T06:17:07Z 2017-10-05T06:17:07Z 2015 Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой / Б.А. Скороход // Кибернетика и системный анализ. — 2015. — Т. 51, № 2. — С. 13-28. — Бібліогр.: 22 назв. — рос. 0023-1274 https://nasplib.isofts.kiev.ua/handle/123456789/124773 004.032.26 Рассматриваются задачи обучения нейронных сетей и нейро-фаззи систем, приводящие к сепарабельным моделям структурам, нелинейным относительно некоторых неизвестных параметров и линейным относительно других неизвестных. Предлагаются новые алгоритмы их обучения, в основе которых нелинейная оптимизационная задача, включающая априорную информацию только о нелинейно входящих параметрах. Предполагается, что она может быть получена по обучающему множеству, распределению генерирующей выборки или лингвистической информации. Для решения задачи используются метод Гаусса Ньютона с линеаризацией в окрестности последней оценки, асимптотические представления псевдоинверсий возмущенных матриц и сепарабельная структура моделей. Полученные алгоритмы обладают рядом важных свойств: не требуется подбора начальных значений для линейно входящих параметров, который может приводить к расходимости, но при этом нет необходимости находить частные производные от проекционной матрицы; могут быть использованы в режимах последовательной и пакетной обработки; как частный случай, из них следуют известные алгоритмы, а моделирование показывает, что разработанные алгоритмы могут превосходить известные по точности и скорости сходимости. Розглянуто задачі навчання нейронних мереж і нейро-фаззі систем, що призводять до сепарабельних моделей структур, нелінійних щодо деяких невідомих параметрів і лінійних щодо інших. Запропоновано нові алгоритми їх навчання, в основі яких нелінійна оптимізаційна задача, що включає апріорну інформацію тільки про нелінійні параметри. Робиться припущення, що її можна отримати за навчальною множиною, розподілом генеруючої вибірки або лінгвістичної інформації. Для розв язання задачі використано метод Гаусса Ньютона з лінеаризацією в околі останньої оцінки, асимптотичні зображення псевдоінверсії збурених матриць і сепарабельну структуру моделей. Отримані алгоритми мають низку важливих властивостей: не потрібен підбір початкових значень для лінійних параметрів, який може призвести до розбіжності, при цьому не потрібно знаходити частинні похідні від проекційної матриці; можуть використовуватися в режимах послідовного і пакетного оброблення; як окремий випадок, з них походять відомі алгоритми, а моделювання показує, що розроблені алгоритми можуть перевершувати відомі алгоритми за точністю і швидкістю збіжності. We consider the problem of training of neural networks and neural-fuzzy systems, leading to separable models structures nonlinear in some unknown parameters and linear in the others. New algorithms for their training are proposed, based on the nonlinear optimization problem that includes a priori information only on nonlinear input parameters. It is assumed that it can be obtained on a training set, the distribution of the generating set or linguistic information. To solve the problem, the Gauss–Newton method with linearization in the vicinity of the last estimate, asymptotic representations of the pseudo-inverse of perturbed matrices, and separable structure of the models are used. The obtained algorithms have several important properties: they do not require selection of initial values of the linear parameters, which may lead to divergence, but at the same time it is not necessary to find the partial derivatives of the projection matrix; they can be used in serial mode and batch processing; as a special case, well-known algorithms follow from them, and the simulation shows that the proposed algorithms can surpass them in accuracy and rate of convergence. ru Інститут кібернетики ім. В.М. Глушкова НАН України Кибернетика и системный анализ Кибернетика Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой Алгоритми навчання нейронних мереж і нейро-фаззі систем з сепарабельною структурою Learning algorithms of neural networks and neuro-fuzzy systems with separable structure Article published earlier |
| spellingShingle | Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой Скороход, Б.А. Кибернетика |
| title | Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой |
| title_alt | Алгоритми навчання нейронних мереж і нейро-фаззі систем з сепарабельною структурою Learning algorithms of neural networks and neuro-fuzzy systems with separable structure |
| title_full | Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой |
| title_fullStr | Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой |
| title_full_unstemmed | Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой |
| title_short | Алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой |
| title_sort | алгоритмы обучения нейронных сетей и нейро-фаззи систем c сепарабельной структурой |
| topic | Кибернетика |
| topic_facet | Кибернетика |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/124773 |
| work_keys_str_mv | AT skorohodba algoritmyobučeniâneironnyhseteiineirofazzisistemcseparabelʹnoistrukturoi AT skorohodba algoritminavčannâneironnihmerežíneirofazzísistemzseparabelʹnoûstrukturoû AT skorohodba learningalgorithmsofneuralnetworksandneurofuzzysystemswithseparablestructure |