Показатель чувствительности нейронной сети к входным данным
В статье исследуется проблема потери информативности входных данных на этапе синтеза
 искусственной нейронной сети при решении задач прогнозирования временных рядов. Предложен
 подход к решению данной проблемы, основанный на повышении чувствительности нейронной сети к
 входны...
Saved in:
| Date: | 2008 |
|---|---|
| Main Authors: | , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут проблем штучного інтелекту МОН України та НАН України
2008
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/6601 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Показатель чувствительности нейронной сети к входным данным / А.В. Кондратюк, К.В. Чумичкин // Штучний інтелект. — 2008. — № 1. — С. 158-164. — Бібліогр.: 7 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1860250601603989504 |
|---|---|
| author | Кондратюк, А.В. Чумичкин, К.В. |
| author_facet | Кондратюк, А.В. Чумичкин, К.В. |
| citation_txt | Показатель чувствительности нейронной сети к входным данным / А.В. Кондратюк, К.В. Чумичкин // Штучний інтелект. — 2008. — № 1. — С. 158-164. — Бібліогр.: 7 назв. — рос. |
| collection | DSpace DC |
| description | В статье исследуется проблема потери информативности входных данных на этапе синтеза
искусственной нейронной сети при решении задач прогнозирования временных рядов. Предложен
подход к решению данной проблемы, основанный на повышении чувствительности нейронной сети к
входным данным путем анализа их статистических характеристик. Предложено решение актуальной
задачи разработки показателя, определяющего степень чувствительности нейронной сети к значениям
входных данных. Благодаря разработке такого показателя стало возможным определить виды входных
данных, наиболее эффективно обрабатываемые нейронной сетью. Эффективность предложенного
показателя обоснована и подтверждена теоретическими выкладками и проиллюстрирована наглядно на
рисунках. Обозначены перспективы дальнейшего развития данного направления исследований.
У статті досліджена проблема втрати інформативності вхідних даних на етапі синтезу штучної
нейронної мережі у вирішенні задач прогнозування часових рядів. Запропоновано підхід до
вирішення даної проблеми, заснований на підвищенні чутливості нейронної мережі до вхідних даних
шляхом аналізу їх статистичних характеристик. Запропоновано вирішення актуальної задачі розробки
показника, що визначає ступінь чутливості нейронної мережі до значень вхідних даних. Завдяки
розробці такого показника стало можливо визначити види вхідних даних, що найбільш ефективно
обробляються нейронною мережею. Ефективність запропонованого показника обґрунтована і підтверджена
теоретичними викладками та проілюстрована наглядно на рисунках. Визначені перспективи
подальшого розвитку даного напрямку досліджень.
The article is devoted to investigation of the problem of informativity dump input data at the stage of
artificial neural network synthesis for solution of the task of time series prediction. The new approach to
solve this task is offered which is based on neural network sensitivity to input data by analysis of their static
characteristics. The new approach to solve actual task of development index which is defined the degree of
sensitivity neural network to values of input data. It becomes possible to indicate the sort of input data owing
to development such index which is processed the most effective by neural network. The efficiency of the
offered index is justified and proved by theoretical calculations and illustrated obviously in the pictures.
Perspective of further development of this direction research is indicated.
|
| first_indexed | 2025-12-07T18:42:23Z |
| format | Article |
| fulltext |
«Искусственный интеллект» 1’2008 158
4К
УДК 004.032.26
А.В. Кондратюк, К.В. Чумичкин
Одесский национальный политехнический университет, г. Одесса, Украина
alkond@ukr.net, neuroschool@narod.ru
Показатель чувствительности нейронной сети
к входным данным
В статье исследуется проблема потери информативности входных данных на этапе синтеза
искусственной нейронной сети при решении задач прогнозирования временных рядов. Предложен
подход к решению данной проблемы, основанный на повышении чувствительности нейронной сети к
входным данным путем анализа их статистических характеристик. Предложено решение актуальной
задачи разработки показателя, определяющего степень чувствительности нейронной сети к значениям
входных данных. Благодаря разработке такого показателя стало возможным определить виды входных
данных, наиболее эффективно обрабатываемые нейронной сетью. Эффективность предложенного
показателя обоснована и подтверждена теоретическими выкладками и проиллюстрирована наглядно на
рисунках. Обозначены перспективы дальнейшего развития данного направления исследований.
Введение
В настоящее время всё более актуальными становятся задачи оптимизации,
поиска, реализации распределенных и параллельных систем, а также задачи прог-
нозирования. Многие из них при реализации математическими методами весьма
трудоемки, а порой и вовсе не разрешимы и, следовательно, требуют к себе
«особых» подходов, обладающих большей универсальностью и требующих менее
детальной формализации. К числу таких подходов относятся нейросетевые методы
обработки информации, которые нашли широкое применение в различных пред-
метных областях. Такие преимущества нейросетевых методов, как слабая чувстви-
тельность к шуму и пропускам в данных, возможность параллельной обработки
данных высокой размерности, использование «обучения» вместо трудоемкой алгоритми-
зации задач, и сделали их наиболее популярными, особенно при решении нетри-
виальных задач интеллектуального анализа данных.
Данная работа рассматривает входные данные, представленные в виде
временного ряда (ВР), т.е. совокупности значений изменения некоторой величины с
течением времени, и многослойные искусственные нейронные сети (ИНС) типа
«многослойный персептрон», обучаемые с учителем по классическому алгоритму
обучения (алгоритм обратного распространения ошибки) [1], [2]. Многослойный
персептрон является универсальным средством аппроксимации, как показано в [3], а
также обладает устойчивым поведением.
В процессе синтеза ИНС существует три основных этапа:
1 – формирование обучающей выборки (ОВ);
2 – структурный синтез ИНС;
3 – параметрический синтез (обучение) ИНС.
Одним из наиболее важных этапов в решении задачи нейросетевого
прогнозирования является формирование ОВ. От ее состава, полноты и качества в
значительной мере зависят время обучения ИНС и достоверность получаемых
Показатель чувствительности нейронной сети к входным данным
«Штучний інтелект» 1’2008 159
4К
моделей. Поэтому, как правило, на данном этапе синтеза ИНС имеет место целый
ряд различных предварительных преобразований, направленных на предобработку
«сырых» исходных данных, а именно: восстановление пропущенных значений,
вычитание шума, устранение незначащих факторов, сглаживание, фильтрация данных,
расчет различных показателей, сортировки, группировки и ряд других операций [4].
Однако при обучении ИНС может иметь место потеря точности восстанов-
ления функциональных зависимостей, которая вызвана неравномерной крутизной
активационной функции нейрона (АФН) в диапазоне допустимых входных значений [5].
Кроме того, для большинства ИНС характерно наличие диапазона допустимых
значений входных данных, в пределах которого они различимы [6]. АФН входного
слоя ИНС определяет допустимые границы значений входных данных.
Как правило, в допустимом диапазоне присутствуют как слабо заполненные
участки, так и участки скученности значений входной величины. Слабо заполненные
участки приводят к тому, что в процессе обучения ИНС плохо «запоминает» эти
значения. А участки скученности, где на относительно небольших отрезках
располагается значительное количество значений входной величины, оказываются
слабо различимыми для ИНС.
При этом возникает ситуация, когда ИНС воспринимает группу очень близко
расположенных значений входной величины как одно значение, что соответственно
приводит к понижению информационной энтропии входов ИНС. Это, в свою
очередь, отрицательно сказывается на информативности входных данных, приводя к
частичной их потере [5].
В то же время путем подстройки параметров данной АФН к особенностям
распределения значений исследуемого ВР можно добиться учета его статистических
характеристик и не допустить потерь в точности вычислений.
Таким образом, возникает проблема учета статистических характеристик
входных данных. Решением этой проблемы и целью данной работы является
разработка показателя, определяющего степень чувствительности ИНС к значениям
входных данных, т.е. уровень их различимости с точки зрения ИНС.
Поскольку статистическая чувствительность ИНС к данным определяется
типом АФН и её параметрами, то задачей настоящей работы является сокращение
затрат времени на синтез ИНС путем разработки показателя чувствительности ИНС
к статистическим характеристикам входных данных, что позволит заблаговременно,
т.е. еще до этапа параметрического синтеза ИНС, оптимальным образом настроить
параметры АФН и получить более быструю и адаптированную к специфике входных
данных информационную систему интеллектуального анализа данных.
Показатель чувствительности нейронной сети
Как было отмечено выше, чувствительность ИНС к статистическим
характеристикам входных данных определяет АФН.
Рассмотрим идеализированную ситуацию, когда входные данные нормированы
и распределены по нормальному закону распределения F1(x) и в качестве АФН
входного слоя ИНС используется нормированная сигмоидальная АФН F2(x) [7].
Под нормированием входных данных в данном случае понимается
отображение значений входных данных в некоторый допустимый диапазон [a, b],
что на практике осуществляется с помощью предварительных преобразований на
Кондратюк А.В., Чумичкин К.В.
«Искусственный интеллект» 1’2008 160
4К
этапе формирования ОВ (рис. 1). Пусть входные данные имеют нормальный закон
распределения (1). Известно, что некоторая случайная величина Х распределена по
нормальному закону (закону Гаусса) с параметрами m, σ, если
Rxexf
mx
∈=
−
−
,
2
1)( 2
2
2
)(
1
σ
πσ
(1)
В случае, если m = 0, σ = 1, распределение называется нормированным:
2
1
2
2
1)(
x
exf
−
=
π
. (2)
Под нормированной понимается такая АФН, у которой параметры подобраны таким
образом, что область значений функции соответствует допустимому диапазону
входных данных [a, b] (рис. 1).
Рисунок 1 – График нормированной сигмоидальной АФН
Экспериментально подобрав значения параметра α сигмоидальной функции
axe
xF −+
=
1
1)( , (3)
где α – коэффициент, определяющий кривизну функции, получим нормированную
сигмоидальную АФН:
xe
xF 6,12 1
1)( −+
= . (4)
Первая производная функции (4) будет иметь вид:
26,1
6,1
2 )1(
6,1)( x
x
e
exf −
−
+
=′ . (5)
Функция распределения некоторой величины является ее исчерпывающей
вероятностной характеристикой. Но она имеет недостаток, заключающийся в том,
что по ней трудно судить о характере распределения этой величины в небольшой
окрестности той или иной точки числовой оси. Более наглядное представление о
характере распределения данной величины в окрестностях различных точек дается
плотностью распределения.
F2(x)
a b
x
Показатель чувствительности нейронной сети к входным данным
«Штучний інтелект» 1’2008 161
4К
Вспомним, что плотностью распределения f(x) некоторой величины X в точке
x называется производная ее функции распределения в этой точке. График
плотности распределения f(x) называют кривой распределения:
)()()( xF
dx
dxFxf =′= . (6)
Пусть )(1 xf – функция плотности распределения входных данных, а )(2 xf ′ –
первая производная от АФН. Предположив, что в процессе обучения в результате
подстройки коэффициентов на первом слое ИНС происходит масштабирование и
сдвиг АФН с целью наиболее точного восстановления данных, введем в
рассмотрение:
,)()( 23 bxfaxf +′= (7)
где a и b – коэффициенты, минимизирующие отклонение:
( ) ( )dxxfxfK ∫
∞
∞−
−= 31 . (8)
Таким образом, введенная величина К в данном случае будет численно
характеризовать несоответствие между АФН входного слоя ИНС и входными
данными в отношении их статистических характеристик и может служить
показателем чувствительности ИНС к входным данным (рис. 2).
Ниже приведено графическое пояснение изложенного выше: на рис. 2 изображена
идеализированная ситуация, а на рис. 3 – реальная. Нетрудно заметить, что чем
больше площадь несовпадения (заштрихована), определяемая показателем К, тем
хуже чувствительность ИНС к данному виду распределения входных данных.
Рисунок 2 – График несовпадения нормированных функций:
)(1 xf – кривая нормального распределения входных данных (пунктиром);
)(3 xf – первая производная нормированной и отмасштабированной
сигмоидальной АФН
Наименьшее значение показателя чувствительности К будет свидетельствовать о
наибольшем совпадении (рис. 3 и рис. 4), а также о наибольшей чувствительности
ИНС с данной АФН к значениям исследуемого временного ряда (ВР).
x
f(x)
x
f(x)
Кондратюк А.В., Чумичкин К.В.
«Искусственный интеллект» 1’2008 162
4К
Рисунок 3 – График несовпадения функций: сложного вида распределения
(полимодального) и сигмоидальной АФН (пунктиром)
Круг задач, решаемых ИНС
Активационная функция нейрона (АФН) во многом определяет круг задач,
которые ИНС может решать. В настоящее время выбор типа АФН крайне не
формализован и, как правило, подбор АФН и настройка ее параметров производится на
основании определенных видений эксперта на базе эвристических и эмпирических
предпосылок.
Используя предложенный в (8) показатель К, становится возможным довольно
точно определить виды распределений входных данных, присущих тому или иному
классу задач, наиболее успешно решаемых ИНС. Другими словами, теперь, зная
величину показателя К, можно легко определить, насколько та или иная АФН
подходит для обработки входных данных, имеющих известный закон распределения.
Проведя данный анализ для каждой из основных АФН, можно для каждой из них
определить класс задач, для которой они более всего подходят.
Из определения показателя К, очевидно, вытекает рекомендация о
нежелательности использования унифицированной АФН одного вида (будь то
сигмоидальная или иная функция) к различным входным данным, имеющим разные
виды распределений, как это принято делать в настоящее время, поскольку у
унифицированной АФН отсутствует возможность полноценно и гибко выполнять
свои передаточные функции из-за игнорирования статистических характеристик
входных данных. Наглядно данная рекомендация проиллюстрирована попыткой
наложить сигмоидальную АФН на кривую распределения входных данных,
имеющих сложный вид распределения (рис. 3).
Таким образом, в данной работе было показано, что, например, для входных
данных, имеющих нормальный закон распределения, наиболее эффективной будет
сигмоидальная АФН (рис. 2), в то время как для входных данных, имеющих
равномерный закон распределения, наиболее эффективной будет линейная АФН.
На практике входные данные обычно представлены сложными видами
распределений, в частности полимодальным, антимодальным и др. В любом случае
необходимо подбирать такие АФН и так настраивать их параметры, чтобы
показатель К стремился к нулю.
На основании идеи, изложенной выше, были составлены справочные
материалы (табл. 1), включающие в себя данные о соответствии между различными
видами распределений входных данных и основными типами АФН входного слоя
ИНС, а также методика применения показателя К.
a b
F(x)
x
Показатель чувствительности нейронной сети к входным данным
«Штучний інтелект» 1’2008 163
4К
Таблица 1 – Типовые соответствия различных видов распределений входных
данных и основных типов АФН входного слоя ИНС
№ Название
распределения
Функция
распределения
Название
АФН
Функция
АФН
1 Нормальное f x e x R
x m
( ) ,
( )
= ∈
−
−1
2
2
22
σ π
σ
2 По закону
Лапласа
xbexf −=)(
Сигмоидальная axe
xF −+
=
1
1)(
3 Равномерное
∉
∈
−=
),(,0
);,(,1
)(
bax
bax
abxf Линейная
1)(
)3
)(
],()2
0)(
)1
=
>
−
−
=
∈
=
≤
xF
bx
ab
axxF
bax
xF
ax
4 Показательное
≤
>
=
−
0,0
0,
)(
x
xe
xf
xλλ Экспоненциальная
)0( >x
xexF λ−−= 1)(
Методика применения показателя К
Методику применения разработанного показателя К в общем случае можно
представить в виде последовательности этапов:
1. Исследование входных данных на предмет выявления их статистических
характеристик.
2. Определение вида распределения этих данных.
3. Выбор одной из типовых ситуаций (табл. 1), т.е. определение наиболее
подходящей АФН к данному виду входных данных.
4. Соответствующая настройка АФН входного слоя данной ИНС.
Приведенную методику следует применять в случаях, когда ИНС
обрабатывает ВР, представленный значениями некоторой непрерывной величины.
К перспективам развития идеи, изложенной в данной работе, следует отнести
доработку методики применения предложенного показателя для случая обработки
дискретных величин, а также расширение базы данных справочных материалов в табл. 1.
Выводы
В данной работе рассмотрена проблема потери информативности входных
данных на этапе синтеза ИНС. Для ее решения предложен подход, позволяющий
подбором АФН и специальной настройкой её параметров учитывать статистические
характеристики входных данных, что, в свою очередь, позволило ввести и
обосновать показатель чувствительности ИНС к статистическим характеристикам
входных данных.
Кондратюк А.В., Чумичкин К.В.
«Искусственный интеллект» 1’2008 164
4К
Разработка такого показателя чувствительности дала возможность определять
круг задач, которые ИНС может решать наиболее эффективно, используя ту или
иную АФН, а в перспективе – разработку метода, позволяющего сохранять исходную
информативность входных данных.
Литература
1. Саймон Хайкен. Нейронные сети: полный курс. – 2-е изд., исп.: Пер. с англ. – М.: ООО «Вильямс»,
2006. – 1104 с.
2. Уоссерман Ф. Нейрокомпьютерная техника: теория и практика. – М.: Мир, 1992.
3. Сборник научных трудов V Всероссийской научно-технической конференции «Нейроинформатика –
2003» / Под ред. Мишулина О.А. – Ч. 1. – М.: МИФИ, 2003. – 244 с.
4. Востров Г.Н., Любченко В.В., Полякова М.В. Моделирование временных рядов с использованием
вейвлет-сетей // Искусственный интеллект. – 2000. – № 3. – С. 207-214.
5. Крисилов В.А., Кондратюк А.В., Чумичкин К.В. Метод повышения чувствительности нейронной сети к
исходным данным // Искусственный интеллект. – 2006. – № 4. – С. 290-296.
6. Миркес Е.М. Нейроинформатика: Учеб. пособие для студентов. – Красноярск: ИПЦ КГТУ, 2002.
7. Kondratiuk O., Krisilov V. Formalization of the structural synthesis of neural networks for the purposes of
forecasting of time series // Vth National Conference on Information Technologies. – Gdansk (Poland) ETI. –
2007. – Vol. 13.
А.В. Кондратюк, К.В. Чумичкін
Показник чутливості нейронної мережі до вхідних даних
У статті досліджена проблема втрати інформативності вхідних даних на етапі синтезу штучної
нейронної мережі у вирішенні задач прогнозування часових рядів. Запропоновано підхід до
вирішення даної проблеми, заснований на підвищенні чутливості нейронної мережі до вхідних даних
шляхом аналізу їх статистичних характеристик. Запропоновано вирішення актуальної задачі розробки
показника, що визначає ступінь чутливості нейронної мережі до значень вхідних даних. Завдяки
розробці такого показника стало можливо визначити види вхідних даних, що найбільш ефективно
обробляються нейронною мережею. Ефективність запропонованого показника обґрунтована і підтверджена
теоретичними викладками та проілюстрована наглядно на рисунках. Визначені перспективи
подальшого розвитку даного напрямку досліджень.
О. Kondratiuk, K. Chumychkin
Sensitivity Index of Neural Network to Input Data
The article is devoted to investigation of the problem of informativity dump input data at the stage of
artificial neural network synthesis for solution of the task of time series prediction. The new approach to
solve this task is offered which is based on neural network sensitivity to input data by analysis of their static
characteristics. The new approach to solve actual task of development index which is defined the degree of
sensitivity neural network to values of input data. It becomes possible to indicate the sort of input data owing
to development such index which is processed the most effective by neural network. The efficiency of the
offered index is justified and proved by theoretical calculations and illustrated obviously in the pictures.
Perspective of further development of this direction research is indicated.
Статья поступила в редакцию 30.11.2007.
|
| id | nasplib_isofts_kiev_ua-123456789-6601 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1561-5359 |
| language | Russian |
| last_indexed | 2025-12-07T18:42:23Z |
| publishDate | 2008 |
| publisher | Інститут проблем штучного інтелекту МОН України та НАН України |
| record_format | dspace |
| spelling | Кондратюк, А.В. Чумичкин, К.В. 2010-03-11T14:11:05Z 2010-03-11T14:11:05Z 2008 Показатель чувствительности нейронной сети к входным данным / А.В. Кондратюк, К.В. Чумичкин // Штучний інтелект. — 2008. — № 1. — С. 158-164. — Бібліогр.: 7 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/6601 004.032.26 В статье исследуется проблема потери информативности входных данных на этапе синтеза
 искусственной нейронной сети при решении задач прогнозирования временных рядов. Предложен
 подход к решению данной проблемы, основанный на повышении чувствительности нейронной сети к
 входным данным путем анализа их статистических характеристик. Предложено решение актуальной
 задачи разработки показателя, определяющего степень чувствительности нейронной сети к значениям
 входных данных. Благодаря разработке такого показателя стало возможным определить виды входных
 данных, наиболее эффективно обрабатываемые нейронной сетью. Эффективность предложенного
 показателя обоснована и подтверждена теоретическими выкладками и проиллюстрирована наглядно на
 рисунках. Обозначены перспективы дальнейшего развития данного направления исследований. У статті досліджена проблема втрати інформативності вхідних даних на етапі синтезу штучної
 нейронної мережі у вирішенні задач прогнозування часових рядів. Запропоновано підхід до
 вирішення даної проблеми, заснований на підвищенні чутливості нейронної мережі до вхідних даних
 шляхом аналізу їх статистичних характеристик. Запропоновано вирішення актуальної задачі розробки
 показника, що визначає ступінь чутливості нейронної мережі до значень вхідних даних. Завдяки
 розробці такого показника стало можливо визначити види вхідних даних, що найбільш ефективно
 обробляються нейронною мережею. Ефективність запропонованого показника обґрунтована і підтверджена
 теоретичними викладками та проілюстрована наглядно на рисунках. Визначені перспективи
 подальшого розвитку даного напрямку досліджень. The article is devoted to investigation of the problem of informativity dump input data at the stage of
 artificial neural network synthesis for solution of the task of time series prediction. The new approach to
 solve this task is offered which is based on neural network sensitivity to input data by analysis of their static
 characteristics. The new approach to solve actual task of development index which is defined the degree of
 sensitivity neural network to values of input data. It becomes possible to indicate the sort of input data owing
 to development such index which is processed the most effective by neural network. The efficiency of the
 offered index is justified and proved by theoretical calculations and illustrated obviously in the pictures.
 Perspective of further development of this direction research is indicated. ru Інститут проблем штучного інтелекту МОН України та НАН України Нейросетевые технологии Показатель чувствительности нейронной сети к входным данным Показник чутливості нейронної мережі до вхідних даних Sensitivity Index of Neural Network to Input Data Article published earlier |
| spellingShingle | Показатель чувствительности нейронной сети к входным данным Кондратюк, А.В. Чумичкин, К.В. Нейросетевые технологии |
| title | Показатель чувствительности нейронной сети к входным данным |
| title_alt | Показник чутливості нейронної мережі до вхідних даних Sensitivity Index of Neural Network to Input Data |
| title_full | Показатель чувствительности нейронной сети к входным данным |
| title_fullStr | Показатель чувствительности нейронной сети к входным данным |
| title_full_unstemmed | Показатель чувствительности нейронной сети к входным данным |
| title_short | Показатель чувствительности нейронной сети к входным данным |
| title_sort | показатель чувствительности нейронной сети к входным данным |
| topic | Нейросетевые технологии |
| topic_facet | Нейросетевые технологии |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/6601 |
| work_keys_str_mv | AT kondratûkav pokazatelʹčuvstvitelʹnostineironnoisetikvhodnymdannym AT čumičkinkv pokazatelʹčuvstvitelʹnostineironnoisetikvhodnymdannym AT kondratûkav pokaznikčutlivostíneironnoímerežídovhídnihdanih AT čumičkinkv pokaznikčutlivostíneironnoímerežídovhídnihdanih AT kondratûkav sensitivityindexofneuralnetworktoinputdata AT čumičkinkv sensitivityindexofneuralnetworktoinputdata |