Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов
Предложен комплекс критериев, позволяющих численно оценивать свойства нейронных и нейро-нечетких сетей: пластичность, однородность, параллелизм вычислений, иерархичность, предорганизацию в обучении, функциональную блочность, обобщение, обучаемость, интерпретабельность, надежность, распределенность п...
Gespeichert in:
| Veröffentlicht in: | Реєстрація, зберігання і обробка даних |
|---|---|
| Datum: | 2009 |
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Russian |
| Veröffentlicht: |
Інститут проблем реєстрації інформації НАН України
2009
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/50390 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов / С.А. Субботин // Реєстрація, зберігання і обробка даних. — 2009. — Т. 11, № 3. — С. 42-52. — Бібліогр.: 7 назв. — pос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-50390 |
|---|---|
| record_format |
dspace |
| spelling |
Субботин, С.А. 2013-10-16T22:10:24Z 2013-10-16T22:10:24Z 2009 Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов / С.А. Субботин // Реєстрація, зберігання і обробка даних. — 2009. — Т. 11, № 3. — С. 42-52. — Бібліогр.: 7 назв. — pос. 1560-9189 https://nasplib.isofts.kiev.ua/handle/123456789/50390 004.93 Предложен комплекс критериев, позволяющих численно оценивать свойства нейронных и нейро-нечетких сетей: пластичность, однородность, параллелизм вычислений, иерархичность, предорганизацию в обучении, функциональную блочность, обобщение, обучаемость, интерпретабельность, надежность, распределенность памяти, вариативность моделей, эффективность. Применение предложенных критериев на практике позволяет автоматизировать процесс построения нейросетевых моделей для решения задач диагностики и распознавания образов. Запропоновано комплекс критеріїв, що дозволяють чисельно оцінювати властивості нейронних і нейро-нечітких мереж: пластичність, однорідність, паралелізм обчислень, ієрархічність, попередню організацію в навчанні, функціональну блочність, узагальнення, навченість, інтерпретабельність, надійність, розподіленість пам’яті, варіативність моделей, ефективність. Застосування запропонованих критеріїв на практиці дозволяє автоматизувати процес побудови нейромережних моделей для вирішення завдань діагностики та розпізнавання образів. The set of criteria for numerical estimation of neural and neuro-fuzzy network properties is proposed. It allows to estimate flexibility, uniformity, computation parallelism, hierarchy, preliminary organization in training, functional modularity, generalization, trainability, interpretability, reliability, memory distribution, model variability, and effectiveness. Applying the proposed criteria in practice allows to automate the process of neural-network model building for solving diagnostics and pattern recognition problems. Работа выполнена как часть госбюджетной темы Запорожского национального технического университета «Информационные технологии автоматизации распознавания образов и принятия решений для диагностики в условиях неопределенности на основе гибридных нечеткологических, нейросетевых и мультиагентных методов вычислительного интеллекта». ru Інститут проблем реєстрації інформації НАН України Реєстрація, зберігання і обробка даних Технічні засоби отримання і обробки даних Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов Аналіз властивостей і критерії порівняння нейромережних моделей для вирішення завдань діагностики та розпізнавання образів Neural-Network Property Analysis and Comparison Criteria for Solving Diagnostics and Pattern Recognition Problems Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов |
| spellingShingle |
Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов Субботин, С.А. Технічні засоби отримання і обробки даних |
| title_short |
Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов |
| title_full |
Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов |
| title_fullStr |
Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов |
| title_full_unstemmed |
Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов |
| title_sort |
анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов |
| author |
Субботин, С.А. |
| author_facet |
Субботин, С.А. |
| topic |
Технічні засоби отримання і обробки даних |
| topic_facet |
Технічні засоби отримання і обробки даних |
| publishDate |
2009 |
| language |
Russian |
| container_title |
Реєстрація, зберігання і обробка даних |
| publisher |
Інститут проблем реєстрації інформації НАН України |
| format |
Article |
| title_alt |
Аналіз властивостей і критерії порівняння нейромережних моделей для вирішення завдань діагностики та розпізнавання образів Neural-Network Property Analysis and Comparison Criteria for Solving Diagnostics and Pattern Recognition Problems |
| description |
Предложен комплекс критериев, позволяющих численно оценивать свойства нейронных и нейро-нечетких сетей: пластичность, однородность, параллелизм вычислений, иерархичность, предорганизацию в обучении, функциональную блочность, обобщение, обучаемость, интерпретабельность, надежность, распределенность памяти, вариативность моделей, эффективность. Применение предложенных критериев на практике позволяет автоматизировать процесс построения нейросетевых моделей для решения задач диагностики и распознавания образов.
Запропоновано комплекс критеріїв, що дозволяють чисельно оцінювати властивості нейронних і нейро-нечітких мереж: пластичність, однорідність, паралелізм обчислень, ієрархічність, попередню організацію в навчанні, функціональну блочність, узагальнення, навченість, інтерпретабельність, надійність, розподіленість пам’яті, варіативність моделей, ефективність. Застосування запропонованих критеріїв на практиці дозволяє автоматизувати процес побудови нейромережних моделей для вирішення завдань діагностики та розпізнавання образів.
The set of criteria for numerical estimation of neural and neuro-fuzzy network properties is proposed. It allows to estimate flexibility, uniformity, computation parallelism, hierarchy, preliminary organization in training, functional modularity, generalization, trainability, interpretability, reliability, memory distribution, model variability, and effectiveness. Applying the proposed criteria in practice allows to automate the process of neural-network model building for solving diagnostics and pattern recognition problems.
|
| issn |
1560-9189 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/50390 |
| citation_txt |
Анализ свойств и критерии сравнения нейросетевых моделей для решения задач диагностики и распознавания образов / С.А. Субботин // Реєстрація, зберігання і обробка даних. — 2009. — Т. 11, № 3. — С. 42-52. — Бібліогр.: 7 назв. — pос. |
| work_keys_str_mv |
AT subbotinsa analizsvoistvikriteriisravneniâneirosetevyhmodeleidlârešeniâzadačdiagnostikiiraspoznavaniâobrazov AT subbotinsa analízvlastivosteiíkriterííporívnânnâneiromerežnihmodeleidlâviríšennâzavdanʹdíagnostikitarozpíznavannâobrazív AT subbotinsa neuralnetworkpropertyanalysisandcomparisoncriteriaforsolvingdiagnosticsandpatternrecognitionproblems |
| first_indexed |
2025-11-25T23:24:46Z |
| last_indexed |
2025-11-25T23:24:46Z |
| _version_ |
1850579955903102976 |
| fulltext |
Технічні засоби отримання і обробки даних
42
УДК 004.93
С. А. Субботин
Запорожский национальный технический университет
ул. Жуковского, 64, 69063 Запорожье, Украина
Анализ свойств и критерии сравнения
нейросетевых моделей для решения задач
диагностики и распознавания образов
Предложен комплекс критериев, позволяющих численно оценивать
свойства нейронных и нейро-нечетких сетей: пластичность, однород-
ность, параллелизм вычислений, иерархичность, предорганизацию в
обучении, функциональную блочность, обобщение, обучаемость, ин-
терпретабельность, надежность, распределенность памяти, вариа-
тивность моделей, эффективность. Применение предложенных кри-
териев на практике позволяет автоматизировать процесс построе-
ния нейросетевых моделей для решения задач диагностики и распозна-
вания образов.
Ключевые слова: нейронная сеть, нейро-нечеткая сеть, критерий
сравнения, распознавание образов.
Введение
При решении задач автоматизации процедур технической диагностики и не-
разрушающего контроля качества, а также распознавания образов по признакам
широкое распространение получили однородные сетевые вычислительные струк-
туры, представляющие собой массированно-параллельные соединения простых,
обычно адаптивных элементов (нейронов), имеющих непустое множество входов,
вместе с их иерархической организацией, обладающее свойствами нелинейности
(целое суммы частей), нелокальности (дальнодействия), нестационарности (обу-
чаемости) и обратной связи (исключение бесконечного регресса) [1].
Наиболее значимыми классами сетевых вычислительных структур являются
искусственные нейронные [1, 2] и нейро-нечеткие сети [3]. В настоящее время
разработан широкий спектр моделей и методов построения нейронных и нейро-
нечетких сетей [1–3]. Такое разнообразие существующих моделей приводит к не-
обходимости решения задачи автоматизации анализа свойств и сравнения сетевых
вычислительных моделей.
Целью данной работы являлось создание математического обеспечения для
автоматизации анализа свойств и сравнения сетевых вычислительных моделей.
© С. А. Субботин
Анализ свойств и критерии сравнения
нейросетевых моделей для решения задач диагностики и распознавания образов
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2009, Т. 11, № 3 43
Постановка задачи
Пусть задана обучающая выборка <x, y>, где x = {xs}; xs = {xs
j}; y = {ys}; s = 1, 2,
..., S; j = 1, 2,…, N; xs — s-й экземпляр выборки; xs
j — значение j-го признака s-го эк-
земпляра; S — число экземпляров выборки; N — число признаков; ys — значение вы-
ходного признака, сопоставленное s-му экземпляру выборки, на основе которой син-
тезирована нейронная или нейро-нечеткая сеть. Поскольку наиболее широко исполь-
зуемым типом сетей являются слоистые сети прямого распространения, будем харак-
теризовать сети кортежем < M, {Nη}, {<{ ),( i
jw }, ),( i , ),(ψ i >}>, где M — число
слоев сети; Nη — количество нейронов в η-м слое сети; ),( i
jw — весовой коэффи-
циент j-го входа i-го нейрона η-го слоя; ),( iη — дискриминантная функция i-го
нейрона η-го слоя; ),(ψ i — функция активации i-го нейрона η-го слоя. Также обо-
значим: Nн — число нейронов в сети; Nw — количество настраиваемых парамет-
ров (весов) сети; (i), (i) — соответственно дискриминантная и активационная
функции i-го нейрона (при сплошной нумерации нейронов сети); wi,j — вес связи
между i-м и j-м нейронами сети (если связь отсутствует, примем wi,j = 0), где i, j =
1, 2, ..., Nн.
Для автоматизации сравнительного анализа нейромоделей необходимо разра-
ботать набор показателей, а также методы их расчета, отражающие важнейшие
свойства нейромоделей. Целесообразно при этом обеспечить такой масштаб шка-
лы критериев, при котором они будут легко объединяться друг с другом.
Анализ литературы
Наиболее широко используемыми критериями сравнения нейросетевых мо-
делей являются точность, характеризуемая ошибкой обучения и ошибкой распо-
знавания тестовых данных, время и количество итераций, затраченных на процесс
обучения, время распознавания тестовых данных, число слоев и нейронов сети [1,
2]. В [2] предложен ряд способов для оценки сложности нейросетей (НС). Однако
такой набор показателей отражает лишь небольшую часть свойств нейромоделей.
Поэтому автором в [4, 5] ранее был предложен комплекс критериев, характеризо-
вавших сложность, избыточность памяти, логическую прозрачность и качество
аппроксимации нейросетевых моделей.
Однако такие важные свойства НС как пластичность, однородность, паралле-
лизм вычислений, иерархичность, предорганизация в обучении, функциональная
блочность, обобщение, обучаемость, интерпретабельность, надежность, распреде-
ленность памяти, вариативность моделей, эффективность до настоящего момента
времени либо не имели аналитических формул для количественного выражения, ли-
бо оценивались показателями с различными диапазонами значений. Поэтому в на-
стоящей работе именно данные свойства выбраны для анализа.
Свойства структуры нейромодели
К свойствам архитектуры нейромодели следует отнести пластичность, одно-
родность, параллелизм, иерархичность, предорганизацию в обучении и функцио-
С. А. Субботин
44
нальную блочность.
Пластичность — обуславливает сложность поведения НС, которое рас-
сматривается как результат взаимодействия многих элементов, каждый из кото-
рых ограничивает действие других и сам ограничивается другими на пути к фор-
мированию глобального наблюдаемого поведения. Различают нейронную пла-
стичность (в качестве пластических элементов рассматриваются нейроны), а так-
же синаптическую пластичность (модификация силы синаптической связи между
нейронами) [7].
Относительный коэффициент нейронной пластичности зададим как:
,
ψ
))(ψ())((
maxmaxmax
н
1
н.
npnp
N
i
npnp
np
N
ii
I
где max
н.N — максимально возможное количество нейронов; np(element) — харак-
теристика пластичности функционального элемента element нейрона (будем пола-
гать np(element) равным числу возможных состояний элемента element: для дис-
криминантной функции i-го нейрона np(φ(i)) будет равняться числу возможных
видов дискриминантных функций, которые могут быть заданы для данного ней-
рона; для функции активации i-го нейрона np(ψ(i)) будет равняться числу воз-
можных видов функций активации, которые могут быть заданы для данного ней-
рона); ψ, maxmax
npnp — соответственно максимальные характеристики пластич-
ности дискриминантных и активационных функций среди всех нейронов сети.
Относительный коэффициент нейронной пластичности сети будет принимать
значения в диапазоне от 0 до 1: чем больше будет его значение, тем выше уровень
нейронной пластичности сети.
Относительный коэффициент синаптической пластичности сети определим
как:
w
ww
N
ji
I
N
i
N
j
sp
sp minmax
2
н
1
.
1
round
),(
н. н
,
где minmax ,ww — соответственно максимальное и минимальное возможные значе-
ния весов сети; w — минимально возможное изменение веса с учетом разряд-
ности вычислительной сетки ЭВМ; round — функция округления к ближайшему
целому числу; sp(i, j) — характеристика пластичности связи от i-го нейрона к
j-му (sp(i, j) = 0, если связь не может существовать, либо связь жестко задана, и
ее вес не может изменяться; в остальных случаях:
Анализ свойств и критерии сравнения
нейросетевых моделей для решения задач диагностики и распознавания образов
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2009, Т. 11, № 3 45
ji
jiji
sp
w
ww
ji
,
min
,
max
,round),( ,
где min
,
max
, , jiji ww — соответственно максимальное и минимальное возможные значе-
ния веса связи от i-го нейрона к j-му;
jiw , — минимально возможное изменение
веса с учетом размера разрядной сетки ЭВМ.
Относительный коэффициент синаптической пластичности сети будет при-
нимать значения в диапазоне от 0 до 1: чем больше будет его значение, тем выше
уровень синаптической пластичности сети при фиксированном количестве нейро-
нов.
Относительный коэффициент пластичности сети определим на основе вве-
денных относительных коэффициентов нейронной и синаптической пластично-
стей: spnppl III .
Относительный коэффициент пластичности сети будет принимать значения в
диапазоне от 0 до 1: чем больше будет его значение, тем выше уровень пластич-
ности сети и, следовательно, сеть обладает большими адаптационными способно-
стями.
Однородность нейроэлементов сети заключается в том, что нейросети стро-
ятся из множества простых унифицированных типовых элементов (нейронов),
выполняющих элементарные действия (умножение, сложение, вычисление про-
стейшей нелинейной функции) и соединенных между собой различными связями
[2].
Однородность дискриминантных функций будем оценивать как:
)1(
)}()(|1{2
нн
1
н. н.
NN
ji
I
N
i
N
ij
hd
.
Однородность функций активации предлагается определять по формуле:
)1(
)}(ψ)(ψ|1{2
нн
1
н н
NN
ji
I
N
i
N
ij
ha .
Однородность нейронов сети определим как:
)1(
})()()(ψ)(ψ|1{2
нн
1
н н
NN
jiji
I
N
i
N
ij
h
.
С. А. Субботин
46
Показатели однородности будут изменяться от 0 до 1: чем больше будут их
значения, тем более однородны соответствующие элементы сети.
Параллельная архитектура и распределенность вычислений — обработка
информации в НС выполняется несколькими процессорными элементами, в то
время как в обычных компьютерах, имеющих только один центральный процес-
сор, информация обрабатывается последовательно, по шагам [1, 2].
Параллелизм вычислений сети прямого распространения без латеральных
связей будем характеризовать с помощью критерия:
н
1 1
1
2
)3(
1
NN
N
I
w
M N
i
par
.
Иерархическая организация структуры, целостность и дробимость элемен-
тов НС: использование иерархических структур — позволяет строить модели
сложных объектов из более простых; работа иерархической структуры требует,
чтобы информационный элемент в каждом иерархическом уровне вел себя как
единое целое, но при переходе с уровня на уровень допускал дробление, причем
при переходе с верхнего иерархического уровня на нижний это дробление соот-
ветствует выделению составляющих его элементов, а при переходе с нижнего
уровня на верхний оно соответствует включению определенной части этого эле-
мента в более сложный объект [6].
Определим иерархичность сети как:
н
1I
MN
N
M
h
.
Предорганизация в обучении — свойство сети, отражающее ее пригодность
для решения задачи в начале процесса структурно-параметрической идентифика-
ции [6]. Данное свойство будем характеризовать набором следующих показате-
лей.
Относительный показатель предорганизации в обучении определим как:
M N
i
i
po
M N
i
i
po
M N
i
N
j
i
jpo
w
po
NN
w
N
I
1 1
,
н1 1
,
н1 1 1
, ψ
4
1
4
1
2
1 1
,
где M — количество слоев в сети; Nн — количество нейронов в сети; po — эври-
стическая функция, показывающая степень неслучайности задания значения па-
раметра сети в предорганизации ее обучения:
,,1
,,0
)(
randelement
randelement
elementpo
Анализ свойств и критерии сравнения
нейросетевых моделей для решения задач диагностики и распознавания образов
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2009, Т. 11, № 3 47
либо
)min()max(
)min()max(
1)(
elementelement
randrand
elementpo
,
где element — условное обозначение параметра функции; rand — случайная компо-
нента элемента.
Относительный показатель автоматизации предорганизации в обучении зада-
дим как:
M N
i
i
po
i
ja
M N
i
i
po
i
ja
M N
i
N
j
i
jpo
i
ja
w
L
apo
w
N
w
N
ww
N
I
1 1
,,
н1 1
,,
н
1 1 1
,,н
,ψ
8
1
8
1
4
1
4
1
где L — эвристическая мера, показывающая степень автоматизации задания чис-
ла слоев в предорганизации обучения сети (L = 1, если число слоев определяется
автоматически; в противном случае — принимают L = 0); н — эвристическая
мера, показывающая степень автоматизации задания числа нейронов в предорга-
низации обучения сети (н = 1, если число нейронов определяется автоматически;
в противном случае — принимают н = 0); a(element) — эвристическая функция,
показывающая степень автоматизации задания значения параметра element сети в
предорганизации ее обучения (a(element) = 0, если значение параметра element
задает пользователь, в противном случае — a(element) = 1).
Функциональная блочность — свойство построения архитектуры сети из
стандартизированных функциональных блоков, внутренняя организация и свой-
ства которых определены заранее и известны разработчику [6].
Поскольку все нейронные и нейро-нечеткие сети по своей природе состоят из
нейронов, обладающих однотипностью выполняемых операций, относительную
функциональную блочность будем рассматривать на внешнем уровне по отноше-
нию к уровню нейронов:
,
)1(
),(2
1
нн
1 1
н н
NN
ji
I
N
i
N
ij
fb
fb
где ),( jifb — показатель принадлежности i-го и j-го нейронов сети к одному и
тому же функциональному блоку ( ),( jifb = 1, если нейроны принадлежат к од-
ному и тому же блоку, ),( jifb = 0 — в противном случае).
Если уровень функциональной блочности равен нулю, это означает, что раз-
работчику сети понятны только преобразования на уровне конкретных нейронов,
однако нет таких групп нейронов, функции которых были бы понятны. Если же
С. А. Субботин
48
уровень функциональной блочности равен единице, то все нейроны сети объеди-
нены в систему блоков, функционирование которых понятно на более высоком
уровне, чем уровень конкретного нейрона.
Свойства параметров нейромодели
К свойствам настраиваемых параметров нейромодели можно отнести обоб-
щение, обучаемость, интерпретабельность, надежность, распределенность памяти,
вариативность и эффективность нейромоделей.
Обобщение — способность сети интегрировать частные данные для опреде-
ления закономерностей и пролонгации результатов, что позволяет после обучения
на одних данных применять полученные знания для других данных [7].
Коэффициент обобщения обученной сети определим как:
))(exp( 2
тест.об.
н
EEI
NN
NS
I h
w
gen ,
где Eоб, Етест — соответственно ошибка сети для обучающей и тестовой выборок.
Если коэффициент обобщения будет существенно больше единицы, то сеть
проявляет большие обобщающие способности, если же коэффициент обобщения
существенно меньше единицы, то сеть не проявляет обобщающих свойств.
Обучаемость — свойство нейросетей совершенствовать свою работу (обу-
чаться или адаптироваться), используя примеры для настройки на решение опре-
деленной задачи [1, 7].
Определим показатель обучаемости сети как:
NS
LLI
I netpl
lr
)1(
,
где Lnet — константа Липшица (сложность) нейронной сети net [2]; L — модифи-
цированная константа Липшица для обучающей выборки:
— для задач с вещественной выходной переменной:
,
)(1
)(
max),(
1
2
2
,...,1
;,...,2,1
N
i
g
i
s
ii
gs
y
Ssg
Ss
xx
yy
yxL
2
,...,2,1,...,2,1
minmax
1
s
i
Ss
s
i
Ss
i
xx
,
;
minmax
1
2
,...,2,1,...,2,1
s
Ss
s
Ss
y
yy
— для задач с дискретной выходной переменной:
Анализ свойств и критерии сравнения
нейросетевых моделей для решения задач диагностики и распознавания образов
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2009, Т. 11, № 3 49
.)(min1),(
5,0
1
2
,...,1
;,...,2,1
N
i
g
i
s
ii
Ssg
Ss
xxyxL
Чем больше будет значение показателя обучаемости, тем большими возмож-
ностями обладает нейронная сеть net для решения задачи аппроксимации таблич-
но заданной зависимости y = f(x).
Интерпретабельность (логическая прозрачность) — свойство сети быть
понятной для восприятия и анализа человеком [2]. Очевидно, что сеть является
более интерпретабельной, если она иерархичная, функционально блочная, а также
ее веса являются контрастными (близкими по значению к нулю или единице),
причем среднее число входов нейрона не превышает 5–7 (это число обусловлено
особенностями человеческой психики).
Наряду с ранее предложенными в [4, 5] характеристиками логической про-
зрачности можно эвристически определить интерпретабельность через иерархич-
ность и функциональную блочность:
M N
i
N
j
i
ji
hfb
w
NII
I
1 1 1
,
н
interp. 1
)(
,
.0,
1
1
,1,
1
,10,)sin(1
)(
,
,
,
,
,,
,
i
ji
j
i
ji
j
i
j
i
j
i
ji
w
w
w
w
ww
w
Надежность и устойчивость сети к отказам отдельных элементов, состав-
ляющих ее, проявляется в том, что отказ одного или нескольких нейроэлементов
сети не приводит к отказу всей НС и не может существенно влиять на работу сети
в целом [1].
Определим показатели надежности весов сети относительно обучающей вы-
борки как:
M
i
j
N
i
iMiM
w
M N
i
N
j
w
avg
wre
N
wEwE
I
1
),(
min
),(
max
1 1 1
0
1
),( )|()(
1 и
),(
min
),(
max
,...,1
0
,...,1
;,...,1
;,...,1
max
ψψmax
)|()(max
1
),(
1
iMiM
Ni
w
Nj
Ni
M
wre
M
i
j
wEwE
I
,
где
S
s
N
i
iM
s
s
i
M
ywE
1 1
2),( )()( — ошибка сети при наборе весовых коэффициентов
w; ),( iM
s — значение на i-м выходе сети для s-го экземпляра.
С. А. Субботин
50
Определим показатели надежности нейронов сети относительно обучающей
выборки как
M
p
i
N
i
iMiM
w
M N
i
N
j
wNp
avg
N
wEwE
I
1
),(
min
),(
max
1 1 1
0:,...,2,1
н.
ψψ
)|()(
1
1
),1(
1
и
),(
min
),(
max
,...,1
,...,1
;,...,1
;,...,1
max
н.
ψψmax
)|()(max
1
0
),1(
:1,...,2,1
1
iMiM
Ni
Nj
Ni
M
M
p
iwNp
wEwE
I
.
Распределенность памяти — информация в сети хранится по многим адре-
сам, распределенным образом, так, что каждый элемент данных представляется
шаблоном активности, распределенным по многим вычислительным элементам, и
каждый вычислительный элемент участвует в представлении многих различных
элементов данных [1, 2].
Распределенность памяти сети представим как усредненную долю весов, ока-
зывающих существенное влияние на выход сети, в общем числе весов для обу-
чающей выборки:
w
S
s
M N
i
N
j
wxwExwE
md
SN
I
i
j
ss
1 1 1 1
))0|,(),((
1
2),(
)e(1
.
Вариативность моделей аппроксимируемой зависимости по одной и той же
таблице данных сетью заключается в том, что при неизменной структуре, но раз-
ных начальных значениях весов либо разных методах их настройки после обуче-
ния в общем случае может получиться несколько различных нейромоделей [2].
Определим абсолютный показатель вариативности моделей для сети:
M N
i
N
j
i
jv
i
v
i
vv wI
1 1 1
),(),(),(
1
)()ψ()(
,
где )(),ψ(),( ),(),(),( i
jv
i
v
i
v w — соответственно показатели вариативности ти-
пов дискриминантных и активационных функций нейронов, а также значений ве-
сов в процессе обучения сети: если соответствующий элемент сети в процессе
обучения может принимать только одно фиксированное состояние, то полагают
1)( elementv , вариативность дискриминантных и активационных функций оп-
Анализ свойств и критерии сравнения
нейросетевых моделей для решения задач диагностики и распознавания образов
ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2009, Т. 11, № 3 51
ределяется архитектурой сети и методом обучения; для весов вариативность
предлагается оценивать по формуле: )( ),( i
jv w =1, если вес является неизменным в
процессе обучения;
),(
),,(
min
),,(
max),( round)(
i
j
i
j
i
ji
jv
w
ww
w
, если вес может изменяться.
Здесь ),,(
min
),,(
max , i
j
i
j ww — соответственно, максимальное и минимальное возможные
значения веса ),,( i
jw ; ),( i
jw — минимально возможное изменение веса с учетом
размера разрядной сетки ЭВМ.
Эффективность (качество) решения задач НС определяется точностью
(ошибкой) решения задачи для обучающих и тестовых данных, простотой, логи-
ческой прозрачностью и быстродействием полученной нейросетевой модели, а
также затратами на построение нейросетевой модели (требования к аппаратным
средствам, итерационность и затраты времени метода обучения).
Обобщенный показатель эффективности нейромодели на основе предложен-
ных показателей определим как:
.e
6
)(5,01
)( нinterp
Eapopoavgavg
wrelrgenfbhparplef
II
IIIIIIIIII
Обобщенный показатель эффективности может быть использован как для срав-
нения нейромоделей и методов их синтеза, так и для оптимизации процесса построе-
ния нейромоделей.
Заключение
В работе решена актуальная задача автоматизации анализа свойств и сравне-
ния нейросетевых моделей.
Научная новизна работы заключается в том, что впервые предложены модели
расчета критериев, характеризующих свойства нейронных и нейро-нечетких се-
тей, что позволяет автоматизировать решение задачи анализа свойств и сравнения
нейросетевых и нейро-нечетких моделей при решении задач диагностики и распо-
знавания образов.
Работа выполнена как часть госбюджетной темы Запорожского национально-
го технического университета «Информационные технологии автоматизации рас-
познавания образов и принятия решений для диагностики в условиях неопреде-
ленности на основе гибридных нечеткологических, нейросетевых и мультиагент-
ных методов вычислительного интеллекта».
1. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин, В.Н. Анто-
нов. — СПб.: Изд-во С.-Петербургского ун-та, 1999. — 265 с.
2. Миркес Е.М. Нейроинформатика: учеб. пособ. для студентов. — Красноярск: ИПЦ КГТУ,
2002. — 347 с.
С. А. Субботин
52
3. Субботін С.О. Неітеративні, еволюційні та мультиагентні методи синтезу нечіткологічних
і нейромережних моделей: Монографія / С.О. Субботін, А.О. Олійник, О.О. Олійник; під заг. ред.
С.О. Субботіна. — Запоріжжя: ЗНТУ, 2009. —375 с.
4. Cубботин С.А. Методика и критерии сравнения моделей и алгоритмов синтеза искусст-
венных нейронных сетей // Радiоелектронiка. Iнформатика. Управлiння. — 2003. — № 2. — С.
109–114.
5. Субботин С.А. О сравнении нейросетевых моделей // Нейроинформатика и ее приложе-
ния: Материалы XI Всероссийского семинара, 3–5 октября 2003 г.; под ред. А.Н. Горбаня, Е.М.
Миркеса. — Красноярск: ИВМ СО РАН, 2003. — С. 152–153.
6. Нейрокомпьютер как основа мыслящих ЭВМ. — М.: Наука, 1993. — 239 с.
7. Головко В.А. Нейронные сети: обучение, организация и применение: учеб. пособ. для ву-
зов / Общ. ред. А.И. Галушкина. — М.: ИПРЖР, 2001. — 256 с.
Поступила в редакцию 28.08.2009
|