Використання гіпотези λ-компактності при побудові навчаючої вибірки для прогнозуючих нейромережевих моделей
The problem of forming a qualitative training sample for neural networks in forecasting is solved. The possibility of use the hypothesis of λ-compactness at the step of forming an ensemble of recognizable classes is described. An advanced algorithm of forming a qualitative training sample is offered...
Gespeichert in:
| Datum: | 2019 |
|---|---|
| Hauptverfasser: | , , |
| Format: | Artikel |
| Sprache: | Russisch |
| Veröffentlicht: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2019
|
| Online Zugang: | https://journal.iasa.kpi.ua/article/view/164989 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | System research and information technologies |
| Завантажити файл: |  |
Institution
System research and information technologies| _version_ | 1867334350309163009 |
|---|---|
| author | Krisilov, V. А. Yudin, S. А. Oleshko, D. M. |
| author_facet | Krisilov, V. А. Yudin, S. А. Oleshko, D. M. |
| author_institution_txt_mv | [
{
"author": "V. А. Krisilov",
"institution": null
},
{
"author": "S. А. Yudin",
"institution": null
},
{
"author": "D. M. Oleshko",
"institution": null
}
] |
| author_sort | Krisilov, V. А. |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2019-04-23T15:44:17Z |
| description | The problem of forming a qualitative training sample for neural networks in forecasting is solved. The possibility of use the hypothesis of λ-compactness at the step of forming an ensemble of recognizable classes is described. An advanced algorithm of forming a qualitative training sample is offered on the basis of the mechanisms considered. |
| first_indexed | 2025-07-17T10:24:31Z |
| format | Article |
| fulltext |
© В.А. Крисилов, С.А. Юдин, Д.Н. Олешко, 2006
26 ISSN 1681–6048 System Research & Information Technologies, 2006, № 3
TIДC
ПРОГРЕСИВНІ ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ,
ВИСОКОПРОДУКТИВНІ КОМП’ЮТЕРНІ
СИСТЕМИ
УДК 681.3: 519.68
ИСПОЛЬЗОВАНИЕ ГИПОТЕЗЫ λ -КОМПАКТНОСТИ ПРИ
ПОСТРОЕНИИ ОБУЧАЮЩЕЙ ВЫБОРКИ ДЛЯ
ПРОГНОЗИРУЮЩИХ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ
В.А. КРИСИЛОВ, С.А. ЮДИН, Д.Н. ОЛЕШКО
Решается задача построения качественной обучающей выборки для нейронных
сетей в прогнозировании. Описана возможность использования гипотезы λ -
компактности на этапе построения множества распознаваемых классов. На ос-
нове рассмотренных механизмов предложен усовершенствованный алгоритм
построения качественной обучающей выборки.
ВВЕДЕНИЕ
Проблема качества данных, используемых для обучения — одна из важ-
нейших проблем, решаемых при построении интеллектуальных обучаю-
щихся систем. От качества обучающего материала зависит не только дос-
товерность функционирования системы в будущем, но и возможность
обучиться в принципе.
Сегодня в различных предметных областях широко применяются
обучающиеся системы, построенные на основе аппарата искусственных
нейронных сетей (ИНС). Чаще всего, это прогнозирующие модели, исполь-
зуемые в системах поддержки принятия решений (СППР) в задачах управ-
ления технологическими процессами, электронного бизнеса и экономичес-
кого мониторинга. Как и в любой другой обучающейся системе, при
построении ИНС предполагается обеспеченность некоторыми исходными
данными для обучения, формирующими ее обучающую выборку (ОВ).
Особенность большинства экономических и технологических процес-
сов, требующих применения СППР — их высокая динамичность и связан-
ная с ней необходимость достаточно частого обновления прогнозирующих
нейросетевых моделей. Однако отсутствие формальных методик, которые
позволили бы оценить качество сформированной ОВ приводит к увеличе-
нию затрат на синтез прогнозирующей модели в целом. Причинами этого
является и увеличение времени сходимости процесса обучения на некачест-
венной ОВ, и затраты на поиск альтернативных методов построения ОВ в
случае неуспешного обучения. Увеличение же времени, затрачиваемого на
построение или на актуализацию прогнозирующей модели, делает данный
метод прогнозирования неэффективным [1, 2].
Использование гипотезы λ-компактности при построении обучающей выборки …
Системні дослідження та інформаційні технології, 2006, № 3 27
В разрабатываемом методе формирования ОВ предложено рассматри-
вать проблему «времени и качества» с точки зрения достаточности. Под
достаточностью в каждом конкретном случае будем подразумевать некото-
рое огрубление условий и, возможно, некоторое ослабление ограничений
задачи. Такая операция позволяет, теряя в качестве, выигрывать во времени.
В каждый конкретный момент определение значений параметров преобра-
зования данных, структурного или параметрического синтеза происходит
именно исходя из принципа достаточности (ПД) [8].
Идея отказа от 100%-ного качества не нова. Первым с аналогичной
идеей выступил профессор Lotfi A. Zadeh: «Терпимость к неточности, не-
четкости и частичной правде может эксплуатироваться для достижения
удобства манипулирования, устойчивости, низкой стоимости решения и
лучшего соответствия действительности» [9].
В другой, более конструктивной, трактовке ПД состоит в том, что су-
ществует достаточный (не избыточный) уровень детализации исходных
данных, внутренних состояний СППР и результатов процесса принятия
решения, который может быть задан на основании формализованного
анализа условий и цели конкретной задачи. Применение ПД подразуме-
вает формирование входного, внутреннего и выходного пространств
СППР так, чтобы уровень их нечеткости оставался достаточным для по-
лучения конструктивного результата, т.е. результата приемлемого качества
(достоверности, точности и т.п.) при допустимых затратах. При такой по-
становке задачи становится очевидно, что соблюдение ПД непосредственно
связано с формализацией цели конкретной задачи [8].
Таким образом, задача построения качественной ОВ в контексте разви-
тия интеллектуальных систем, основанных на нейронных сетях, является
актуальной. Ее решение позволит существенно ускорить процесс обучения
нейронных сетей, а, следовательно, и сам процесс интеллектуального анали-
за данных.
Цель данной работы — повышение скорости и качества интеллекту-
ального анализа данных за счет формализации процесса построения ОВ при
обучении нейронных сетей.
В ходе исследования разрабатывались:
• комплексный критерий оптимальности качественной ОВ;
• алгоритм построения множества распознаваемых классов в рамках
формирования ОВ, основанного на гипотезе λ -компактности [6, 7].
АЛГОРИТМ ПОСТРОЕНИЯ КАЧЕСТВЕННОЙ ОВ
Входными данными для алгоритма служит ОВ, построенная методом
«скользящих окон» для некоторого заданного размера окна kW и содержа-
щая n обучающих наборов (ОН).
Задача алгоритма — построить оптимальное разбиение на классы
множества эталонных значений ОВ.
При построении обучающей выборки классическим методом «скользя-
щих окон» обучающая выборка представляет собой набор объектов, задан-
ных в виде таблицы объект – свойство [7], дополненной эталоном — иден-
В.А. Крисилов, С.А. Юдин, Д.Н. Олешко
ISSN 1681–6048 System Research & Information Technologies, 2006, № 3 28
тификатором класса. В этом случае задача заключается в том, чтобы нау-
чить нейронную сеть распознавать один из n эталонов по k-входным значе-
ниям предыдущих элементов ряда. С целью снижения числа распознавае-
мых классов, а следовательно, уменьшения времени обучения сети логично
преобразовать выборку таким образом, чтобы похожие значения эталонов
объединить в один таксон и обучать сеть распознавать уже )( mn − классов,
где m — количество образованных таксонов. Для решения объединения в
классы эталонных значений обучающей выборки, построенной с использо-
ванием метода «скользящих окон», целесообразно использовать методы кла-
стерного анализа.
Одним из используемых методов построения качественной ОВ являет-
ся алгоритм, базирующийся на комплексном критерии [3].
Предлагаемый в этом алгоритме преобразования ОВ критерий опти-
мальности основан на таких характеристиках ОВ.
Непротиворечивость. Пусть множество пар вида ( )( )kiii xxx ,,, 21 … ,
lY — множество ОН преобразованной ОВ, причем: { }sl YYYYY ,,, 21 …∈∀
∑=
i
zl y
n
Y 1 ; n — количество начальных классов zy , составивших класс
lY ; s — мощность нового множества распознаваемых классов; i — номер
ОН. Тогда для двух обучающих наборов i и j : ( )2nmmn YYY −=∆ — рас-
стояние между центроидами, соответственно, m -го и n -го классов, а рас-
стояние между объектами этих классов будет вычисляться по формуле
( )( ) ( )( )22
11 11 kkij xDxxDxx ∆++∆=∆ … ,
где kjkik xxx −=∆ ; kDx — дисперсия свойства k -го измерения по всей ОВ.
Теперь, введя два расстояния: между объектами и между центроидами
классов, к которым они принадлежат, можно определить понятие противо-
речивости.
Пусть ijC — парная противоречивость — противоречивость двух обу-
чающих наборов (i-го и j-го), принадлежащих, соответственно, классам mY
и nY . Тогда, очевидно, что ijC возрастает, если возрастает mnY∆ или убы-
вает ijx∆ .
На основании данных рассуждений предложена следующая формула
для вычисления ijC :
mnij
mn
ij
Yx
YC
∆+∆
∆
= .
Согласно этой формуле, противоречивость двух объектов лежит в диа-
пазоне [0; 1], достигает максимума при совпадении характеристик объектов,
принадлежащих разным классам, и становится равной 0 в случае, если рас-
сматриваются объекты одного класса. Противоречивостью всей ОВ будет
среднее всех ijC .
Использование гипотезы λ-компактности при построении обучающей выборки …
Системні дослідження та інформаційні технології, 2006, № 3 29
nCC
n
ij /
1
OB ⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
= ∑ , (1)
где n — количество всех парных противоречивостей в ОВ.
Равномерность. Для оценки неравномерности была рассмотрена слу-
чайная величина OHN — количество ОН в классе. В качестве величины,
характеризующей неравномерность построенной ОВ, предлагается средне-
квадратичное отклонение OHN .
( )OHOВ NR σ= . (2)
Среднеквадратичная ошибка преобразования исходных данных.
Как и для любого преобразования данных, здесь важно уметь оценить его
погрешность и стремиться выбирать решение с минимальной величиной
этой погрешности.
В данном случае после преобразования множества распознаваемых
классов { } { }sm YYYYyyyY ,,,,,, 2121 …… ⇒ ошибкой преобразования на од-
ном наборе является величина
iii yYD −= ,
а среднеквадратичная ошибка может быть вычислена следующим образом:
nDD
n
i∑=
1
2
OВ , (3)
где n — количество ОН.
Количество классов. Ограничивающим фактором для понижения OВR
служит величина CLASSN . Таким образом, она также должна быть включена
в искомый критерий.
Оптимальной считается ОВ, удовлетворяющая критерию
)(min OB
*
OB QQ = , (4)
где OBQ — функционал, позволяющий оценить качество ОВ на каждой от-
дельной итерации, и вычисляется по формуле
NDRC wwww NDRCQ CLASSOBOBOBOB ***= , (5)
где NDRC wwww ,,, — показатели, характеризующие важность той или
иной характеристики для разработчика в рамках текущей задачи.
Максимальное количество объектов в классах ограничивается некото-
рым значением maxN , которое достаточно мало на начальной итерации и
увеличивается до некоторого предела на последующих итерациях алгорит-
ма. Кроме того, пользователем задается ограничение на точность представ-
ления данных maxL , которое является максимально допустимым расстояни-
ем между объектами класса для заданной шкалы.
Такой алгоритм построения качественной ОВ, как правило, обеспечи-
вает удовлетворительные результаты таксономии, а, следовательно, быстрое
В.А. Крисилов, С.А. Юдин, Д.Н. Олешко
ISSN 1681–6048 System Research & Information Technologies, 2006, № 3 30
и качественное обучение нейронной сети. Однако вследствие того, что в нем
на первом месте стоят ограничения на количество объектов в классе и на
размеры класса, при объединении объектов в таксоны могут быть нарушены
реальные закономерности, отражающие специфику распределения объектов.
Другими словами, объекты в этом алгоритме продолжают образовы-
вать один и тот же таксон до тех пор, пока не выполнится одно из условий:
1. Количество объектов в таксоне превысит максимально допустимое.
2. Диаметр таксона превысит максимально допустимый.
И только после этого исследуем величину, характеризующую плот-
ность распределения объектов, играющую в процессе формирования таксо-
нов решающую роль [6, 7]. Таким образом, алгоритм не чувствителен к
распределению объектов внутри и на границах интервала maxL . Такая по-
следовательность действий иногда может привести к неправильным резуль-
татам таксономии и некорректному отнесению объектов к классам, а,
следовательно, к ошибкам при обучении НС.
Для того чтобы продемонстрировать некорректную работу алгоритма,
достаточно рассмотреть процесс анализа ОВ, изображенный на рис. 1.
Как видно из рис. 1, предложенный алгоритм не всегда способен адек-
ватно распределить объекты по классам. Это приводит к дополнительным
искажениям исходных данных и, как следствие, снижению достоверности
самой прогнозирующей модели, несмотря на достаточно разносторонний
критерий качества ОВ, позволяющий количественно учитывать важные его
показатели.
Таким образом, для повышения эффективности построения качествен-
ной ОВ необходимо предложить алгоритм таксономии для использования в
комплексе с разработанным в [3] критерием качества ОВ, который обеспе-
чивал бы сохранение законов распределения выборки при осуществлении
таксономии и учитывал ограничения на точность, накладываемые экспер-
том.
АЛГОРИТМ ТАКСОНОМИИ НА БАЗЕ ГИПОТЕЗЫ λ-КОМПАКТНОСТИ
В основе подавляющего большинства методов анализа данных лежит эври-
стическая гипотеза компактности, которая состоит в том, что при правиль-
ном выборе системы информативных признаков реализации образов разных
классов располагаются компактными группами в окрестностях центров со-
ответствующих классов, формируя «компактные сгустки». В последнее
время активно развивается гипотеза λ -компактности. В отличие от гипо-
тезы компактности, она базируется не на понятии абсолютного расстоя-
1 2 3 4 5 6 7 8 9 10
A B
Рис. 1. Пример таксономии исходным алгоритмом при условии 6max =L
Использование гипотезы λ-компактности при построении обучающей выборки …
Системні дослідження та інформаційні технології, 2006, № 3 31
ния, а на некотором более сложном показателе, получившем название
λ -расстояния [6, 7], который позволяет дополнительно учитывать однород-
ность распределения объектов в классах. В силу этого преимущества
одними из наиболее эффективных и универсальных алгоритмов таксо-
номии сегодня по праву считаются алгоритмы, основанные на гипотезе
λ -компактности [6, 7].
Ниже предложен алгоритм, основанный на гипотезе λ -компактности, в
котором отсутствуют недостатки предыдущего алгоритма.
Критерий оценки качества таксономии. Следствием гипотезы
λ -компактности является утверждение о том, что чем больше величина
λ -расстояния, соответствующая ребру λ -кратчайшего незамкнутого пути
(λ -КНП), тем больше вероятность прохождения по этому ребру границы
между таксонами [6, 7]. Таким образом, величина λ -расстояния может быть
интерпретирована как вероятность разрыва ребра графа λ -КНП. Из каждой
вершины λ -КНП в общем случае может исходить k ребер. Следовательно,
вероятность разрыва i-го ребра ip можно представить как
∑
=
= k
j
jz
iz
izp
1
λ
λ
, (6)
где iλ – λ — расстояние, соответствующее i -му ребру, исходящему из
вершины z в λ -КНП; k — количество ребер, исходящих из вершины z .
Таким образом, каждый объект может быть объединен в один класс с
соседним объектом при условии, что для ребра λ -КНП, соединяющего их,
вероятность разрыва минимальна. На рис. 2 показан пример объединения
объектов в класс во фрагменте λ -КНП.
Расчеты вероятности осуществляются для каждого объекта в исследуе-
мом множестве. Образуется первичное множество таксонов, которые не со-
держат областей нарушения локальной однородности[6, 7]. Следует заме-
тить, что все это происходит за один проход алгоритма.
Получение такого разбиения на таксоны может являться конечным ре-
зультатом, так как в соответствии с гипотезой компактности полученные
таксоны неделимы. Однако, как правило, такой результат первого этапа
Z
32.0=λ
67.0=λ 43.0=λ
23.0=p
47.0=p 30.0=p
p=0,23
p=0,30
λ=0,32
λ=0,43
p=0,47
λ=0,67
Рис. 2. Объединение объектов в один класс
В.А. Крисилов, С.А. Юдин, Д.Н. Олешко
ISSN 1681–6048 System Research & Information Technologies, 2006, № 3 32
слишком «подробен». Это объясняется тем, что каждая область, в которой
нет нарушения локальной однородности, представляет собой отдельный
таксон. Т.е. в результате первого этапа получается множество таксонов, ха-
рактеризующееся однородностью распределения объектов внутри них, и не
учитывающее расстояние между объектами или таксонами.
Другими словами, на этом этапе достигнуто необходимое в соответст-
вии с гипотезой λ -компактности качество таксономии. Для достижения
достаточного его уровня необходимо разработать показатель качества. При
обсуждении недостатков критерия качества таксономии, используемого в
исходном алгоритме [3], говорилось о том, что такой показатель в первую
очередь должен учитывать расстояние между классами, а не показатели ко-
личества объектов в классах или их диаметры. Если исследуется большое
множество объектов, один из которых находится на существенном отдале-
нии от других, то этот один является отдельным классом, который может
быть интерпретирован как помеха или случайный выброс. Вряд ли можно
игнорировать единичное существенное отклонение от среднего только по-
тому, что в исследуемой выборке оно встретилось единожды. Более того,
бывают случаи, когда целью таксономии является выделение именно таких
отклонений.
Теперь, если среди всех ребер построенного λ -КНП найти ребро, кото-
рому соответствует минимальное λ -расстояние, то два таксона, соединен-
ные этим ребром графа, сольются в один таксон.
Таким образом, результаты таксономии представляют собой иерархи-
ческую структуру, количество таксонов в которой на каждом шаге умень-
шается на единицу. Вершиной структуры является один таксон.
Положим в основу показателя качества таксономии величину, характе-
ризующую изменение среднего λ -расстояния внутри таксонов f на каж-
дом шаге. Такую характеристику можно получить, построив λ -КНП на
множестве значений функции )(xf — среднего λ -расстояния по всем так-
сонам для текущего варианта таксономии и исследовав его на наличие на-
рушений локальной однородности. Тогда значение показателя качества кла-
стерного анализа на i-м шаге можно вычислить по формуле
)1(
)(
−
=
if
ifKi . (7)
Критерием качества предлагается считать следующую величину как
характеристику наилучшего варианта таксономии:
)(max iK . (8)
При вычислении среднего λ -расстояния по всем таксонам нужно
иметь в виду, что λ -расстояние в таксоне, содержащем один объект, равно
нулю [7]. Также считается, что величина показателя локальной неоднород-
ности в таксоне, содержащем два объекта, равна единице [6]. Следователь-
но, величина λ -расстояния в таком таксоне вычисляется как
D
d
maxτ
λ = . (9)
Использование гипотезы λ-компактности при построении обучающей выборки …
Системні дослідження та інформаційні технології, 2006, № 3 33
Возможны ситуации, когда необходимое число таксонов задано не кон-
кретным числом, а интервалом. В этом случае в качестве оптимального сле-
дует выбрать максимальное значение показателя на этом интервале.
ХОД АЛГОРИТМА
1. Строится полный λ -граф, соединяющий все объекты из исследуе-
мого множества[6, 7].
2. Строится λ -КНП[6,7].
3. Рассчитываются вероятности разрыва для каждого объекта по каж-
дому смежному ребру λ -КНП.
4. Каждый объект объединяется в один класс с соседним объектом при
условии, что для ребра, соединяющего их, вероятность разрыва минималь-
на.
5. Вычисляется центр каждого таксона и строится λ -КНП на множест-
ве таксонов.
6. Рассчитывается )(xf , где x — число таксонов на текущем шаге.
7. Среди всех ребер нового λ -КНП находится ребро, которому соот-
ветствует минимальное λ -расстояние. Два таксона, соединенные этим реб-
ром графа, сливаются в один таксон.
8. Пп. 5…7 повторяются до тех пор, пока не останется всего один так-
сон. Для него рассчитывается среднее значение λ -расстояния.
9. Формируется вариант таксономии, которому соответствует макси-
мум показателя качества.
10. Осуществляется последовательный перебор всех классов. Для каж-
дого класса рассчитывается диаметр и количество объектов.
11. Если диаметр или количество объектов превышает заданные пре-
дельно-допустимые величины maxN и maxL , таксон разрывается в ребре,
которому соответствует максимальное значение λ -расстояния. П. 11 повто-
ряется для каждого из вновь образованных классов. Если рассчитанные зна-
чения находятся в допустимых пределах, работа с таксоном заканчивается.
12. Осуществляется оценка качества (5) сформированной ОВ.
РЕШЕНИЕ ПРАКТИЧЕСКИХ ЗАДАЧ
Была поставлена задача прогнозирования пунктов английского фунта на
электронном рынке FOREX в частности, построить прогнозирующую мо-
дель и оценить следующие ее параметры:
• время, затрачиваемое на синтез модели;
• достоверность получаемых прогнозов и горизонт доверия прогнозу;
• время, затрачиваемое на актуализацию уже построенной модели.
Особенность исходных данных заключается в том, что существует воз-
можность их получения с фактически любой частотой дискретизации пунк-
тов. В данном случае интерес представляло получение прогнозов в течение
одного рабочего дня для оперативной игры на курсе английской валюты.
Для этого выбрана частота дискретизации 5 минут. Трудность состояла в
В.А. Крисилов, С.А. Юдин, Д.Н. Олешко
ISSN 1681–6048 System Research & Information Technologies, 2006, № 3 34
том, что при этом данные только за одни сутки насчитывают почти 400 по-
зиций. Кроме того, исследуемый ВР может иметь множество видов законо-
мерностей: часовые, дневные, недельные, месячные, годовые. Было принято
решение рассмотреть ОВ, состоящую из отсчетов за один рабочий день, и на
ее примере оценить заданные параметры.
При решении данной задачи без применения разработанной информа-
ционной технологии получены следующие результаты.
• Построено несколько ОВ, различающихся размером окна описания
ситуации ( 7,5,31 =W ), которые содержали от 36 до 39 распознаваемых
классов.
• Создано и обучено 9 сетей различной конфигурации и для различных
ОВ.
• Обучение каждой сети длилось в среднем 63 часа при некоторой по-
стоянной величине шага изменения ВК (CPU 700 MHz, 128 Mb RAM).
• В результате верификации построенных прогнозирующих моделей
на тестовой выборке, состоящей из 10 значений, по минимальному значе-
нию ошибки была отобрана нейронная сеть, содержащая три слоя: 7, 40, 38
нейронов, соответственно. При построении прогноза с горизонтом прогно-
зирования 10 дней квадратичная ошибка построенного прогноза составила
5,12 %.
При решении поставленной задачи с помощью разработанного метода
получена ОВ, содержащая 21 класс. При этом 77,72182OB =Q при следую-
щих значениях характеристик: 517617,9OB =R ; 5269,0OB =C ; 9157OB =D ;
21CLASS =N . В то время как для ОВ, построенной классическим методом,
эти же параметры составляли: 07,887524OB =Q при 1501,579OB =R ; =OBC
3652,0= ; 2094,0OB =D ; 38CLASS =N .
С помощью предложенного механизма структурного синтеза построена
нейронная сеть, содержащая три слоя с количеством нейронов: 7, 21 и 21,
соответственно.
На параметрический синтез данной модели затрачено около 20 часов
(CPU 700 MHz, 128 Mb RAM).
Квадратичная ошибка прогноза составила 3,84 %.
Таким образом, были исследованы зависимости точности прогноза от
величины горизонта прогнозирования для обеих моделей. Полученные ре-
зультаты показаны на рис. 3, где модель № 1 построена классическим мето-
дом, а модель № 2 построена с использованием разработанной технологии.
Получен выигрыш во времени, затраченном на построение прогнози-
рующей модели и, в частности, в три раза сокращены затраты на параметри-
ческий синтез. Ошибка прогноза уменьшена в среднем в 1,3 раза. Отметим,
что и в данной задаче прогнозирующая модель показала себя более устой-
чивой в режиме построения прогнозов с горизонтом больше 1.
На основании предложенной технологии решена также задача прогно-
зирования остатков на банковском счете банка «Південний». Как и в преды-
дущем случае, время, затраченное на построение прогнозирующей модели,
уменьшено, практически, в два раза, а ошибка прогноза — в среднем в 1,5.
Использование гипотезы λ-компактности при построении обучающей выборки …
Системні дослідження та інформаційні технології, 2006, № 3 35
ЗАКЛЮЧЕНИЕ
Разработанный алгоритм построения качественной ОВ стал результатом
объединения подходов [4, 5, 6, 7], подчиненных ограничениям, обусловлен-
ным требованиями к точности представления данных и качеству построен-
ной ОВ.
Предложенный критерий оценки качества построенной ОВ позволяет
осуществить объективную оценку и дает разработчику наглядную возмож-
ность оперировать степенями важности характеристик ОВ в процессе ее по-
строения.
Разработанный алгоритм автоматического построения качественной
ОВ в значительной степени облегчает труд проектировщика прогнозирую-
щей нейросетевой модели. Ряд экспериментов по прогнозированию времен-
ного ряда валютных котировок и сравнению полученных результатов с
результатами построения обучающей ОВ методом «скользящих окон» пока-
зал, что к достоинствам алгоритма можно отнести следующие факторы:
1. Существенное сокращение затрат времени на построение обучаю-
щей выборки, отвечающей всем заданным требованиям.
2. Построенная в результате выборка максимально отвечает установ-
ленным требованиям качества, что обусловливает снижение в разы затрат
времени на обучение НС и снижение ошибки прогноза в среднем в полтора
раза.
3. Компактное разбиение множества эталонных значений ОВ на клас-
сы позволяет выиграть в размерности сети, что также снижает затраты вре-
мени на синтез прогнозирующей НС.
Алгоритм построения качественной ОВ, основанный на гипотезе
λ -компактности, базируется на понятии λ -расстояния. Это позволяет од-
0
1
2
3
4
5
6
1 2 3 4 5 6 7 8 9 10
Горизонт прогноза
С
ре
дн
ек
ва
др
ат
ич
на
я
о
ш
иб
ка
Модель №1
Модель №2
Рис. 3. Зависимость среднеквадратичной ошибки прогноза от величины горизонта
прогнозирования
В.А. Крисилов, С.А. Юдин, Д.Н. Олешко
ISSN 1681–6048 System Research & Information Technologies, 2006, № 3 36
новременно учитывать компактность залегания объектов в таксоне и
однородность их распределения.
Недостатком алгоритма является отсутствие учета равномерного рас-
пределения количества объектов в классах на этапе кластеризации. Эту про-
блему можно решить, используя, наряду с показателем λ -расстояния, пока-
затель «равномощности» распределения, лежащий в основе алгоритма
таксономии λ -KRAB
∏
=
=
k
i
ik
m
m
kh
1
,
где k — количество классов; im — число объектов в i -м классе; m — об-
щее число объектов.
Перспективой для дальнейших исследований является повышение ка-
чества ОВ за счет учета равномерного распределения объектов по классам в
алгоритме, основанном на гипотезе λ -компактности.
ЛИТЕРАТУРА
1. Крисилов В.А., Тарасенко Р.А. Предварительная оценка качества обучающей
выборки для нейронных сетей в задачах прогнозирования временных рядов
// Тр. Одесского политехн. ун-та. — 2001. — Вып. 1. — С. 90–93.
2. Аксенов О.Ю. Обнаружение и распознавание объектов на изображениях с ис-
пользованием искусственных нейросетей // Всероссийская научно-техн.
конф. «Нейроинформатика–99».Часть 3. — М.: МИФИ, 1999. — С. 131–137.
3. Олешко Д.Н., Крисилов В.А., Блажко А.А. Построение качественной обучаю-
щей выборки для прогнозирующих нейросетевых моделей // Искусствен-
ный интеллект. — 2004. — 3. — С. 567–573.
4. Нейронные сети. Statistica Neural Networks / Пер. с англ. — М.: Горячая линия
— Телеком. — 2000. — 182 с.
5. Олешко Д.Н., Крисилов В.А. Двухэтапное обучение нейронных сетей в задачах
прогнозирования временных рядов // Искусственный интеллект. — 2002. —
Вып. 4. — С. 742–746.
6. Загоруйко Н.Г. Гипотезы компактности и λ -компактности в методах анализа
данных // Сибирский журн. индустриальной математики. — Новосибирск:
Ин-т математики, 1998. — 1. — С. 114–126.
7. Загоруйко Н.Г. Прикладные методы анализа данных и знаний. — Новосибирск:
Ин-т математики, 1999. — 259 с.
8. Krisilov V.A., Krisilov A.D., Oleshko D.N. Application of the sufficiency principle in
acceleration of neural networks training // Information Theories & applications.
— 2003. — 10, № 2. — P. 179–183.
9. Zadeh L.A. Toward a perception-based theory of probabilistic reasoning with impre-
cise probabilities // Journal of Statistical Planning and Inference. — 2002. —
№ 105. — P. 233–264.
Поступила 23.09.2005
|
| id | journaliasakpiua-article-164989 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Russian |
| last_indexed | 2025-07-17T10:24:31Z |
| publishDate | 2019 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/2a/ccded3218093709fc25c6c853e5d5e2a.pdf |
| spelling | journaliasakpiua-article-1649892019-04-23T15:44:17Z Using the hypothesis of λ-compactness in the process of forming training sample for forecasting neural network models Использование гипотезы λ-компактности при построении обучающей выборки для прогнозирующих нейросетевых моделей Використання гіпотези λ-компактності при побудові навчаючої вибірки для прогнозуючих нейромережевих моделей Krisilov, V. А. Yudin, S. А. Oleshko, D. M. The problem of forming a qualitative training sample for neural networks in forecasting is solved. The possibility of use the hypothesis of λ-compactness at the step of forming an ensemble of recognizable classes is described. An advanced algorithm of forming a qualitative training sample is offered on the basis of the mechanisms considered. Решается задача построения качественной обучающей выборки для нейронных сетей в прогнозировании. Описана возможность использования гипотезы λ-компактности на этапе построения множества распознаваемых классов. На основе рассмотренных механизмов предложен усовершенствованный алгоритм построения качественной обучающей выборки. Розв’язується задача побудови якісної навчаючої вибірки для нейронних мереж у прогнозуванні. Описано можливість використання гіпотези λ-компактності на етапі побудови множини класів, що розпізнаються. На основі розглянутих механізмів запропоновано удосконалений алгоритм побудови якісної навчаючої вибірки. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2019-04-23 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/164989 System research and information technologies; No. 3 (2006); 26-36 Системные исследования и информационные технологии; № 3 (2006); 26-36 Системні дослідження та інформаційні технології; № 3 (2006); 26-36 2308-8893 1681-6048 ru https://journal.iasa.kpi.ua/article/view/164989/164031 Copyright (c) 2021 System research and information technologies |
| spellingShingle | Krisilov, V. А. Yudin, S. А. Oleshko, D. M. Використання гіпотези λ-компактності при побудові навчаючої вибірки для прогнозуючих нейромережевих моделей |
| title | Використання гіпотези λ-компактності при побудові навчаючої вибірки для прогнозуючих нейромережевих моделей |
| title_alt | Using the hypothesis of λ-compactness in the process of forming training sample for forecasting neural network models Использование гипотезы λ-компактности при построении обучающей выборки для прогнозирующих нейросетевых моделей |
| title_full | Використання гіпотези λ-компактності при побудові навчаючої вибірки для прогнозуючих нейромережевих моделей |
| title_fullStr | Використання гіпотези λ-компактності при побудові навчаючої вибірки для прогнозуючих нейромережевих моделей |
| title_full_unstemmed | Використання гіпотези λ-компактності при побудові навчаючої вибірки для прогнозуючих нейромережевих моделей |
| title_short | Використання гіпотези λ-компактності при побудові навчаючої вибірки для прогнозуючих нейромережевих моделей |
| title_sort | використання гіпотези λ-компактності при побудові навчаючої вибірки для прогнозуючих нейромережевих моделей |
| url | https://journal.iasa.kpi.ua/article/view/164989 |
| work_keys_str_mv | AT krisilovva usingthehypothesisoflcompactnessintheprocessofformingtrainingsampleforforecastingneuralnetworkmodels AT yudinsa usingthehypothesisoflcompactnessintheprocessofformingtrainingsampleforforecastingneuralnetworkmodels AT oleshkodm usingthehypothesisoflcompactnessintheprocessofformingtrainingsampleforforecastingneuralnetworkmodels AT krisilovva ispolʹzovaniegipotezylkompaktnostipripostroeniiobučaûŝejvyborkidlâprognoziruûŝihnejrosetevyhmodelej AT yudinsa ispolʹzovaniegipotezylkompaktnostipripostroeniiobučaûŝejvyborkidlâprognoziruûŝihnejrosetevyhmodelej AT oleshkodm ispolʹzovaniegipotezylkompaktnostipripostroeniiobučaûŝejvyborkidlâprognoziruûŝihnejrosetevyhmodelej AT krisilovva vikoristannâgípotezilkompaktnostípripobudovínavčaûčoívibírkidlâprognozuûčihnejromereževihmodelej AT yudinsa vikoristannâgípotezilkompaktnostípripobudovínavčaûčoívibírkidlâprognozuûčihnejromereževihmodelej AT oleshkodm vikoristannâgípotezilkompaktnostípripobudovínavčaûčoívibírkidlâprognozuûčihnejromereževihmodelej |