Агрегация линейных регрессионных моделей и систем нечетких правил
Рассматривается возможность агрегации моделей зависимостей, содержащихся в данных, на примере агрегации линейных регрессионных моделей 2-х переменных и систем нечетких правил. Приведен необходимый и достаточный список статистик данных, позволяющих проводить однозначную аддитивную агрегацию без привл...
Saved in:
| Date: | 2012 |
|---|---|
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2012
|
| Series: | Компьютерная математика |
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/84695 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Агрегация линейных регрессионных моделей и систем нечетких правил / С.Н. Нечуйвитер // Компьютерная математика: сб. науч. тр. — 2012. — № 1. — С. 119-125. — Бібліогр.: 2 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-84695 |
|---|---|
| record_format |
dspace |
| spelling |
nasplib_isofts_kiev_ua-123456789-846952025-02-09T11:25:57Z Агрегация линейных регрессионных моделей и систем нечетких правил Агрегація лінійних регресійних моделей та систем нечітких правил Aggregation of linear regression models and fuzzy rule systems Нечуйвитер, С.Н. Экспертные системы, методы индуктивного вывода Рассматривается возможность агрегации моделей зависимостей, содержащихся в данных, на примере агрегации линейных регрессионных моделей 2-х переменных и систем нечетких правил. Приведен необходимый и достаточный список статистик данных, позволяющих проводить однозначную аддитивную агрегацию без привлечения полного объема исходных данных. Предложено понятие «опыта» для обозначения списка характеристик, достаточного для проведения аддитивной агрегации. Розглядається можливість агрегації моделей залежностей, що містяться у даних, на прикладі агрегації лінійних регресійних моделей 2-х змінних та систем нечітких правил 2-х змінних. Наведено необхідний та достатній перелік характеристик даних, що дозволяє проводити однозначну адитивну агрегацію таких моделей без використання повного обсягу вихідних даних. Запропоновано поняття «досвіду» для позначення переліку характеристик, достатнього для проведення адитивної агрегації. Possibility of aggregation of dependency models contained in data is considered on the example of aggregation of linear regression models of two variables and fuzzy rule systems with two variables. Necessary and sufficient set of data features is presented that allows to carry out a unique additive aggregation without full amount of output data. A concept of “experience” is proposed for designation of the set of features sufficient for additive aggregation description. 2012 Article Агрегация линейных регрессионных моделей и систем нечетких правил / С.Н. Нечуйвитер // Компьютерная математика: сб. науч. тр. — 2012. — № 1. — С. 119-125. — Бібліогр.: 2 назв. — рос. ХХХХ-0003 https://nasplib.isofts.kiev.ua/handle/123456789/84695 519.8 ru Компьютерная математика application/pdf Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Экспертные системы, методы индуктивного вывода Экспертные системы, методы индуктивного вывода |
| spellingShingle |
Экспертные системы, методы индуктивного вывода Экспертные системы, методы индуктивного вывода Нечуйвитер, С.Н. Агрегация линейных регрессионных моделей и систем нечетких правил Компьютерная математика |
| description |
Рассматривается возможность агрегации моделей зависимостей, содержащихся в данных, на примере агрегации линейных регрессионных моделей 2-х переменных и систем нечетких правил. Приведен необходимый и достаточный список статистик данных, позволяющих проводить однозначную аддитивную агрегацию без привлечения полного объема исходных данных. Предложено понятие «опыта» для обозначения списка характеристик, достаточного для проведения аддитивной агрегации. |
| format |
Article |
| author |
Нечуйвитер, С.Н. |
| author_facet |
Нечуйвитер, С.Н. |
| author_sort |
Нечуйвитер, С.Н. |
| title |
Агрегация линейных регрессионных моделей и систем нечетких правил |
| title_short |
Агрегация линейных регрессионных моделей и систем нечетких правил |
| title_full |
Агрегация линейных регрессионных моделей и систем нечетких правил |
| title_fullStr |
Агрегация линейных регрессионных моделей и систем нечетких правил |
| title_full_unstemmed |
Агрегация линейных регрессионных моделей и систем нечетких правил |
| title_sort |
агрегация линейных регрессионных моделей и систем нечетких правил |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2012 |
| topic_facet |
Экспертные системы, методы индуктивного вывода |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/84695 |
| citation_txt |
Агрегация линейных регрессионных моделей и систем нечетких правил / С.Н. Нечуйвитер // Компьютерная математика: сб. науч. тр. — 2012. — № 1. — С. 119-125. — Бібліогр.: 2 назв. — рос. |
| series |
Компьютерная математика |
| work_keys_str_mv |
AT nečujvitersn agregaciâlinejnyhregressionnyhmodelejisistemnečetkihpravil AT nečujvitersn agregacíâlíníjnihregresíjnihmodelejtasistemnečítkihpravil AT nečujvitersn aggregationoflinearregressionmodelsandfuzzyrulesystems |
| first_indexed |
2025-11-25T21:35:21Z |
| last_indexed |
2025-11-25T21:35:21Z |
| _version_ |
1849799767152918528 |
| fulltext |
Компьютерная математика. 2012, № 1 119
Рассматривается возможность
агрегации моделей зависимостей,
содержащихся в данных, на при-
мере агрегации линейных регрес-
сионных моделей 2-х переменных и
систем нечетких правил. Приве-
ден необходимый и достаточный
список статистик данных, позво-
ляющих проводить однозначную
аддитивную агрегацию без при-
влечения полного объема исходных
данных. Предложено понятие
«опыта» для обозначения списка
характеристик, достаточного
для проведения аддитивной агре-
гации.
С.Н. Нечуйвитер, 2012
С.Н. НЕЧУЙВИТЕР
Компьютерная математика. 2012, № 1 120
УДК 519.8
С.Н. НЕЧУЙВИТЕР
АГРЕГАЦИЯ
ЛИНЕЙНЫХ
РЕГРЕССИОННЫХ
МОДЕЛЕЙ
И СИСТЕМ
НЕЧЕТКИХ ПРАВИЛ
Введение. Последнее время
развитие интел-лектуальных
технологий и техники вышло
на уровень, который
позволяет проводить
комплексное моделирование
сложных сис-тем за
приемлемое время. С другой
стороны, к настоящему
времени накоплены богатые
экспериментальные данные
во многих прикладных
областях знаний (таких как
медицина, финансовые
рынки) и создано множество
простых моделей,
описывающих тот или иной
аспект реальности. Поэтому
актуальными становятся
методы объе-динения уже
наработанных моделей в
рамках сложных
комплексных.
Несмотря на наличие
богатых исто-рических
данных для многих сложных
систем не существует точных
моделей. Но было
разработано множество
нечетких методов, в
основном опирающихся на
экс-пертные оценки (это
обусловлен тем, что,
несмотря на отсутствие формальных моде-
лей, человек умеет строить эффективные
интуитивные модели).
Необходимость в объединении именно
моделей обусловлена тем, что:
1) передача и последующая обработка
полного объема данных может быть затруд-
нена (особенно для многомерных случаев и
нелинейных моделей);
2) может существовать необходимость по-
высить точность либо диапазон примени-
мости модели.
В данной работе исследуется возмож-
ность агрегации линейных регрессионных
моделей 2-х переменных и систем нечетких
правил с гауссовскими функциями принад-
лежности.
АГРЕГАЦИЯ ЛИНЕЙНЫХ РЕГРЕССИОННЫХ МОДЕЛЕЙ И СИСТЕМ НЕЧЕТКИХ ПРАВИЛ
Компьютерная математика. 2012, № 1 121
Цель данной работы состоит в поиске расширения линейной регрессион-
ной модели 2-х переменных и системы нечетких правил 2-х переменных, кото-
рое бы позволило проводить аддитивную агрегацию таких моделей.
Постановка задачи. Дано:
• моделируемая функциональная зависимость, заданная набором точек
в 2-х мерном пространстве;
• стандартный метод построения линейной регрессионной модели 2-х пе-
ременных;
• метод Ванга моделирования функции системой нечетких уравнений с га-
уссовскими функциями принадлежности.
Необходимо найти необходимый и достаточный список дополнительных
характеристик линейной регрессионной модели 2-х переменных и системы не-
четких правил 2-х переменных, который бы позволил проводить аддитивную
агрегацию таких моделей.
Достаточные и исчерпывающие характеристики регрессии
Пусть задано n точек данных в 2-х мерном пространстве { }n
iii yx
1
;
=
. Пред-
полагая, что переменная x задана точно, а переменная y – со случайным шу-
мом, построим наилучшую линейную модель вида i i iy a x b= ⋅ + + ε , где ,a b –
параметры модели,{ }iε – множество независимых нормально распределенных
случайных величин с одинаковым нулевым средним и дисперсией 2σ . Согласно
методу наименьших квадратов под наилучшей моделью будем понимать модель
с минимальной суммой квадратов невязок:
если ( )** bxaye iii −⋅−= – невязка модели с данными, а Q =
( )2 2
i i i
i i
y a x b e= − ⋅ − =∑ ∑ – оптимизируемая функция качества, то оптималь-
ные параметры модели: ( )2* *
,
; .argmin i i
a b R i
a b y a x b
∈
= − ⋅ −∑
Из необходимых условий экстремума функции:
0==
∂
∂
∑
i
ii xe
a
Q
,
( ) ( )* * *0 0i
i
Q
e y a x b y x y a x x
b
∂ = = ⇒ − − = ⇒ = + ⋅ −
∂ ∑ ,
( )( )
( )
*
2 22
i i i i
i i
ii
ii
x x y y x y n x y
a
x n xx x
− − − ⋅ ⋅
= =
− ⋅−
∑ ∑
∑∑
,
где ∑=
i
ix
n
x
1
, ∑=
i
iy
n
y
1
– средние значения переменных.
С.Н. НЕЧУЙВИТЕР
Компьютерная математика. 2012, № 1 122
Также можно выписать в явном виде оценку ошибки моделирования значе-
ния y в произвольной точке x [1, с. 92 – 98]:
( )
2
22 2 ,y a x x
n
σσ = + σ ⋅ −
где 2σ – истинная дисперсия случайного нормального шума, а
2
2
2a
xn S
σσ =
⋅
–
дисперсия оценки параметра a , ( )22 1
x i
i
S x x
n
= −∑ – дисперсия переменной x .
Дисперсию шума можно оценить исходя из дисперсии невязок:
2
2ˆ
2
i
i
e
nεσ =
−
∑
.
Таким образом, оптимальные параметры модели и ее точность полностью
определяются следующими статистиками исходных данных: n ,
1
,
n
i
i
SX x
=
=∑
1
,
n
i
i
SY y
=
=∑ 2
1
,
n
i
i
SXX x
=
=∑
1
,
n
i i
i
SXY x y
=
=∑ ( )22 * *
1 1
.
n n
i i i
i i
RSS e y a x b
= =
= = − ⋅ −∑ ∑
Тогда
*
2
SX SY
SXY n n SXY SX SYn na
n SXX SX SXSX
SXX n
n
− ⋅ ⋅ ⋅ − ⋅= =
⋅ − ⋅ − ⋅
,
*( )
SY SX n SXY SX SY SY SXX SX SXY
y x a x x
n n n SXX SX SX n SXX SX SX
⋅ − ⋅ ⋅ − ⋅ = + ⋅ − = ⋅ + ⋅ − ⋅ ⋅ − ⋅
,
( )
2 2
22 2 2
2
1 1 1
x i i
i i
SX SXX SX
S x x x n x SXX n
n n n n n n
= − = − ⋅ = − ⋅ = −
∑ ∑ ,
2ˆ
2
RSS
nεσ =
−
– оценка дисперсии шума;
2
2
2
ˆ
ˆ a
xn S
εσσ =
⋅
– оценка дисперсии параметра a модели;
( )
2
22 2ˆ
ˆ ˆy a x x
n
εσσ = + σ ⋅ − – оценка точности модели.
АГРЕГАЦИЯ ЛИНЕЙНЫХ РЕГРЕССИОННЫХ МОДЕЛЕЙ И СИСТЕМ НЕЧЕТКИХ ПРАВИЛ
Компьютерная математика. 2012, № 1 123
Агрегация линейных регрессионных моделей
Допустим, по данным несколько независимых серий измерений были по-
строены две независимые линейные регрессионные модели согласно вышеопи-
санной процедуре. Допустим, есть основания полагать, что обе выборки данных
описываются одной и той же зависимостью. Для построения модели по сово-
купным данным достаточно вычислить перечисленные выше статистики дан-
ных. В отличие от классических параметров линейной регрессии они носят ад-
дитивный характер:
,aggr j
j
n n=∑ где j – индекс набора данных;
,aggr j
j
SX SX=∑ ,aggr j
j
SY SY=∑
,aggr j
j
SXX SXX=∑ .aggr j
j
SXY SXY=∑
Пусть ( ) ( )* * .ij j i j aggr i aggra x b a x b a x b∆ ∆∆ = + − + = +
Тогда ( ) ( )22 * *aggr
j i aggr i aggr i j i j ij
i i
RSS y a x b y a x b= − ⋅ − = − ⋅ − + ∆ =∑ ∑
( )( )2 2 2 22 ,i i i i ij
i i i
e e a x b e∆ ∆= + + + ∆ = + ∆∑ ∑ ∑
так как 0i i
i
e x =∑ и 0i
i
e =∑ по условию минимизации суммы квадратов невязок.
2 .j ij
j i
RSS RSS
= + ∆
∑ ∑
По статистикам агрегированных данных вычисляем параметры модели.
Агрегация линейной регрессионной модели и системы нечетких правил
Под системой нечетких правил будем понимать совокупность утверждений вида:
«Если Xx ∈ , то Yy ∈ »,
где A и B задаются гауссовскими функциями принадлежности:
( )2
2
1
( ) exp ,
22
x
A
xx
x
p x
− µ
= −
σπσ
( )2
2
1
( ) exp .
22
y
B
yy
y
p y
− µ
= −
σ πσ
В общем случае система нечетких правил соответствует нелинейной зави-
симости между переменными [2], но в данном случае будем рассматривать ее
как особую форму записи списка опорных точек. Для агрегации этих точек и
линейной регрессионной модели вычислим вышеуказанные статистики:
С.Н. НЕЧУЙВИТЕР
Компьютерная математика. 2012, № 1 124
,i
i
n w=∑
где iw – эффективное количество точек данных, соответствующих этому правилу;
( ) ,i A i xi
i i
SX w xp x dx w
∞
−∞
= = µ∑ ∑∫ ,i yi
i
SY w= µ∑
( )2 2 ,i xi xi
i
SXX w= µ + σ∑
,i xi yi
i
SXY w= µ µ∑
( )( )2* * 2 2 .i yi xi xi yi
i
RSS w a b= µ − µ − + σ + σ∑
Параметры модели агрегированных данных вычисляются по формулам
предыдущего раздела.
Таким образом, для агрегации системы нечетких правил с линейной регрес-
сионной моделью необходимо знать статистический вес правил – эффективное
количество точек данных, на которых оно было образовано.
Выводы. Вышеизложенные рассуждения приводят к следующим выводам.
Теорема. Знание статистик данных n, SX, SY, SXX, SXY и RSS является
необходимым и достаточным для агрегации линейных регрессионных моделей
2-х переменных.
Доказательство. Данный список статистик является достаточным, так как
через эти статистики выражаются все параметры линейной регрессионной моде-
ли. Он является необходимым, так как эти статистики – независимые линейные
комбинации моментов 1-го и 2-го порядков набора данных, а эти моменты явля-
ются независимыми.
Следствие 1. Классических параметров a и b линейной регрессионной модели
вида ( )y x a x b= ⋅ + недостаточно для однозначной агрегации таких моделей.
Доказательство. Так как вышеперечисленные статистики необходимы для
агрегации и являются независимыми, то двух параметров недостаточно для пе-
редачи всей информации о данных, содержащейся в модели.
Следствие 2. Возможна аддитивная агрегация линейных регрессионных
моделей 2-х переменных в отсутствие полного объема данных, но при наличии
вышеперечисленных статистик. Правила ее проведения указаны в соответст-
вующем разделе статьи.
Следствие 3. Возможно аддитивное обновление модели новыми данными,
путем вычисления по этим данным вышеуказанного перечня статистик и добав-
ления их к статистикам модели.
АГРЕГАЦИЯ ЛИНЕЙНЫХ РЕГРЕССИОННЫХ МОДЕЛЕЙ И СИСТЕМ НЕЧЕТКИХ ПРАВИЛ
Компьютерная математика. 2012, № 1 125
Следствие 4. Возможна аддитивная агрегация линейных регрессионных
моделей 2-х и системы нечетких правил, если возможно узнать значения выше-
перечисленных статистик. Она проводится по тем же правилам, что и агрегация
линейных регрессионных моделей.
Следствие 5. Необходимость вышеперечисленных статистик для агрегации
некоторых моделей и возможность их записи в аддитивном виде указывают на
возможность введения специального понятия «опыта».
Опыт (об исходных данных, лежащий в основе модели) – аддитивный
объект, несущий в себе весь объем информации о данных необходимый для по-
строения указанного типа моделей.
Переформулируем выводы с использованием этого понятия.
В работе показана недостаточность внутреннего содержания таких форм
знания о данных как линейная регрессионная модель и система нечетких правил
для дальнейшей агрегации этих знаний. Также продемонстрирована возмож-
ность построения объектов, представляющих «опыт» об исходных данных, ле-
жащий в основе этих моделей. Наличие соответствующего «опыта» позволяет
проводить аддитивную агрегацию таких моделей путем сложения «опыта», ле-
жащего в их основе. А также аддитивно обновлять модель, будем простого до-
бавления к имеющемуся в модели «опыту» новый «опыт», рассчитанный по но-
вым данным.
Заключение. В данной работе рассматривается возможность агрегации мо-
делей зависимостей, содержащихся в данных (т. е., по сути, возможность агре-
гации знаний об этих зависимостях) на примере агрегации линейных регресси-
онных моделей 2-х переменных и систем нечетких правил.
Была показана недостаточность внутренних параметров линейной регресси-
онной модели для однозначной агрегации таких моделей. Приведен необходи-
мый и достаточный список статистик данных, позволяющих проводить одно-
значную агрегацию линейных регрессионных моделей 2-х переменных и систем
нечетких правил без привлечения полного объема исходных данных. Более того,
предложенный список статистик позволяет проводить аддитивную агрегацию
этих моделей.
Для обозначения таких объектов как предложенный список статистик, а
именно позволяющих проводить аддитивную агрегацию моделей предложено
понятие «опыта» (об исходных данных, лежащих в основе модели).
Таким образом, знание опыта, лежащего в основе модели, позволяет прово-
дить аддитивную агрегацию моделей данного типа, аддитивную агрегацию
с моделями с аналогичной структурой опыта, аддитивное обновление модели
новыми данными, путем извлечения из них опыта.
Перспективным представляется продолжить изложенные рассуждения на
случай многомерной линейной регрессии и метода главных компонент. Для бо-
лее сложных случаев, когда параметры оптимальной модели не выражаются в
явном виде из данных, перспективным представляется анализ поведения опти-
мизируемой функции качества в окрестности оптимума.
С.Н. НЕЧУЙВИТЕР
Компьютерная математика. 2012, № 1 126
С.М. Нечуйвітер
АГРЕГАЦІЯ ЛІНІЙНИХ РЕГРЕСІЙНИХ МОДЕЛЕЙ ТА СИСТЕМ НЕЧІТКИХ ПРАВИЛ
Розглядається можливість агрегації моделей залежностей, що містяться у даних, на прикладі
агрегації лінійних регресійних моделей 2-х змінних та систем нечітких правил 2-х змінних.
Наведено необхідний та достатній перелік характеристик даних, що дозволяє проводити
однозначну адитивну агрегацію таких моделей без використання повного обсягу вихідних
даних. Запропоновано поняття «досвіду» для позначення переліку характеристик,
достатнього для проведення адитивної агрегації.
S.M. Nechuiviter
AGGREGATION OF LINEAR REGRESSION MODELS AND FUZZY RULE SYSTEMS
Possibility of aggregation of dependency models contained in data is considered on the example of
aggregation of linear regression models of two variables and fuzzy rule systems with two variables.
Necessary and sufficient set of data features is presented that allows to carry out a unique additive
aggregation without full amount of output data. A concept of “experience” is proposed for
designation of the set of features sufficient for additive aggregation description.
1. Шор Я.Б. Статистические методы анализа и контроля качества и надежности. – М.:
Госэнергоиздат, 1962. – 552 с.
2. Борисов В.В., Круглов В.В., Федулов А.С. Нечеткие модели и сети. – М.: Горячая линия-
Телеком, 2007. – 284 с.
Получено 25.10.2011
Об авторе:
Нечуйвитер Сергей Николаевич,
аспирант Физико-технического учебно-научного центра НАН Украины.
e-mail snechuiviter@gmail.com
|