Многомерно-матричный подход в параллельном факторном анализе
На основі багатовимірноматричного підходу розроблено алгоритм, що реалізує альтернуючий метод найменших квадратів для PARAFACмоделі. Доведено теореми про декомпозицію трилінійної та полілінійної PARAFACмоделей. Наведено результати реалізації алгоритму і висновки щодо сфер застосування PARAFACмод...
Saved in:
| Published in: | Проблемы управления и информатики |
|---|---|
| Date: | 2006 |
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2006
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/206897 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Многомерно-матричный подход в параллельном факторном анализе / В.С. Муха // Проблемы управления и информатики. — 2006. — № 5. — С. 100-107. — Бібліогр.: 5 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859520264866365440 |
|---|---|
| author | Муха, В.С. |
| author_facet | Муха, В.С. |
| citation_txt | Многомерно-матричный подход в параллельном факторном анализе / В.С. Муха // Проблемы управления и информатики. — 2006. — № 5. — С. 100-107. — Бібліогр.: 5 назв. — рос. |
| collection | DSpace DC |
| container_title | Проблемы управления и информатики |
| description | На основі багатовимірноматричного підходу розроблено алгоритм, що реалізує альтернуючий метод найменших квадратів для PARAFACмоделі. Доведено теореми про декомпозицію трилінійної та полілінійної PARAFACмоделей. Наведено результати реалізації алгоритму і висновки щодо сфер застосування PARAFACмоделі та PARAFACалгоритму.
On the basis of multidimensionalmatrix approach the algorithm, realizing alternating least square method for PARAFAC model is designed. The theorems about decomposition of the threelinear and multilinear PARAFAC models are proved. The results of testing the algorithm and the conclusions about PARAFAC models and PARAFAC algorithm applications are presented.
|
| first_indexed | 2025-11-25T20:57:31Z |
| format | Article |
| fulltext |
© В.С. МУХА, 2006
100 ISSN 0572-2691
УДК 519.237.7
В.С. Муха
МНОГОМЕРНО-МАТРИЧНЫЙ ПОДХОД
В ПАРАЛЛЕЛЬНОМ ФАКТОРНОМ АНАЛИЗЕ
Постановка задачи. Параллельный факторный (PARAFAC) анализ доста-
точно активно развивается в хемометрике. Он определяется в литературе как
обобщение анализа главных компонент на массивы более высоких размерно-
стей [1]. PARAFAC-модель имеет следующий вид [1–4]:
,,1),()( ,,
1
,,,,,, akji
n
f
fkfjfikjiaa nivcbagG
f
=+
==
=
,,1 bnj = ,,1 cnk = (1)
где )( ,, kjivV = — матрица шума. PARAFAC-задача состоит в том, чтобы по име-
ющейся трехмерной матрице измерений aG получить оценки матриц нагрузок
),( , fiaA = ),( , fjbB = .)( , fkcC = Для решения данной задачи используется так
называемый альтернирующий метод наименьших квадратов (альтернирующий
МНК). Этот метод представлен в [2–4] в виде PARAFAC-алгоритмов различной
формы. Степень формализации данных алгоритмов недостаточна для их безоши-
бочной реализации. Вместе с тем альтернирующий МНК понимается вполне од-
нозначно. Цель данной работы — разработка и испытание PARAFAC-алгоритма
на основе альтернирующего МНК, обладающего большей степенью формализа-
ции по сравнению с известными, и получение некоторых новых результатов отно-
сительно PARAFAC-модели.
Решение задачи. Представим модель (1) в более удобном виде. Для этого
сформируем трехмерную матрицу aD по формуле
),()( ,,,,, kjfafkfja dcbD == ,,1 fnf = ,,1 bnj = .,1 cnk = (2)
Тогда модель (1) можно записать в виде
,)()()( 1,0
,,
1
,,,,,,, VADvdagG akji
n
f
kjfafikjiaa
f
+=+
==
=
(3)
где )(1,0
aAD означает (0, 1)-свернутое произведение двухмерной матрицы A и
трехмерной матрицы aD [5].
Представим модель (1) еще в двух формах. Транспонируем матричное равен-
ство (1) в соответствии с подстановкой [5]
.
2,1,3
3,2,1
,,
,,
T
=
=
jik
kji
b
Получаем ту же модель (1) в виде
===== )()()( ,,,
T
,,,
T
,,, jikakjiaakjibb ggGgG bb
Проблемы управления и информатики, 2006, № 5 101
),()(
T
,,
1
,,,
T
,,
1
,,,
b
f
b
f
kji
n
f
fkfjfikji
n
f
fjfifk vacbvcba +
=+
=
==
(4)
,,1 bni = ,,1 cnj = .,1 ank =
Сформировав трехмерную матрицу bD по формуле
),()( ,,,,, kjfbfkfjb dacD == ,,1 fnf = ,,1 cnj = ,,1 ank = (5)
модель (4) представим следующим образом:
.)()()(
T1,0T
,,
1
,,,,,,,
bb
f
VBDvdbgG bkji
n
f
kjfbfikjibb +=+
==
=
(6)
Транспонируя матричное равенство (1) в соответствии с подстановкой
,
1,3,2
3,2,1
,,
,,
T
=
=
ikj
kji
c
получаем модель (1) в виде
===== )()()( ,,,
T
,,,
T
,,, ikjakjicakjiсc ggGgG cc
),()(
T
,,
1
,,,
T
,,
1
,,,
c
f
c
f
kji
n
f
fkfjfikji
n
f
fifkfj vbacvcba +
=+
=
==
(7)
,,1 cni = ,,1 anj = .,1 bnk =
Сформировав трехмерную матрицу cD по формуле
),()( ,,,,, kjfcfkfjc dbaD == ,,1 fnf = ,,1 anj = ,,1 bnk = (8)
представим модель (7) в виде
.)()()(
T1,0T
,,
1
,,,,,,,
bb
f
VCDvdcgG ckji
n
f
kjfcfikjicc +=+
==
=
(9)
Таким образом, PARAFAC-модель представлена в трех эквивалентных формах
(3), (6), (9), которые позволяют получить при помощи МНК оценки матриц
CBA ,, соответственно.
МНК для определения матриц нагрузок. Идея альтернирующего МНК со-
стоит в определении матриц CBA ,, модели (1) путем применения МНК. Крите-
рий наименьших квадратов, имеющий вид
=−=
−=
=kji
aa
n
f
fkfjfikjia ADGcbagF
f
,,
21,03,0
2
1
,,,,,, ))((
,min))(())((
,,
21,03,021,03,0
CBA
ccbb CDGBDG →−=−= (10)
102 ISSN 0572-2691
предполагает решение системы уравнений
,0=
A
F
,0=
B
F
.0=
C
F
(11)
В выражении (10) 21,03,0 ))(( aa ADG − означает (0,3)-свернутый квадрат трехмер-
ной матрицы ))(( 1,0
aa ADG − [5]. Альтернирующий МНК состоит в итерацион-
ном решении системы уравнений (11) путем поочередного определения одной
матрицы из одного уравнения и подстановки решений в следующие уравнения до
обеспечения сходимости.
Выражение функции F, необходимое для формирования первого уравнения
системы (11), получаем в виде
=−−= )))())(((( 1,01,03,0
aaaa ADGADGF
)).()(())((2)( 1,01,03,01,03,03,0
aaaaaa ADADADGGG +−=
Для формирования уравнения предварительно найдем производную
).(1,0
aAD
dA
d
Z =
По правилу дифференцирования (, )-свернутого произведения многомерных
матриц [5] (в данном случае (0,3)-свернутого произведения) получаем
,)())2,0(()( 5,25,2 H
,,,,
H1,01,0 VzDEAD
dA
d
Z mlkjia ====
где
==
==
)())2,0(( ,,,,,,,,,,
1,0
mlkjimlakji vdeDEV
),( ,,,,,,,,, mljakimlajki dedee =
=
5,2H
V означает транспонирование матрицы V соответственно подстановке типа
«назад» [5],
.
3,2,1,5,4
5,4,3,2,1
,,,,
,,,,
H 2,5
=
=
kjiml
mlkji
Транспонируя матрицу V, находим
).()()( ,,,,,,,,,,,,
H5,2
kjmailkjimlmlkji devzVZ ==== (12)
В выполненных преобразованиях введены обозначения: ,,, kjie и kie , — элемен-
ты (0,2)-единичной матрицы )2,0(E и (0,1)-единичной матрицы )1,0(E соответ-
ственно, а также использованы свойства этих матриц [5]. Дифференцируя функ-
цию F (10) с применением правила дифференцирования (, )-свернутого произ-
ведения многомерных матриц, получаем уравнение
.0))((2)(2 1,03,03,0 =+−=
ZADZG
A
F
aa (13)
Проблемы управления и информатики, 2006, № 5 103
Преобразуем это уравнение с учетом выражения для Z (12), раскрывая в (13) сла-
гаемые:
=
==
==
kji
kjmailkjiaml
kji
mlkjikjiaa deguzgZGU
,,
,,,,,,,,
,,
,,,,,,,
3,0 )()(
),( T2,0
,
T
,,,,,
,
,,,,,, aa
kj
mkjkjla
kj
kjmakjla DGdgdg =
=
=
=
==
kji
mlkji
f
kjffia zdaZADS
,,
,,,,,,,
1,03,0 ))((
=
==
kji
kjmail
f
kjffiml dedas
,,
,,,,,,,, )(
)),(( T2,01,0T
,,,,,,,
,
,,,,,, aa
f
mkja
jk
kjfafl
kj
kjma
f
kjffl DDAddadda =
=
=
где подстановка транспонирования
.
2,1,3
3,2,1
,,
,,
T
=
=
jik
kji
Учитывая последние выражения, вместо (13) получаем уравнение
).())(( T2,0T2,01,0
aaaa DGDDA =
Умножая это уравнение справа в смысле (0,1)-свернутого произведения на мат-
рицу, (0,1)-обратную к матрице ),( T2,0
aaDD находим оценку для матрицы A:
).)()(( 1T2,0T2,01,0 −= aaaa DDDGA
(14)
Ввиду идентичности моделей (3), (6), (9) аналогично можно получить два других
уравнения системы (11) и найти из них оценки матриц B и C:
),)()(( 1T2,0T2,01,0 −= bbbb DDDGB
(15)
).)()(( 1T2,0T2,01,0 −= cccc DDDGC
(16)
PARAFAC-алгоритм. Полученные результаты позволяют построить следу-
ющий PARAFAC-алгоритм.
1. Выбираем первоначальные приближения для оценок ),(tA
),(tB
)(tC
в
модели (1).
2. Формируем матрицы ,bG cG по формулам (см. (4), (7))
,
Tb
ab GG = ,
Tc
cc GG = ,
2,1,3
3,2,1
,,
,,
T
=
=
jik
kji
b .
1,3,2
3,2,1
,,
,,
T
=
=
ikj
kji
c
104 ISSN 0572-2691
3. Формируем матрицы aD
и T
aD
по формулам (см. (2))
)),()(()( ,,,,, tctbdD fkfjkjfaa
== ,,1 fnf = ,,1 bnj = ,,1 cnk = .
2,1,3
3,2,1
,,
,,
T
=
=
jik
kji
4. Определяем оценку )1( +tA
(см. (14))
).)()(()1( 1T2,0T2,01,0 −=+ aaaa DDDGtA
5. Формируем матрицы bD
и T
bD
по формулам (см. (5))
)),1()(()( ,,,,, +== tatcdD fkfjkjfbb
,,1 fnf = ,,1 cnj = ,,1 ank =
.
2,1,3
3,2,1
,,
,,
T
=
=
jik
kji
6. Определяем оценку )1( +tB
(см. (15))
).)()(()1( 1T2,0T2,01,0 −=+ bbbb DDDGtB
7. Формируем матрицы cD
и T
cD
по формулам (см. (8))
)),1()1(()( ,,,,, ++== tbtadD fkfjkjfcc
,,1 fnf = ,,1 anj = ,,1 bnk =
.
2,1,3
3,2,1
,,
,,
T
=
=
jik
kji
8. Определяем оценку )1( +tC
(см. (16))
).)()(()1( 1T2,0T2,01,0 −=+ cccc DDDGtC
9. Проверяем условие сходимости процесса. В случае невыполнения этого
условия заменяем первоначальные матрицы ),(tA
),(tB
)(tC
новыми ),1( +tA
),1( +tB
)1( +tC
и повторяем пп. 3–9. Иначе — расчеты прекращаем.
В качестве условия сходимости можно выбрать достижение изменений мат-
риц нагрузок на двух соседних итерациях на некоторую малую величину либо до-
стижение изменений матрицы данных aG на двух соседних итерациях на малую
величину. В последнем случае в п. 9 необходимо находить оценку матрицы дан-
ных по формуле
.)1()1()1(
1
,,,
+++=
=
fn
f
fkfjfia tctbtaG
Предложенный алгоритм строго формализован, так как не содержит опера-
ций, которые могли бы быть поняты неоднозначно или неверно.
Изложенный подход допускает обобщение на случай полилинейной много-
компонентной модели.
Проблемы управления и информатики, 2006, № 5 105
Реализация алгоритма. Докажем предварительно следующую теорему.
Теорема 1. Равенства
,
1
,,,,,
=
=
fn
f
fkfjfikji cbag ,,1 Ii = ,,1 Jj = ,,1 Kk = (17)
определены с точностью до перестановки столбцов матриц ),( , fiaA = ),( , fjbB =
),( , fkcC = общей для трех матриц, и умножения столбцов матриц ,A ,B C на
произвольные числа такие, что их произведение для соответствующих друг другу
столбцов матриц ,A ,B C равно единице.
Доказательство. Обозначим ,fa ,fb fc столбцы матриц соответственно A,
B, C, так что ),...,,,( 21 fnaaaA = ),...,,,( 21 fnbbbB = )....,,,( 21 fncccC = Тогда
равенства (17) можно представить в виде
,...222111
1
fff
f
nnn
n
f
fff cbacbacbacbaG +++==
=
(18)
где произведения рассматриваются как (0,0)-свернутые [5], ).( ,, kjigG = Очевид-
но, что слагаемые в последнем выражении можно менять местами, не нарушая ра-
венства, что соответствует общей перестановке столбцов матриц A, B, C. Кроме то-
го, можно выбрать коэффициенты, удовлетворяющие равенствам, ,1
111
=cba kkk
,...,1
222
=cba kkk 1=
fnfnfn cba kkk и умножить на них каждое слагаемое в правой
части равенства (18). В результате также получаем равенство
).())((...))()(())()(( 222111 222111 ffnffnffn ncnbnacbacba ckbkakckbkakckbkakG +++=
Доказательство закончено.
Теорема 1 легко обобщается на полилинейную многокомпонентную модель.
Приведем это обобщение без доказательства.
Теорема 2. Равенства
,...
1
,,,,2,,1,...,, 2121
=
=
f
mm
n
f
fimfifiiii aaag ,,1 11 Ii = …, ,,1 mm Ii =
определены с точностью до перестановки столбцов матриц ),( ,,11 1 fiaA = =2A
),( ,,2 2 fia= …, ),( ,, fimm m
aA = общей для m матриц, и умножения столбцов мат-
риц mAAA ,...,, 21 на произвольные числа такие, что их произведение для соот-
ветствующих друг другу столбцов матриц mAAA ,...,, 21 равно единице.
Разработанный алгоритм реализован в МATLAB. Для его проверки в выра-
жении (17) выбраны следующие модельные данные:
,
534
414
444
412
=A ,
325
112
414
312
341
=B .
452
154
152
532
551
141
=C
106 ISSN 0572-2691
При помощи разработанной программы с различными начальными прибли-
жениями получены такие оценки:
,
3509,12606,37219,2
4503,06085,27219,2
8012,16085,27219,2
4503,06085,23609,1
=A
,
2871,71465,39988,4
6435,30488,19995,1
6436,31953,49990,3
6435,31465,39994,1
5740,141465,39996,0
=B
.
0476,38484,59396,2
0476,34623,18795,5
0476,34622,19397,2
8285,13105,79396,2
0476,33105,74697,1
4381,24621,14698,1
=C
,
7815,29109,12745,2
7815,25287,17582,0
7815,25287,10327,3
3908,15287,17582,0
=A
,
5035,48195,51214,4
8014,19398,10607,2
6029,37594,70607,2
8015,18196,50607,2
9008,08196,52429,8
=B
.
1934,33953,52002,3
3866,63487,12002,3
1933,33488,12002,3
1934,37441,69201,1
5968,17441,62002,3
5967,13488,15602,2
=C
Эти оценки отличаются друг от друга, а также от модельных данных. Вместе
с тем они дают достаточно точную аппроксимацию модельных данных по форму-
ле (17) и удовлетворяют условиям теоремы 1. Действительно, выполнив пере-
становку )2,3,1( столбцов матриц ,A
,B
C
и умножив столбцы полученных мат-
риц на коэффициенты 1,5334),2,2207;1,4696;(),,(
321
=aaa kkk =),,(
321 bbb kkk
),0,95340,2745;1,0004;(= ),0,68391,6406;0,680;(),,(
321
=ccc kkk получаем мат-
рицы ,A ,B .C Легко видеть, что ,1
111
=cba kkk ,1
222
=cba kkk .1
333
=cba kkk Ана-
логично, выполнив перестановку )2,1,3( столбцов матриц ,A
,B
C
и умно-
жив столбцы полученных матриц на коэффициенты 1,4380;(),,(
321
=aaa kkk
),2,61661,3189; =),,(
321 bbb kkk ),0,51550,4853;1,1101;( 0,6263;(),,(
321
=ccc kkk
),0,74141,5624; находим матрицы ,A ,B .C При этом также выполняются равен-
ства ,1
111
=cba kkk ,1
222
=cba kkk .1
333
=cba kkk
Проведенные исследования позволяют сделать вывод, что использование
PARAFAC-алгоритма для идентификации модели (17) связано с трудностями
Проблемы управления и информатики, 2006, № 5 107
многозначности решения. По-видимому, этот алгоритм можно использовать для
качественного анализа многомерных данных, например для определения количе-
ства компонент fn модели (1). В то же время PARAFAC-алгоритм можно успеш-
но использовать для сжатия данных, поскольку матрицы CBA ,, занимают го-
раздо меньше памяти, чем трехмерный массив G, и этот массив может быть в лю-
бой момент восстановлен с достаточной степенью точности по формуле (17).
В.С. Муха
БАГАТОВИМІРНО-МАТРИЧНИЙ ПІДХІД
У ПАРАЛЕЛЬНОМУ ФАКТОРНОМУ АНАЛІЗІ
На основі багатовимірно-матричного підходу розроблено алгоритм, що реалі-
зує альтернуючий метод найменших квадратів для PARAFAC-моделі. Доведено
теореми про декомпозицію трилінійної та полілінійної PARAFAC-моделей.
Наведено результати реалізації алгоритму і висновки щодо сфер застосування
PARAFAC-моделі та PARAFAC-алгоритму.
V.S. Mukha
MULTIDIMENSIONAL-MATRIX APPROACH
IN PARALLEL FACTORIAL ANALYSIS
On the basis of multidimensional-matrix approach the algorithm, realizing alternating
least square method for PARAFAC model is designed. The theorems about decom-
position of the three-linear and multi-linear PARAFAC models are proved. The re-
sults of testing the algorithm and the conclusions about PARAFAC models and
PARAFAC algorithm applications are presented.
1. Harshman R.A. Foundation of the PARAFAC procedure : Model and conditions for an «explana-
tory» multi-modal factor analysis // UCLA working papers in phonetics. — 1970. — 16. —
P. 1–84.
2. Bro R. PARAFAC. Tutorial and application // Chemometrics and Intelligent Laboratory Sys-
tems. — 1997. — 38. — P. 149–171.
3. Jiji R.D., Andersson G.G., Booksh K.S. Application of PARAFAC for calibration with excitation-
emission matrix fluorescence spectra of three classes of environmental pollutants // J. of Chemo-
metrics. — 2000. — 14. — P. 171–185.
4. Mathematics in signal processing / Ed. by J.G. McWhirter and I.K. Proudler. — Oxford : Oxford
university press, 2001. — 26 p.
5. Муха В.С. Анализ многомерных данных. — Минск : Технопринт, 2004. — 368 с.
Получено 26.01.2006
|
| id | nasplib_isofts_kiev_ua-123456789-206897 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 0572-2691 |
| language | Russian |
| last_indexed | 2025-11-25T20:57:31Z |
| publishDate | 2006 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Муха, В.С. 2025-09-26T10:39:45Z 2006 Многомерно-матричный подход в параллельном факторном анализе / В.С. Муха // Проблемы управления и информатики. — 2006. — № 5. — С. 100-107. — Бібліогр.: 5 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/206897 519.237.7 На основі багатовимірноматричного підходу розроблено алгоритм, що реалізує альтернуючий метод найменших квадратів для PARAFACмоделі. Доведено теореми про декомпозицію трилінійної та полілінійної PARAFACмоделей. Наведено результати реалізації алгоритму і висновки щодо сфер застосування PARAFACмоделі та PARAFACалгоритму. On the basis of multidimensionalmatrix approach the algorithm, realizing alternating least square method for PARAFAC model is designed. The theorems about decomposition of the threelinear and multilinear PARAFAC models are proved. The results of testing the algorithm and the conclusions about PARAFAC models and PARAFAC algorithm applications are presented. ru Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Методы обработки и защиты информации Многомерно-матричный подход в параллельном факторном анализе Багатовимірно-матричний підхід у паралельному факторному аналізі Multidimensional-matrix approach in parallel factorial analysis Article published earlier |
| spellingShingle | Многомерно-матричный подход в параллельном факторном анализе Муха, В.С. Методы обработки и защиты информации |
| title | Многомерно-матричный подход в параллельном факторном анализе |
| title_alt | Багатовимірно-матричний підхід у паралельному факторному аналізі Multidimensional-matrix approach in parallel factorial analysis |
| title_full | Многомерно-матричный подход в параллельном факторном анализе |
| title_fullStr | Многомерно-матричный подход в параллельном факторном анализе |
| title_full_unstemmed | Многомерно-матричный подход в параллельном факторном анализе |
| title_short | Многомерно-матричный подход в параллельном факторном анализе |
| title_sort | многомерно-матричный подход в параллельном факторном анализе |
| topic | Методы обработки и защиты информации |
| topic_facet | Методы обработки и защиты информации |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/206897 |
| work_keys_str_mv | AT muhavs mnogomernomatričnyipodhodvparallelʹnomfaktornomanalize AT muhavs bagatovimírnomatričniipídhíduparalelʹnomufaktornomuanalízí AT muhavs multidimensionalmatrixapproachinparallelfactorialanalysis |