Многомерно-матричный подход в параллельном факторном анализе

На основі багатовимірноматричного підходу розроблено алгоритм, що реалізує альтернуючий метод найменших квадратів для PARAFACмоделі. Доведено теореми про декомпозицію трилінійної та полілінійної PARAFACмоделей. Наведено результати реалізації алгоритму і висновки щодо сфер застосування PARAFACмод...

Full description

Saved in:

Bibliographic Details
Published in:	Проблемы управления и информатики
Date:	2006
Main Author:	Муха, В.С.
Format:	Article
Language:	Russian
Published:	Інститут кібернетики ім. В.М. Глушкова НАН України 2006
Subjects:	Методы обработки и защиты информации
Online Access:	https://nasplib.isofts.kiev.ua/handle/123456789/206897
Tags:	Add Tag No Tags, Be the first to tag this record!
Journal Title:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:	Многомерно-матричный подход в параллельном факторном анализе / В.С. Муха // Проблемы управления и информатики. — 2006. — № 5. — С. 100-107. — Бібліогр.: 5 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1859520264866365440
author	Муха, В.С.
author_facet	Муха, В.С.
citation_txt	Многомерно-матричный подход в параллельном факторном анализе / В.С. Муха // Проблемы управления и информатики. — 2006. — № 5. — С. 100-107. — Бібліогр.: 5 назв. — рос.
collection	DSpace DC
container_title	Проблемы управления и информатики
description	На основі багатовимірноматричного підходу розроблено алгоритм, що реалізує альтернуючий метод найменших квадратів для PARAFACмоделі. Доведено теореми про декомпозицію трилінійної та полілінійної PARAFACмоделей. Наведено результати реалізації алгоритму і висновки щодо сфер застосування PARAFACмоделі та PARAFACалгоритму. On the basis of multidimensionalmatrix approach the algorithm, realizing alternating least square method for PARAFAC model is designed. The theorems about decomposition of the threelinear and multilinear PARAFAC models are proved. The results of testing the algorithm and the conclusions about PARAFAC models and PARAFAC algorithm applications are presented.
first_indexed	2025-11-25T20:57:31Z
format	Article
fulltext	© В.С. МУХА, 2006 100 ISSN 0572-2691 УДК 519.237.7 В.С. Муха МНОГОМЕРНО-МАТРИЧНЫЙ ПОДХОД В ПАРАЛЛЕЛЬНОМ ФАКТОРНОМ АНАЛИЗЕ Постановка задачи. Параллельный факторный (PARAFAC) анализ доста- точно активно развивается в хемометрике. Он определяется в литературе как обобщение анализа главных компонент на массивы более высоких размерно- стей [1]. PARAFAC-модель имеет следующий вид [1–4]: ,,1),()( ,, 1 ,,,,,, akji n f fkfjfikjiaa nivcbagG f =+         ==  = ,,1 bnj = ,,1 cnk = (1) где )( ,, kjivV = — матрица шума. PARAFAC-задача состоит в том, чтобы по име- ющейся трехмерной матрице измерений aG получить оценки матриц нагрузок ),( , fiaA = ),( , fjbB = .)( , fkcC = Для решения данной задачи используется так называемый альтернирующий метод наименьших квадратов (альтернирующий МНК). Этот метод представлен в [2–4] в виде PARAFAC-алгоритмов различной формы. Степень формализации данных алгоритмов недостаточна для их безоши- бочной реализации. Вместе с тем альтернирующий МНК понимается вполне од- нозначно. Цель данной работы — разработка и испытание PARAFAC-алгоритма на основе альтернирующего МНК, обладающего большей степенью формализа- ции по сравнению с известными, и получение некоторых новых результатов отно- сительно PARAFAC-модели. Решение задачи. Представим модель (1) в более удобном виде. Для этого сформируем трехмерную матрицу aD по формуле ),()( ,,,,, kjfafkfja dcbD == ,,1 fnf = ,,1 bnj = .,1 cnk = (2) Тогда модель (1) можно записать в виде ,)()()( 1,0 ,, 1 ,,,,,,, VADvdagG akji n f kjfafikjiaa f +=+           ==  = (3) где )(1,0 aAD означает (0, 1)-свернутое произведение двухмерной матрицы A и трехмерной матрицы aD [5]. Представим модель (1) еще в двух формах. Транспонируем матричное равен- ство (1) в соответствии с подстановкой [5] . 2,1,3 3,2,1 ,, ,, T         =         = jik kji b Получаем ту же модель (1) в виде ===== )()()( ,,, T ,,, T ,,, jikakjiaakjibb ggGgG bb Проблемы управления и информатики, 2006, № 5 101 ),()( T ,, 1 ,,, T ,, 1 ,,, b f b f kji n f fkfjfikji n f fjfifk vacbvcba +         =+         =  == (4) ,,1 bni = ,,1 cnj = .,1 ank = Сформировав трехмерную матрицу bD по формуле ),()( ,,,,, kjfbfkfjb dacD == ,,1 fnf = ,,1 cnj = ,,1 ank = (5) модель (4) представим следующим образом: .)()()( T1,0T ,, 1 ,,,,,,, bb f VBDvdbgG bkji n f kjfbfikjibb +=+         ==  = (6) Транспонируя матричное равенство (1) в соответствии с подстановкой , 1,3,2 3,2,1 ,, ,, T         =         = ikj kji c получаем модель (1) в виде ===== )()()( ,,, T ,,, T ,,, ikjakjicakjiсc ggGgG cc ),()( T ,, 1 ,,, T ,, 1 ,,, c f c f kji n f fkfjfikji n f fifkfj vbacvcba +         =+         =  == (7) ,,1 cni = ,,1 anj = .,1 bnk = Сформировав трехмерную матрицу cD по формуле ),()( ,,,,, kjfcfkfjc dbaD == ,,1 fnf = ,,1 anj = ,,1 bnk = (8) представим модель (7) в виде .)()()( T1,0T ,, 1 ,,,,,,, bb f VCDvdcgG ckji n f kjfcfikjicc +=+         ==  = (9) Таким образом, PARAFAC-модель представлена в трех эквивалентных формах (3), (6), (9), которые позволяют получить при помощи МНК оценки матриц CBA ,, соответственно. МНК для определения матриц нагрузок. Идея альтернирующего МНК со- стоит в определении матриц CBA ,, модели (1) путем применения МНК. Крите- рий наименьших квадратов, имеющий вид   =−=           −= =kji aa n f fkfjfikjia ADGcbagF f ,, 21,03,0 2 1 ,,,,,, ))(( ,min))(())(( ,, 21,03,021,03,0 CBA ccbb CDGBDG →−=−= (10) 102 ISSN 0572-2691 предполагает решение системы уравнений ,0=   A F ,0=   B F .0=   C F (11) В выражении (10) 21,03,0 ))(( aa ADG − означает (0,3)-свернутый квадрат трехмер- ной матрицы ))(( 1,0 aa ADG − [5]. Альтернирующий МНК состоит в итерацион- ном решении системы уравнений (11) путем поочередного определения одной матрицы из одного уравнения и подстановки решений в следующие уравнения до обеспечения сходимости. Выражение функции F, необходимое для формирования первого уравнения системы (11), получаем в виде =−−= )))())(((( 1,01,03,0 aaaa ADGADGF )).()(())((2)( 1,01,03,01,03,03,0 aaaaaa ADADADGGG +−= Для формирования уравнения предварительно найдем производную ).(1,0 aAD dA d Z = По правилу дифференцирования (, )-свернутого произведения многомерных матриц [5] (в данном случае (0,3)-свернутого произведения) получаем ,)())2,0(()( 5,25,2 H ,,,, H1,01,0 VzDEAD dA d Z mlkjia ==== где ==         ==    )())2,0(( ,,,,,,,,,, 1,0 mlkjimlakji vdeDEV ),( ,,,,,,,,, mljakimlajki dedee =         =    5,2H V означает транспонирование матрицы V соответственно подстановке типа «назад» [5], . 3,2,1,5,4 5,4,3,2,1 ,,,, ,,,, H 2,5         =         = kjiml mlkji Транспонируя матрицу V, находим ).()()( ,,,,,,,,,,,, H5,2 kjmailkjimlmlkji devzVZ ==== (12) В выполненных преобразованиях введены обозначения: ,,, kjie и kie , — элемен- ты (0,2)-единичной матрицы )2,0(E и (0,1)-единичной матрицы )1,0(E соответ- ственно, а также использованы свойства этих матриц [5]. Дифференцируя функ- цию F (10) с применением правила дифференцирования (, )-свернутого произ- ведения многомерных матриц, получаем уравнение .0))((2)(2 1,03,03,0 =+−=   ZADZG A F aa (13) Проблемы управления и информатики, 2006, № 5 103 Преобразуем это уравнение с учетом выражения для Z (12), раскрывая в (13) сла- гаемые: =           ==           ==  kji kjmailkjiaml kji mlkjikjiaa deguzgZGU ,, ,,,,,,,, ,, ,,,,,,, 3,0 )()( ),( T2,0 , T ,,,,, , ,,,,,, aa kj mkjkjla kj kjmakjla DGdgdg =           =           =  =           ==   kji mlkji f kjffia zdaZADS ,, ,,,,,,, 1,03,0 ))(( =           ==   kji kjmail f kjffiml dedas ,, ,,,,,,,, )( )),(( T2,01,0T ,,,,,,, , ,,,,,, aa f mkja jk kjfafl kj kjma f kjffl DDAddadda =           =           =   где подстановка транспонирования . 2,1,3 3,2,1 ,, ,, T         =         = jik kji Учитывая последние выражения, вместо (13) получаем уравнение ).())(( T2,0T2,01,0 aaaa DGDDA = Умножая это уравнение справа в смысле (0,1)-свернутого произведения на мат- рицу, (0,1)-обратную к матрице ),( T2,0 aaDD находим оценку для матрицы A: ).)()(( 1T2,0T2,01,0 −= aaaa DDDGA  (14) Ввиду идентичности моделей (3), (6), (9) аналогично можно получить два других уравнения системы (11) и найти из них оценки матриц B и C: ),)()(( 1T2,0T2,01,0 −= bbbb DDDGB  (15) ).)()(( 1T2,0T2,01,0 −= cccc DDDGC  (16) PARAFAC-алгоритм. Полученные результаты позволяют построить следу- ющий PARAFAC-алгоритм. 1. Выбираем первоначальные приближения для оценок ),(tA  ),(tB  )(tC  в модели (1). 2. Формируем матрицы ,bG cG по формулам (см. (4), (7)) , Tb ab GG = , Tc cc GG = , 2,1,3 3,2,1 ,, ,, T         =         = jik kji b . 1,3,2 3,2,1 ,, ,, T         =         = ikj kji c 104 ISSN 0572-2691 3. Формируем матрицы aD  и T aD  по формулам (см. (2)) )),()(()( ,,,,, tctbdD fkfjkjfaa  == ,,1 fnf = ,,1 bnj = ,,1 cnk = . 2,1,3 3,2,1 ,, ,, T         =         = jik kji 4. Определяем оценку )1( +tA  (см. (14)) ).)()(()1( 1T2,0T2,01,0 −=+ aaaa DDDGtA  5. Формируем матрицы bD  и T bD  по формулам (см. (5)) )),1()(()( ,,,,, +== tatcdD fkfjkjfbb  ,,1 fnf = ,,1 cnj = ,,1 ank = . 2,1,3 3,2,1 ,, ,, T         =         = jik kji 6. Определяем оценку )1( +tB  (см. (15)) ).)()(()1( 1T2,0T2,01,0 −=+ bbbb DDDGtB  7. Формируем матрицы cD  и T cD  по формулам (см. (8)) )),1()1(()( ,,,,, ++== tbtadD fkfjkjfcc  ,,1 fnf = ,,1 anj = ,,1 bnk = . 2,1,3 3,2,1 ,, ,, T         =         = jik kji 8. Определяем оценку )1( +tC  (см. (16)) ).)()(()1( 1T2,0T2,01,0 −=+ cccc DDDGtC  9. Проверяем условие сходимости процесса. В случае невыполнения этого условия заменяем первоначальные матрицы ),(tA  ),(tB  )(tC  новыми ),1( +tA  ),1( +tB  )1( +tC  и повторяем пп. 3–9. Иначе — расчеты прекращаем. В качестве условия сходимости можно выбрать достижение изменений мат- риц нагрузок на двух соседних итерациях на некоторую малую величину либо до- стижение изменений матрицы данных aG на двух соседних итерациях на малую величину. В последнем случае в п. 9 необходимо находить оценку матрицы дан- ных по формуле .)1()1()1( 1 ,,,           +++=  = fn f fkfjfia tctbtaG  Предложенный алгоритм строго формализован, так как не содержит опера- ций, которые могли бы быть поняты неоднозначно или неверно. Изложенный подход допускает обобщение на случай полилинейной много- компонентной модели. Проблемы управления и информатики, 2006, № 5 105 Реализация алгоритма. Докажем предварительно следующую теорему. Теорема 1. Равенства , 1 ,,,,,  = = fn f fkfjfikji cbag ,,1 Ii = ,,1 Jj = ,,1 Kk = (17) определены с точностью до перестановки столбцов матриц ),( , fiaA = ),( , fjbB = ),( , fkcC = общей для трех матриц, и умножения столбцов матриц ,A ,B C на произвольные числа такие, что их произведение для соответствующих друг другу столбцов матриц ,A ,B C равно единице. Доказательство. Обозначим ,fa ,fb fc столбцы матриц соответственно A, B, C, так что ),...,,,( 21 fnaaaA = ),...,,,( 21 fnbbbB = )....,,,( 21 fncccC = Тогда равенства (17) можно представить в виде ,...222111 1 fff f nnn n f fff cbacbacbacbaG +++==  = (18) где произведения рассматриваются как (0,0)-свернутые [5], ).( ,, kjigG = Очевид- но, что слагаемые в последнем выражении можно менять местами, не нарушая ра- венства, что соответствует общей перестановке столбцов матриц A, B, C. Кроме то- го, можно выбрать коэффициенты, удовлетворяющие равенствам, ,1 111 =cba kkk ,...,1 222 =cba kkk 1= fnfnfn cba kkk и умножить на них каждое слагаемое в правой части равенства (18). В результате также получаем равенство ).())((...))()(())()(( 222111 222111 ffnffnffn ncnbnacbacba ckbkakckbkakckbkakG +++= Доказательство закончено. Теорема 1 легко обобщается на полилинейную многокомпонентную модель. Приведем это обобщение без доказательства. Теорема 2. Равенства ,... 1 ,,,,2,,1,...,, 2121  = = f mm n f fimfifiiii aaag ,,1 11 Ii = …, ,,1 mm Ii = определены с точностью до перестановки столбцов матриц ),( ,,11 1 fiaA = =2A ),( ,,2 2 fia= …, ),( ,, fimm m aA = общей для m матриц, и умножения столбцов мат- риц mAAA ,...,, 21 на произвольные числа такие, что их произведение для соот- ветствующих друг другу столбцов матриц mAAA ,...,, 21 равно единице. Разработанный алгоритм реализован в МATLAB. Для его проверки в выра- жении (17) выбраны следующие модельные данные: , 534 414 444 412             =A , 325 112 414 312 341               =B . 452 154 152 532 551 141                 =C 106 ISSN 0572-2691 При помощи разработанной программы с различными начальными прибли- жениями получены такие оценки: , 3509,12606,37219,2 4503,06085,27219,2 8012,16085,27219,2 4503,06085,23609,1               =A  , 2871,71465,39988,4 6435,30488,19995,1 6436,31953,49990,3 6435,31465,39994,1 5740,141465,39996,0                   =B  . 0476,38484,59396,2 0476,34623,18795,5 0476,34622,19397,2 8285,13105,79396,2 0476,33105,74697,1 4381,24621,14698,1                     =C  , 7815,29109,12745,2 7815,25287,17582,0 7815,25287,10327,3 3908,15287,17582,0               =A  , 5035,48195,51214,4 8014,19398,10607,2 6029,37594,70607,2 8015,18196,50607,2 9008,08196,52429,8                   =B  . 1934,33953,52002,3 3866,63487,12002,3 1933,33488,12002,3 1934,37441,69201,1 5968,17441,62002,3 5967,13488,15602,2                     =C  Эти оценки отличаются друг от друга, а также от модельных данных. Вместе с тем они дают достаточно точную аппроксимацию модельных данных по форму- ле (17) и удовлетворяют условиям теоремы 1. Действительно, выполнив пере- становку )2,3,1( столбцов матриц ,A  ,B  C  и умножив столбцы полученных мат- риц на коэффициенты 1,5334),2,2207;1,4696;(),,( 321 =aaa kkk =),,( 321 bbb kkk ),0,95340,2745;1,0004;(= ),0,68391,6406;0,680;(),,( 321 =ccc kkk получаем мат- рицы ,A ,B .C Легко видеть, что ,1 111 =cba kkk ,1 222 =cba kkk .1 333 =cba kkk Ана- логично, выполнив перестановку )2,1,3( столбцов матриц ,A  ,B  C  и умно- жив столбцы полученных матриц на коэффициенты 1,4380;(),,( 321 =aaa kkk ),2,61661,3189; =),,( 321 bbb kkk ),0,51550,4853;1,1101;( 0,6263;(),,( 321 =ccc kkk ),0,74141,5624; находим матрицы ,A ,B .C При этом также выполняются равен- ства ,1 111 =cba kkk ,1 222 =cba kkk .1 333 =cba kkk Проведенные исследования позволяют сделать вывод, что использование PARAFAC-алгоритма для идентификации модели (17) связано с трудностями Проблемы управления и информатики, 2006, № 5 107 многозначности решения. По-видимому, этот алгоритм можно использовать для качественного анализа многомерных данных, например для определения количе- ства компонент fn модели (1). В то же время PARAFAC-алгоритм можно успеш- но использовать для сжатия данных, поскольку матрицы CBA ,, занимают го- раздо меньше памяти, чем трехмерный массив G, и этот массив может быть в лю- бой момент восстановлен с достаточной степенью точности по формуле (17). В.С. Муха БАГАТОВИМІРНО-МАТРИЧНИЙ ПІДХІД У ПАРАЛЕЛЬНОМУ ФАКТОРНОМУ АНАЛІЗІ На основі багатовимірно-матричного підходу розроблено алгоритм, що реалі- зує альтернуючий метод найменших квадратів для PARAFAC-моделі. Доведено теореми про декомпозицію трилінійної та полілінійної PARAFAC-моделей. Наведено результати реалізації алгоритму і висновки щодо сфер застосування PARAFAC-моделі та PARAFAC-алгоритму. V.S. Mukha MULTIDIMENSIONAL-MATRIX APPROACH IN PARALLEL FACTORIAL ANALYSIS On the basis of multidimensional-matrix approach the algorithm, realizing alternating least square method for PARAFAC model is designed. The theorems about decom- position of the three-linear and multi-linear PARAFAC models are proved. The re- sults of testing the algorithm and the conclusions about PARAFAC models and PARAFAC algorithm applications are presented. 1. Harshman R.A. Foundation of the PARAFAC procedure : Model and conditions for an «explana- tory» multi-modal factor analysis // UCLA working papers in phonetics. — 1970. — 16. — P. 1–84. 2. Bro R. PARAFAC. Tutorial and application // Chemometrics and Intelligent Laboratory Sys- tems. — 1997. — 38. — P. 149–171. 3. Jiji R.D., Andersson G.G., Booksh K.S. Application of PARAFAC for calibration with excitation- emission matrix fluorescence spectra of three classes of environmental pollutants // J. of Chemo- metrics. — 2000. — 14. — P. 171–185. 4. Mathematics in signal processing / Ed. by J.G. McWhirter and I.K. Proudler. — Oxford : Oxford university press, 2001. — 26 p. 5. Муха В.С. Анализ многомерных данных. — Минск : Технопринт, 2004. — 368 с. Получено 26.01.2006
id	nasplib_isofts_kiev_ua-123456789-206897
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	0572-2691
language	Russian
last_indexed	2025-11-25T20:57:31Z
publishDate	2006
publisher	Інститут кібернетики ім. В.М. Глушкова НАН України
record_format	dspace
spelling	Муха, В.С. 2025-09-26T10:39:45Z 2006 Многомерно-матричный подход в параллельном факторном анализе / В.С. Муха // Проблемы управления и информатики. — 2006. — № 5. — С. 100-107. — Бібліогр.: 5 назв. — рос. 0572-2691 https://nasplib.isofts.kiev.ua/handle/123456789/206897 519.237.7 На основі багатовимірноматричного підходу розроблено алгоритм, що реалізує альтернуючий метод найменших квадратів для PARAFACмоделі. Доведено теореми про декомпозицію трилінійної та полілінійної PARAFACмоделей. Наведено результати реалізації алгоритму і висновки щодо сфер застосування PARAFACмоделі та PARAFACалгоритму. On the basis of multidimensionalmatrix approach the algorithm, realizing alternating least square method for PARAFAC model is designed. The theorems about decomposition of the threelinear and multilinear PARAFAC models are proved. The results of testing the algorithm and the conclusions about PARAFAC models and PARAFAC algorithm applications are presented. ru Інститут кібернетики ім. В.М. Глушкова НАН України Проблемы управления и информатики Методы обработки и защиты информации Многомерно-матричный подход в параллельном факторном анализе Багатовимірно-матричний підхід у паралельному факторному аналізі Multidimensional-matrix approach in parallel factorial analysis Article published earlier
spellingShingle	Многомерно-матричный подход в параллельном факторном анализе Муха, В.С. Методы обработки и защиты информации
title	Многомерно-матричный подход в параллельном факторном анализе
title_alt	Багатовимірно-матричний підхід у паралельному факторному аналізі Multidimensional-matrix approach in parallel factorial analysis
title_full	Многомерно-матричный подход в параллельном факторном анализе
title_fullStr	Многомерно-матричный подход в параллельном факторном анализе
title_full_unstemmed	Многомерно-матричный подход в параллельном факторном анализе
title_short	Многомерно-матричный подход в параллельном факторном анализе
title_sort	многомерно-матричный подход в параллельном факторном анализе
topic	Методы обработки и защиты информации
topic_facet	Методы обработки и защиты информации
url	https://nasplib.isofts.kiev.ua/handle/123456789/206897
work_keys_str_mv	AT muhavs mnogomernomatričnyipodhodvparallelʹnomfaktornomanalize AT muhavs bagatovimírnomatričniipídhíduparalelʹnomufaktornomuanalízí AT muhavs multidimensionalmatrixapproachinparallelfactorialanalysis

Многомерно-матричный подход в параллельном факторном анализе

Institution

Similar Items