Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів
Для дискретних моделей залежностей з ланцюговою (або деревовидною) структурою показано, що коли проміжна (сепараторна) змінна є бінарною, можна факторизувати (декомпозувати) транзитивну залежність згідно відтинків ланцюга. Ця властивість (“квазі-лінеарність”) для структури у формі “зірка з трьома п...
Збережено в:
| Дата: | 2006 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Українська |
| Опубліковано: |
Інститут програмних систем НАН України
2006
|
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/2333 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів/ О.С. Балабанов // Проблеми програмування. — 2006. — N 4. — С. 28-36. — Бібліогр.: 12 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859625530296369152 |
|---|---|
| author | Балабанов, О.С. |
| author_facet | Балабанов, О.С. |
| citation_txt | Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів/ О.С. Балабанов // Проблеми програмування. — 2006. — N 4. — С. 28-36. — Бібліогр.: 12 назв. — укр. |
| collection | DSpace DC |
| description | Для дискретних моделей залежностей з ланцюговою (або деревовидною) структурою показано, що коли
проміжна (сепараторна) змінна є бінарною, можна факторизувати (декомпозувати) транзитивну залежність згідно відтинків ланцюга. Ця властивість (“квазі-лінеарність”) для структури у формі “зірка з трьома променями” імплікує “тріад-стримування” – спеціальне обмеження типу рівність на добуток парних
залежностей. Дотримання чинності тріад-стримування може правити за свідчення для ідентифікації прихованої бінарної змінної, яка є відповідальна за асоціацію трьох дискретних змінних.
Для дискретных моделей зависимостей с цепочной (или древовидной) структурой показано, что когда промежуточная (сепарирующая) переменная является бинарной, можно факторизовать (декомпозировать) путевую (транзитивную) зависимость на произведение зависимостей для фрагментов пути. Это свойство (“квази-линеарность”) имплицирует для структуры вида “трехлучевая звезда” специальное ограничение типа равенство на произведение парных зависимостей – “триад-констрэйнт”. Выполнение триад-констрэйнта может служить свидетельством для идентификации скрытой бинарной переменной, которая влияет на три дискретные переменные.
It is demonstrated for a discrete model with tree-like structure, that if there is a binary separating variable, then a path dependence (via this variable) may be factorized accordingly to this variable (into a corresponding subpath dependencies). This quasi-linearity property implies the “triad-constraint” on product of pairwise dependencies in star-like structure with three endpoints. So the triad-constraint satisfaction facilitates a discovery of a hidden binary variable (latent class), which is responsible for associations among three respective discrete manifest variables.
|
| first_indexed | 2025-11-29T11:15:12Z |
| format | Article |
| fulltext |
Моделі і засоби систем баз даних і знань
© О.С. Балабанов, 2006
28 ISSN 1727-4907. Проблеми програмування. 2006. № 4
УДК 007:681.3.00
О.С. Балабанов
КВАЗІ-ЛІНЕАРНІСТЬ У ДИСКРЕТНИХ МОДЕЛЯХ
ЗАЛЕЖНОСТЕЙ ТА ВІДКРИТТЯ ЛАТЕНТНОГО
ФАКТОРА ТРЬОХ ЕФЕКТІВ
Для дискретних моделей залежностей з ланцюговою (або деревовидною) структурою показано, що коли
проміжна (сепараторна) змінна є бінарною, можна факторизувати (декомпозувати) транзитивну залеж-
ність згідно відтинків ланцюга. Ця властивість (“квазі-лінеарність”) для структури у формі “зірка з трьо-
ма променями” імплікує “тріад-стримування” – спеціальне обмеження типу рівність на добуток парних
залежностей. Дотримання чинності тріад-стримування може правити за свідчення для ідентифікації при-
хованої бінарної змінної, яка є відповідальна за асоціацію трьох дискретних змінних.
Вступ
Результати роботи є внеском у дослі-
дження та розробку методів глибокого ана-
лізу даних (категорних) та відкриття струк-
тур залежностей у даних.
Добре відомо, що лінійно-нормальні
системи залежностей мають цікаву власти-
вість – мультиплікативність (факторизує-
мість) коефіцієнта кореляції на ланцюговій
чи деревовидній структурі залежностей.
Тобто для ланцюгів у складі лінійних моде-
лей з дійсними змінними та нормальними
розподіленнями відомо [1–3], що коефіцієнт
кореляції для транзитивної залежностi дорі-
внює добутку коефіцієнтів кореляції для
всіх ланок, які утворюють ланцюг. Напри-
клад, у моделі, яка має “ланцюгову” струк-
туру X–Y–Z, коефіцієнт кореляції між змін-
ними X та Z дорівнює rXZ = rXY ·rYZ (добут-
ку коефіцієнтів кореляції для відтинків “ла-
нцюга”). Як показано в [4], аналогічна му-
льтиплікативність чинна для коефіцієнта
номінальної детермінації у моделі з бінар-
ними змінними, як також у спеціальних ви-
падках моделі з змінними довільної значно-
сті [5]. Покажемо, що така сама мультиплі-
кативність (або квазі-лінеарність) залежнос-
ті виконується і в інших випадках, тобто
узагальнимо відомі результати і поширимо
їх на інші моделі. Ця властивість оснащує
емпіричне відкриття латентного фактору,
спільного для кількох (не менше трьох) спо-
стережуваних змінних.
1. Міра залежності номінальних змінних
та властивості бінарних моделей
Коефіцієнт номінальної стохастичної
детермінації (NSD-коефіцієнт) [5–7] вимі-
рює силу залежності між двома випадкови-
ми змінними номінального (категорного)
типу. Нагадаємо, що цей коефіцієнт визна-
чається як
∑∑
∑−=
=←
x y x
N XYp
X
XYpC
XYd
,)|(
1
)|(*
)(
2
nom
(1)
де CN – нормалізаційний коефіцієнт, ||X|| –
значність змінної X.
Була запропонована також інша форма
(версія) NSD-коефіцієнта, яка відрізняється
використанням модуля замість квадрата [5].
Модуль-форма коефіцієнта номінальної де-
термінації, яку будемо називати індексом
детермінації, визначається як
.)|(
1
)|(
))((
∑∑ ∑−=
=
−
x y x
aN XYp
X
XYpC
XYdi
(2)
У випадку бінарних змінних формула
для коефіцієнта номінальної стохастичної
детермінації спрощується [7] до вигляду
( ) ,
2
2111
]2[
)()(
)(
xypxyp
XYdnom
−=
=←
(3)
де індекси змінних вказують на значення
бінарних змінних.
Надалі будемо користуватися індексом
детермінації (2). Для бінарних змінних він
спрощується до вигляду
di(Y(X)) = |p(y1|x1) – p(y1|x2)|. (4)
(Нормалізаційний коефіцієнт CN-a в цьому
випадку дорівнює 1/2.)
Моделі і засоби систем баз даних і знань
29
Можна перетворити індекс детерміна-
ції для бінарних змінних так:
di(Y(X)) = |p(y1|x1) – p(y1|x2)| = | [p(y1,x1)p(x2) –
– p(y1,x2)p(x1)]/p(x1)p(x2) | = | [p(y1,x1)p(y2,x2)–
- p(y1,x2)p(y2,x1)]/p(x1)p(x2) |.
di(X(Y)) = |p(x1|y1) – p(x1|y2)| = | [p(y1,x1)p(y2) –
– p(y2,x1)p(y1)]/p(y1)p(y2) | = | [p(y1,x1)p(y2,x2)–
– p(y1,x2)p(y2,x1)]/p(y1)p(y2) |.
Тепер беремо добуток отриманих формул
di(Y(X))·di(X(Y)) = [p(y1,x1)p(y2,x2) –
– p(y1,x2)p(y2,x1)]
2/[p(x1)p(x2)p(y1)p(y2)]. (5)
Як бачимо, добуток індексів детермінації у
прямому та зворотному напрямі дорівнює
відомому в статистиці коефіцієнта контин-
генції [8].
У роботі [4] показано, що для ланцю-
гової структури бінарних змінних X–Y–Z є
чинним співвідношення
),(*)(
)(
nomnom
nom
YZdXYd
XZd
←←=
=←
(6)
назване мультиплікативним послабленням
транзитивної залежності. Далі будемо нази-
вати цю властивість квазі-лінеарністю мо-
делі, або квазі-лінеарністю залежності на
ланцюгу. Легко показати, що така сама
квазі-лінеарність виконується і для індекса
детермінації (на ланцюгу бінарних змінних).
Далі покажемо, що має силу більш загаль-
ний результат.
2. Узагальнення чинності квазі-
лінеарності ланцюгів залежностей
у дискретних моделях
Нехай маємо ланцюгову (або каскад-
ну) структуру залежностей у вигляді X–Y–Z,
тобто таку структуру моделі, що змінна Z
умовно незалежна [9] від змінної X за кон-
диціонування змінної Y; позначимо цю умо-
вну незалежність Pr(X⊥Y⊥Z). (Тут є зовніш-
ня подібність до Марковського ланцюга, але
нагадаємо, що тут X, Y та Z є окремими
змінними, а не послідовними станами одно-
го процесу.) Нехай також медіаторна змінна
Y буде бінарна, а змінні X та Z – дискретні
довільної значності, r та q відповідно. По-
кажемо, що в цьому випадку теж викону-
ється квазі-лінеарність залежності.
Для зручності (аби уникнути питання
обчислення нормалізаційного коефіцієнта) у
подальшому переважно будемо застосову-
вати ненормалізовану форму індексу детер-
мінації. Тобто просто відкинемо коефіцієнт
CN-a і позначимо ненормалізований індекс
детермінації d(Y(X)).
Спочатку спростимо вираз для
d(Y(X)), коли медіаторна змінна Y – бінар-
на, а змінна X – дискретна r-значна. Тривіа-
льні маніпуляції дають
d(Y(X)) =
= ∑x∑y |p(y|x) – (∑xp(y|x))/r| = (7)
= 2∑x {| p(y1|x) – (∑xp(y1|x))/r) |}.
Запишемо вираження для індексу де-
термінації d(Z(Y)), коли змінна Z є q-значна,
а змінна Y – бінарна:
d(Z(Y)) =
= ∑y∑z |p(z|y) – (∑yp(z|y))/2| = (8)
= ∑z {|p(z|y1) – p(z|y2)|}.
Зауважте, що формула (8) не містить q
в тілі свого ядра, тобто значність “ефектор-
ної” змінної Z не відбивається на вигляді
формули. Тепер формулюємо базовий ре-
зультат.
Твердження 1. Якщо змінна Z умовно неза-
лежна від X за кондиціонування змінної Y,
де змінна Y – бінарна, змінна X – r-значна, а
Z – q-значна, то:
d(Z(X)) = d(Y(X))·d(Z(Y))/2 . (9)
Доведення. Маємо
d(Z(X)) = ∑x∑z|p(z|x) – (∑xp(z|x))/r|. (10)
Використовуючи умовну незалежність Z від
X при фіксованому Y, а також бінарність
змінної Y, запишемо
p(z|x)=∑y[p(z|y)·p(y|x)] =
= p(y1|x)[p(z|y1) – p(z|y2)] + p(z|y2). (11)
Підставляючи (11) до (10), отримуємо
d(Z(X)) =
= ∑x∑z|p(y1|x)[p(z|y1) – p(z|y2)] –
–[p(z|y1)–p(z|y2)]·(1/r)·∑xp(y1|x)| = (12)
= ∑z|p(z|y1) – p(z|y2)|·∑x |p(y1|x) –
– (1/r)·∑xp(y1|x)|.
З огляду на (7) та (8), останнє (12) дає по-
трібне (9).�
Варто зауважити, що емпіричне до-
тримання квазі-лінеарності, тобто приблиз-
не виконання рівності (9) у скінченій відбі-
рці даних, можна використовувати як свід-
чення умовної незалежності Pr(X⊥Y⊥Z), ко-
Моделі і засоби систем баз даних і знань
30
ли Y – бінарна. Звісно, (9) є лише необхід-
ною, але не достатньою умовою. Проте до-
стоїнством такого засобу верифікації умов-
ної незалежності є використання лише пар-
них статистик. У практичних ситуаціях мо-
жуть бути відсутні дані у формі таблиці з
трьома змінними, що унеможливлює оці-
нювання сумісного розподілення трьох
змінних.
Тепер подаємо цікавий випадок квазі-
лінеарності, який не потребує бінарності
сепараторної змінної. Однак він нав'язує
спеціальну форму залежності, яка була на-
звана в [5, 6] взаємно-однозначним відо-
браженням з рівномірно-розподіленим роз-
сіянням. Ця залежність можлива за перед-
умови ||Z||=||Y||=r та описується так:
≠
=−−
=
).(,
),(),1(*1
)|(
jiife
jiifre
yzp ij (13)
Таку залежність можна вважати r-значним
симетричним каналом передачі інформації з
гамором, тому будемо називати її SCC-
залежністю. Її поведінка має дещо спільне
з лінійною залежністю за нормальних роз-
поділень. Легко з'ясувати, що для цієї зале-
жності буде
d(Z(Y)) = 2·(r – 1)·|1– e·r|. (14)
Твердження 2. Якщо змінна Z умовно неза-
лежна від X при кондиціонуванні змінної Y,
||X||=||Y||=||Z||=r та залежність Z від Y є SCC-
залежністю (13), то чинне:
d(Z(X)) = d(Y(X))·d(Z(Y))/2·(r – 1). (15)
Доведення. Оскільки чинна умовна незалеж-
ність Pr(X⊥Y⊥Z), і маємо (13), то отримуємо
p(zj|xi) = ∑k p(zj|yk)·p(yk|xi) =
= p(zj|yj)·p(yj|xi) + ∑k,k≠j p(zj|yk)·p(yk|xi) =
= (1– e·(r–1))·p(yj|xi) + e·∑k,k≠j p(yk|xi).
З огляду на ∑k,k≠j p(yk|xi) = 1 – p(yj|xi)
здобуваємо
p(zj|xi) = e + (1– e·r)·p(yj|xi). (16)
Тепер підставляємо (16) до d(Z(X)) і
отримуємо
d(Z(X)) =
= ∑i,j|p(zj|xi) – (1/r)∑ip(zj|xi)| = (17)
= |1– e·r|·∑i,j|p(yj|xi) – (1/r)∑ip(yj|xi)|.
Зіставляючи (17) з (14) констатуємо потріб-
не (15).�
Зверніть увагу, що чинність (15) не
пов'язується зі значенням параметра e. Така
сама квазі-лінеарність чинна у разі, коли
SCC-залежність посідає першу, а не другу
позицію в “ланцюзі” [5]. (Зрозуміло, всі по-
дібні рівності практично слід тлумачити в
асимптотичному сенсі, коли йдеться про
відбіркові оцінки.)
Вкладений випадок. Квазі-лінеарні-
сть можна знайти в інших (складніших) мо-
делях. Структура моделі для реальних задач
може не містити фрагментів типу “Марков-
ський ланцюг”, а натомість мати фрагменти
з дещо складнішою структурою. Наприклад,
як на рис.1. Треба зазначити, що структури
рис.1, в та 1, г принципово не відрізняються
Рис. 1
X Y Z
W
(a)
X Y Z
W
(б)
X Y Z
W
(в)
X Y Z
W
(г)
Моделі і засоби систем баз даних і знань
31
від звичайної ланцюгової структури залеж-
ностей вигляду X–Y–Z, оскільки для них теж
чинна умовна незалежність Pr(X⊥Y⊥Z). А от
у структурах рис.1,а та 1, б умовна незалеж-
ність Pr(X⊥Y⊥Z) не виконується [9], однак
виконується Pr(X⊥YW⊥Z). Легко бачити, що
за блокування змінної W ми отримаємо
“вкладений ланцюг” X–Y–Z. Інтуїтивно має
бути зрозуміло, що за умови блокування
змінної W має виконуватися квазі-
лінеарність залежності. Однак для формалі-
зації цього треба дати визначення “умовно-
го індексу детермінації”, тобто узагальнити
визначення нашої міри di(*). Для зручності
(спрощення технічних викладок) обмежи-
мось розглядом випадку бінарних змінних
X, Y та Z.
Визначимо “константно-умовний ін-
декс детермінації” (у нормалізованій формі)
для бінарних змінних X та Y і дискретної
змінної W (довільної значності), яка набуває
значення wi, так:
di(Y(X)|w-i) = |p(y1|x1 , wi) – p(y1|x2 , wi)|. (18)
Покажемо, що для так визначеного
умовного індексу детермінації в моделі, яка
зображена на рис.1, а, має виконуватись
квазі-лінеарність залежності на ланцюгу.
Зауважимо, що для моделі рис.1, а завдяки
відношенню умовної незалежності змінних
Y та W при кондиціонуванні X маємо
di(Y(X)|w-i) = di(Y(X)), тобто вираження
умовного індексу детермінації співпадає зі
стандартним (звичайним, безумовним).
Відтак, доведення чинності квазі-лі-
неарності для умовного індексу детерміна-
ції залежності нашої моделі можна розпоча-
ти з дещо спрощеного вираження. Отже,
трансформуємо
di(Y(X))·di(Z(Y)|w-i) = |p(y1|x1) –
- p(y1|x2)|·|p(z1|y1 , wi) – p(z1|y2 , wi)| =
= |p(z1|y1 , wi)·[p(y1|x1) – p(y1|x2)] –
– p(z1|y2 , wi)·[p(y2|x2) – p(y2|x1)]|. (19)
Враховуючи умовну незалежність
Pr(Z⊥YW⊥X) та Pr(Y⊥X⊥W), маємо
p(z|y,wi) = p(z|y,x,wi),
p(y|x) = p(y|x,wi).
Згортаємо добуток останніх згідно байєсів-
ської формули
p(z|y,wi)·p(y|x) = p(z|y,x,wi)·p(y|x,wi) =
= p(zy|x,wi).
З урахуванням цього формула (19) набуває
вигляду
di(Y(X))·di(Z(Y)|w-i) =
= |p(z1, y1|x1, wi) – p(z1y1|x2,wi) –
– p(z1, y2|x2 ,wi) + p(z1, y2|x1,wi)| = (20)
= |p(z1 |x1, wi) – p(z1|x2,wi)| =
= di(Z(X)|w-i).
Отже, на “вкладеному ланцюгу”
(рис.1, а) виконується квазі-лінеарність за-
лежності для константно-умовного індексу
детермінації.
Легко показати аналогічне для моделі
рис.1, б, з тією відмінністю, що тоді рівність
di(Y(X)|w-i)=di(Y(X)) не буде чинна, а відтак
замість (20) отримаємо аналогічну рівність з
трьома константно-умовними індексами
детермінації:
di(Y(X)|w-i)·di(Z(Y)|w-i) = di(Z(X)|w-i). (21)
Продемонстрована властивість може
здатися тривіальною, оскільки маємо
Pr(X⊥YW⊥Z), тобто за кондиціонування
змінної W виникає “вкладений ланцюг”
X–Y–Z, для якого формально є чинна квазі-
лінеарність залежності. До того ж квазі-
лінеарність залежності для константно-
умовного індексу детермінації має меншу
цінність, ніж основне (9), додання умови
автоматично означає роздрібнення відбірки
даних [9], і, як наслідок, – посилення ефекту
відбіркового ухилення (від строгої рівності).
Хоча як деяку “компенсацію” цього ефекту
можна зарахувати збільшення кількості
приблизних рівностей. Якщо з метою відно-
влення статистичної робастності звести в
суму всі рівності у формі (21) для всіх i, то
отримаємо формулу, яка за своєю структу-
рою не є мультиплікативною (факторизова-
ною), тож феномену квазі-лінеарністі не
буде.
Цікавіше було б дати таке узагальнене
визначення умовного індексу детермінації,
яке б охоплювало (підсумовувало) усі зна-
чення змінної W, аналогічно тому, як це є у
формулі умовної взаємної інформації. А вже
для такого умовного індексу детермінації
було б корисно встановити відповідну фор-
му квазі-лінеарності залежності.
Моделі і засоби систем баз даних і знань
32
3. Аналіз структури “зірка з бінарним
вузлом”
Нехай маємо модель, що зображена на
рис. 2, де H – бінарна змінна. (Можна за-
уважити, що всі наші висновки збережуться,
якщо дуги замінити на неорієнтовані ребра.)
Подібні моделі мають застосування, зокре-
ма, у соціометриці, психометриці та меди-
ко-біологічних дослідженнях. У такій
структурі три дискретні змінні є асоційовані
через одну бінарну “центральну” (вузлову,
медіаторну) змінну, тому кондиціонування
центральної змінної робить всі інші змінні
взаємно незалежними [9]. Тобто в цій
моделі виконуються твердження умовної
незалежності Pr(X⊥H⊥Y), Pr(X⊥H⊥Z),
Pr(Y⊥H⊥Z), та симетричні варіанти.
Отже, ця модель задовольняє умовам
твердження 1, і можемо записати рівняння
(9) з відповідною підстановкою змінних.
Для спрощення викладок надалі будемо пи-
сати Y(X) замість d(Y(X)). Отже, отримуємо
систему рівнянь:
X(Y) = X(H)·H(Y)/2,
Y(X) = Y(H)·H(X)/2,
Z(X) = Z(H)·H(X)/2, (22)
X(Z) = X(H)·H(Z)/2,
Z(Y) = Z(H)·H(Y)/2,
Y(Z) = Y(H)·H(Z)/2.
Особливість цієї системи рівнянь по-
лягає в тім, що члени зі змінною H входять
до системи парами, як відношення (пропор-
ції). Таких членів маємо 6, як і рівнянь сис-
теми. Тривіальні алгебраїчні перетворення
дозволяють позбавлятися цих членів. А
оскільки ці члени входять до системи тільки
як відношення, то в процесі перетворень
останні з цих членів взаємознищуються.
Тож система редукується до єдиного рів-
няння, яке не містить членів зі змінною H:
X(Y)·Y(Z)·Z(X) = Y(X)·Z(Y)·X(Z), (23)
яке будемо називати “тріад-стримуванням”.
Воно характеризує модель вигляду “зірка з
бінарним вузлом” і констатує інваріантність
добутку трьох парних залежностей до реве-
рсу всіх цих залежностей (рівночасної їх
заміни на “каузально-обернені”).
Маючи на меті застосувати (23) як сві-
дчення для ідентифікації моделі, слід розві-
дати альтернативні моделі, які теж додер-
жуються тріад-стримування. Звісно, дегра-
дований випадок рівності 0= 0 відкидається.
4. Альтернативні дискретні моделі, які
підтримують “тріад-стримування”
4.1. Серед альтернатив, де виконується
тріад-стримування (23), найбільш варта ува-
ги модель з бінарними змінними. Дійсно,
нехай маємо три асоційовані бінарні змінні
X, Y, Z. Візьмемо ненормалізований індекс
детермінації для бінарних змінних (див. (4))
Y(X) = 2·|p(y1|x1) – p(y1|x2)| та перетворимо
його так:
p(x1)·p(x2)·Y(X) = 2·|p(x2)·p(y1,x1) –
– p(x1)·p(y1,x2)| =
= 2·|p(y1,x1) – p(x1)·p(y1,x1) – p(x1)·p(y1,x2)| =
= 2·|p(y1,x1) – p(x1)p(y1)|.
Отже, маємо
Y(X) = 2|p(y1,x1) – p(x1)p(y1)|/p(x1)·p(x2). (24)
Аналогічно буде
X(Y) = 2|p(y1,x1) – p(x1)p(y1)|/p(y1)·p(y2). (25)
Очевидно, так само буде і для решти пар
Рис. 2
Y
X H
Z
(a)
H
Y
X
Z
(б)
H
Y
X
Z
( в)
H
Y
X
Z
( г)
Моделі і засоби систем баз даних і знань
33
бінарних змінних:
Y(Z) = 2·|p(z1,y1) – p(y1)p(z1)|/p(z1)·p(z2); (26)
X(Z) = 2·|p(z1,x1)– p(x1)p(z1)|/p(z1)·p(z2); (27)
Z(X) = 2·|p(z1,x1)– p(x1)p(z1)|/p(x1)·p(x2); (28)
X(Z) = 2·|p(z1,x1)– p(x1)p(z1)|/p(z1)·p(z2); (29)
Z(Y) = 2·|p(z1,y1)– p(y1)p(z1)|/p(y1)·p(y2). (30)
Тепер ліву частину тріад-стримування
(23) виражаємо через (25), (26) та (28):
X(Y)·Y(Z)·Z(X) =
= |p(y1,x1)–p(x1)p(y1)|·|p(z1,y1) – (31)
- p(y1)p(z1)|·|p(z1,x1)–p(x1)p(z1)|/A,
де A = p(x1)·p(x2)·p(y1)·p(y2).p(z1)·p(z2)/8.
Легко перевірити, що, виразивши пра-
ву частину тріад-стримування (23) через
(24), (30) та (29), ми отримаємо таку саму
формулу, що і в (31).
Таким чином, в моделі з бінарними
змінними тріад-стримування (23) – це тото-
жність, яка виконується завжди, безвіднос-
но до структури моделі.
4.2. Інший альтернативний випадок –
це модель, де виконується умовна незалеж-
ність якихось двох змінних при кондиціо-
нуванні третьої (бінарної) змінної. Нехай
модель – це ланцюгова структура X–Y–Z,
яка, зокрема, має структуру рис.1, б або 1, г,
де змінна Y – бінарна. Тоді чинна умовна
незалежність Pr(X⊥H⊥Y), і відтак викону-
ється квазі-лінеарність залежності (9), і си-
метрична формула. Відтак тривіально
слідує (23).
Припустимо, наприклад, модель є “ла-
нцюгом” Z–X–Y, (де X – бінарна). Тоді
отримуємо
Y(Z) = Y(X)·X(Z), (32)
Z(X)·X(Y) = Z(Y). (33)
Добуток (32) та (33) дає (23). Таку саму си-
туацію отримаємо в разі, коли в моделі
рис. 2 одна з “реберних” залежностей (на-
приклад Z(H)) буде детерміністична.
Всі інші (відомі автору) альтернативи,
де виконується тріад-стримування, є спеціа-
льними випадками, тобто потребують спів-
відношень між параметрами моделі.
4.3. Тривіальний випадок – коли існує
детерміністична залежність між двома
змінними. Тобто, наприклад, нехай між
змінними X та Y існують взаємно однознач-
ні відношення. Легко бачити, в такому разі
буде X(Y) = Y(X), Y(Z) = X(Z), Z(X) = Z(Y),
звідки слідує (23).
Існують також спеціальні випадки зо-
реподібних дискретних моделей, коли вуз-
лова змінна не є бінарною. Спочатку роз-
глянемо випадок, де обмеження стосуються
усіх трьох залежностей моделі. А в подаль-
ших двох випадках обмежуються дві з трьох
залежностей.
4.4. Нехай модель має структуру
рис. 2, б, із тим, що три залежності “індика-
торних” змінних X, Y, Z від “центральної” є
SCC-залежностями (див. (13)). В такому
разі теж виконується квазі-лінеарність за-
лежності (твердження 2), і отримуємо сис-
тему рівнянь, яка відрізняється від (22) ли-
ше коефіцієнтами пропорційності. Ці кое-
фіцієнти взаємно скорочуються, і відтак
слідує (23).
4.5. Інший випадок – коли “централь-
на” змінна H поводить себе щодо двох інди-
каторних змінних як бінарна, і лише для
третьої змінної демонструє справді більшу
значність. Нехай, наприклад, змінна H буде
тризначна. Тоді цей випадок буде мати міс-
це, коли для двох значень змінної H – i-го
та j-го – спостерігається співпадіння розпо-
ділів, наприклад p(X|hi) = p(X|hj), p(Y|hi) =
= p(Y|hj). Зрозуміло, в такому разі можна
уявити, що між змінною H та парою змін-
них X, Y розташована бінарна змінна V, так
що виконуються незалежності Pr(X⊥V⊥Y),
Pr(X⊥V⊥H), Pr(Y⊥V⊥H), Pr(X⊥V⊥Z) та
Pr(Y⊥V⊥Z). Легко бачити, що така модель,
по-суті, є “зіркою з бінарним вузлом”, де
роль “центрального” вузла виконує змінна
V. Тоді чинне (23).
4.6. Ще один випадок – ізоморфізм
двох залежностей, тобто співпадіння, з точ-
ністю до перейменування значень, умовних
(за умови на “центральну” змінну) розподі-
лів двох індикаторних змінних. Достатньо
одного з трьох варіантів ізоморфізму розпо-
ділів: P(X|H)�P(Y|H), або P(X|H)�P(Z|H), або
P(Y|H)�P(Z|H). Нехай буде P(X|H)�P(Y|H).
Звідси негайно висновуємо X(Y) = Y(X),
Моделі і засоби систем баз даних і знань
34
Z(X) = Z(Y), Y(Z) = X(Z). Подібну ситу-
ацію, було розглянуто вище.
5. Виявлення прихованої бінарної змінної
в дискретних моделях
Як відомо [2, 3, 10], факторизація коефіціє-
нта кореляції дає змогу виявляти латентні
змінні (дійсного типу). Аналогічно, інстру-
мент квазі-лінеарності залежностей стає за-
собом виявлення прихованих бінарних
змінних у дискретних доменах, зокрема, ко-
ли ця змінна є центральною у структурі
“зірка з трьома променями”. Подібні моделі
відомі під назвою latent class model. Зверта-
ємо увагу, що відомі методи відкриття лате-
нтної змінної (дійсного типу [3, 10]) потре-
бують принаймні чотирьох індикаторних
змінних (ефектів), натомість як запропоно-
вана тут техніка задовольняється трьома
ефектами.
Автентична (генеративна) структура
моделі, яку розглядаємо (рис. 2), належить
до класу дерев, але якщо приховати центра-
льну (вузлову) змінну H, то спостережувана
структура моделі стане як “трикутник” ре-
бер. (Зауважимо, що “трикутник” виходить
за рамки класу монопотокових моделей
[9, 11]. А взагалі автентична структура мо-
делі може бути “полі-деревом”, і тоді після
приховування змінної H можемо отримати
двобічно-орієнтовані ребра [3].) “Видимі”
парні залежності між індикаторними змін-
ними утворюють співвідношення (23). Тож
виконання тріад-стримування є свідченням і
необхідною умовою для того, аби ствер-
джувати, що попарні асоціації поміж трьома
дискретними змінними пояснюються існу-
ванням прихованої бінарної змінної, яка ви-
ступає спільною причиною індикаторних
змінних. Проте перш ніж робити такий ви-
сновок, необхідно попередньо перевірити і
спростувати альтернативні пояснення цього
свідчення (див. розділ 4). Зокрема, у випад-
ку бінарності всіх змінних тріад-стри-
мування (23) виконується незалежно від
структури моделі, отже, воно в такому разі
не свідчить про якусь певну структуру
(з латентною змінною чи без). Отже треба
переконатися, що:
- індикаторні змінні не є бінарні;
- не чинна умовна незалежність двох
змінних за кондиціонування третьої (бінар-
ної);
- немає статистичної тотожності двох
змінних.
За цих застережень тріад-стримування
як критерій оснащує відкривання автентич-
ної структури моделі у формі “зірки”, де ву-
злова бінарна змінна є прихована. Звісно,
цей критерій не є достатнім, проте вичерпно
достатні умови такого відкриття знайти, ма-
буть, взагалі неможливо.
Нехтування можливими спеціальними
випадками чинності тріад-стримування (мо-
делями зі зв'язаними параметрами – див.
розділ 4) заради моделі, стабільної до коли-
вань значень параметрів, тримається загаль-
новизнаної традиції статистичного моделю-
вання. Це цілком відповідає припущенню
необманливості, яке прийнято в методології
ідентифікації графових статистичних моде-
лей залежностей [2, 9].
Порівнюючи статистичні моделі, бе-
руть до уваги не лише емпіричну точність,
але і складність моделі, яку можна оцінити
кількістю параметрів. Нехай кардинальність
індикаторних змінних буде відповідно r, q,
s. Тоді модель “зірка з прихованим бінар-
ним вузлом” (рис. 2) має 2(r + q + s – 3) + 1
вільних параметрів. А у моделі без прихо-
ваної змінної, де три змінні попарно поєд-
нані ребрами (модель-“трикутник”), кіль-
кість вільних параметрів дорівнює rq(s –
- 1) + r(q – 1) + r – 1. Тож, відносна склад-
ність цих моделей оцінюється приблизно як
2(r + q + s) – 5 проти rqs – 1. Модель з при-
хованим вузлом є багаторазово простіша.
У деяких ситуаціях можна розрізнити
випадки з бінарним прихованим вузлом та
випадки з небінарним (мультіномінальним)
вузлом. Дійсно, коли дві змінні пов'язані
лише через бінарну змінну, то величина їх-
ньої асоціації обмежена зверху і не може
досягати абсолютного максимуму. Напри-
клад, для тризначних індикаторних змінних,
поєднаних через бінарну змінну, максимум
ненормалізованого індексу детермінації до-
рівнює 8/3, тоді як детерміністична залеж-
ність дає величину 4. Отже, якщо тріад-
стримування виконується, і до того ж при-
наймні для однієї пари тризначних змінних
індекс детермінації перевищує 8/3, то зро-
Моделі і засоби систем баз даних і знань
35
зуміло, що прихована вузлова змінна (якщо
вона існує) не є бінарною.
У загальному випадку критерій тріад-
стримування є придатним для виявлення
прихованої бінарної змінної. Покажемо
ефективність критерію на прикладі моделі з
тризначними змінними. А саме, покажемо,
що коли прихована змінна є тризначною, то
в загальному випадку тріад-стримування не
виконується, навіть коли структура моделі є
“зіркою”, як на рис. 2. Нехай маємо модель
рис. 2, б з тризначними змінними X, Y, Z та
H, з такими значеннями параметрів:
p(H) = (0.7; 0.2; 0.1),
p(X|h1) = (0.6; 0.2; 0.2),
p(X|h2) = (0.2; 0.6; 0.2),
p(X|h3) = (0.6; 0.2; 0.2),
p(Y|h1) = (0.6; 0.2; 0.2),
p(Y|h2) = (0.2; 0.6; 0.2),
p(Y|h3) = (0.2; 0.6; 0.2),
p(Z|h1) = (0.8; 0.2; 0.0),
p(Z|h2) = (0.2; 0.6; 0.2),
p(Z|h3) = (0.2; 0.2; 0.6).
Тоді ліва частина тріад-стримування
(23) буде дорівнювати 0.076, а права части-
на (23) – відповідно 0.057. Розбіг лівої та
правої частин тріад-стримування сягає 25%.
Таким чином, кардинальність прихованої
змінної є суттєвою для чинності тріад-
стримування.
Отже, інструмент тріад-стримування
достатньо помітно дискримінує моделі і, ,
здатен виявляти приховану бінарну причину
кількох індикаторних змінних (трьох, двох з
трьох, трьох з чотирьох і т. д.). Звичайно,
для цього потрібно мати відбірку даних від-
носно великого обсягу. (Відбірка даних
збирається за стандартного припущення
i.i.d. За наявності великої відбірки даних
навіть припустима селекція даних, звісно,
коли змінна селекції не є нащадком двох
індикаторних змінних [2, 9]). Дані практич-
но задовольняють критерій тріадстриму-
вання, якщо рівність (23) виконується з точ-
ністю до статистичної похибки.
Практично питання вибору моделі
зводиться, з одного боку, до статистичної
правдоподібності емпіричного відхилення
обчислених оцінок від тріад-стримування
(23), а з іншого, – до статистичної правдо-
подібності випадкового (не зумовленого
структурою моделі) приблизного виконання
тріад-стримування в даних, коли модель не
є “зіркою з прихованим бінарним вузлом”.
Надійність ідентифікації латентної змінної
зростатиме, коли збільшується кількість ін-
дикаторних змінних та їх значність.
Доречно зазначити, що опис моделі у
вигляді “зірки з прихованим вузлом” (навіть
коли автентична модель має іншу структу-
ру) є зручною формою репрезентації, бо
підвищує обчислювальну ефективність ви-
користання моделі в задачах висновків від
свідчень [12].
Висновки
1. Показано, що на ланцюгових (дере-
вовидних) структурах залежностей, де про-
міжна (сепараторна) змінна є бінарною, а
інші змінні є дискретними з довільною зна-
чністю, виконується квазі-лінеарність зале-
жностей. Це співвідношення є аналогом фа-
кторизації (декомпозиції) коефіцієнта коре-
ляції в лінійно-нормальних системах залеж-
ностей. Але для цього залежність в дискре-
тних моделях треба вимірювати за допомо-
гою індексу детермінації (замість коефіціє-
нта кореляції).
Квазі-лінеарність залежностей може
бути використана як емпіричне свідчення
умовної незалежності в моделі (тобто як
свідчення певної структури), коли відповід-
на медіаторна змінна є бінарною. Перева-
гою такого способу перевірки умовної неза-
лежності є використання лише парних ста-
тистик (спосіб можна застосовувати навіть
коли оцінка сумісного розподілення усіх
змінних є недоступна).
2. Застосування індексу детермінації
для аналізу структури у формі “зірка з біна-
рним вузлом” дозволило отримати характе-
рне співвідношення парних залежностей,
назване “тріад-стримуванням” (яке не міс-
тить параметрів центрального вузла). Пока-
зано, що (за наявності достатньо великого
обсягу даних) тріад-стримування може слу-
гувати інструментом емпіричного виявлен-
ня прихованої бінарної змінної, яка відіграє
роль посередника взаємозв'язків між трьома
(чи більше) індикаторними змінними, зок-
рема, є їхнім спільним фактором (“причи-
Моделі і засоби систем баз даних і знань
36
ною”). Проте, для виправдання такого ви-
сновку необхідно перевірити, верифікувати
чи спростувати декілька варіантів альтерна-
тивного пояснення поведінки даних, зокре-
ма, що індикаторні змінні не є бінарними,
не чинна умовна незалежність двох змінних
за кондиціонування третьої (бінарної), не-
має статистичної тотожності двох змінних
тощо.
1. Прикладная статистика: Исследование
зависимостей / С.А. Айвазян, И.С. Енюков,
Л.Д. Мешалкин. – М.: Финансы и статисти-
ка, 1985. – 487 с.
2. Scheines R., Spirtes P., Glymour C., Meek C.,
Richardson T. The TETRAD Project: Con-
straint Based Aids to Causal Model Specifica-
tion // Multivariate Behavioral Research,
(1998), 33. – N 1. – P. 65 - 118.
3. Scheines R., Spirtes P., Glymour C., C.Meek,
T. Richardson. TETRAD 3: Tools for Causal
Modeling. User’s Manual. – CMU, dep. Phi-
losophy, Pittsburgh, PA, 2000.
4. Балабанов А.С. К проблеме вывода знаний о
структуре зависимостей между переменны-
ми из данных большого объема в условиях
помех // Материалы 2-й Междунар. конф.
“УкрПРОГ’2000”. – “Проблемы програм-
мирования”, 2000. – № 1-2. – С. 527 - 535.
5. Балабанов О.С. Індуктивне відтворення
деревовидних структур систем залежностей
// Проблемы программирования, 2001.–
№ 1-2. – С. 95 - 108.
6. Балабанов А.С. Мера для обнаружения
зависимостей между переменными в данных
в условиях случайных возмущений // Проб-
лемы программирования. – 1999. – № 2. –
С. 63 - 69.
7. Балабанов О.С. Kритерії ідентифікації ймо-
вірнiсних залежностей в базах даних //
Праці 1-ї Міжнар. наук.-практ. конф. з
программування (УкрПрог’98). – К.: 1998, 2-
4 вересня, – С. 380 - 382.
8. Кендалл М., Стьюарт А. Статистические
выводы и связи. – М.: Наука, 1973. – 900 с.
9. Балабанов А.С. К выводу структур моделей
вероятностных зависимостей из статисти-
ческих данных // Кибернетика и системный
анализ, 2005. – № 6. – С. 19 - 31.
10. Scheines, R., Spirtes, P. Finding latent variable
models in large databases // Intern. J. of
Intelligent Systems. – (1992), 7, – № 7,
P. 609 - 621.
11. Балабанов А.С. Индуктивный метод восста-
новления монопотоковых вероятностных
графовых моделей зависимостей // Про-
блемы управления и информатики. – 2003. –
№ 5. – С. 75 - 84.
12. Pearl J. Fusion, Propagation and Structuring in
Belief Networks // Artificial Intelligence. –
1986. – 29, N 3. – P. 241 - 288.
Отримано 22.02.2006
Про автора:
Балабанов Олександр Степанович,
старший науковий співробітник,
канд. техн. наук.
Місце роботи автора:
Інститут програмних систем НАН України,
проспект Академіка Глушкова, 40.
03680, Київ-187, Україна.
Тел. (044) 526 6249
Е-mail: bas@isofts.kiev.ua
факс: (38044)526 6263
|
| id | nasplib_isofts_kiev_ua-123456789-2333 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | 1727-4907 |
| language | Ukrainian |
| last_indexed | 2025-11-29T11:15:12Z |
| publishDate | 2006 |
| publisher | Інститут програмних систем НАН України |
| record_format | dspace |
| spelling | Балабанов, О.С. 2008-09-17T14:57:36Z 2008-09-17T14:57:36Z 2006 Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів/ О.С. Балабанов // Проблеми програмування. — 2006. — N 4. — С. 28-36. — Бібліогр.: 12 назв. — укр. 1727-4907 https://nasplib.isofts.kiev.ua/handle/123456789/2333 007:681.3.00 Для дискретних моделей залежностей з ланцюговою (або деревовидною) структурою показано, що коли проміжна (сепараторна) змінна є бінарною, можна факторизувати (декомпозувати) транзитивну залежність згідно відтинків ланцюга. Ця властивість (“квазі-лінеарність”) для структури у формі “зірка з трьома променями” імплікує “тріад-стримування” – спеціальне обмеження типу рівність на добуток парних залежностей. Дотримання чинності тріад-стримування може правити за свідчення для ідентифікації прихованої бінарної змінної, яка є відповідальна за асоціацію трьох дискретних змінних. Для дискретных моделей зависимостей с цепочной (или древовидной) структурой показано, что когда промежуточная (сепарирующая) переменная является бинарной, можно факторизовать (декомпозировать) путевую (транзитивную) зависимость на произведение зависимостей для фрагментов пути. Это свойство (“квази-линеарность”) имплицирует для структуры вида “трехлучевая звезда” специальное ограничение типа равенство на произведение парных зависимостей – “триад-констрэйнт”. Выполнение триад-констрэйнта может служить свидетельством для идентификации скрытой бинарной переменной, которая влияет на три дискретные переменные. It is demonstrated for a discrete model with tree-like structure, that if there is a binary separating variable, then a path dependence (via this variable) may be factorized accordingly to this variable (into a corresponding subpath dependencies). This quasi-linearity property implies the “triad-constraint” on product of pairwise dependencies in star-like structure with three endpoints. So the triad-constraint satisfaction facilitates a discovery of a hidden binary variable (latent class), which is responsible for associations among three respective discrete manifest variables. uk Інститут програмних систем НАН України Моделі і засоби систем баз даних і знань Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів Квази-линеарность в дискретных моделях зависимостей и открытие латентного фактора трех эфектов Quasi-linearity in a discrete dependency models, and revealing latent cause of three indicators Article published earlier |
| spellingShingle | Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів Балабанов, О.С. Моделі і засоби систем баз даних і знань |
| title | Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів |
| title_alt | Квази-линеарность в дискретных моделях зависимостей и открытие латентного фактора трех эфектов Quasi-linearity in a discrete dependency models, and revealing latent cause of three indicators |
| title_full | Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів |
| title_fullStr | Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів |
| title_full_unstemmed | Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів |
| title_short | Квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів |
| title_sort | квазі-лінеарність у дискретних моделях залежностей та відкриття латентного фактору трьох ефектів |
| topic | Моделі і засоби систем баз даних і знань |
| topic_facet | Моделі і засоби систем баз даних і знань |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/2333 |
| work_keys_str_mv | AT balabanovos kvazílínearnístʹudiskretnihmodelâhzaležnosteitavídkrittâlatentnogofaktorutrʹohefektív AT balabanovos kvazilinearnostʹvdiskretnyhmodelâhzavisimosteiiotkrytielatentnogofaktoratrehéfektov AT balabanovos quasilinearityinadiscretedependencymodelsandrevealinglatentcauseofthreeindicators |