Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований)
Статья посвящена основам анализа гетерогенности в рамках метаанализа. Описывается суть оценки гетерогенности, а также рассматриваются следующие вопросы: статистическая проверка с помощью Q-теста; оценка истинной дисперсии величин эффектов с помощью Т 2; оценка пропорции наблюдаемой изменчивости, к...
Збережено в:
| Дата: | 2013 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Iнститут соціології НАН України
2013
|
| Назва видання: | Социология: теория, методы, маркетинг |
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/90480 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) / С. Дембицкий // Социология: теория, методы, маркетинг. — 2013. — № 1. — С. 154–165. — Бібліогр.: 6 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-90480 |
|---|---|
| record_format |
dspace |
| spelling |
nasplib_isofts_kiev_ua-123456789-904802025-02-09T15:02:24Z Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) Heterogeneity assessment in meta-analysis (after the example of cross-national studies’ data) Дембицкий, С. Социологическое образование Статья посвящена основам анализа гетерогенности в рамках метаанализа. Описывается суть оценки гетерогенности, а также рассматриваются следующие вопросы: статистическая проверка с помощью Q-теста; оценка истинной дисперсии величин эффектов с помощью Т 2; оценка пропорции наблюдаемой изменчивости, которая указывает на истинную изменчивость величин эффектов с помощью I 2; расчет доверительных и предсказательных интервалов. На основе практического примера с применением отношения шансов в качестве величин эффектов демонстрируется расчет ключевых показателей гетерогенности (в качестве эмпирической базы использованы результаты четвертой волны Европейского социального исследования). The article is dedicated to the principles of analysis of heterogeneity in the framework of meta-analysis. The author describes the essence of the heterogeneity estimation as well as considers the following problems: statistical testing with the help of Q-test; estimation of true dispersion of the values of effects with the help of T 2; estimation of proportions of the observed variability which points to the true variability of the values of effects with the help of I2; calculation of confidential and predictional intervals. Based on the practical example with the use of relation of chances as the values of effects the author demonstrates the calculation of key indices of heterogeneity (results of the fourth wave of the European Social Survey were used as the empirical basis). 2013 Article Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) / С. Дембицкий // Социология: теория, методы, маркетинг. — 2013. — № 1. — С. 154–165. — Бібліогр.: 6 назв. — рос. 1563-4426 https://nasplib.isofts.kiev.ua/handle/123456789/90480 303.447.22 ru Социология: теория, методы, маркетинг application/pdf application/pdf Iнститут соціології НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Социологическое образование Социологическое образование |
| spellingShingle |
Социологическое образование Социологическое образование Дембицкий, С. Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) Социология: теория, методы, маркетинг |
| description |
Статья посвящена основам анализа гетерогенности в рамках метаанализа.
Описывается суть оценки гетерогенности, а также рассматриваются следующие вопросы: статистическая проверка с помощью Q-теста; оценка истинной дисперсии величин эффектов с помощью Т 2; оценка пропорции наблюдаемой изменчивости, которая указывает на истинную изменчивость величин эффектов с помощью I 2; расчет доверительных и предсказательных интервалов.
На основе практического примера с применением отношения шансов в качестве
величин эффектов демонстрируется расчет ключевых показателей гетерогенности (в качестве эмпирической базы использованы результаты четвертой
волны Европейского социального исследования). |
| format |
Article |
| author |
Дембицкий, С. |
| author_facet |
Дембицкий, С. |
| author_sort |
Дембицкий, С. |
| title |
Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) |
| title_short |
Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) |
| title_full |
Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) |
| title_fullStr |
Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) |
| title_full_unstemmed |
Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) |
| title_sort |
оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) |
| publisher |
Iнститут соціології НАН України |
| publishDate |
2013 |
| topic_facet |
Социологическое образование |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/90480 |
| citation_txt |
Оценка гетерогенности в метаанализе (на примере данных кросс национальных исследований) / С. Дембицкий // Социология: теория, методы, маркетинг. — 2013. — № 1. — С. 154–165. — Бібліогр.: 6 назв. — рос. |
| series |
Социология: теория, методы, маркетинг |
| work_keys_str_mv |
AT dembickijs ocenkageterogennostivmetaanalizenaprimeredannyhkrossnacionalʹnyhissledovanij AT dembickijs heterogeneityassessmentinmetaanalysisaftertheexampleofcrossnationalstudiesdata |
| first_indexed |
2025-11-27T04:11:27Z |
| last_indexed |
2025-11-27T04:11:27Z |
| _version_ |
1849915288734138368 |
| fulltext |
Сер гей Дем биц кий
Оцен ка ге те ро ген нос ти в ме та а на ли зе
СОЦИОЛОГИЧЕСКОЕ ОБРАЗОВАНИЕ
СЕРГЕЙ ДЕМБИЦКИЙ,УДК 303.447.22
êàí äè äàò ñî öè î ëî ãè ÷åñ êèõ íàóê, ìëàä øèé
íà ó÷íûé ñî òðóä íèê îò äå ëà ìå òî äî ëî ãèè è
ìå òî äîâ ñî öè î ëî ãèè Èíñòè òó òà ñî öè î ëî -
ãèè ÍÀÍ Óêðà è íû
Оцен ка ге те ро ген нос ти в ме та а на ли зе
(на при ме ре дан ных кросс-на ци о наль ных
ис сле до ва ний)
Аннотация
Статья по свя ще на осно вам ана ли за ге те ро ген нос ти в рам ках ме та а на ли за.
Опи сы ва ет ся суть оцен ки ге те ро ген нос ти, а так же рас смат ри ва ют ся сле ду -
ю щие воп ро сы: ста тис ти чес кая про вер ка с по мощью Q-тес та; оцен ка ис тин -
ной дис пер сии ве ли чин эф фек тов с по мощью Т 2; оцен ка про пор ции на блю да е -
мой из мен чи вос ти, ко то рая ука зы ва ет на ис тин ную из мен чи вость ве ли чин эф -
фек тов с по мощью I 2; рас чет до ве ри тель ных и пред ска за тель ных ин тер ва лов.
На осно ве прак ти чес ко го при ме ра с при ме не ни ем от но ше ния шан сов в ка чес тве
ве ли чин эф фек тов де мо нстри ру ет ся рас чет клю че вых по ка за те лей ге те ро ген -
нос ти (в ка чес тве эм пи ри чес кой базы ис поль зо ва ны ре зуль та ты чет вер той
вол ны Евро пей ско го со ци аль но го ис сле до ва ния).
Клю че вые сло ва: ме та а на лиз, ве ли чи на эф фек та, мо дель слу чай ных эф фек -
тов, по ка за те ли ге те ро ген нос ти
Вве де ние
В сво ей не дав ней пуб ли ка ции я рас смот рел клю че вые по ня тия и осно вы
вы чис ле ний в ме та а на ли зе [Дем биц кий, 2012]1. При этом осо бое вни ма ние
было уде ле но двум мо де лям ме та а на ли за — фик си ро ван ных и слу чай ных
эф фек тов. В рам ках мо де ли слу чай ных эф фек тов важ ной за да чей яв ля ет ся
154 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1
1 Здесь хо чет ся от ме тить на ли чие че ты рех до сад ных оши бок, сде лан ных в пред ы ду -
щей статье. Они рас смот ре ны в При ло же нии. Ошиб ки не от ра зи лись на прак ти чес ком
при ме ре — все рас че ты осу ще ствле ны пра виль но.
оцен ка ге те ро ген нос ти, по зво ля ю щая: 1) про а на ли зи ро вать, ка кая доля из -
мен чи вос ти в ве ли чи нах эф фек тов вы зва на раз ли чи я ми ге не раль ных со во -
куп нос тей, из ко то рых они из вле че ны; 2) сде лать про гноз о ве ли чи не ин тер -
ва ла, в ко то рый по па да ет боль ши нство ве ли чин эф фек тов, бе зот но си тель но
к тому, из ка кой ге не раль ной со во куп нос ти они из вле че ны; 3) сфор му ли ро -
вать ги по те зы о фак то рах из мен чи вос ти, то есть тех ре ле ван тных фак то рах,
по ко то рым ге не раль ные со во куп нос ти от ли ча ют ся. Пос лед нее от кры ва ет
воз мож ность раз дель но го ана ли за кон трас тных под групп ве ли чин эф фек -
тов и, со от ве тствен но, де ла ет вы во ды ис сле до ва ния бо лее гиб ки ми за счет
при вяз ки к кон тек сту аль ным осо бен нос тям, важ ным с точ ки зре ния из уча е -
мой взаимосвязи.
Сле ду ет сде лать уда ре ние на том, что да лее речь по й дет имен но об оцен ке
ге те ро ген нос ти, а не ее про вер ке. Час то ре ше ние о ге те ро ген нос ти/го мо ген -
нос ти ре зуль та тов при ни ма ет ся в ре зуль та те ста тис ти чес кой про вер ки (ста -
тис ти чес кий под ход). Одна ко в рам ках дан ной статьи я от тал ки ва юсь от по -
зи ции Май кла Бо рнштей на с его со ав то ра ми [Borenstein et al., 2009], ко то рые
свя зы ва ют ре ше ние о на ли чии ге те ро ген нос ти ре зуль та тов или ее от су тствии
с при ро дой ана ли зи ру е мых дан ных (кон цеп ту аль ный под ход). При ста тис -
ти чес ком под хо де при ня то на чи нать с ис поль зо ва ния мо де ли фик си ро ван -
ных эф фек тов, да лее про ве рять ее ре зуль та ты на ге те ро ген ность и, в слу чае ее
под твер жде ния, пе ре хо дить к мо де ли слу чай ных эф фек тов. В кон цеп ту аль -
ном же под хо де имен но на осно ва нии ар гу мен тов о при ро де эм пи ри чес ко го
ма те ри а ла (о том, сле ду ет ли счи тать, что ве ли чи ны эф фек тов из вле че ны из
раз ных ге не раль ных со во куп нос тей) ис сле до ва тель вы би ра ет одну из двух
мо де лей. И толь ко в слу чае вы бо ра мо де ли слу чай ных эф фек тов про во дит ся
оцен ка ге те ро ген нос ти, так как она пред по ла га ет ся из на чаль но1.
Осно вы оцен ки ге те ро ген нос ти
Ког да речь идет об оцен ке ге те ро ген нос ти в рам ках ме та а на ли за, то под -
ра зу ме ва ет ся ана лиз ис тин ной (в про ти во по лож ность слу чай ным ошиб -
кам) из мен чи вос ти ве ли чин эф фек тов. В то же вре мя на блю да е мая из мен -
чи вость вклю ча ет оба ком по нен та — и слу чай ные ошиб ки, и ис тин ную из -
мен чи вость. Ме ха низм, по зво ля ю щий раз де лить эти ком по нен ты, сле ду ю -
щий: 1) рас счи тать об щую ве ли чи ну из мен чи вос ти, на блю да е мую меж ду
ис сле до ва ни я ми, ото бран ны ми для ана ли за; 2) оце нить ожи да е мую из мен -
чи вость для слу чая, в ко то ром все ве ли чи ны эф фек тов при над ле жат к од ной
ге не раль ной со во куп нос ти (то есть для слу чая, в ко то ром со во куп ная из -
мен чи вость осно вы ва ет ся ис клю чи тель но на слу чай ных ошиб ках); 3) на й ти
раз ни цу меж ду об щей и ожи да е мой из мен чи вос тью (так на зы ва е мую из бы -
точ ную ва ри а цию), ко то рая и бу дет ука зы вать на ве ли чи ну ге те ро ген нос ти
или ис тин ной из мен чи вос ти [Borenstein et al., 2009: p. 108].
Ста тис ти чес кая про вер ка с по мощью Q-тес та. Тра ди ци он но оцен ка
ге те ро ген нос ти на чи на ет ся с рас че та Q-ста тис ти ки, де мо нстри ру ю щей, от -
ли ча ет ся ли ста тис ти чес ки зна чи мо на блю да е мая из мен чи вость от ожи да е -
мой, осно вы ва ю щей ся на слу чай ных ошиб ках.
Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1 155
Оцен ка ге те ро ген нос ти в ме та а на ли зе
1 Бо лее под роб но о вы бо ре мо де ли ме та а на ли за в кон тек сте оцен ки ге те ро ген нос ти ре -
зуль та тов см.: [Hunter, Schmidt, 2004: p. 393–399].
Q — по ка за тель, име ю щий рас пре де ле ние χ2, с ко ли чес твом сте пе ней
сво бо ды (df), рав ным k – 1, где k рав но ко ли чес тву ве ли чин эф фек тов
[Corcoran, Littel, 2010: p. 303]. Q яв ля ет ся стан дар ти зи ро ван ным по ка за те -
лем, то есть не за ви сит от мет ри ки ис поль зу е мых ве ли чин эф фек тов. Ба зо -
вая фор му ла для рас че та Q име ет сле ду ю щий вид:
1.1. Q W Y Mi i
i
k
= −
=
∑ ( ) .2
1
Экви ва лен тная фор му ла, бо лее при год ная для рас че тов:
1.2. Q W Y
W Y
W
i i
i i
i
k
i
i
k
i
k
= −
=
=
=
∑
∑
∑ 2 1
2
1
1
.
Ожи да е мое зна че ние Q для слу чая, ког да все ве ли чи ны эф фек тов при -
над ле жат од ной ге не раль ной со во куп нос ти, не от ли ча ет ся от df, по сколь ку
яв ля ет ся стан дар ти зи ро ван ной ве ли чи ной. Сле до ва тель но, ис тин ную ва ри а -
цию в ве ли чи нах эф фек тов мож но рас счи тать, от няв от на блю да е мо го Q его
ожи да е мое зна че ние, или df. Если эта ве ли чи на от ри ца тель ная или не зна чи -
тель но пре вы ша ет 0 (дос та точ на ли ве ли чи на раз ли чия меж ду на блю да е мым
и ожи да е мым зна че ни я ми, опре де ля ет ся стан дар тным для ис поль зо ва ния
кри те рия χ2 об ра зом — с по мощью p-зна че ния), то про вер ка не дала ста тис ти -
чес ки зна чи мых ре зуль та тов. В про тив ном слу чае при ни ма ет ся ре ше ние о ге -
те ро ген нос ти, что от кры ва ет воз мож ность даль ней ше го ана ли за.
Q-тест яв ля ет ся про вер кой ну ле вой ги по те зы (со глас но ко то рой все ис -
сле до ва ния опи сы ва ют один и тот же эф фект или при над ле жат к од ной ге -
не раль ной со во куп нос ти), что свя за но с про бле ма ми, ха рак тер ны ми и для
дру гих тес тов ста тис ти чес кой зна чи мос ти. Во-пер вых, если ста тис ти чес ки
зна чи мые ре зуль та ты ука зы ва ют на ге те ро ген ность, то не зна чи мые еще не
до ка зы ва ют ее от су тствия — воз мож ное об ъ яс не ние мо жет скры вать ся в ма -
лом раз ме ре вы бор ки или боль ших дис пер си ях ре зуль та тов от дель ных ис -
сле до ва ний. Во-вто рых, ре зуль та ты Q-тес та ис поль зу ют ся ис клю чи тель но
для про вер ки ну ле вой ги по те зы и, со от ве тствен но, не яв ля ют ся по ка за те -
лем ве ли чи ны ис тин ной из мен чи вос ти. Эту за да чу ре ша ют дру гие по ка за те -
ли, о ко то рых будет сказано ниже.
Оцен ка ис тин ной дис пер сии ве ли чин эф фек тов с по мощью Т 2. По ка за -
тель Т 2 воз вра ща ет оцен ку из мен чи вос ти от стан дар ти зи ро ван ной шка лы к
ори ги наль ной мет ри ке ве ли чин эф фек тов:
1.3. T
Q df
C
2 =
−
,
где C W
W
W
i
i
i
= −
∑
∑∑
2
.
Истин ное зна че ние дис пер сии ве ли чин эф фек тов не мо жет быть мень ше
0, в то вре мя как Т 2 мо жет при ни мать от ри ца тель ные зна че ния (при Q < df),
что свя за но с ошиб ка ми вы бор ки. В та ком слу чае Т 2 при ни ма ет ся за 0. Если
же Q > df, то Т 2 бу дет по ло жи тель ным зна че ни ем, ба зи ру ю щим ся на двух
156 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1
Сер гей Дем биц кий
фак то рах. Пер вый из них — ве ли чи на из бы точ ной из мен чи вос ти (Q – df),
вто рой — раз мер ность шка лы, в ко то рой из ме ре ны ве ли чи ны эф фек тов.
Для оцен ки стан дар тно го от кло не ния ве ли чин эф фек тов ис поль зу ет ся
Т, ко то рое мож но на й ти про стым из вле че ни ем квад рат но го кор ня из Т 2. При
на хож де нии Т 2 не тре бу ет ся пред по ло же ния о фор ме рас пре де ле ния ве ли -
чин эф фек тов, но если есть осно ва ния счи тать ее нор маль ной, то Т мож но
ис поль зо вать для на хож де ния ин тер ва ла, в ко то рый по па дет за дан ная про -
пор ция всех ве ли чин эф фек тов. Нап ри мер, 95% всех воз мож ных зна че ний
по па дет в ин тер вал, рав ный 1,96 × T.
Вмес те с тем та кой спо соб по стро е ния рас пре де ле ния ве ли чин эф фек -
тов оправ дан лишь в том слу чае, ког да и эти ве ли чи ны, и Т оце не ны пра виль -
но. По э то му на прак ти ке при по стро е нии со от ве тству ю щих ин тер ва лов для
рас пре де ле ния ве ли чин эф фек тов не об хо ди мо при нять во вни ма ние ошиб -
ки в оцен ке об оих па ра мет ров. Осно ва ния со от ве тству ю щих рас че тов рас -
смот ре ны ниже.
Оцен ка про пор ции на блю да е мой из мен чи вос ти, ко то рая ука зы ва ет на
ис тин ную из мен чи вость ве ли чин эф фек тов с по мощью I 2. I 2 яв ля ет ся пока -
зателем, про из вод ным от Q :
1.4. I
Q df
Q
2 100=
−
× %.
Как и Q, по ка за тель I 2 яв ля ет ся стан дар ти зи ро ван ным, то есть не за ви -
сит от ори ги наль ной шка лы ве ли чин эф фек тов и из ме ня ет ся в ди а па зо не от
0% до 100%. Важ ной от ли чи тель ной чер той этой ста тис ти ки яв ля ет ся так же
то, что она не за ви сит и от ко ли чес тва ана ли зи ру е мых ве ли чин эф фек тов
[Borenstein et al., 2009: p. 109–119].
При этом сле ду ет по мнить — не смот ря на то, что I 2 по зво ля ет оце нить
про пор цию ис тин ной из мен чи вос ти, он не дает ни ка кой дру гой ин фор ма -
ции. Так, если со от ве тству ю щее зна че ние близ ко к 100%, это еще ни че го не
го во рит о рас пре де ле нии ве ли чин эф фек тов, ко то рые в этом слу чае мо гут
по па дать как в узкий, так и в ши ро кий ин тер вал. Ори ен ти ры ин тер пре та ции
I 2, при ве ден ные в ра бо те Хиг гин са [Higgins et al., 2003: p. 559]1, сле ду ет так -
же рас смат ри вать в кон тек сте оцен ки раз ме ра про пор ции ис тин ной из мен -
чи вос ти, а не ее аб со лют ной ве ли чи ны.
Срав не ние по ка за те лей ге те ро ген нос ти. Все опи сан ные выше по ка за те -
ли ге те ро ген нос ти ба зи ру ют ся на Q (в от но ше нии к df). Вмес те с тем они
пред наз на че ны для ре ше ния раз лич ных за дач, что де ла ет ис поль зо ва ние
каж до го из них оправ дан ным и не об хо ди мым. Да лее при во дит ся их срав ни -
тель ная ха рак те рис ти ка (см. табл. 1).
До ве ри тель ные и пред ска за тель ные ин тер ва лы
До ве ри тель ные ин тер ва лы. Пос коль ку Т 2 и I 2 яв ля ют ся оцен ка ми со от -
ве тству ю щих па ра мет ров, а не ис тин ны ми по ка за те ля ми, по столь ку для ин -
тер пре та ции из мен чи вос ти ве ли чин эф фек тов име ет смысл про вес ти рас -
Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1 157
Оцен ка ге те ро ген нос ти в ме та а на ли зе
1 0% — ге те ро ген ность от су тству ет, 25% — низ кая ге те ро ген ность, 50% — сред няя ге те -
ро ген ность, 75% — вы со кая ге те ро ген ность.
чет до ве ри тель ных ин тер ва лов, в ко то рые с за дан ной ве ро ят нос тью дол жны
по пасть ис тин ная из мен чи вость и ее про пор ция.
Таб ли ца 1
По ка за те ли ге те ро ген нос ти
По ка за тель
и раз мах
значений
За ви си мость
от раз ме ра
вы бор ки
За ви си мость
от шка лы
Ре ша е мый воп рос
0 ≤ Q + –
Мож но ли об ъ яс нить на блю да е мую из -
мен чи вость ис клю чи тель но слу чай ны -
ми ошиб ка ми?
0 ≤ T 2 – +
Ка ко ва ве ли чи на ис тин ной из мен чи вос -
ти ве ли чин эф фек тов?
0 ≤ T – +
В ка кой ин тер вал по па дет боль ши нство
ве ли чин эф фек та?
0% ≤ I < 100% – –
Ка кая про пор ция об щей из мен чи вос ти
яв ля ет ся ис тин ной, то есть не об услов -
ле на слу чай ны ми ошиб ка ми?
Если пред по ло жить, что ве ли чи ны эф фек тов рас пре де ле ны нор маль но
(под хо дит для боль ших вы бо рок), стан дар тную ошиб ку Т 2 мож но оце нить
сле ду ю щим об ра зом.
Сна ча ла рас счи тать про ме жу точ ное зна че ние А:
2.1. A df sw
sw
sw
T sw
sw
sw
sw
= + −
+ −
+2 1
2
1
2 2
3
1
22
2( )
(sw
T
1 2
4
)
,
где
sw W i
i
k
1
1
=
=
∑ ,
sw W i
i
k
2 2
1
=
=
∑ ,
sw W i
i
k
3 3
1
=
=
∑ .
Пос ле чего мож но на й ти V
T 2 дис пер сию Т 2:
2.2. V
A
CT 2 2
2
= ×
.
Со от ве тствен но стан дар тная ошиб ка ( )SE
T 2 бу дет рав на V
T 2 .
Но по сколь ку рас пре де ле ние T 2 не дос та точ но хо ро шо от ве ча ет нор -
маль но му, рас чет кон фи ден ци аль ных ин тер ва лов с по мощью умно же ния
стан дар тной ошиб ки на ±1,96 не при ве дет к дос та точ но точ но му ре зуль та ту
до тех пор, пока не бу дут ис поль зо вать ся дос та точ но боль шие вы бор ки.
Одним из на и бо лее лег ких спо со бов ре ше ния этой про бле мы яв ля ет ся сле -
ду ю щий:
Если Q > (df + 1), на й ти В по фор му ле:
158 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1
Сер гей Дем биц кий
2.3. B
Q df
Q df
= ×
−
− × −
0 5
2 2 1
,
ln( ) ln( )
.
Если Q ≤ (df + 1), ис поль зо вать фор му лу:
2.4. B
df
df
=
× − × −
× −
1
2 1 1
1
3 1 2
( )
( )
.
Да лее рас счи тать про ме жу точ ные зна че ния L и U:
2.5. L
Q
df
B= ×
− ×
exp , ln ,0 5 1 96
и
2.6. U
Q
df
B= ×
+ ×
exp , ln , .0 5 1 96
На ко нец, до ве ри тель ные ин тер ва лы для ис тин ной дис пер сии ве ли чин
эф фек тов мо гут быть на й де ны сле ду ю щим об ра зом:
2.7. LL
df L
CT 2
2 1
=
× −( )
и
2.8. UL
df U
CT 2
2 1
=
× −( )
.
При на хож де нии до ве ри тель ных ин тер ва лов для стан дар тно го от кло не -
ния ве ли чин эф фек тов надо про сто из влечь квад рат ный ко рень из со от ве т -
ству ю щих зна че ний оцен ки дис пер сии:
2.9. LL LLT T
= 2 ;
2.10. UL ULT T
= 2 .
Во вре мя по стро е ния до ве ри тель ных ин тер ва лов для I 2 усло вия и фор -
му лы рас че та B, L и U точ но та кие же, как и в слу чае Т 2. Если Q > (df + 1), ис -
поль зу ет ся фор му ла 2.3. Если Q ≤ (df + 1), ис поль зу ет ся фор му ла 2.4.
На хож де ние про ме жу точ ных зна че ний иден тич но фор му лам 2.5 и 2.6.
Да лее мож но на й ти 95-про цен тный до ве ри тель ный ин тер вал:
2.11. LL
L
LI 2
2
2
1
100=
−
× %
и
2.12. UL
U
UI 2
2
2
1
100=
−
× %.
Лю бое из зна че ний для LL и UL, мень шее нуля, при рав ни ва ет ся к нулю.
Если ни жняя гра ни ца ин тер ва ла пре вы ша ет ноль, тог да I 2 дол жно быть ста -
тис ти чес ки зна чи мым. Одна ко, по сколь ку I 2 ба зи ру ет ся на Q, а вы бо роч ное
Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1 159
Оцен ка ге те ро ген нос ти в ме та а на ли зе
рас пре де ле ние Q из уче но луч ше, чем вы бо роч ное рас пре де ле ние I 2, бо лее
над еж ным ме то дом оцен ки ста тис ти чес кой зна чи мос ти I 2 яв ля ет ся имен но
Q-тест.
Пред ска за тель ные ин тер ва лы. Очень час то глав ной целью ме та а на ли за
яв ля ет ся рас чет взве шен но го сред не го ве ли чин эф фек тов и его до ве ри тель -
ных ин тер ва лов. И хотя это важ ная за да ча, ее ре ше ние ни че го не го во рит о
рас пре де ле нии ис тин ных ве ли чин эф фек тов вок руг сред не го зна че ния. В
мо де ли фик си ро ван ных эф фек тов та кой под ход (на хож де ние толь ко сред -
не го зна че ния и его до ве ри тель ных ин тер ва лов) яв ля ет ся оправ дан ным, по -
сколь ку пред по ла га ет ся су щес тво ва ние од ной и той же ис тин ной ве ли чи ны
эф фек та для всех ис сле до ва ний. В свою оче редь, в мо де ли слу чай ных эф -
фек тов не об хо ди мо оце нить не толь ко ис тин ное сред нее ве ли чин эф фек тов,
но и их рас пре де ле ние вок руг него. Пос лед нее име ет от но ше ние к по стро е -
нию пред ска за тель ных интервалов.
Пос коль ку при по стро е нии до ве ри тель ных ин тер ва лов не об хо ди мо
учесть ошиб ки в оцен ке ве ли чин эф фек тов и Т, рас чет пред ска за тель ных ин -
тер ва лов осу ще ствля ет ся сле ду ю щим об ра зом:
2.13. LL M t T Vpred df M
= − +*
* ,α 2
2.14. UL M t T Vpred df M
= + +*
* ,α 2
где М * — вы бо роч ное взве шен ное сред нее зна че ние ве ли чин эф фек тов, Т 2 —
оцен ка ис тин ной дис пер сии ве ли чин эф фек тов и V
M * — дис пер сия М *.
Фак тор t
df
α — зна че ние из рас пре де ле ния кри ти чес ких зна че ний t-Стью -
ден та для со от ве тству ю щей ве ро ят нос ти и ко ли чес тва сте пе ней сво бо ды
(df = k — 1, где k — ко ли чес тво ве ли чин эф фек тов в вы бор ке).
Срав не ние до ве ри тель ных и пред ска за тель ных ин тер ва лов взве шен но го
сред не го. Важ но по мнить, что до ве ри тель ные и пред ска за тель ные ин тер ва -
лы ре ша ют раз ные за да чи. Пер вые пред наз на че ны для опре де ле ния точ нос -
ти оцен ки вы бо роч но го сред не го зна че ния ве ли чин эф фек тов, вто рые — для
опре де ле ния раз бро са всех воз мож ных ве ли чин эф фек тов вок руг вы бо роч -
но го среднего.
Су щес твен ным от ли чи ем этих двух раз но вид нос тей ин тер ва лов яв ля -
ет ся то, как они из ме ня ют ся с уве ли че ни ем вы бор ки. Так, до ве ри тель ный
ин тер вал бу дет стре мить ся к нулю, в то вре мя как пред ска за тель ный ин тер -
вал бу дет умень шать ся до опре де лен но го мо мен та, по сле чего из ме не ния
прак ти чес ки пре кра тят ся. Это свя за но с тем, что пред ска за тель ный ин тер -
вал ба зи ру ет ся, сре ди про че го, на Т 2, ве ли чи на ко то ро го не за ви сит от раз -
ме ра вы бор ки [Borenstein et al., 2009: p. 122–133].
Прак ти чес кий при мер:
пол рес пон ден та и его шан сы на за ня тость за ру бе жом
Для при ме ра рас че тов по ка за те лей ге те ро ген нос ти ис поль зу ют ся те же
эм пи ри чес кие дан ные чет вер той вол ны Евро пей ско го со ци аль но го ис сле до -
ва ния, что и в пред ы ду щей статье [Дем биц кий, 2012: с. 169–172] (см. табл. 2).
Из со об ра же ний яс нос ти в таб ли цу вклю че ны толь ко те по ка за те ли, ко то рые
ис поль зу ют ся в те ку щих рас че тах не пос ре дствен но.
160 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1
Сер гей Дем биц кий
Таб ли ца 2
Дан ные, не об хо ди мые для ана ли за ге те ро ген нос ти ве ли чин эф фек тов
Стра на Wi Wi
2 Wi
3 W Yi i W Yi i
2
Бель гия 23,38 546,62 12780,08 10,10 4,36
Бол га рия 23,32 543,82 12681,94 4,83 1,00
Швей ца рия 26,92 724,69 19508,56 11,09 4,57
Кипр 13,36 178,49 2384,62 9,26 6,42
Че хия 27,94 780,64 21811,18 7,12 1,82
Гер ма ния 19,05 362,90 6913,29 14,57 11,15
Да ния 16,60 275,56 4574,30 3,02 0,55
Эсто ния 25,27 638,57 16136,74 31,94 40,37
Испа ния 33,47 1120,24 37494,46 0,00 0,00
Фин лян дия 20,04 401,60 8048,10 10,04 5,03
Фран ция 21,51 462,68 9952,25 13,12 8,00
Ве ли коб ри та ния 27,79 772,28 21461,78 14,90 7,98
Гре ция 18,64 347,45 6476,46 4,75 1,21
Хор ва тия 16,51 272,58 4500,30 12,56 9,56
Вен грия 15,17 230,13 3491,06 9,74 6,25
Ирлан дия 41,94 1758,96 73770,93 12,58 3,77
Изра иль 27,56 759,55 20933,30 0,28 0,00
Лит ва 26,12 682,25 17820,48 16,90 10,93
Лат вия 25,22 636,05 16041,14 21,54 18,39
Гол лан дия 20,53 421,48 8653,00 16,55 13,34
Нор ве гия 3,59 12,89 46,27 1,18 0,39
Поль ша 20,58 423,54 8716,38 14,78 10,61
Пор ту га лия 22,33 498,63 11134,38 8,31 3,09
Ру мы ния 19,60 384,16 7529,54 6,02 1,85
Рос сия 7,62 58,06 442,45 12,73 21,25
Шве ция 26,54 704,37 18694,02 13,62 6,98
Сло ве ния 8,80 77,44 681,47 6,27 4,47
Сло ва кия 29,50 870,25 25672,38 28,85 28,22
Тур ция 7,17 51,41 368,60 –1,69 0,40
Укра и на 23,00 529,00 12167,00 16,63 12,02
Σ 639,07 15526,32 410886,45 331,58 244,01
Так же на пом ню, что сред нее взве шен ное зна че ние ве ли чин эф фек тов
для от но ше ния шан сов (да лее — М *) рав но 0,53, а его дис пер сия — 0,004.
Пос ле осу ще ствле ния об рат но го пре об ра зо ва ния (оба по ка за те ля рас счи та -
ны по сле ло га риф ми чес ко го пре об ра зо ва ния) сред нее зна че ние бу дет рав но
1,7, а дис пер сия — 1,0.
Преж де все го не об хо ди мо про ве рить с по мощью Q-тес та ну ле вую ги по -
те зу о том, что вся из мен чи вость меж ду вы бо роч ны ми ве ли чи на ми эф фек -
тов вы зва на слу чай ны ми ошиб ка ми. Для это го ис поль зу ем фор му лу 1.2:
Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1 161
Оцен ка ге те ро ген нос ти в ме та а на ли зе
Q = − =244 01
331 58
639 07
71 97
2
,
,
,
, .
При ко ли чес тве сте пе ней сво бо ды, рав ном 29, и уров не α, рав ном 0,05,
кри ти чес кое зна че ние рас пре де ле ния χ2 рав но 42,6. Пос лед нее по зво ля ет
сде лать вы вод о ге те ро ген нос ти ве ли чин эф фек тов.
Про из ве дем оцен ку ис тин ной дис пер сии ве ли чин эф фек тов (фор му ла
1.3):
df = 30 – 1 = 29,
C = − =639 07
15526 32
639 07
614 77,
,
,
, ,
T 2 71 97 29
614 77
0 07=
−
=
,
,
, .
Со от ве тствен но стан дар тное от кло не ние бу дет рав но:
T = =0 07 0 26, , .
Те перь рас счи та ем до ве ри тель ный ин тер вал для Т 2. В слу чае пред по ло -
же ния о нор маль нос ти рас пре де ле ния ве ли чин эф фек тов сна ча ла не об хо -
ди мо на й ти sw1, sw2 и sw3:
sw1 = 639,07
sw2 = 15526,32
sw3 = 410886,45
Пос ле чего мож но рас счи тать А (фор му ла 2.1), V
T 2 (фор му ла 2.2) и
SE
T 2 :
A = + −
+29 639 07
15526 32
639 07
0 07,
,
,
,
+ −
+
15526 32 2
410886 45
639 07
15526 32
639 07
2
2
,
,
,
,
,
=0 07 187 402, , ,
V
T 2 2
187 40
614 77
0 00099
2
= ×
=
,
,
, ,
SE
T 2 0 00099 0 032= =, , .
Отсю да, 95-про цен тный до ве ри тель ный ин тер вал бу дет ра вен:
C.i. = ± 1,96 × 0,032 = ± 0,063.
Если же нор маль ность рас пре де ле ния ве ли чин эф фек тов не пред по ла -
га ет ся, рас че ты при мут иной вид. Пос коль ку Q = 71,97 > 30 = (df + 1), для на -
хож де ния В ис поль зу ем фор му лу 2.3:
B = ×
−
× − × −
=0 5
71 97 29
2 71 97 2 29 1
0 10,
ln( , ) ln( )
,
, .
Про ме жу точ ные зна че ния (фор му лы 2.5 и 2.6 со от ве тствен но):
L = ×
− ×
=exp , ln
,
, , , ,0 5
71 97
29
1 96 0 10 1 29
162 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1
Сер гей Дем биц кий
U = ×
+ ×
=exp , ln
,
, , , .0 5
71 97
29
1 96 0 10 1 92
Сле до ва тель но, гра ни цы 95-про цен тно го до ве ри тель но го ин тер ва ла
рав ны (со глас но фор му лам 2.7 и 2.8 со от ве тствен но):
LL
T 2
29 1 29 1
614 77
0 03
2
=
× −
=
( , )
,
, ,
UL
T 2
29 1 92 1
614 77
0 13
2
=
× −
=
( , )
,
, .
Если от мет ри ки на ту раль но го ло га риф ма пе рей ти к ори ги наль ной мет -
ри ке от но ше ния шан сов, то дис пер сия (Т 2) бу дет рав на 1,07, ни жний ин тер -
вал — 1,03, вер хний ин тер вал — 1,14.
На пред пос лед нем эта пе вы яс ним, ка кая про пор ция об щей из мен чи вос -
ти яв ля ет ся ис тин ной (фор му ла 1.4):
I 2 71 97 29
71 97
100 59 7=
−
× =
,
,
% , %.
При рас че те до ве ри тель ных ин тер ва лов для I 2 зна че ния для L и U бу дут
точ но та ки ми же, как и при рас че те до ве ри тель ных ин тер ва лов для Т 2. По -
этому сра зу же мож но пе рей ти к рас че ту гра ниц ин тер ва ла (фор му лы 2.11 и
2.12 со от ве тствен но):
LL
I 2
1 29 1
1 29
100 39 9
2
2
=
−
× =
,
,
% , %,
UL
I 2
1 92 1
1 92
100 73 0
2
2
=
−
× =
,
,
% , %.
На ко нец, вы чис лим пред ска за тель ные ин тер ва лы для ве ли чин эф фек -
тов (фор му лы 2.13 и 2.14 со от ве тствен но), с уче том того, что M * = 0,53,
V
M * ,= 0 04, а t28
0 05 1 7, ,= (ко ли чес тво сте пе ней сво бо ды рав но 28, уро вень α —
0,05).
LL pred = − =0 53 1 7 0 070 004 0 07, , , , , ,
UL pred = + =0 53 1 7 0 070 004 0 99, , , , , .
Со от ве тствен но, по сле пре об ра зо ва ния в шка лу от но ше ния шан сов
ниж няя гра ни ца бу дет рав на 1,07, вер хняя — 2,69.
Те перь рас смот рим все дан ные вмес те (см. табл. 3). Как уже было ска за -
но ра нее, ве ли чи на Q (71,97) по зво ля ет сде лать вы вод о ге те ро ген нос ти ре -
зуль та тов с ве ро ят нос тью ошиб ки, не пре вы ша ю щей 5%. Ве ли чи на ис тин -
ной из мен чи вос ти в ори ги наль ной шка ле ве ли чин эф фек тов со став ля ет
око ло 1, что об услов ли ва ет око ло 60% со во куп ной из мен чи вос ти. Пос лед -
няя ве ли чи на не яв ля ет ся дос та точ но точ ной и с вы со кой ве ро ят нос тью по -
па да ет в ин тер вал от 40% до 73%.
Нес мот ря на то, что ито го вое сред нее зна че ние рав но 1,7, что го во рит о
сла бой свя зи меж ду по лом и шан сом на за ня тость за ру бе жом, 95% всех воз -
мож ных ве ли чин эф фек тов рас пре де ля ют ся в ин тер ва ле от 1,07 (по чти по -
лное от су тствие свя зи) до 2,69 (сред няя связь).
Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1 163
Оцен ка ге те ро ген нос ти в ме та а на ли зе
Таб ли ца 3
Ито го вые дан ные, опи сы ва ю щие ге те ро ген ность ве ли чин эф фек тов*
По ка за тель Зна че ние
До ве ри тель ный/пред ска за тель ный ин тер вал
Ниж няя гра ни ца Вер хняя гра ни ца
M * 0,53(1,7) 0,41(1,5) 0,65(1,9)
Q 71,97 – –
T 2 0,07(1,07) 0,03(1,03) 0,13(1,14)
T 0,26(1,3) 0,17(1,19) 0,36(1,43)
I 59,7% 39,9% 73,0%
PI ** для M * – 0,07(1,07) 0,99(2,69)
* Для слу ча ев, ког да по ка за тель из ме рен в ло га риф ми чес кой шка ле, в скоб ках ука за ны
зна че ния в еди ни цах ори ги наль ной мет ри ки ве ли чин эф фек тов (от но ше ние шан -
сов).
** Пред ска за тель ный ин тер вал.
Вы во ды
Анализ ге те ро ген нос ти яв ля ет ся су щес твен ным эле мен том кор рек тной
ин тер пре та ции ре зуль та тов ме та а на ли за. В слу чае же кросс-на ци о наль ных
и кросс-куль тур ных ис сле до ва ний из уче ние из мен чи вос ти и вов се яв ля ет ся
об я за тель ной час тью это го ис сле до ва те льско го под хо да, по зво ля ю щей в
стро гих тер ми нах оце нить и опи сать от ли чия меж ду еди ни ца ми ана ли за.
Одна ко оцен ка ве ли чи ны ис тин ной из мен чи вос ти, ее про пор ции сре ди со -
во куп ной из мен чи вос ти, по стро е ние пред ска за тель но го ин тер ва ла и рас чет
дру гих по ка за те лей не яв ля ют ся окон ча тель ным пун ктом ана ли за ге те ро -
ген нос ти.
Пос ле того, как уста нов ле на ге те ро ген ность ре зуль та тов и рас счи та ны
ее по ка за те ли, рас смот рен ные выше, есть два пути даль ней ше го ана ли за.
Пер вый из них за клю ча ет ся в раз де ле нии ве ли чин эф фек тов на го мо ген ные
под груп пы и их ана ли зе, вто рой — в ис поль зо ва нии ме та рег рес сии [Leeuw,
Hox, 2003: p. 336–339]. Оба этих инстру мен та бу дут рас смот ре ны в од ном из
бли жай ших но ме ров жур на ла.
ПРИЛОЖЕНИЕ
Ошиб ки, до пу щен ные в пред ы ду щей статье
(см.: Со ци о ло гия: те о рия, ме то ды, мар ке тинг. — 2012. — № 3)
1. На стра ни це 162 в седь мом пун кте чет вер то го аб за ца вмес то “син тез
эф фек тив ных раз ме ров” дол жно быть “син тез ве ли чин эф фек тов”.
2. На стра ни це 168 фор му ла 4.5 дол жна иметь сле ду ю щий вид:
C.i.= M ± 1,96 × SEM .
3. На стра ни це 169 в фор му ле 5.3 не вер но ука за но, что df — это ко ли чес тво
ис сле до ва ний. Зна че ние df рас счи ты ва ет ся тра ди ци он ным спо со бом (k – 1),
что и ука за но в фор му ле 5.5.
164 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1
Сер гей Дем биц кий
4. На стра ни це 169 фор му ла 5.4 дол жна иметь сле ду ю щий вид:
Q W Y
W Y
W
i i
i i
i
k
i
i
k
i
k
= −
=
=
=
∑
∑
∑ 2 1
2
1
1
.
Источ ни ки
Дем биц кий С. Ме та а на лиз: клю че вые по ня тия и осно вы вы чис ле ний (на при ме ре
дан ных кросс-на ци о наль ных ис сле до ва ний) / С. Дем биц кий // Со ци о ло гия: те о рия, ме -
то ды, мар ке тинг. — 2012. — № 3. — С. 160–174.
Borenstein M. Introduction to Meta-Analysis / M. Borenstein, L. Hedges, J. Higgins,
H. Rothstein. — N. J. : Wiley, 2009.
Corcoran J. Meta-Analyses / J. Corcoran, J. Littel // The Handbook of Social Work
Research Methods / ed. by B. Thyer. — Los Angeles ; London ; New Delhi ; Singapore ;
Washington (DC) : SAGE, 2010. — P. 299–312.
Higgins J. Measuring inconsistency in meta-analyses / J. Higgins, S. Thompson, J. Deeks,
D. Altman // British Medical Journal. — 2003. — Vol. 327. — P. 557–560.
Hunter J. Methods of meta-analysis: Correcting error and bias in research findings /
J. Hunter, F. Schmidt. — Thousand Oaks ; London ; New Delhi : SAGE, 2004. — 582 p.
Leeuw E. The Use of Meta-Analysis in Cross-National Studies / E. Leeuw, J. Hox //
Cross-Cultural Survey Methods / ed. by J. Harkness, F. Van de Vijver, P. Mohler. — N. J. :
Wiley, 2003. — P. 329–345.
Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2013, 1 165
Оцен ка ге те ро ген нос ти в ме та а на ли зе
cnt_R
_Rus_2
Abstract_R_2013-1
|