Использование параданных в социологических исследованиях

В статье рассматриваются параданные как особый тип данных, собранных во время опроса о самом процессе сбора информации, таких как поведение респондентов, характеристики условий их проживания, реакции на вопросы, время ответа и др. Приводятся примеры использования параданных в социологических исс...

Full description

Saved in:
Bibliographic Details
Published in:Социология: теория, методы, маркетинг
Date:2011
Main Author: Сидоров, Н.
Format: Article
Language:Russian
Published: Iнститут соціології НАН України 2011
Online Access:https://nasplib.isofts.kiev.ua/handle/123456789/90196
Tags: Add Tag
No Tags, Be the first to tag this record!
Journal Title:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:Использование параданных в социологических исследованиях / Н. Сидоров // Социология: теория, методы, маркетинг. — 2011. — № 4. — С. 198–208. — Бібліогр.: 27 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine
_version_ 1859632848119529472
author Сидоров, Н.
author_facet Сидоров, Н.
citation_txt Использование параданных в социологических исследованиях / Н. Сидоров // Социология: теория, методы, маркетинг. — 2011. — № 4. — С. 198–208. — Бібліогр.: 27 назв. — рос.
collection DSpace DC
container_title Социология: теория, методы, маркетинг
description В статье рассматриваются параданные как особый тип данных, собранных во время опроса о самом процессе сбора информации, таких как поведение респондентов, характеристики условий их проживания, реакции на вопросы, время ответа и др. Приводятся примеры использования параданных в социологических исследованиях.
first_indexed 2025-12-07T13:12:33Z
format Article
fulltext Ни ко лай Си до ров Исполь зо ва ние па ра дан ных в со ци о ло ги чес ких ис сле до ва ни ях НИКОЛАЙ СИДОРОВ,УДК 303.09, 303.8 êàí äè äàò ôè çè êî-ìà òå ìà òè ÷åñ êèõ íàóê, äî - öåíò êà ôåä ðû ìå òî äî ëî ãèè è ìå òî äîâ ñî - öè î ëî ãè ÷åñ êèõ èñ ñëå äî âà íèé Êè åâ ñêî ãî íà - öè î íàëü íî ãî óíè âåð ñè òå òà èìå íè Òà ðà ñà Øåâ ÷åí êî Исполь зо ва ние па ра данных в со ци о ло ги чес ких ис сле до ва ни ях Аннотация В статье рас смат ри ва ют ся па ра данные как осо бый тип дан ных, со бран ных во вре мя опро са о са мом про цес се сбо ра ин фор ма ции, та ких как по ве де ние рес пон - ден тов, ха рак те рис ти ки усло вий их про жи ва ния, ре ак ции на воп ро сы, вре мя от ве та и др. При во дят ся при ме ры ис поль зо ва ния па ра дан ных в со ци о ло ги чес - ких ис сле до ва ни ях. Клю че вые сло ва: па ра дан ные, ме та дан ные, не от ве ты В те че ние по след не го де ся ти ле тия все боль ше опро сов про во дят с ис - поль зо ва ни ем ком пью тер ной тех ни ки, при чем не толь ко для ана ли за ре - зуль та тов опро сов, но и для сбо ра ин фор ма ции, то есть по лу ча ют рас прос - тра не ние ком пью тер но опос ре до ван ные ме то ды сбо ра и ана ли за ин фор ма - ции. В ито ге воз ни ка ет воз мож ность фик си ро вать, на кап ли вать и ана ли зи - ро вать не толь ко сами от ве ты рес пон ден та, но и дру гие дан ные и ре зуль та ты тех или иных про цес сов, со про вож да ю щих со бствен но опрос, в час тнос ти све де ния о вре ме ни на раз мыш ле ния над от ве том, эмо ци о наль ной окрас ке, внеш нем виде рес пон ден та, при чи ну от ка за от ан ке ти ро ва ния и т.п. Всле дствие это го по яв ля ют ся но вые воз мож нос ти для ис поль зо ва ния ме та дан ных, то есть дан ных о дан ных ис сле до ва ния — от фор му ли ров ки воп ро сов и аль тер на тив, вре ме ни, мес та про ве де ния опро са до ин фор ма ции об удоб ном вре ме ни для ин тер вью и ро ва ния, от зы вах со се дей о рес пон ден те и пр. Итак, важ ность ис поль зо ва ния ме та дан ных оче вид на. К со жа ле нию, в Укра и не по до бную ин фор ма цию пока ред ко ис поль зу ют в со ци аль ных ис - сле до ва ни ях. 198 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 Сфор му ли рую в об щих чер тах, для чего мо гут по на до бить ся ме та дан - ные. В со ци аль ных на уках та кие дан ные при ме ня ют ся по не сколь ким при - чи нам [Gregory, 2009: р. 7]: — для уве рен нос ти в том, что ин фор ма ция в дос та точ ном об ъ е ме до - ступна для по льзо ва те лей, для пра виль но го по ни ма ния и ис поль зо - ва ния дан ных. Без под роб ной до ку мен та ции и опи са ния ис сле до ва - тель не смо жет адек ват но ин тер пре ти ро вать и по нять суть дан ных; — для об лег че ния по ис ка и дос ту па к дан ным по по тре би те льским при - зна кам: клю че вым сло вам, теме и цели ис сле до ва ния, опи са нию вы - бор ки и ге не раль ной со во куп нос ти и др. Даже са мые луч шие дан ные в мире ока жут ся бес по лез ны ми, если о них ни кто не зна ет и не ис поль - зу ет их; — для под дер жа ния дли тель но го хра не ния дан ных с уве рен нос тью в том, что важ ная ин фор ма ция оста ет ся при них для даль ней ше го ис - поль зо ва ния или для пе ре ко ди ро ва ния в дру гие фор ма ты; — для об ес пе че ния и под дер жа ния об ме на ин фор ма ци ей меж ду ин ди - ви да ми или ин сти ту та ми. Чем бо лее де таль ной и по лной яв ля ет ся со про во ди тель ная до ку мен та - ция об ис сле до ва нии, его ме то до ло гии, ме то дах, ге не раль ной со во куп нос ти, вы бор ке, тем удоб нее ис поль зо вать его ре зуль та ты ис сле до ва те лям. Одной из раз но вид нос тей ме та дан ных яв ля ют ся па ра дан ные — ин фор - ма ция о са мом про цес се опро са. Цель дан ной статьи — оха рак те ри зо вать кон цепт па ра дан ных как осо бо - го вида ме та дан ных и при вес ти при ме ры их ис поль зо ва ния в со ци о ло ги чес - ких ис сле до ва ни ях на осно ве ана ли за меж ду на род но го опы та. Со ци аль ные ис сле до ва ния во мно гих стра нах име ют хо ро шо раз ви тую прак ти ку ис поль зо ва ния ме та дан ных, по сколь ку сами дан ные ис сле до ва - ния — это от ве ты рес пон ден тов, со би ра е мые, об ра ба ты ва е мые, ана ли зи ру е - мые и ис поль зу е мые в ходе ис сле до ва ния, а ме та дан ные — это вся до ку мен - та ция о дан ных. Сов ре мен ные не мец кие ис сле до ва те ли А.Гре го ри и его со - ав то ры [Gregory, 2009: р. 2] вво дят сле ду ю щую ти по ло гию ме та дан ных: Струк тур ные ме та дан ные опи сы ва ют струк ту ру дан ных: име на пе ре - мен ных; ка кие зна че ния пе ре мен ных по яв ля ют ся в ка ких ко лон ках; ка кая стро ка пред став ля ет ка кой слу чай; име ют ся ли ие рар хи чес кие свя зи и т.п. Эту ин фор ма цию дол жен со дер жать пас порт ан ке ты (ста тис ти чес кий па кет ОСА) или вкла дыш “Пе ре мен ные” (ста тис ти чес кий па кет SPSS). Опи са тель ные ме та дан ные пред став ля ют со бой ин фор ма цию о ме то до - ло гии, вы бор ке, ка чес тве из ме ре ния. Та кая ин фор ма ция дол жна быть в про - грам ме ис сле до ва ния. Административные ме та дан ные — это ин фор ма ция, со зда ю ща я ся са - мим про цес сом управ ле ния дан ны ми в ходе их сбо ра, об ра бот ки, пуб ли ка - ции и т.д. К та ким дан ным от но сят ся дан ные о пра вах дос ту па к ре зуль та там, юри ди чес кие до ку мен ты ис сле до ва ния, ин фор ма ция о фор ма те фай ла хра - не ния дан ных и мес те его рас по ло же ния и др. По ве ден чес кие ме та дан ные (ко то рые на зы ва ют ся па ра дан ны ми) яв ля - ют ся ин фор ма ци ей о ре ак ции и по ве де нии ис сле до ва те лей при ис поль зо ва - нии дан ных ис сле до ва ния, а так же по ве де нии ин тер вью е ров и рес пон ден тов в ходе опро са. К па ра дан ным от но сят ся оцен ки ин тер вью е ром внеш не го вида рес пон ден та, ре ак ция рес пон ден та на воп рос, со сто я ние до мо хо зя й - ства, впе чат ле ния со се дей, при чи ны от ка зов и т.п. Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 199 Исполь зо ва ние па ра дан ных в со ци о ло ги чес ких ис сле до ва ни ях В даль ней шем мы де таль нее оста но вим ся толь ко на чет вер том типе, ко - то рый на зы ва ет ся па ра дан ны ми, чему и по свя ще на статья. Тер мин “paradata (па ра дан ные)” впер вые при ме нил Мик Ку пер, аме ри - кан ский со ци о лог в 1998 году в Дал ла се на се мина ре JSMASA (Joint Sta tis - tical Meetings of the American Statistical Association) при об суж де нии док ла - да [Couper, 1998] “Изме ре ние ка чес тва опрос ни ка в сре де ком пью тер но опос ре до ван но го сбо ра дан ных” и на 53-й кон фе рен ции AAPOR (American Association for Public Opinion Research) [Hansen, 1998]. Вне сен ное Ку пе ром пред ло же ние об ис поль зо ва нии дан ных о про цес се опро са, ав то ма ти чес ки сге не ри ро ван ных ком пью те ром во вре мя CAPI (Computer Assisted Personal Interviewing), по зже было рас ши ре но для дру гих ас пек тов са мо го вы бо роч - но го про цес са и про чих ме то дов сбо ра дан ных — CATI (Computer Assisted Telephone Interviewing) и PAPI (Paper Assisted Personal Interviewing). Исполь зо ва ние дан ных о про цес се сбо ра ин фор ма ции по зво ля ет улуч - шить ка чес тво ре зуль та тов и умень шить по греш нос ти ис сле до ва ния, про - анализировать при чи ны не от ве тов, оце нить их вли я ние на ре зуль та ты и опре де лить опти маль ные ха рак те рис ти ки для даль ней ших ис сле до ва ний, та ких как вре мя про ве де ния ис сле до ва ния, от бор рес пон ден тов и т.п. [O’Rei lly, 2009; Kreuter, 2010(a); (b)], что от ме ча лось на не ко то рых меж ду - на род ных кон фе рен ци ях (International Workshop on Household Survey Non - response, European Survey Research Association (ESRA), American Associa - tion for Public Opinion Research (AAPOR) и др.). Стан дар тно го од но знач но го опре де ле ния по ня тия “па ра дан ные” пока не су щес тву ет. Сна ча ла па ра дан ные опре де ля лись как дан ные, автома - тически за пи сан ные ком пью те ром в ходе про ве де ния ин тер вью [Hansen, 1998], но со вре ме нем зна че ние это го тер ми на было рас ши ре но и ста ло охва - ты вать дан ные, за пи сан ные ин тер вью е ром в про цес се про ве де ния опро са либо по лу чен ные из дру гих ис точ ни ков, на при мер ау ди о за пись телефон - ного ин тер вью [Couper, 1998]. В таб ли це 1 при ве де ны раз но вид нос ти про ис хож де ния па ра дан ных в за - ви си мос ти от типа опро са. Таб ли ца 1 Источ ни ки по лу че ния па ра дан ных Тип ис сле до ва ния Мес то на хож де ние па ра дан ных Раз но вид ность за пи си CAPI Сер вер, пер со наль ный ком пью тер Автоматически ком пью те ром CATI Сер вер Автоматически ком пью те ром, час тич но ин тер вью е ром PAPI Кон так тный лист Интер вью е ром Важ но не столь ко дать чет кую ин тер пре та цию по ня тия “па ра дан ные”, сколь ко по нять сам кон цепт по лу чен ных во вре мя опро са дан ных о его ходе. Одним из ти пов дан ных, ко то рые счи та ют ся па ра дан ны ми, яв ля ют ся за - пи си звон ков, со бран ные в про цес се опро са вы бор ки пу тем те ле фон но го ин - тер вью. Вре мя звон ка, дата, как и ре зуль тат звон ка (от каз, ин тер вью, не под - ни ма ют труб ку, не де йстви тель ное, не за кон чен ное и др.), яв ля ют ся дос туп - ны ми дан ны ми, ав то ма ти чес ки за пи сан ны ми сис те мой CATI при по пыт ке про вес ти ин тер вью. По этим дан ным мож но, на при мер, скор рек ти ро вать 200 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 Ни ко лай Си до ров вре мя про ве де ния ин тер вью с целью умень ше ния ко ли чес тва от ка зов или си ту а ций от су тствия або нен та [Laflamme, 2008]. В США, к при ме ру, про во - дят ис сле до ва ние (US National Survey of Family Growth), где па ра дан ные ис поль зу ют ся для ежед нев ной цен тра ли зо ван ной кор рек ции схе мы опро са по те ле фо ну [Lepkowski, 2009]. Одна ко в боль ши нстве ис сле до ва ний па ра - дан ные ана ли зи ру ют ся по сле сбора информации. Вто рой на бор дан ных, от но ся щих ся к па ра дан ным, так же со би ра ют на на чаль ной фазе уста нов ле ния кон так та и при вле че ния к опро су ти пич ных рес пон ден тов. Отли чие рас смот рен ных выше па ра дан ных за клю ча ет ся в том, что здесь сам ин тер вью ер со би ра ет эти дан ные, ко то рые дол жны охва - ты вать все слу чаи — как те, ког да рес пон дент со гла ша ет ся учас тво вать в ин - тер вью, так и слу чаи от ка за. Интер вью е ры дол жны фик си ро вать на блю де - ния об окру же нии рес пон ден тов, жи лищ ных ха рак те рис ти ках, ука зы вать при чи ны от ка за учас тво вать в ис сле до ва ни ях. Для по вы ше ния доли от ве тов раз ра бо та ны с уче том этих осо бен нос тей це лые схе мы и сис те мы ре ко мен - да ций ин тер вью е рам, на при мер PEDAKSI (Pre-Emptive Doorstep Admi - nistra tion of Key Survey Items) [Lynn, 2003], IAS (Interviewer Attitudes Sur - vey) [Campanelli, 1997] и др. При ме ром сбо ра па ра дан ных мо жет по слу жить ис сле до ва ние National Survey of Family Growth, ко то рое про во дит ся в США. Это мно го ра зо вое ис - сле до ва ние до мо хо зяйств, в ко то рых для опро са от би ра ют рес пон ден та в воз рас те от 15 до 44 лет, с ко то рым про во дят ин тер вью в те че ние 60–80 ми - нут с ис поль зо ва ни ем ком пью те ра. Иссле до ва ние сфо ку си ро ва но на ас пек - тах рож да е мос ти и сек су аль но го опы та. Интер вью е рам при хо ди лось на - блю дать за до мо хо зя йства ми и оце ни вать на ли чие сек су аль но го пар тне ра про ти во по лож но го пола у рес пон ден та, на ли чие де тей в до мо хо зя йстве. Вмес те с тем в ан ке те так же фи гу ри ро ва ли воп ро сы на дру гие темы. Та ким об ра зом, па ра дан ные ис поль зо ва лись для взве ши ва ния ре зуль та тов опро са [Groves, 2007]. В Евро пей ском со ци аль ном ис сле до ва нии (ESS) во всех вол нах ис поль - зу ет ся кон так тная фор ма, пред по ла га ю щая за пол не ние ин тер вью е ром [Со - ци аль ное ис сле до ва ние ESS (а), 2008] и при зван ная об ес пе чить дос та точ но по лную кар ти ну ка са тель но са мо го рес пон ден та, его мес то жи т ельства, го - тов нос ти при нять учас тие в опро се и др. Эти дан ные от но сят ся к па ра дан - ным и ис поль зу ют ся как для кор рек ти ров ки са мо го про цес са сбо ра ин фор - ма ции, так и для кор рек ции вли я ния не от ве тов. В до ку мен те “Response- based Quality Assessment” [Со ци аль ное ис сле до ва ние (b), 2009] опи са на роль па ра дан ных, по лу чен ных из кон так тных лис тов ин тер вью е ров. Сна ча - ла со би ра ют све де ния обо всех ти пич ных еди ни цах, вклю чая тех, кто от ве - тил на ан ке ту, и тех, кто от ка зал ся от ан ке ти ро ва ния (та кая кон так тная фор - ма [Со ци аль ное ис сле до ва ние ESS (а), 2008] так же вклю ча ет ин фор ма цию о ви зу аль ных на блю де ни ях ин тер вью е ра, его оцен ку сре ды пре бы ва ния). Это по зво ля ет опи сы вать лю дей, от ка зы ва ю щих ся от опро са, и тех, кто го тов его про й ти. В слу чае от ка за ин тер вью ер дол жен оце нить го тов ность рес пон ден - та учас тво вать (либо сно ва от ка зать ся) в сле ду ю щих или по втор ных опро - сах. Имен но ин фор ма ция о “не от ве те” и дает воз мож ность в даль ней шем кор рек тир во ать мо дель вы бор ки. Пос ле это го обо всех рес пон ден тах со би - ра ют ся оцен ки их жи ли ща (до мо хо зя йства) в пла не усло вий про жи ва ния. Кро ме того, эти дан ные со би ра ют ся в те че ние все го ис сле до ва ния, по э то му Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 201 Исполь зо ва ние па ра дан ных в со ци о ло ги чес ких ис сле до ва ни ях мож но про сле дить так же опре де лен ную ди на ми ку. Кон так тные фор мы по - стоянно мо ди фи ци ру ют ся и улуч ша ют ся ради боль ше го удобства ис поль - зо ва ния их интервьюером. Эти при ме ры ил люс три ру ют воз мож ность как те ку щих кор рек ти ро вок про грам мы ис сле до ва ния для умень ше ния не от ве тов, так и мо ди фи ка ции про грам мы по сле ду ю щих ис сле до ва ний. Усло вия по яв ле ния не от ве тов мож но от сле дить как по рес пон ден там, со гла сив шим ся учас тво вать в ис сле - до ва нии, так и по тем, кто от ка зал ся, по сколь ку па ра дан ные фик си ру ют ся и для тех, и для дру гих. По ним мож но мо де ли ро вать про цесс опро са та ким об ра зом, что бы умень шить по яв ле ние не от ве тов. В ав то ма ти зи ро ван ных опро сах есть воз мож ность за пи сы вать весь раз - го вор, вклю чая ин то на цию, ми ми ку, эмо ции, а не толь ко фик си ро вать кон - так тную фор му. Эти дан ные от не сем к треть е му типу па ра дан ных. Иссле до - ва ния под твер жда ют, что ре ак ция рес пон ден та на при гла ше ние при нять учас тие в опро се сви де т ельству ет о его уров не по тен ци аль но го со гла сия на ин тер вью; кро ме того фик си ру ет ся, как го ло со вые ха рак те рис ти ки ин тер - вью е ра вли я ют на со гла сие на опрос [Groves, 2007]. Аудиозапись (или ви - део запись) и по лу чен ные та ким об ра зом па ра дан ные пред став ля ют ин те рес не толь ко на эта пе рек ру ти ро ва ния рес пон ден тов для про ве де ния опро са, но и для оцен ки по греш нос ти из ме ре ний для каж до го из воп ро сов, ведь эмо ци - о наль ное со сто я ние вли я ет на взве шен ность рес пон ден та. Даже ком мен та - рии рес пон ден та к воп ро сам мо гут по вли ять на вы бор его от ве тов — в ка кой мере его вол ну ет про бле ма и на сколь ко эмо ци о наль но он от но сит ся к ва ри - ан там от ве та и са мо му воп ро су. Та ким об ра зом, из ау ди о за пи си мож но по - лу чить сле ду ю щие па ра дан ные: из ме не ние ин то на ции рес пон ден та при про слу ши ва нии аль тер на тив, из ме не ния ва ри ан тов сво их от ве тов на во - прос, ком мен та рии к воп ро сам и аль тер на ти вам, вре мя на раз мыш ле ние, уточ не ние воп ро са; из ви де о за пи си — еще ми ми ка, скон цен три ро ван ность или рас се ян ность, дви же ние глаз, жес ты и т.п. На пер вый взгляд эти до пол - ни тель ные дан ные не су щес твен ны, одна ко в де йстви тель нос ти они со дер - жат мно жес тво об ъ ек тив ных ха рак те рис тик (то есть спе ци аль но не кон тро - ли ру е мых ни рес пон ден том, ни ин тер вью е ром), о чем сви де т ельству ют не - ко то рые ис сле до ва ния (на при мер, [Conrad, 2010]). К при ме ру, по дви же - нию глаз мож но оце нить прав ди вость от ве тов рес пон ден та, по ми ми ке — уро вень воз бу ди мос ти, влияющий на эмоциональность ответов. Осо бо сле ду ет ска зать о сбо ре па ра дан ных при про ве де нии опро сов в сре - де Интер нет, где есть воз мож ность осу щес твить не толь ко ан ке ти ро ва ние, но и ау дио- и даже ви де о оп рос, об эф фек тив нос ти и воз мож нос тях по лу че ния ин фор ма ции в рам ках ко то рых уже го во ри ли мно гие ис сле до ва те ли (см. : [Fuchs, 2007]). Преж де все го ав то ма ти чес ки со би ра ет ся ин фор ма ция о под - клю че нии рес пон ден та к Интер не ту (ІР-ад рес, про вай дер, ре ги он, тип под - клю че ния) и не ко то рые па ра мет ры ком пью те ра (тип бра у зе ра, раз ре ше ние эк ра на, опе ра ци он ная сис те ма, не ко то рые до пол ни тель ные ха рак те рис ти ки ком пью те ра, сво бод но транс ли ру ю щи е ся в ходе пе ре да чи за про сов). Авто - матически фик си ру ет ся вре мя на ча ла и окон ча ния опро са, кро ме того, боль - ши нство сис тем для про ве де ния опро сов он-лайн име ют воз мож ность фик - си ро вать не толь ко вре мя, ко то рое рес пон дент по тра тил на каж дый из от ве - тов, но даже дви же ние мыш кой по ек ра ну в про цес се раз мыш ле ний для опре - де ле ния со сре до то чен нос ти на от ве те и ак тив нос ти окна с опрос ни ком. 202 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 Ни ко лай Си до ров При про ве де нии ис сле до ва ний в web (элек тро нная ан ке та, рас по ло жен - ная на web-стра ни це) па ра дан ные мож но по лу чать как из сер вер ной час ти опрос ни ка (server side), так и с кли е нтской (client side). Из сер ве ра по лу ча - ют ин фор ма цию о том, от ку да за шел рес пон дент в опрос ник (ІР-ад рес), ког - да за шел, в ко то ром часу на чал опрос, ког да его за кон чил, от ве тил на все во - просы за один раз или пре ры вал про цесс за пол не ния ан ке ты, пер со наль ный па роль дос ту па, ад рес, с ко то ро го был осу ще ствлен пе ре ход на ан ке ту, тип опе ра ци он ной сис те мы, тип бра у зе ра. По двум по след ним па ра мет рам мож - но оце нить быс тро де йствие ком пью те ра и сде лать по прав ку на ско рость за - груз ки для по прав ки оцен ки вре ме ни, по тра чен но го на от вет. Эти па ра дан - ные со хра ня ют ся на сер ве ре либо в виде таб ли цы базы дан ных, либо в виде тек сто во го фай ла с про то ко лом. Зна чи тель но бо лее ин те рес ные па ра дан - ные мож но по лу чить из кли е нтской час ти опрос ни ка. Кли е нтская часть опрос ни ка яв ля ет ся про грам мой, встро ен ной в само тело ан ке ты. Эта про - грам ма, как пра ви ло, на пи са на на Java, php или на дру гом язы ке про грам ми - ро ва ния в web и дол жна со би рать до пол ни тель ную ин фор ма цию о ходе опро са. Она мо жет ра бо тать толь ко тог да, ког да это раз ре ше но ком пью те - ром кли ен та и не яв ля ет ся ви ру сом, шпи он ской сис те мой или лю бым дру - гим не же ла тель ным ком по нен том. С по мощью кли е нтской час ти опрос ни ка мож но по лу чать ин фор ма цию о: вре ме ни, по тра чен ном рес пон ден том на от - ве ты на каж дый воп рос, о том, из ме нял ли от ве ты рес пон дент в ходе опро са, его на ви га ции по воп ро сам опрос ни ка, если это раз ре ше но са мим опрос ни - ком, а так же оце нить эти па ра мет ры в от но ше нии раз ных ти пов воп ро сов и раз но вид нос тей под а чи аль тер на тив (кноп ки, га лоч ки, вы па да ю щие меню аль тер на тив, таб лич ные воп ро сы с ран жи ро ван ны ми со вмес ти мы ми аль - тер на ти ва ми и т.п.). Нап ри мер, ока за лось, что вы па да ю щие меню аль тер на - тив (drop-down boxes) ме нее удоб ны для рес пон ден тов, чем кноп ки radio but ton (на бор аль тер на тив, из ко то ро го мож но вы брать толь ко один ва ри ант от ве та, при чем все аль тер на ти вы за пи са ны в стро ку или в стол бик) [Sowan, 2010]. При ме не ние этих client side па ра дан ных име ет весь ма ши ро кий спектр. Бель гий ский со ци о лог Д.Хе ер вег в [Heerwegh, 2004] при во дит че ты ре при - ме ра эф фек тив но го ис поль зо ва ния па ра дан ных, по лу чен ных из кли е нтской час ти web-опрос ни ка: ка либ ров ка ин ди ка то ра уров ня за пол нен нос ти ан ке ты как од но го из фак то ров, ме ша ю щих ис чер пы ва ю ще му за пол не нию ан кет рес - пон ден та ми; оцен ка эф фек та ис поль зо ва ния воп ро сов в раз ных фор ма тах для по вы ше ния удо бства фик са ции от ве тов для рес пон ден та; тест эф фек тив - нос ти раз лич ных фор му ли ро вок воп ро сов с целью вы яв ле ния на и бо лее од - но знач ной и не пред взя той фор му ли ров ки как са мо го воп ро са, так и аль тер - на тив; оцен ка ком пе тен тнос ти и уров ня от но ше ния к про бле ме пу тем оцен ки вре ме ни от ве та и из ме не ния от ве тов (тра ек то рии от ве тов). Оче вид но, что этот пе ре чень при ме ров да ле ко не по лный, одна ко он дает на прав ле ние для из уче ния воз мож нос тей ис поль зо ва ния па ра дан ных в со - ци о ло ги чес ких ис сле до ва ни ях. Итак, мы мо жем сфор му ли ро вать не сколь ко глав ных при чин при ме не - ния па ра дан ных: — те ку щий ана лиз про це ду ры сбо ра дан ных и ее кор рек ция, спо со бст - ву ю щая эко но мии средств; — ис поль зо ва ние па ра дан ных для ре мон та вы бор ки по сле сбо ра ин фор - ма ции, что по вы ша ет ка чес тво ре зуль та тов ис сле до ва ния. Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 203 Исполь зо ва ние па ра дан ных в со ци о ло ги чес ких ис сле до ва ни ях Каж дая со ци о ло ги чес кая ком па ния пы та ет ся по вы сить ка чес тво со - бран ной со ци о ло ги чес кой ин фор ма ции с ми ни маль ны ми фи нан со вы ми за - тра та ми. Вли я тель ным фак то ром умень ше ния реп ре зен та тив нос ти вы бор - ки яв ля ет ся уро вень не от ве тов как в ан ке ти ро ва нии, так и в те ле фон ном ин - тер вью. На ци о наль ная ка над ская ста тис ти чес кая ком па ния Statistics Ca - nada [Statistics Canada, s. a.] вы сту па ет одним из ини ци а то ров по ис ка раз - лич ных до пол ни тель ных воз мож нос тей для улуч ше ния ка чес тва ре зуль та - тов ис сле до ва ния без уве ли че ния его сто и мос ти. Одним из та ких пу тей яв - ля ет ся ис поль зо ва ние па ра дан ных при про ве де нии CATI [Laflamme, 2008]. В ста тис ти чес кую базу за пи сы ва ют ся все со бы тия, про ис хо дя щие в ходе опро са: дата пер во го и всех по сле ду ю щих звон ков, вре мя на ча ла звон ка, вре - мя окон ча ния звон ка, вре мя на каж дый от вет, со сто я ние кон так та (от каз без со гла сия на по втор ный опрос, от каз с пе ре но сом вре ме ни опро са и др.), от - вет на все воп ро сы в те че ние од но го се ан са или не сколь ких, мес то на хож де - ния рес пон ден та (в слу чае звон ка на мо биль ный те ле фон), эмо ци о наль ное со сто я ние рес пон ден та и т.п. По этим дан ным кор рек ти ру ет ся опти маль ное вре мя кон так та, ма не ра об ра ще ния ин тер вью е ра [Conrad, 2010] для уста - нов ле ния кон так та и т.п. Исполь зо ва ние па ра дан ных по зво ли ло со кра тить вре мя, по тра чен ное ин тер вью е ром на опрос, и ко ли чес тво не от ве тов. Еще одним при ме не ни ем па ра дан ных яв ля ет ся по пыт ка об на ру жить связь меж ду па ра дан ны ми и от ве та ми и, со от ве тствен но, осу щес твить даль - ней шее кор рек ти ру ю щее взве ши ва ние дан ных или не от ве тов [Little, 2005; Maitland, 2008]. В док ла де Кре те ра 18 фев ра ля 2011 года на “Research Agenda for the Future of Social Science Data Collection Workshop” [Kreuter, 2011] при - ве де ны кор ре ля ци он ные за ви си мос ти меж ду па ра дан ны ми и не ко то ры ми при зна ка ми в раз ных со ци аль ных ис сле до ва ни ях. В [Kreuter, 2010(а)] и [Maitland, 2008] так же об на ру же ны за ви си мос ти меж ду уров нем от ка зов и ха рак те рис ти ка ми рес пон ден тов. Нап ри мер, в [Maitland, 2008] из ло же ны ре - зуль та ты ис сле до ва ния, ко то рое про во ди лось в США в 2006 году; об ъ ем вы - бор ки со став лял 44264 семьи, из ко то рых были ото бра ны 31142 (те, в ко то рых был уста нов лен кон такт хотя бы с одним из чле нов семьи). Рас смат ри ва лись три типа пе ре мен ных: па ра дан ные (z), учас тие в опро се (p) и пе ре мен ные ин - те ре са (y). К па ра дан ным от нес ли три типа пе ре мен ных, ко то рые ги по те ти - чес ки мог ли бы по вли ять на кор рек цию не от ве тов: одна груп па пе ре мен ных опи сы ва ет уси лия по уста нов ле нию кон так та с чле ном семьи (на ли чие по мех для дос ту па в по ме ще ние, от су тствие чле нов семьи дома и пр.); вто рая груп па из ме ря ет уро вень со труд ни чес тва в до мо хо зя йстве (рес пон дент за яв ля ет, что ему не ин те рес но это ис сле до ва ние, он бо лен, устал и др.); к треть ей груп пе от - но сит ся от каз от ин тер вью и ро ва ния в те че ние са мо го опро са, рес пон дент пре ры ва ет ин тер вью, ссы ла ясь на здо ровье или на дру гие при чи ны). Сна ча ла ана ли зи ро ва лись кор ре ля ции меж ду пе ре мен ны ми групп z, p и y, и z–p кор ре ля ции ока за лись в пред е лах 0,02–0,41 со сред ним зна че ни ем 0,14. На и бо лее силь ным про гно зом не сог ла сия от ве чать на воп ро сы ан ке ты была пе ре мен ная па ра дан ных, ко то рая по ка зы ва ла от су тствие за ин те ре со - ван нос ти и за ня тость рес пон ден та. В то же вре мя кор ре ля ция меж ду уров - нем кон так тнос ти и со гла си ем на ан ке ти ро ва ние ко ле ба лась меж ду 0 и 0,17 со сред ним 0,07, а на и бо лее силь ным ин ди ка то ром был факт, ког да в до мо - хо зя йстве не от ве ча ли на зво нок (ни ко го не было дома или изо бра жа ли от - су тствие жиль цов). Са мым вы со ким ко эф фи ци ен том кор ре ля ции меж ду пе ре мен ны ми z и y был 0,1 со сред ним зна че ни ем 0,05. 204 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 Ни ко лай Си до ров За тем был при ме нен фак тор ный ана лиз для пе ре мен ных, ко то рые от ра - жа ли со труд ни чес тво и кон так тность. В таб ли це 2 при ве де ны ре зуль та ты свя зи меж ду фак то ра ми, с од ной сто ро ны, и учас ти ем в опро се и пе ре мен ны - ми за ин те ре со ван нос ти (ин те ре са) — с дру гой). Таб ли ца 2 Кор ре ля ци он ная таб ли ца На бо ры пе ре мен ных Связь меж ду факторами и учас тием в опро се Связь меж ду фак то ра ми и пе ре - мен ны ми за ин те ре со ван нос ти ди а па зон сред нее Пе ре мен ные со труд ни чес тва Фак тор 1: Со дер жа ние опрос ни - ка/при ват ность 0,28 0,01–0,06 0,03 Фак тор 2: Отсу тствие вре ме ни 0,24 0,01–0,08 0,04 Фак тор 3: Враж деб ность на про - сьбу про й ти ан ке ти ро ва ние 0,47 0,00–0,05 0,02 Фак тор 4: Проб ле ма дос ту па в по ме ще ние (кон сьерж, сто рож) 0,07 0,00–0,04 0,01 Пе ре мен ные кон так тнос ти Фак тор 1: Проб ле мы уста нов ле - ния кон так та 0,18 0,00–0,10 0,05 Фак тор 2: Мес то про жи ва - ния/про бле ма от бо ра 0,02 0,00–0,04 0,02 Фак тор 3: Проб ле мы пре пя тст - вий (во ро та, за бор) 0,11 0,00–0,06 0,03 Пу тем ло гис ти чес кой рег рес сии с пе ре мен ной “ста тус учас тия в опро се” как за ви си мой пе ре мен ной и все ми ин ди ви ду аль ны ми пе ре мен ны ми па ра - дан ных как не за ви си мы ми пе ре мен ны ми была по лу че на оцен ка склон нос ти к учас тию в опро се для каж до го рес пон ден та. Итак, мож но ска зать, что ис поль зо ва ние па ра дан ных спо соб но су щес - твен но улуч шить ка чес тво ре зуль та тов со ци аль ных (мар ке тин го вых) ис - сле до ва ний без уве ли че ния сто и мос ти са мо го ис сле до ва ния и сде лать воз - мож ным бо лее точ ное мо де ли ро ва ние вы бо роч ной со во куп нос ти. Осо бен но это ка са ет ся сис тем CAPI и CATI, хотя, как, на при мер, в слу чае ESS, ис поль - зо ва ние PAPI с кон так тны ми фор ма ми так же де ла ет воз мож ным сбор па ра - дан ных. Исполь зо ва ние па ра дан ных при про ве де нии web-опро сов по ка зы - ва ет вы со кую эф фек тив ность для ана ли за как диз ай на ан ке ты, так и по вы - ше ния про цен та ответов. Та ким об ра зом па ра дан ные мо гут быть ис поль зо ва ны: — в ходе пи ло таж но го ис сле до ва ния для мо де ли ро ва ния вы бо роч ной со во куп нос ти и кор рек ции про грам мы ис сле до ва ния; — при про ве де нии ис сле до ва ния для про грам ми ро ва ния даль ней ших ис сле до ва ний; — при про ве де нии ис сле до ва ния (бла го да ря ана ли зу не от ве тов) для кор рек ции ре зуль та тов ис сле до ва ния; — в про цес се ана ли за дан ных для пе ре взве ши ва ния от ве тов. Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 205 Исполь зо ва ние па ра дан ных в со ци о ло ги чес ких ис сле до ва ни ях Воз ни ка ет ло гич ный воп рос: в ка ком фор ма те со хра нять па ра дан ные (и дру гие ме та дан ные) так, что бы он был, с од ной сто ро ны, уни вер саль ным, а с дру гой — по нят ным ис сле до ва те лям? Су щес тву ет мно жес тво стан дар тов для хра не ния ме та дан ных для раз ных от рас лей на уки и тех ни ки [Опре де ле - ние “ме та дан ные”, s.a.]. В со ци аль ных на уках ис поль зу ют ся глав ным об ра - зом не сколь ко стан дар тных мо де лей ме та дан ных: Data Documentation Ini - tia tive (DDI) [Data Documentation Initiative, s.a.], ISO-TS 17369 Statistical Data and Metadata Exchange3 (SDMX) [Statistical Data and Metadata, s.a.], Dublin Core Metadata Initiative (DCMI) [The Dublin Core Metadata, s.a.], ISO/IEC 11179 [Metadata Standarts, s.a.] и Neuchâtel models for variables and classifications [Neuchâtel Model, s.a.]. Не буду срав ни вать сей час эти мо де ли, под чер кну лишь, что все они при зва ны как мож но луч ше со от ве тство вать хра не нию ме та дан ных. К со жа ле нию, оста ют ся не раз ре шен ны ми эти чес кие воп ро сы ис поль зо - ва ния па ра дан ных, ведь в них со дер жит ся дос та точ но суб ъ ек тив ная и час т - ная ин фор ма ция, ко то рая не мо жет быть дос туп ной для всех. Сле до ва тель - но, нуж но фи льтро вать об ъ ем и тип па ра дан ных для об ще го дос ту па так, что бы не на вре дить рес пон ден там и не на ру шить их прав, то есть пу тем уда - ле ния пер со наль ных иден ти фи ка ци он ных данных. Ра зу ме ет ся, па ра дан ные не яв ля ют ся уни вер саль ным ме ха низ мом для сни же ния сто и мос ти ис сле до ва ния и по вы ше ния его ка чес тва. Это лишь еще одна из воз мож нос тей умень шить вли я ние не от ве тов на ре зуль та ты ис - сле до ва ния, по лу чить до пол ни тель ную ин фор ма цию для взве ши ва ния са - мих от ве тов, оце нить мо дель вы бор ки и пути ее ре а ли за ции. Да ле ко не всег - да в ис сле до ва ни ях та кие дан ные вы де ля ют в от дель ную ка те го рию и на зы - ва ют “па ра дан ны ми”, но тен ден ция к ис поль зо ва нию до пол ни тель ной ин - фор ма ции для улуч ше ния ре зуль та тов сохраняется. Источ ни ки Опре де ле ние “ме та дан ные” в Ви ки пе дии [Элек трон ный ре сурс]. — Ре жим дос ту па: http://ru.wikipedia.org/wiki/Ме та дан ные. Соціаль не досліджен ня ESS, кон так тна фор ма 4 ра ун ду 2008 рік [Елек трон ний ресурс]. — Ре жим дос ту пу : http://ess.nsd.uib.no/streamer/?module=main&year=2009& country=UA&download=%5CFieldwork+documents%5CUA%5C2009%5C04%23ESS4+- +Contact+forms%5CLanguages%5CRussian%5CESS4ContactformUA_rus.pdf. Соціаль не досліджен ня ESS, Response Based Quality Assessment [Елек трон ний ресурс]. — Ре жим дос ту пу : http://ess.nsd.uib.no/streamer/?module=main&year=2009& country=null&download=%5CSurvey+documentation%5C2009%5C09%23ESS4+-+Resp onse+Based+Quality+Assessment%5CLanguages%5CEnglish%5CResponse-based+Qualit y+Assessment+ESS4CF_e02.pdf. Campanelli P. Can you hear me knocking: An investigation into the impact of interviewers on survey response rates / P. Campanelli, P. Sturgis, S. Purdon // Technical report (Final Report for UK ESRC grant R000235776). — London : The Survey Methods Centre at SCPR (Social and Community Planning Research), 1997. Conrad F. To agree or not to agree: Effects of spoken language on survey participation decisions / [F. Conrad, J.G. Broome, J. Benki, R. Groves, F. Kreuter, D. Vannette] // 63th Annual Conference of the American Association of Public Opinion and Research (AAPOR). — Chicago (IlL), 2010. — May 16. 206 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 Ни ко лай Си до ров Couper M.P. A Measuring Survey Quality in a CASIC Environment [Electronic resource] / Couper M.P. : Invited paper presented at the Joint Statistical Meetings of the American Statistical Association // Proceedings of the Survey Research Methods Section, ASA (1998), Achieving Quality in Surveys, Dallas, August. — Р. 41–49. — Мode of access : http://www.amstat.org/sections/srms/Proceedings/y1998f.html. Data Documentation Initiative (DDI) [Electronic resource]. — Мode of access : http://www.ddialliance.org/. The Dublin Core Metadata Initiative [Electronic resource]. — Мode of access : http://dublincore.org/. Fuchs M. Video Web Survey — Results of an experimental comparison with a text-based Web survey [Electronic resource] / M. Fuchs, F. Funke // Proceedings of the Association for Survey Computing’s Fifth International Conference on the Impact of Technology on the Survey Process.– Southampton (Eng.). — 2007. — September. — Р. 63–80. — Мode of access : http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.99.960&rep=rep1&type=pdf. Gregory A. Metadata [Electronic resource] / Gregory Arofan, Heus Pascal, Ryssevik Jostein // RatSWD, working paper № 57, march 2009 P22. — Мode of access : http://www.ratswd.de/download/RatSWD_WP_2009/RatSWD_WP_57.pdf. Groves R. Use of interviewer judgments about attributes of selected respondents in post-survey adjustment for unit nonresponse: An illustration with the National Survey of Family Growth [Electronic resource] / R. Groves, J. Wagner, E. Peytcheva // Proceedings of the Section on Survey Research Methods of the American Statistical Association. — 2007. — Р. 3428–3431. — Мode of access : http://www.amstat.org/sections/srms/Proceedings/y2007/Files/JSM2007-000782.pdf. Hansen S.E. Usability Evaluation of the NHIS CAPI Instrument [Electronic resource] / S.E. Hansen, Couper M.P., Fuchs M. // Papers Presented at the 53rd Annual Conference of the American Association for Public Opinion Research. — 1998. — May 14–17, St. Lou - is, Missouri. — Р. 928–933. — Мode of access : http://www.amstat.org/sections/srms/Proceedings/papers/1998_160.pdf. Heerwegh D. Uses of client side paradata in Web surveys [Electronic resource] / D. Hee r - wegh // International Symposium in Honour of Paul Lazarsfeld. — Brussels : Belgium, 2004. — Мode of access : http://www.websm.org/uploadi/editor/Heerwegh20Uses20of20Client20 Side20Paradata20in20Web20Surveys.pdf. Kreuter F. (a) Nonresponse and Measurement Error in Employment Research: Making Use of Administrative Data [Electronic resource] / F. Kreuter, G. Müller, M. Trappmann // Public Opinion Quarterly. — 2010. — Vol. 74, № 5. — Р. 880–906. — Мode of access : http://poq.oxfordjournals.org/content/74/5/880.full.pdf. Kreuter F. (b) Paradataм [Electronic resource] / F. Kreuter, C. Casas-Cordero // RatSWD, working paper № 136, april 2010 P16. — Мode of access : http://www.ratswd.de/download/RatSWD_WP_2010/RatSWD_WP_136.pdf. Kreuter F. Using Paradata for Post Survey Adjustments: State of the Science [Electronic resource] / F. Kreuter // Panel on a Research Agenda for the Future of Social Science Data Collection Workshop. — 2011. — February 17–18. — Washington (DC). — Мode of access : http://www7.nationalacademies.org/cnstat/Kreuter%20Pres.pdf. Laflamme F. Data Collection Research using Paradata at Statistics Canada [Electronic resource] / F. Laflamme // Symposium 2008 : Data Collection : Challenges, Achievements and New Directions. — Component of Statistics Canada Catalogue. — № 11-522-X. — Мode of access : http://www.statcan.gc.ca/pub/11-522-x/2008000/article/10997-eng.pdf. Lepkowski J. Use of paradata to manage a field data collection / [J. Lepkowski, R. Groves, W. Axinn, N. Kirgis, W. Mosher] // Proceedings of the Section 6 on Survey Research Methods of the American Statistical Association. — 2009. — August 2. — Joint Statistical Meetings. Little R. Does Weighting for Nonresponse Increase the Variance of Survey Means? [Electronic resource] / R. Little, S.L. Vartivarian // Survey Methodology. — 2005. — 31. — Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 207 Исполь зо ва ние па ра дан ных в со ци о ло ги чес ких ис сле до ва ни ях Р. 161–168. — Мode of access : http://www.mathematica-mpr.com/publications/pdfs/weightingnonresponse.pdf. Lynn P. PEDAKSI : Methodology for collecting data about survey non-respondents [Electronic resource] / P. Lynn // Quality and Quantity. — 2003. — № 37 (3). — Р. 239–261. DOI: 10.1023/A:1024449208633. — Мode of access : http://www.iser.essex.ac.uk/publications/working-papers/iser/2002-05.pdf. Maitland A. An Exploration into the Use of Paradata for Nonresponse Adjustment in a Health Survey [Electronic resource] / A. Maitland, C. Casas. — Cordero, Frauke Kreuter // Pro ceedings of the Survey Research Methods Section, American Statistical Association (2008). Session 381: Paradata, Data Quality, and the National Health Interview Survey (NHIS). — Мode of access : http://www.amstat.org/sections/SRMS/proceedings/y2008/Files/301425.pdf. Metadata Standarts ISO/IEC JTC1 SC32 WG2 [Electronic resource]. — Мode of access : http://metadata-standards.org/. Neuchâtel Model — Classifications and Variables [Electronic resource]. — Мode of access : http://www1.unece.org/stat/platform/pages/viewpage.action?pageId=14319930. O’Reilly J. Paradata and Blaise: A review of recent applications and research [Electronic resource] / O’Reilly J. : Paper presented at the 12th International Blaise Users Conference (IBUC). — 2009. — Latvia. — Мode of access : http://www.blaiseusers.org/2009/papers/7d.pdf. Sowan A.K. Paradata: A New Data Source From Web-Administered Measures [Elect ro - nic resource] / Sowan A.K., Jenkins L.S. // CIN: Computers, Informatics, Nursing. — 2010. — Vol. 28. — № 6 (November/December). — P. 333–342. — Мode of access : http://www.nursingcenter.com/pdf.asp?AID=1079600. Statistics Canada [Electronic resource]. — Мode of access : http://www.statcan.gc.ca/start-debut-eng.html. Statistical Data and Metadata exchange [Electronic resource]. — Мode of access : http://sdmx.org/. 208 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2011, 4 Ни ко лай Си до ров
id nasplib_isofts_kiev_ua-123456789-90196
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn 1563-4426
language Russian
last_indexed 2025-12-07T13:12:33Z
publishDate 2011
publisher Iнститут соціології НАН України
record_format dspace
spelling Сидоров, Н.
2015-12-22T16:20:05Z
2015-12-22T16:20:05Z
2011
Использование параданных в социологических исследованиях / Н. Сидоров // Социология: теория, методы, маркетинг. — 2011. — № 4. — С. 198–208. — Бібліогр.: 27 назв. — рос.
1563-4426
https://nasplib.isofts.kiev.ua/handle/123456789/90196
303.09, 303.8
В статье рассматриваются параданные как особый тип данных, собранных во время опроса о самом процессе сбора информации, таких как поведение респондентов, характеристики условий их проживания, реакции на вопросы, время ответа и др. Приводятся примеры использования параданных в социологических исследованиях.
ru
Iнститут соціології НАН України
Социология: теория, методы, маркетинг
Использование параданных в социологических исследованиях
Article
published earlier
spellingShingle Использование параданных в социологических исследованиях
Сидоров, Н.
title Использование параданных в социологических исследованиях
title_full Использование параданных в социологических исследованиях
title_fullStr Использование параданных в социологических исследованиях
title_full_unstemmed Использование параданных в социологических исследованиях
title_short Использование параданных в социологических исследованиях
title_sort использование параданных в социологических исследованиях
url https://nasplib.isofts.kiev.ua/handle/123456789/90196
work_keys_str_mv AT sidorovn ispolʹzovanieparadannyhvsociologičeskihissledovaniâh