Пропуски как одно из препятствий к получению качественных надежных данных эмпирического исследования

Размещено на http://allbest.ru

Введение

надежность измерение пропуск

Постановка проблемы

Получение качественной эмпирической информации является основной целью любого исследователя. Ведь нет никакого смысла проводить опрос или интервью, если в результате мы получим информацию, которая значительно отличается от реальности.

Одним из препятствий к получению качественных надежных данных являются пропуски. К сожалению, не смотря на известные на данный момент способы профилактики возникновения пропусков, достижение полного участия респондента в опросе и абсолютного отсутствия уклонений от ответов практически невозможно. По мнению И. К. Зангиевой, наличие пропущенных ответов в анкете может сильно повлиять на качество исследования в целом. Пропущенные данные способствуют:

· «сокращению общего размера доступной для анализа выборки

· потери в качестве результатов из-за снижения валидности статистических выводов

· в некоторых случаях ? возникновению в данных систематической ошибки измерения

· ограничению в применении некоторых видов анализа» Зангиева И. К. Проблема пропусков в социологических данных: смысл и подходы к решению // Социология: 4М. 2011. № 33. С 29.

Как мы видим, пропуски в данных могут приводить к значительным проблемам. Источники пропусков являются разными по своему характеру и, соответственно, они вызывают разные виды пропусков. В данной работе мы хотим рассмотреть именно частично случайные пропуски, зависящие не от самого вопроса, а от некоторого другого признака. Многие ученые в СССР и за рубежом (например, Н. А. Клюшина, И. В. Федоров, Francis J. D. Busch L. и другие) проводили социологические эксперименты, с целью выявить предикторы, вызывающие желание респондента оставить вопрос без ответа. Тем не менее, все они изучали одномерное воздействие конкретных факторов на пропуски. В своем же исследовании мы хотим изучить именно многомерную частичную случайность пропусков, потому что многомерность позволит определить частично случайные пропуски, которые могут не являться таковыми при одномерном рассмотрении. Помимо этого, для любого исследователя принципиально важной является величина доли пропущенных данных - многомерное изучение частично случайных пропусков позволит найти такое сочетание факторов, при котором будет обнаруживаться наибольшая доля пропусков, по сравнению с одномерной связью. Также мы предлагаем посмотреть, не являются ли какие-то признаки (или их сочетания) факторами, меняющими характер связи «признак - не-ответ» (фактически частичную случайность пропусков). Таким образом, мы предполагаем, что изучение взаимодействия признаков позволит выявить закономерности, неочевидные при анализе исключительно одномерных связей между признаками и не-ответами на другие признаки.

Ограничения исследования

Очевидно, в рамках одного исследования невозможно изучить многомерную частичную случайность пропусков для всех тематик опросов и видов вопросов. Поэтому в данной работе мы будем рассматривать вопросы, объединенные только одной темой. Нам кажется наиболее подходящими для рассмотрения вопросы об отношении к политическим решениям, принятым в Российской Федерации, поскольку тема политики довольно активно обсуждается в средствах массовой информации и, как мы предполагаем, не должна сама по себе вызывать у участников исследования желания уклониться от ответа. При выборе вопросов мы опирались на два важных аспекта. Во-первых, для изучения частично случайных пропусков необходимо было выбрать наиболее нейтральные вопросы, чтобы сам вопрос не был фактором, обуславливающим отказ от содержательного ответа (иначе это уже не будет частично случайным пропуском). Во-вторых, мы старались избежать выбора таких вопросов, ответ/не-ответ на которые будет очевидно зависеть от определенных факторов, и это можно будет предсказать еще до проведения исследования. К примеру, нельзя было брать вопросы, касающиеся каких-то узких специальностей людей, или ответ, на которые объективно зависит от социально-демографических характеристик респондента (вопросы о рукоделии для женщин и вопросы об автомобилестроении для мужчин).

Целью данного исследования является изучение многомерной частичной случайности пропусков и факторов, ее обуславливающих, в вопросах об отношении к политическим решениям, принятым в РФ.

Для решения поставленной проблемы мы планируем решить следующие задачи:

1) Изучить различные интерпретации понятия надежности информации

2) Изучить подходы, выделяющие разные виды пропусков данных

3) Изучить и классифицировать известные на данный момент факторы, обуславливающие частично случайные пропуски в данных

4) Определить основные понятия: признак, значение признака, взаимодействие признаков

5) Изучить методы, применяемые для изучения взаимодействий

6) Проанализировать величину пропусков в данных, вызванную одномерными и многомерными связями «признак (сочетания признаков) - не-ответ» на примере вопросов об отношении к политическим решениям, принятым в РФ

7) Изучить факторы, изменяющие характер связи «признак (сочетания признаков) - не-ответ» на примере вопросов об отношении к политическим решениям, принятым в РФ

8) Предложить алгоритм анализа частичной случайности пропусков в данных формализованных опросов

В качестве теоретического объекта мы представляем частичную случайность пропусков в вопросах о политических решениях в РФ. Предметом являются факторы, обуславливающие частичную случайность пропусков в вопросах о политических решениях в РФ. Эмпирическим объектом исследования выступают жители Москвы и Московской области в возрасте от 16 до 60 лет.

В первой главе данной работы мы планируем определить различные интерпретации понятия надежности информации, подходы, выделяющие разные виды пропусков данных, а также описать известные на данный момент факторы, вызывающие частично случайные пропуски в данных.

Во второй главе мы определим главные понятия нашей работы - признак, значение признака, взаимодействие признаков, а также вкратце опишем основные методы, с помощью которых можно изучать взаимодействия.

В третьей главе мы перейдем непосредственно к эмпирической части нашего исследования - мы рассмотрим влияние данных факторов во взаимодействии, чтобы определить, какая комбинация этих переменных вызывает бульшую величину доли частично случайных пропусков в вопросах о политических решениях в РФ.

Научная новизна нашего исследования заключается в том, что подход к рассмотрению влияния именно комбинаций факторов на частичную случайность пропусков является новым. Мы планируем разработать и предложить алгоритм, позволяющий обнаруживать сочетания значения признаков, приводящих к значительным изменениям доли не-ответов.

Глава 1. Одномерная частичная случайность пропусков

1.1 Определение понятия надежности измерения

Пропущенные данные являются значительной проблемой для качества измерения в целом, ведь если пропусков слишком много, это приводит к заметному сокращению рассматриваемой выборки и, соответственно, сужению нашего фокуса исследования. То есть, в наше поле зрения из-за этого могут не попасть все возможные характеристики признака и может произойти смещение результатов.

Надежность информации является одной из важнейших характеристик качества эмпирических социологических данных. Вокруг определения этого понятия было в свое время множество споров и дискуссий. Именно поэтому данному аспекту уделено так много внимания в работах отечественных и зарубежных ученых. В западной литературе под надежностью понимают получение аналогичных результатов исследования при повторном измерении. Более детальной является классификация характеристик качества социологической информации, разработанная в русскоязычной литературе.

Известный российский социолог В. А. Ядов говорил о том, что надежность информации определяется тремя компонентами - обоснованностью измерения, устойчивостью и точностью. По его мнению, «обоснованность шкалы заключается в том, что с ее помощью измеряют вполне определенное свойство или признак, не смешивая его с другими» Ядов В. А. Социологическое исследование. М., 1972. С. 82. Устойчивость, в свою очередь, определяется автором как однозначность полученной информации, а точность зависит от дробности шкалы, чувствительности измеряемого признака и устойчивости данных. Как мы видим, предложенные В. А. Ядовым компоненты надежности взаимно пересекаются и дополняют друг друга.

Г. И. Саганенко также объясняет данный концепт в качестве комплексной характеристики - «обобщающий термин, характеризующий качество измерения исходных данных…включает представление о качестве информации и степени доверия к ней» Саганенко Г. И. Измерение уровня надежности исходной информации в социологическом исследовании. Автореф. канд. дис. М., 1974. С. 5. Однако, Галина Иосифовна трактует эти компоненты иначе, нежели В. А. Ядов. По ее мнению, «устойчивость связывается с действием случайных возмущений, а правильность отражает меру воздействия на измерение систематических погрешностей» Докторов Б. З. О надежности измерения в социологическом исследовании. Л., 1979. С. 18.

В. И. Добреньков, в свою очередь, говорит о том, что «надежная анкета должна давать схожие результаты при повторном исследовании при соблюдении всех условий первого исследования» Лекции по методике конкретных социальных исследований. Под ред. Г. М. Андреевой. М., 1972. С. 116. На наш взгляд, это определение не является успешным, потому что анкета может давать схожие результаты, однако это не гарантирует, что они будут близкими к реальности. В. И. Волович под надежной понимает информацию, «в которой относительно отсутствуют ошибки» Волович В. И. Надежность информации в социологическом исследовании: Проблемы методологии и методики. - Киев: Наук. думка, 1974. С. 42. В. И. Паниотто несколько уточнил это определение, добавив, что «надежная -- это информация в которой, во-первых, отсутствуют неучтенные ошибки, т.е. ошибки, величину которых исследователь не в состоянии оценить, во-вторых, учтенные ошибки не превышают некоторой заданной исследователем величины» Паниотто В. И. Качество социологической информации (методы оценки и процедуры обеспечения). Киев: Наук. думка, 1986. С. 26.

Итак, мы видим, что над точным определением надежности информации думали и спорили многие ученые. Пропущенные данные оказывают влияние на точность и устойчивость информации, а также препятствуют ее повторной воспроизводимости, ведь при одном замере в пропуски могут попасть одни значения признака, а при другом - иные.

1.2 Виды пропусков данных

Как мы уже упоминали ранее, пропуски оказывают негативное влияние как на количество, так и на качество социологических данных. Прежде всего, нам необходимо разобраться, какие виды пропусков бывают.

Pickery и коллеги Pickery J., Billiet J. Item Non-response as a Predictor of Unit Non-response in a Panel Survey // Journal of Official Statistics, Vol. 18, №4, 2002, pp. 545-557 говорили о том, что существует два вида «не ответа» - полный отказ от опроса и частичные пропуски вопросов. В первом случае это полный отказ от заполнения анкеты, когда респондент возвращает пустой бланк или не возвращает его вовсе. Во втором случае это частичный пропуск вопросов, то есть вопросник возвращается, но некоторые вопросы остаются без ответов. При этом эти два варианта «не ответа» могут быть спровоцированы совершенно разными факторами.

Частичные пропущенные данные, по мнению Huisman De Leeuw E. D., Joop H., Huisman М. Prevention and Treatment of Item Nonresponse // Journal of Official Statistics. Vol. 19, №2, 2003, pp. 153-176, могут возникать в трех случаях:

· Респондент пропустил вопрос (случайно или намеренно - к примеру, не знал ответ)

· Ответ, который дал респондент не может быть засчитан (он нечитабелен/ невозможный вариант ответа/ответ нельзя закодировать и т. д.)

· Ответ респондента был утерян в ходе обработки или ввода данных

Sande Sande I. Imputation in Surveys: Coping with Reality // The American Statistician. 1982. No. 36(3). P. 145 также выделяет два вида пропусков - реальные, которые были допущены непосредственно самим респондентом, и артефактные, которые были проставлены исследователем при обнаружении каких-то явных противоречий в ответах респондента (к примеру, респондент отвечает, что у него нет высшего образования, а в следующем вопросе он причисляет себя к докторам наук).

Little и Rubin Little R. J., Rubin D. B. Statistical Analysis with Missing Data. N.Y.: John Willey and Sons, 1978 в своей работе выделяли следующие типы пропусков: совершенно/полностью случайные пропуски, частично случайные пропуски и неслучайные пропуски.

· Полностью случайные пропущенные данные (missing completely at random) - это, когда респондент полностью игнорирует вопрос, то есть этот пропуск никаким образом не связан с ответами на другие вопросы или с незнанием правильного ответа на данный вопрос.

· Частично случайные пропущенные данные (missing at random) возникают, когда ответ участника исследования зависит от какого-то другого фактора (например, возраста), а не от самого вопроса.

· Вероятность неслучайных пропущенных данных зависит от смысла самого вопроса, к примеру, респондент пытается выбрать более приемлемый с точки зрения одобрения общества вариант ответа.

В нашей работе мы сфокусируем внимание именно на отказы от ответов на определенные вопросы, а не на отказах от заполнения анкеты в целом. В данном исследовании мы не будем изучать ответы, которые не могут быть засчитаны по какой-либо причине (в том числе артефактные) и которые были утеряны в ходе обработки данных. Мы хотим исследовать именно частично случайные пропуски, то есть, пропуски, которые зависят от ответов на другие вопросы, от иных факторов.

1.3 Факторы, вызывающие пропуски в данных

В рамках данной работы мы хотим изучить многомерную частичную случайность пропусков и факторов, ее обуславливающих, в вопросах об отношении к политическим решениям, принятым в РФ. Но прежде, чем переходить к рассмотрению комбинаций таких предикторов, в первую очередь, нужно изучить и классифицировать известные на данный момент факторы, вызывающие пропуски в данных.

По мнению Н. А. Клюшиной, проблема не ответивших включает три аспекта: «методический, социальный и психологический» Клюшина H. А. Причины, вызывающие отказ от ответа//Социологические исследования. 1990. № 1. С. 99 . Методический аспект касается проведения опроса, а также качества применяемой методики. Второй заключается к социальной картине в обществе, то есть, какое на данный момент у населения в целом отношение к опросам и исследованиях как таковым и к изучаемой тематике. Касается психологических особенностей респондента, которые зависят от его принадлежности к той или иной социально-демографической группе. И. К. Зангиева в своей работе предлагает несколько иную типологию причин пропусков. По ее мнению, «респондент может не ответить на вопрос как по собственной «вине» (по причине своей некомпетентности в теме исследования, скрытности, психологической неконтактности и т.д.), так и по «вине» исследователя (неграмотно составленная анкета, обилие сензитивных вопросов, неудовлетворительная работа с интервьюерами), интервьюера (некорректно проводящего опрос) или кодировщика (допустившего ошибку при вводе информации в компьютер)» Зангиева И. К. Проблема пропусков в социологических данных: смысл и подходы к решению // Социология: 4М. 2011. № 33. С 31. Так, к методологическим причинам пропусков данных автор относит ошибки исследователя и интервьюера, к психологическим - закрытость и отсутствие желания респондента идти на контакт, а к технических, соответственно, ошибки кодировщиков.

В связи с этим в данном параграфе мы сначала рассмотрим социальные и психологические причины, связанным, непосредственно, с респондентом, а затем обратимся к методологическим причинам пропусков, связанным с исследователем и интервьюером. Помимо этого, мы уделим внимание описанным в литературе способам, помогающим предотвратить большое число пропусков в опросе на «дополевом» (подготовительном) этапе.

1.3.1 Социальные и психологические факторы

Социально-демографические характеристики

Многие исследователи выделяют влияние социально-демографических характеристик респондента на его желание уклониться от ответа на вопрос анкеты. Так, И. В. Федоров Федоров И. В. Причины пропусков ответов при анкетном опросе // Социологические исследования, 1982. № 2. С 185--189 говорит о влиянии пола, возраста, образования, стажа работы респондентов. И. А. Бутенко Бутенко И. А. «Нет ответа». Анализ методической ситуации на страницах журнала «Public Opinion Quarterly»// Социологические исследования, 1986. № 4. С. 118-122 в своей работе приводит данные статьи американского ежеквартального журнала «Общественное мнение», из которых становится понятно, что от ответов уклоняются чаще люди старше 30 лет, в браке, со средним доходом. Люди пожилого возраста с доходом ниже среднего чаще всего заявляли о своей некомпетентности в определенном вопросе. Также на степень наполненности анкеты довольно сильно влияет место жительства респондента. По словам Ч. Сти - «ни что так сильно не влияет на увеличение количества пропусков в анкетах, чем урбанизация» Бутенко И. А. «Нет ответа». Анализ методической ситуации на страницах журнала «Public Opinion Quarterly»// Социологические исследования, 1986. № 4. С. 119.

Интересной точки зрения придерживается Rapoport Rapoport R. Sex Differences in Attitude Expression a Generational Explanation // Public Opinion Quarterly. 1982. Vol. 46. № 1. pp. 86-96. Он провел исследование на политическую тематику, в ходе которого выяснил, что люди без высшего образования и женщины чаще остальных уклонялись от ответа. Также в рамках данного опроса были заданы вопросы, направленные на выявление степени политической осведомленности. Интересно заметить, что между группами с различным уровнем политической осведомленности количество пропусков было почти одинаковым. Так, исследователь пришел к выводу, что существует несколько типов «некомпетентности» - объективная, когда участник исследования действительно не знает правильного ответа, и субъективная, когда респонденты пропускают вопрос даже при высоком уровне осведомленности, то есть из-за неуверенности в себе и в своих знаниях. Тут важно отметить, что чаще всего пожилые люди и женщины относились к типу субъективной некомпетентности, так как эти категории граждан оказались в меньшей степени вовлечены в политическую жизнь в силу возраста и стереотипов о том, что политика является мужской сферой. Раппопорт также выяснил, что субъективная компетентность является индикатором уровня социализации человека.

Ferber Ferber R. Item Nonresponse in a Consumer Survey // Public Opinion Quarterly. 1966. Vol. 30. № 3, pp. 399-415 в 1966 году в рамках своего исследования хотел выяснить, как часто встречается феномен частичного игнорирования вопросов, связано ли это с личными характеристиками респондента, зависит ли это от типа вопроса и его расположения в анкете. Исследование было проведено методом почтового опроса, анкета была разослана 40000 людям и касалась намерений респондентов покупок продуктов. 14600 анкет вернулись. Анкета состояла из 71 вопроса, большинство из которых были дихотомическими и с возможностью выбора нескольких вариантов ответов, открытые вопросы также были, однако их было немного. В результате более одной трети полученных анкет содержали два и более вопросов без ответа, в то же время 1 из 7 опросников содержал шесть и более вопросов без ответа. Исходя из полученных данных, автор сделал выводы о том, что игнорирование вопросов наблюдалось в большей степени у женщин, нежели у мужчин, у пожилых людей, нежели среди молодежи, в тех домохозяйствах, где главный кормилец обладал образованием не выше среднего. Наиболее значимым фактором пропусков ответов оказался возраст - почти половина полученных анкет от респондентов моложе 35 лет были заполнены полностью. Что касается различий внутри группы с идентичными социально демографическими характеристиками, можно заметить, что поведение вовремя заполнения анкеты (игнорирование или нет) зависит от сферы деятельности респондентов. Это объясняется заинтересованностью определенных участников исследования в особых тематиках опроса.

В своей статье Francis и Busch Francis J. D., Busch L. What we Now Know about «I don't Know» // Public Opinion Quarterly. 1975. Vol. 39. № 2, pp. 207-218 хотели изучить природу категории ответов NSR («Затрудняюсь ответить», «отказ от ответа», «не знаю» и т. д.). Для этого они изучали работы, посвященные президентским выборам в Америке в 1960, 1964 и 1968 годах. Все эти исследования были проведены прямо перед и непосредственно после выборов, то есть во время, когда популярность к политике наиболее высокая. В результате для анализа были взяты 57 вопросов для 1960 года, 95 вопросов для 1964 года и 121 вопрос для 1968 года. В эту «выборку» не вошли:

· вопросы, основанные на предыдущих ответах

· когда «не знаю» и «нет мнения» уже были закодированы как другие альтернативные варианты ответов

· вопросы, в которых пропуски ответов были закодированы как «не знаю» и «нет мнения»

· вопросы, на которые две трети респондентов не ответили

· вопросы, которые используются нами как независимые переменные.

Основываясь на результатах Фербера, для формирования индекса NSR выбрали следующие показатели: пол, национальность, материальный статус, образование, вид занятости (работает/студент/пенсионер), сфера деятельности, религиозные взгляды, стиль жизни, доход, индекс политической вовлеченности, индекс ощущения политической эффективности.

В 1960 самый высокий уровень индекс NSR был равен 30 (52,6% вопросов получили ответы NRS), в 1964 года - 52, в 1968 году - 80. В ходе исследования было выявлена связь между индексом NRS и демографическими характеристиками респондентов. Женщины чаще давали подобные ответы, нежели мужчины. Афроамериканцы также чаще уклонялись от содержательного ответа, по сравнению с белыми людьми. Респонденты без пары (просто свободные, разведенные, вдовы/вдовцы) также более склонны давать подобные ответы. Отсутствие значимой связи наблюдалось между индексом и сферой занятости респондента, типом его занятости, религиозной принадлежностью, продолжительностью жизни в доме, где респондент проживает на данный момент, стилем жизни, принадлежностью к политической партии и силой партийной верности. Низкая связь выявлена между индексом и количеством взрослых в домохозяйстве. Далее была проведена регрессия, в результате было выявлено, что за все 3 исследуемых года сильнее всего на индекс NSR влияет индекс вовлечения, который был посчитан на основе двух вопросов:

· важно ли вам, представитель какой партии выиграет в президентских выборах?

· обращаете ли вы внимание на предвыборные программы?

На втором месте по степени влияния на уклонение от ответов в 1964 и 1968 годах был уровень образования, а в 1960 году - пол.

Zaslavsky и Zaborski Zaslavsky A. Zaborski L. Cleary P. Factors affecting response rates to the consumer assessment of health plans study survey // Medical Care. Vol. 40. №6, pp 485-499 в результате своего исследования получили похожие результаты:

· С возрастом увеличивается доля пропусков

· Темнокожие, а также люди, проживающие в районах, заселенных темнокожими, более склонны к уклонению от ответов.

Pickery и Billiet Pickery J., Billiet J. Item Non-response as a Predictor of Unit Non-response in a Panel Survey // Journal of Official Statistics, Vol. 18, №4, 2002, pp. 545-557 выяснили, что респонденты с низким уровнем образования допускают больше пропусков в сложных вопросах - имеются в виду вопросы с громоздкими шкалами, большим количество суждений.

Sosdian и Sharp Sosdian C., Sharp, L., Non Response in Mail Surveys: Access Failure or Respondent Resistance // Public Opinion Quarterly. 1980. Vol. 44, рр. 396-402 в 1980 году социальный эксперимент и выяснили, что такие причины пропусков ответов, как нежелание респондента задуматься, раскрыть свое мнение и подробности своей личной жизни, неуверенность в важности его мнения для исследования действительно существуют, однако исследователи сильно переоценивают их значимость.

Осведомленность/компетентность

Следующим немаловажным фактором является осведомленность респондента в тематике данного опроса. В своей работе Bogart Bogart L. No opinion, don't know and maybe no answer // Public Opinion Quarterly. 1967. Vol. 31, pp 331-345 рассуждал об публичных исследованиях направленных на выявление мнения по какой-либо проблеме. По его мнению, результаты подобных исследований напрямую отражают и во многом зависят от той информации, которую нам преподносят средства массовой информации. Автор говорит о том, что СМИ создают иллюзию знания предмета, который на самом деле население знает очень выборочно и поверхностно. Bogart приводит примеры ответов респондентов из различных исследований, которые не знали, что такое НАТО и т. д. Однако это не означает, что СМИ недостаточно сильно освещало эти факты. Это свидетельствует о том, что эти люди не знали некоторые вещи просто потому, что не хотели о них думать/знать. То есть, люди выбирали вариант ответа «я не знаю», а имели в виду под этим «я не хочу об этом знать», «я не хочу быть в это вовлеченным».

В своей работе Н. А. Клюшина также сделала вывод о том, что существует взаимосвязь между степенью сформированности общественного мнения и отсутствием ответа на вопрос. Так, по ее мнению, в тех случаях, «когда мнение респондента еще не сложилось, ответ на вопрос формулировался им как последовательное обсуждение возможных вариантов ответов. Например, на вопрос об отношении к кооперативам и индивидуальной трудовой деятельности, которые в то время только начинали разворачиваться, респонденты отвечали, что, с одной стороны, идея хорошая, но с другой -- кооператоры вызывают негативное отношение» Клюшина H. А. Причины, вызывающие отказ от ответа//Социологические исследования. 1990. № 1. С. 102. И после подобных перечислений-рассуждений респонденты отмечают вариант «затрудняюсь ответить».

Также Н. А. Клюшина выявила следующую закономерность - уровень информированности наиболее тесно связан с уровнем образования: «неосведомленность респондентов с неполным средним образованием составила 94%, со средним --74% и с высшим -- 40,5%»²³. Уровень образования, по мнению автора, также является значимым предиктором отсутствия ответа. А что касается пола респондента, данная социально демографическая характеристика оказывает значительно меньшее влияние на уровень информированности. Так, в результате исследования выяснилось, что «уровень осведомленности женщин лишь на 9% ниже, чем мужчин, в то время как между группами людей с разными уровнями образования разница составляет 20--30%»²³.

В рамках своей работы Ferber Ferber R. The effect of respondent ignorance on survey results // Journal of the American Statistical Association Vol. 51, No. 276 (Dec., 1956), pp. 576-586 хотел рассмотреть феномен игнорирования некоторых вопросов в исследованиях. В результате из 647 отобранных человек - 225 не были достигнуты, 15 отказались от участия, и в итоге удалось опросить 407 респондентов. В рамках данного опроса анкета была направлена на выявление мнения/отношения участника исследования об определенном предмете (в качестве вариантов ответа предлагалось: «за», «против», «нейтрально», «не знаю», «нет ответа»), на объяснение причин такого отношения (в виде открытого вопроса) и на выявление знания респондента о данной проблеме (также в виде открытого вопроса). В своей работе Фербер выделяет три градации игнорирования: осведомленные/проинформированные (те, кто правильно ответил на все вопросы про знание), «НЕ ЗНАЮщие» и неосведомленные/неинформированные. При анализе данных «нет ответа» и «я не знаю» соединили в одну переменную. В результате оказалось, что «информированные» чаще всего были мужчинами, моложе 50 лет, с более высокими уровнями образования и работающие в более интеллектуальных сферах, с более высокими доходами. Те, кто не ответили содержательно на вопросы о знании (выбрали варианты «ЗО», «нет ответа» и т. д.), чаще всего были женщины, более старшего возраста, с низкими уровнями образования, с более низкими доходами. «Неинформированные» чаще всего были мужчинами, более молодого возраста, с более низкими доходами. Ferber отметил пересекающиеся характеристики между неинформированными и теми, кто отметил «нет ответа» и «я не знаю». Он объяснил это следующим образом - те, у кого совсем начальное образование, не знают многого, отдают себе в этом отчет и поэтому даже не пытаются содержательно отвечать; а те, у кого есть хоть какое-то образование, более склонны к выражению своих знаний, которые зачастую оказываются неверными - так называемое «горе от ума».

Converse Converse J. Predicting no Opinion in the Polls // Public Opinion Quarterly. 1977. Vol. 40. № 4., pp. 515-530 за основу своей работы взял доказанную ранее связь между уровнем образования и игнорированием вопросов в анкете и в своей работе решил проверить еще несколько гипотез, а именно - влияние сложности языка анкеты на выбор NSR, под сложностью языка вопроса подразумевалось длина формулировки самого вопроса, наличие задания подумать о будущем/спрогнозировать что-то, форма вопроса (дихотомия или сложные шкалы), сфера/область/тематика вопроса (задавались вопросы, касающиеся чего-то необычного для респондента, не о повседневности). В результате выяснилось, что влияние всех заданных факторов не является статистически значимым. Было выявлено лишь влияние уровня образования респондента на уклонение от ответа.

Также в своем исследовании Converse обнаружил, что, когда респондент сталкивается с вопросом о его точке зрения, тематика которого не близка ему, он, скорее всего, скажет «я не знаю, я никогда не думал об этом и вряд ли подумаю еще, когда вы уйдете». В то же время, по словам этого исследователя, у респондента есть привычка соглашаться или не соглашаться, потому что игнорирование вопроса является невежливым. Sicinski Sicinski A. Don't Know Answers in Cross-National Surveys // Public Opinion Quarterly. 1970. Vol. 34. № 1., pp. 126-129 в своей статье соглашается с мнением Converse, однако утверждает, что невозможно утверждать, что эта тенденция будет сохраняться при интернациональном и кросс-культурном сравнении. В данной работе он анализировал кросс-национальное исследование, которое было проведено во Франции, Норвегии и Польше в 1964 году, и касалось вопросов интернациональных отношений, мира и войны. При изучении мнений респондентов в подобных исследованиях очень важно обратить внимание на уровень осведомленности и запасе знаний. Поэтому участники исследования отвечали на несколько вопросов о знании в форме анкетного опроса. В результате выяснилось, что уровень знаний отличается между тремя странами - ниже всего он во Франции, а выше всего у норвежцев. Sicinski, анализируя данное исследования, обращает наше внимание не на правильность ответов на вопросы, а на процент неверных ответов к пропускам ответов (ответов «я не знаю»). В результате выяснилось, что норвежцы в большей степени по сравнению с французами и поляками склонны давать неправильные ответы, нежели отмечать «я не знаю». То же самое касается и вопросов «на мнение» - гораздо меньший процент норвежцев уклонялись от ответа на такие вопросы анкеты. То есть мы можем говорить о том, что стиль респондента, который в том числе зависит от его национальной принадлежности, влияет на поведение и стратегию заполнения вопросника.

Интересно также отметить, что Kalton и Shuman Kalton G., Shuman H., The effect of the question on survey responses // Journal of the Royal Statistical Society. Series A (General), Vol. 145, No. 1 (1982), pp. 42-73 в рамках своего исследования пришли к выводу о том, что, когда респонденты не знают точного ответа на вопрос, они скорее склонны соглашаться с утверждениями, нежели отвергать их. В эксперименте было задано два противоположных утверждения, в результате, оказалось, что с первым утверждением согласились 59,6%, а со вторым не согласились лишь 43,2%.

Сензитивность вопроса

Также стоит обратить внимание на такой немаловажный предиктор, как сензитивность. По словам Pickery и Billiet Pickery J., Billiet J. Item Non-response as a Predictor of Unit Non-response in a Panel Survey // Journal of Official Statistics, Vol. 18, №4, 2002, pp. 545-557, наиболее частыми видами «не-ответа» являются варианты «я не знаю», «нет мнения». Принято считать, что к таким вариантам респондента подталкивает отсутствие мотивации дать ответ и его незаинтересованность в определенной тематике. Тем не менее, причиной пропусков может быть сложность, а также сензитивность вопроса и его пугающий эффект. Авторы отмечают, что эмпирически было доказано, что поведение и реакция респондента в самом начале разговора с интервьюером во многом описывает его дальнейшую стратегию при заполнении анкеты Couper M. Survey introduction and data quality // Public Opinion Querterly. Vol. 61. 1997., pp. 317-338. Участники исследования при столкновении с сензитивным вопросом скорее дадут ответ при наличии вариантов, нежели на открытый вопрос. Пропуски ответа являются не только лишь отражением «большой занятости» и «незаинтересованности» респондентов, но и «излишней сензитивности» и «угрожающего эффекта вопроса».

Также Kalton и Schuman Kalton G., Shuman H., The effect of the question on survey responses // Journal of the Royal Statistical Society. Series A (General), Vol. 145, No. 1. 1982., pp. 42-73 отмечают тенденцию в сензитивных вопросах, когда участники исследования не знают точный ответ или не хотят называть его, они скорее выберут социально одобряемую альтернативу.

Доход как вид сензитивных вопросов

Интересно отметить, что такой, казалось бы, простой вопрос о среднем доходе респондента может вызвать у него дискомфорт и желание проигнорировать вопрос. Souza-Poza и Henneberger Sousa-Poza A., Hanneberger F. Wage Data Collected by Telephone Interviews: an Empirical Analysis of the Item Nonresponce Problem and Its Implications for the Estimation of Wage Functions // Schweizeishee Zeitschift fur Volkswirtschaft und Statistik. 2000. No. 136. S. 79-98 в своей работе делают акцент именно на исследованиях, посвященных доходам населения, с помощью телефонного опроса. Не смотря на все плюсы данного метода сбора данных, возникают и некоторые проблемы. Так, проблема пропусков данных о доходах может быть вызвана тремя причинами:

§ респондент может не знать своих доходов (особенно это касается случаев, когда человек занят на нескольких работах, и он не может посчитать все источники заработка)

§ респондент может не знать точной суммы, и он может решить, что интервьюеру требуется точная четкая информация

§ респондент может не захотеть разглашать информацию о своих доходах

В своей статье авторы показывают результаты проведенного исследования, которые было направлено на выявление причин не ответов и факторов, вызывающих такое поведение респондентов. Было две отдельных выборки: женская - 4072 (non-response rate 16%) и мужская - 4660 (13%).

В женской подвыборке количество попыток дозвониться, возраст интервьюера, возраст респондента, количество проведенных интервью, самозанятость, разница в возрасте между респондентом и интервьюером повышают вероятность получения пропущенных данных. А в свою очередь, низкий уровень образования интервьюера, высокий уровень образования респондента, рабочее время респондента и мужской пол интервьюера способствуют повышению response rate.

В мужской подвыборке количество попыток дозвониться, интервью после 8 вечера, количество интервью проведенных интервьюером, возраст респондента, самозанятость вызывают у респондента желание уклониться от ответа. Возраст интервьюера, низкий уровень образования интервьюера, высокий уровень образования респондента оказывают позитивный эффект на склонность к ответу. В целом мужчины более склонны к ответам, нежели женщины.

1.3.2 Методологические факторы

Инструментарий

Также, по словам И. А. Бутенко, важно помнить о том, что проблема уклонения от ответов все-таки не может быть раскрыта без внимания к самому инструментарию. По результатам исследований, опубликованным в 1983-1985 годах в журнале «Public opinion quarterly», «последовательность вопросов, их количество, форма, тональность влияют на пропуски ответов» Бутенко И. А. «Нет ответа». Анализ методической ситуации на страницах журнала «Public Opinion Quarterly»// Социологические исследования, 1986. № 4. С. 121.

И. В. Федоров Федоров И. В. Причины пропусков ответов при анкетном опросе // Социологические исследования, 1982. № 2. С 185--189 в своей статье приводит результаты экспериментов, которые были проведены специально для выявления причин отказов от ответов. В рамках первого из них школьникам задавались открытые вопросы, с целью измерить их временных затрат школьников. В результате выяснилось, что школьники не понимали из формулировок вопросов, как они должны оценить свои временные затраты, за какой промежуток времени. Также в данном эксперименте был задан вопрос о временных затратах других членов семьи, и, конечно же больше половины участников (53%) не смогли их оценить и пропустили вопрос. Второй эксперимент был посвящен изучению намерений школьников касательно их летних каникул. В результате на вопрос «как бы Вы хотели провести летние каникулы» многие отвечали просто «хорошо». Другим школьникам задали тот же вопрос, только немного с иной формулировкой - «где бы Вы хотели провести летние каникулы». И практически все опрошенные ответили содержательно. В третьем эксперименте были приведены только закрытые вопросы. В результате данного исследования И. В. Федоров выделил следующие причины уклонения от ответа:

· неоднозначность толкования вопросов

· шкала, не полностью охватывающая диапазон измеряемого признака

· несимметричность шкалы

· неприменимость вопроса к данной группе респондентов

· неконкретность и абстрактность вопросов.

Также большую роль играет расположение вопросов и вариантов ответа. Так, было отмечено, что в случае, когда варианты ответа печатались на разных страницах, количество пропусков в вопросах было значительно больше, по сравнению с расположением альтернатив на одном листе. Что же касается местоположения вопроса в анкете, Ferber Ferber R. Item Nonresponse in a Consumer Survey // Public Opinion Quarterly. 1966. Vol. 30. № 3, pp. 399-415 выяснил, что данный фактор не влияет на количество пропусков.

Также нельзя забывать о вечном желании исследователя сделать анкету как можно более компактной, что зачастую приводит к тому, вопросы оформляются в виде таблицы²⁹. Это приводит к тому, что анкета становится визуально громоздкой и начинает восприниматься респондентом как один большой вопрос. В итоге участнику исследования это быстро надоедает, и он пропускает многие вопросы.

И. В. Федоров Федоров И. В. Причины пропусков ответов при анкетном опросе // Социологические исследования, 1982. № 2. С 185--189 пришел к выводу о том, что респонденты зачастую выбирают варианты ответа из начала списка, по сравнению с теми альтернативами, которые идут в конце, за исключением наиболее важных индикаторов. Что касается порядка альтернатив в вопросе, Kalton и Shuman Kalton G., Shuman H., The effect of the question on survey responses // Journal of the Royal Statistical Society. Series A (General), Vol. 145, No. 1. 1982., pp. 42-73 выяснили, что в телефонном опросе респонденты чаще выбирают последний вариант ответа, а в напечатанной анкете - склоняются к первому.

Cannell со своими коллегами Cannell C., Miller P., Oksenberg L. Research on interviewing techniques // Sociological Methodology. 1981., pp. 389-437 провели эксперимент, в ходе которого выяснилось, что более длинные вопросы, повышают длину и содержательность ответов. Они это объясняют тремя причинами:

· респондент, читая длинный вопрос, успевает лучше подумать над ответом

· благодаря более длинной формулировке, участник исследования лучше понимает суть вопроса

· такой вопрос дает почувствовать респонденту, что его мнение значимо, и это стимулирует его к большей ответственности.

Также Cannell выяснил, что добавление понятных инструкций к анкете, использование отзывов (письма респондентам с результатами качества их заполнения анкеты), а также разговор с участником перед началом опроса, в ходе которого его просят подписать соглашение/пообещать сделать все, чтобы качественно пройти опросник, - все это повышает уровень содержательности полученных ответов.

При изучении открытых и закрытых вопросов Schuman и Presser Shuman В., Presser S. The Assessment of no Opinion in Attitude Surveys//Sociological Methodology. 1979., pp. 241-275 выяснили, что ответы, которые респонденты давали на открытый вопрос, оказались гораздо шире той шкалы, которую предложили исследователи в закрытом вопросе (формулировки этих двух вопросов полностью одинаковы).

Что касается проблемы дизайна анкеты - по словам Huisman De Leeuw E. D., Joop H., Huisman М. Prevention and Treatment of Item Nonresponse // Journal of Official Statistics. Vol. 19, №2, 2003, pp. 153-176, в вопроснике может быть нарушена логика, к примеру, могут быть допущены ошибки в переходах от вопроса к вопросу - респонденту задают вопрос, на который он не должен отвечать.

Серединные альтернативы

Также многие исследователи выделяли такой фактор, как наличие серединных альтернатив. В 1981 году Schuman и Presser Schuman H., Presser Questions and Answers on Attitude Surveys. Experiments in Question Form, Wording, and Context. New York: Academic Press. 1981 провели эксперименты, в ходе которых они выяснили, что респонденты склонны выбирать срединную альтернативу, когда она представляется им в самом вопросе, нежели, когда ее можно назвать спонтанно. Однако, их исследование также показало, что, если переменные серединных альтернатив в обоих вопросах (там где она озвучена в вопросе и там где нет) исключить из анализа, мы увидим, что обычно не существует существенной разницы между этими двумя вопросами по % выбравших полярно разные варианты ответов. То есть исследователь получит примерно одинаковые результаты в базах данных, где серединная альтернатива будет исключена.

Bishop Bishop G. Experiments with the middle response alternative in survey questions // Public Opinion Quarterly. Vol. 51. 1987., pp. 220-232 в своем исследовании решил проверить, действительны полученные Schuman и его коллегами результаты для других тематик опросов. Он провел эксперименты на три политические темы: достоинства социальной безопасности, расходы на оборону и заводы по производству ядерного оружия, чтобы проверить реально ли применять повсеместно результаты, которые получил Schuman. Также в своих экспериментах Bishop хотел выяснить, влияет ли на выбор альтернативы ее место в формулировке вопросов. Для этого в рамках экспериментов респонденту мог попасться один из четырех форм вопросов:

1) Серединной альтернативы (СО) нет ни в формулировке вопроса, ни во вступлении

2) СО есть во вступлении, но она не озвучена в формулировке вопроса

3) СО есть и во вступлении и в формулировке вопроса, в середине вопроса

4) СО есть и во вступлении и в формулировке вопроса, в конце вопроса

В данных экспериментах не было отдельных вариантов ответа, то есть альтернативы входили в формулировку вопроса. К примеру: «В последнее время существует несколько точек зрения о расходах на оборону: некоторые считают, что они должны увеличиваться, некоторые, напротив, за их сокращение, а некоторые считают, что расходы должны оставаться на том же уровне. А как считаете вы: они должны вырасти, снизиться или остаться без изменений?»

В результате выяснилось, что респонденты скорее выберут серединную альтернативу, если она озвучена им в качестве одного из вариантов. Затем по степени вероятности идет вариант, когда СО есть во вступлении, но она не озвучена в формулировке вопроса. Наименее вероятно, что респондент не выберет серединную альтернативу, в том случае, если она не озвучена ни в формулировке вопроса, ни во вступлении. Что касается важности места серединной альтернативы в самом вопросе, в ходе экспериментов выяснилось, что респонденты чаще выбирают СО, если она идет в конце вопроса. Однако, это было выявлено только по двум темам - «заводы ядерного оружия» и «расходы на оборону». В первом эксперименте значимых различий в этом аспекте выявлено не было.

В рамках своего исследования Н. А. Клюшина Клюшина H. А. Причины, вызывающие отказ от ответа//Социологические исследования. 1990. № 1. С. 101 также пришла к выводу, что отсутствие вариантов ответа типа «затрудняюсь ответить» приводит не только к уменьшению частоты пропусков, но также влечет за собой распределение той части респондентов, которые не определились с точным ответов, между всех альтернатив. Клюшина отмечает, что за счет группы, не имеющей определенного мнения, происходит увеличение определенных ответов: на 10--11% --в вопросах о внутренней и на 15--16% --о внешней политике». Интересно заметить, что касается перераспределения «неопределенных» ответов, то в вопросах о внешней политике доля положительных и отрицательных ответов увеличилась практически на одинаковое количество процентов, а в вопросах о внутренней политике большинство участников исследования согласились с точкой зрения, транслируемой средствами массовой информации.

Фактографические вопросы

Kalton и Schuman Kalton G., Shuman H., The effect of the question on survey responses // Journal of the Royal Statistical Society. Series A (General), Vol. 145, No. 1. 1982., pp. 42-73 в 1982 году выделили следующие типы вопросов: фактографические вопросы - это вопросы на знания респондента, на какие-то факты, и не-фактографические вопросы - по мнению ученых это все другие вопросы (вопросы, измеряющие мнение респондента, его установку). Важная отличительная особенность фактографических вопросов от остальных - правильный ответ на него есть, но респондент его может не знать.

Этого же мнения придерживается и Huisman De Leeuw E. D., Joop H., Huisman М. Prevention and Treatment of Item Nonresponse // Journal of Official Statistics. Vol. 19, №2, 2003, pp. 153-176 - по его словам, для некоторых видов вопросов вариант ответа «не знаю» или «нет мнения» не будет являться пропущенными данными. То есть, отсутствие определенного мнения по поводу какого-либо вопроса иногда может являться содержательным ответом, и про это не стоит забывать.

Исследователи Raphahn и Serfling в ходе своего исследования пришли к выводу о том, что ответы «я не знаю» в фактографических вопросах необходимо рассматривать отдельно и их не следует смешивать с другими пропущенными данными (пропусками ответов по иным причинам).

Проблема интервьюера

На желание респондента пропустить вопрос может оказывать влияние и сам интервьюер. По словам И. К. Зангиевой, личные качества интервьюера также могут повлиять на получение ответа от респондента. Так, высокая вероятность не-ответа респондента может быть обусловлена, «значительной величиной социальной дистанции между ним и интервьюером, степенью эмоционального отчуждения между ними». Респондент может либо очень отстраненно отвечать на вопросы анкеты, зачастую пропуская вопросы, ли даже совсем отказаться от участия в опросе, если между ним и интервьюером не возникнет. В ходе исследования было выяснено, что «совпадение возраста респондента и интервьюера повышает вероятность получения ответа на вопрос, а совпадение уровня образования значимого влияния на нее (такую вероятность) не оказывает».

Riphahn и Serfling Riphahn R., Serfling O., Item Non-Response on Income and Wealth Questions // Empirical Economics, Vol. 30. 2005., pp. 521-538 в 2004 провели исследование, посвященное изучению связи респондент-интервьюер, влиянию варианта ответа «я не знаю» и наличию гетерогенности в ответах на разного типа финансовые вопросы. В результате выяснилось, что характеристики респондента и интервьюера важны при желании получить содержательные данные. Так например, повышается число пропусков ответов, если интервьюер:

· женского пола

· моложе респондента

· с другим уровнем образования и местом работы, нежели респондент

Интересно отметить, что личное знакомство респондента с интервьюером оказывает позитивное влияние на дачу ответов о благосостоянии/богатстве, в отличие от вопросов о доходе.

Интересно, что Huisman De Leeuw E. D., Joop H., Huisman М. Prevention and Treatment of Item Nonresponse // Journal of Official Statistics. Vol. 19, №2, 2003, pp. 153-176 говорит о том, что интервьюерам иногда легче и быстрее отметить «я не знаю», нежели фиксировать длинные ответы респондентов - это приводит к искажению результатов.

1.3.3 Способы предотвращения большого числа пропусков в данных на «дополевом» этапе

И. А. Бутенко Бутенко И. А. «Нет ответа». Анализ методической ситуации на страницах журнала «Public Opinion Quarterly»// Социологические исследования, 1986. № 4. С. 118-122 в своей статье говорит о том, что некоторые респонденты отмечали о том, что они не прошли анкету, потому что попросту заполнить про нее или потеряли. Не смотря на то, что эти причины являются лишь субъективными заявлениями респондентов и могут сильно отличаться от реальной ситуации, стоит отметить, что «всяческие напоминания о заполнении анкеты, инструкции о том, что опросник лучше сохранять на видном месте, могут повышать шансы на заполнение анкеты».