Использование параданных при прогнозировании участия респондентов в исследовании (на примере данных EVS)

§3.1 Построение общей предсказательной модели исхода интервью

Одной из задач исследования является построение общей предсказательной модели исхода интервью. Данная задача довольно широкая, поэтому перед ней ставится две гипотезы, которые будут проверяться последовательно:

1) Данные о контакте с респондентом имеют значимый эффект при предсказании исхода интервью.

2) Наблюдения интервьюеров имеют значимый эффект при предсказании исхода интервью.

Для проверки перечисленных гипотез необходимо построить бинарную логистическую регрессию с фиктивными переменными.

Преобразование переменных. Перед тем как приступить к построению модели, подробно рассмотрим зависимую и независимые переменные. В качестве зависимой переменной используется переменная об исходе визита интервьюера в домохозяйство. Информация об исходе визита представлена в десяти переменных, каждая из которых соответствует номеру визита в домохозяйство.

Переменная об исходе визита интервьюера в домохозяйство имеет 7 значений:

1) Завершенное интервью

2) Частично завершенное интервью

3) Контакт с кем-то, респондент не выбран

4) Контакт с респондентом, интервью не собрано

5) Контакт с другим человеком, респондент не достигнут

6) Нет контакта

7) Неправильный адрес.

В данной работе в первую очередь представляет интерес то, насколько успешным оказался визит интервьюера в домохозяйство. В качестве успешного визита будут рассматриваться первые два значения переменной ("Завершенное интервью", "Частично завершенное интервью"). Второе значение "Частично завершенное интервью" также рассматривается как успешный визит интервьюера в домохозяйство. Во-первых, это предполагает, что интервьюер достиг респондента и смог собрать часть данных. Во-вторых, миссинги, или частичный неответ, как отмечалось ранее, имеют другую природу, и не могут быть решены предложенным в данной работе методом. Остальные переменные (3-7) мы рассматриваем как неуспешный визит в домохозяйство.

Для дальнейшего анализа перекодируем переменную в дихотомическую. Новая бинарная переменная об исходе первого визита имеет два значения: "0" - интервью не собрано, и "1" - интервью собрано. При первом визите первая группа (интервью не собрано) имеет 1915 наблюдений (62,1 % от всей выборки, Таблица 1), а вторая - 1170 наблюдений (37,9 % от всей выборки, Таблица 1). Учитывая размер выборки, обе группы достаточно наполнены для того чтобы использовать переменную для дальнейшего анализа.

Таблица 1. Количество собранных интервью для каждого визита

Далее подробно рассмотрим независимые переменные. Исходя из структуры данных, независимые переменные можно поделить на три категории: тип поселения, данные о контакте, наблюдения интервьюеров.

Рассмотрим первую категорию переменных "тип поселения". В базе данных содержится информация о названии города, поселка или деревни, в которых было собрано интервью. Как отмечалось ранее, данная переменная не относится к параданным, так как в анализируемой базе данных она не собирается интервьюерами, а имеется у исследователя еще на этапе формирования выборки. Тем не менее, она также будет включена в анализ, так как является одной из важнейших переменных в прогнозировании исхода интервью. Так как населенных пунктов много (в базе данных содержится информация о 130), их невозможно напрямую использовать в анализе. Поэтому создадим на основе данной переменной новую, которая будет отражать размер населенного пункта по численности населения. Новая переменная "тип города" будет имеет пять значений:

· Большой город - включает в себя два города - Москву и Санкт-Петербург. Данные города выделены отдельно, так как они, во-первых, занимают значимую часть базы данных - 563 наблюдения (18,2 %, Таблица 2), а во-вторых, являются городами с наиболее высоким социально-экономическим уровнем развития в России (В. Самарина, 2010).

· Крупный город - данная переменная включает в себя города, население которых более 700 000 жителей. Количество жителей крупных городов в базе - 491 (15,9 %, Таблица 2).

· Небольшой город - остальные города, численность населения которых менее 700 000 жителей. В базе данных содержится 672 жителя из небольших городов (21,8 %, Таблица 2).

· Поселение - поселения, которые отмечены в базе данных (без уточнения конкретных названий и численности населения). Количество жителей поселений в базе - 683 (22,1 %, Таблица 2).

· Деревня - деревни, которые отмечены в базе данных (без уточнения конкретных названий и численности населения). Количество наблюдений в базе - 676 (21,9 %, Таблица 2).

Перейдем к рассмотрению второй категории зависимых переменных - "данные о контакте". Даная категория содержит две переменные - день недели и час визита. Для начала рассмотрим номинальную переменную "День недели". Данная переменная обозначает день недели первого визита в домохозяйство. Исходя из таблицы-2, наибольшее количество визитов в домохозяйство было совершено в выходные дни - 40,8 % (в субботу - 726 визитов, или 23,5 %; в воскресенье - 534 визита, или 17,3 %, Таблица 2). В будние дни количество визитов было приблизительно одинаковым, увеличиваясь до и после выходных дней. Общее количество визитов в будние дни составляет 1825 визитов (59,1 %, Таблица 2).

Создадим переменные "будни" и "выходной", которые будут отражать визит в будние или выходные дни соответственно. Данная переменная несет меньше информации, нежели переменная, которая учитывает все дни недели по отдельности. Тем не менее, именно она будет использоваться в построении регрессионной модели, так как ее интерпретируемость и возможность дальнейшего применения намного шире, чем использование каждого дня недели по отдельности.

Далее рассмотрим переменную "время визита". Визиты в домохозяйства совершались с 8 до 22 часов, то есть переменная имеет 15 значений. Для удобства поделим ее на три категории - "утро" - с 8 до 12 часов, "день" - с 13 до 17 часов и "вечер" - с 18 до 22 часов. Наибольшее количество визитов было совершено днем - 1399 (45,3 %, Таблица 2). Другие значения переменной "утро" и "вечер" распределены довольно равномерно. Утром было совершено 911 визитов (29,5 %, Таблица 2), а вечером немного меньше - 775 (25,1 %, Таблица 2).

Третья категория независимых переменных "наблюдения интервьюеров" имеет 5 переменных. Первая из них, количество этажей в доме - это переменная с порядковой шкалой, которая содержит значения от 1 до 23 этажей. В базе преобладают дома с 1, 5 и 9 этажами, так как дома именно с такой этажностью представляют типичную застройку в России. Так как данная переменная принимает значения начиная с "1", для возможности интерпретации реальной контрольной группы, а не фиктивной, вычтем из всех значений переменной 1 таким образом, чтобы данная переменная пересекала 0.

Переменная "состояние домов в районе" имеет порядковую пятибалльную шкалу от "очень хорошего" до "очень плохого" состояния. Стоит отметить, что ни один интервьюер ни разу не выбрал вариант "очень плохое" для описания состояния дома. В основном в данной переменной преобладают оценки "хорошее" (1368, 44,3 %, Таблица 2) и "удовлетворительное" состояние (1476, 47,8 %, Таблица 2). Так как данная переменная имеет обратную шкалу, необходимо ее перекодировать таким образом, чтобы "очень хорошее" состояние домов в районе соответствовало максимальной оценке (5).

Следующая переменная, в которой оценивается состояние выбранного дома в сравнении с окружающими, имеет всего три градации - "лучше, чем дома в округе", "примерно такое же" и "хуже, чем дома в округе". Примечательно, что подавляющее большинство домов оценены как находящиеся в таком же состоянии, что и окружающие - 2571 (83,3 %, Таблица 2). Можно предположить, что при построении регрессионной модели данная переменная не будет значимой, так как в основном сконцентрирована на одном значении. Так как рассматриваемая переменная также имеет перевёрнутую шкалу, перекодируем переменную таким образом, чтобы лучшее состояние дома соответствовало более высокому значению переменной (3).

Рассмотрим переменную, которая описывает чувство собственной безопасности интервьюера в районе. Данная переменная имеет четырехбалльную шкалу. Ответы информантов смещены в сторону положительной оценки чувства безопасности в районе ("довольно безопасно" отметили 2212 интервьюеров или 71,7 %; "в полной безопасности" отметили 634 интервьюера или 20,6 %, Таблица 2). Отчасти это может объясняться тем, что, как правило, интервьюеры проживают в регионах, в которых они собирают интервью, и для них состояние какого-либо района является привычным, поэтому они чувствуют себя в них безопасно. Аналогично двум предыдущим переменным из категории наблюдений интервьюеров, оценку безопасности необходимо перекодировать, перевернув шкалу.

Далее интервьюеры отмечали те факторы, которые относятся к домохозяйству. Им предложено было отметить, если встречаются следующие четыре препятствия: запертая дверь в подъезд; закрытый двор; огораживаемая охраняемая территория; а также если вход в домохозяйство охраняется консьержем (или другой службой охраны). При первом визите интервьюеры чаще всего отмечают закрытую дверь подъезда (2108, 68,3 %, Таблица 2), а также с гораздо меньшей частотой вариант "Дом заходится в закрытом дворе" (410, 13,3 %, Таблица 2). Последние два варианта практически не встречаются - "дом находится на огороженной охраняемой территории" отметили только 0,5 % интервьюеров, а "вход охраняется консьержкой или другой службой охраны" - 1,3 %. На фоне общей выборки данные переменные встречаются крайне редко, поэтому включать их в модель нерационально. Преобразуем переменные с первыми двумя препятствиями в отдельные бинарные переменные, которые будут отражать наличие или отсутствие каждого препятствия.

Таблица 2. Распределение зависимых переменных для первого контакта

Построение модели. После рассмотрения и приведения переменных в необходимый для анализа вид, перейдем к построению бинарной логистической регрессии с фиктивными переменными. Модель построена в три шага - на первом этапе в качестве зависимых переменных использован "тип города", затем переменные из категории "данные о контакте", и на третьем этапе в модель добавлены наблюдения интервьюеров.

Таблица 3. Логистическая регрессия: предсказание исхода для первого визита

Значимость коэффициентов: *p<0.05; **p<0.01; ***p<0.001.

Проинтерпретируем полученные результаты. Константа значима во всех трех моделях. Исходя из данных таблицы-3, псевдо R² Кокса и Снелла модели 1.1 составляет 6,1 %, а псевдо R² Нэйджелкерка - 8,3 %. Стоит отметить, что псевдо R² в первую очередь предназначен для оценки того, насколько хорошо модель предсказывают менее представленную группу. В данном случае, он оценивает, насколько хорошо модель предсказывает, что интервью будет собрано при первом визите интервьюера в домохозяйство.

При использовании регрессии с фиктивными переменными необходимо проинтерпретировать контрольную группу. Контрольная группа модели 1.1 из таблицы-3 - россияне, проживающие в деревне. Все значения предикторов значимы, поэтому их можно проинтерпретировать:

· Проживание в большом городе уменьшает отношение шансов удачного и неудачного исхода интервью в 0,18 раза по сравнению с жителями деревни при прочих равных;

· Проживание в крупном городе уменьшает отношение шансов удачного и неудачного исхода интервью в 0,40 раза по сравнению с жителями деревни при прочих равных;

· Проживание в небольшом городе уменьшает отношение шансов удачного и неудачного исхода интервью в 0,44 раза по сравнению с жителями деревни при прочих равных;

· Проживание в поселении уменьшает отношение шансов удачного и неудачного исхода интервью в 0,53 раза по сравнению с жителями деревни при прочих равных.

Отметим, что для корректной интерпретации результатов регрессии необходимо также учитывать доверительные интервалы коэффициентов (Таблица 4). Исходя из данных таблицы, на уровне доверительного интервала 95 % мы можем утверждать, что только большой город отличается от остальных типов городов, в то время как остальные коэффициенты могут быть равны между собой.

Таблица 4. Доверительный интервал регрессионных коэффициентов модели 1.1

Таким образом, можно сделать вывод о то, что тип поселения позволяет предсказать исход интервью. Причем, чем больше поселение по численности населения, тем меньше вероятность того, что интервью будет собрано.

Модель 1.2, которая построена на базе первой модели с добавлением данных о контакте, увеличивает процент объясненной дисперсии на 0,4 % (R² Кокса и Снелла) и на 0,6 % (R² Нэйджелкерка) (Таблица 3). Данная разница в проценте объясненной дисперсии первой и второй модели не является большой, из чего можно сделать вывод о том, что данные о контакте позволяют предсказывать исход интервью, однако имеют невысокую предсказательную способность. Гипотезу о том, что данные о контакте с респондентом позволяют предсказать исход интервью можно считать подтвержденной, однако исходя из полученных результатов нельзя говорить о том, что данные переменные обладают большой объяснительной силой.

Регрессионный коэффициент при предикторе "будни" значим на 95 % уровне доверительного интервала, поэтому его можно проинтерпретировать: Визит интервьюера в будний день уменьшает отношение шансов удачного и неудачного исхода интервью в 0,8 раза по сравнению с визитом интервьюера в выходной день.

Стоит также отметить, что переменная "время суток" для первого визита оказалась незначима. Это говорит о том, что нет разницы между контрольной группой (визит утром), а также визитом днем или вечером.

Рассмотрим третью модель, которая была построена на базе второй модели с добавлением наблюдений интервьюеров. Исходя из данных модели 1.3 таблицы-3, процент объясненной дисперсии данной модели возрастает на 1,1 % (R² Кокса и Снелла) и 1,6 % (R² Нэйджелкерка) по сравнению со второй моделью - что значительно больше, чем прирост процента объясненной дисперсии в случае со второй моделью. В модели использовалось шесть новых предикторов из категории наблюдения интервьюеров, однако только два из них оказались значимыми - "количество этажей" и "состояние домов в районе". Мы можем проинтерпретировать полученные коэффициенты:

· При увеличении высотности здания на один этаж уменьшается отношение шансов удачного и неудачного исхода интервью на 1 %;

· При улучшении состояния домов в районе уменьшается отношение шансов удачного и неудачного исхода интервью на 3,5 %.

Гипотезу о том, что наблюдения интервьюеров позволяют предсказать исход интервью, можно считать подтвержденной. Тем не менее, стоит учитывать, что четыре переменные наблюдений интервьюеров оказались незначимыми. В случае с переменной "состояние домов в сравнении с окружающими" это может объясняться тем, что данная переменная имеет всего три градации, и наибольшее количество наблюдений содержит промежуточный вариант. Подобным образом, переменная "чувство безопасности" также имеет довольно смещенную оценку в пользу положительного ответа, поэтому данный результат довольно ожидаем. Тем не менее, другие переменные "дверь подъезда закрыта" и "закрытый двор" являются дихотомическими. Возможно, они оказались незначимыми, так как переменные "дверь подъезда закрыта" и "количество этажей" коррелируют друг с другом. Их связь не является сильной (Корреляция Пирсона равна 0,54, см. Приложение 1, Таблица 2), однако за счет того, что переменная "количество этажей" имеет большую объяснительную способность, "дверь подъезда закрыта" оказалась незначимой.

§3.2 Оценка эффективности предсказаний интервьюеров