Методики измерения разумной достаточности респодентов

Разумная достаточность как стратегия реагирования респондентов в веб-опросе. Принципы измерения этого качества в существующих зарубежных исследованиях. Факторы, способствующие проявлению стратегии разумной достаточности при использовании разных методик.

Рубрика Социология и обществознание
Вид дипломная работа
Язык русский
Дата добавления 01.09.2016
Размер файла 168,6 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Метод измерения разумной достаточности с помощью инструкции

Метод измерения разумной достаточности на основе нескольких индексов

Метод измерения разумной достаточности с помощью кластерного анализа

Инструкция Д.Оппенхаймера, Т.Мейвиса и Н.Давиденко для обнаружения применения стратегии разумной достаточности

· Раннее завершение анкеты

· Недифференциация вариантов ответов

· Пропуск вопросов

· «Прокликивание»

· Показатель «Затрудняюсь ответить»

· Показатель «один и тот же ответ»

· Показатель «экстремальных и серединных» вариантов ответа

· Индикатор несогласованных ответов

В данной таблице мы видим, на основе каких индикаторов высчитывается показатель разумной достаточности. Второй и третий методы имеют схожую структуру, в обоих используются индикаторы, замеряющие некоторые проявления разумной достаточности, при этом в обоих способах подсчитывается индикатор недифференциации ответов. Однако заметим, что разумная достаточность измеряется разными способами: во втором методе путем суммирования 4-х индикаторов, а в третьем с помощью проведения латентно-классового анализа. Таким образом, можно считать, что все три метода являются разными и все их необходимо рассмотреть в рамках данного исследования.

Профиль респондентов

В рамках настоящего исследования опрос проводился среди студентов, которые являются наиболее удачной группой для опроса в связи с легкой доступностью и высоким откликом ответов. Более того большая часть студентов московских ВУЗов являются активными пользователями социальных сетей, что предоставляет доступ практически к каждому.

В качестве способа сбора данных использовалось два метода: метод «снежного кома» и метод случайно рассылки в интернете. Респонденты отбирались с помощью поисковой системы социальной сети Вконтакте. Мы понимаем, что метод «снежного кома» чаще всего используется в тех случаях, когда представителей изучаемой совокупности трудно отобрать другими методами, и в этом случае метод формирования выборки основывается на том, что каждый представитель целевой группы может привлечь к опросу еще одного или нескольких человек. Однако данный метод интересен нам в настоящем исследовании, так как исходя из одной нашей гипотезы, при сборе данных методом «снежного кома» у респондентов реже проявляется стратегия разумной достаточности, чем при сборе данных другим методом.

Для расчета общего объема выборки была использована формула Рукавишникова Готлиб А.С., Лехциер В.Л., Малаканова О.А. Социальные коммуникации: оффлайн и онлайн контексты: сборник материалов всероссийской конференции с международным участием. МЦНИП. 2014 г.:

n= [30-50]*m1*m2, где m1 - пол; m2 - направление обучения. В данном исследовании мы рассматривали студентов с трех основных направлений: *естественные и технические; *гуманитарные; *общественные науки. В результате рекомендуемый объем выборки составил 180-300 человек. Для исследования была собрана выборка объемом в 187 человек, из которых 86 человек было опрошено методом «снежного кома» и 101 методом случайной рассылки.

Методический инструментарий: разработка анкеты

В анкету были включены вопросы, заимствованные из 2-х всемирно известных опросов: Всемирный обзор ценностей и (WVS) и Европейское социальное исследование (ESS). WVS - это всемирный научно-исследовательский проект, который исследует ценности и убеждения людей, как они меняются с течением времени и какое социальное и политическое влияние они оказывают. База данных пользуется популярностью среди современных исследователей, поэтому в рамках данного исследования было решено использовать некоторые формулировки вопросов из данной анкеты. Также в анкету были включены некоторые вопросы из анкеты Европейского социального исследования, которые использовались при подсчете разумной достаточности в третьем, рассматриваемом нами, методе. Европейское социальное исследование - это многолетнее сравнительное исследование изменения установок, взглядов, ценностей и поведения населения Европы, которое проводится каждые два года, начиная с 2001.

Таким образом, в анкету вошел один блок однотипных вопросов из анкеты Всемирного обзора ценностей и несколько вопросов из анкеты Европейского социального исследования. Хотелось бы отметить популярность однотипных вопросов в социологических и маркетинговых исследованиях. Для большинства исследователей однотипные вопросы являются наиболее предпочтительным измерительным устройством при изучении личных характеристик, таких как отношение, предпочтения, мнения Peterson, Robert A.. 1997. “A Quantitative Analysis of Rating-scale Response Variability”. Marketing Letters 8 (1). Springer: 9-21.. Заметим, что в анкете Всемирного обзора ценностей используется много блоков с однотипными вопросами. В рамках данного исследования был выбран блок вопросов, состоящий из 14 высказываний, которые респондентам необходимо было оценить по 10-и балльной шкале, насколько заслуживает оправдания то или иное высказывание. Для замера разумной достаточности был выбран именно этот блок вопросов, так как он часто используется в различных исследованиях.

Структура анкеты:

1. Инструкция к анкете - объяснение цели исследования и гарантия анонимности собранных данных;

2. Паспортичка: вопрос-фильтр о том, является ли респондент студентом, а также вопросы, касающиеся пола и возраста;

3. Основная часть анкеты

3.1 Блок однотипных вопросов из анкеты Всемирного обзора ценностей

3.2 Серия вопросов из анкеты Европейского социального исследования

3.3 Вопрос-инструкция Д.Оппенхаймера;

4. Социально-демографический блок, состоящий из вопросов про направление и курс обучения, а также вопросы про образования родителей.

Нужно отметить, что при составлении анкеты в электронном виде все вопросы были назначены как необязательные, так как согласно одной из рассматриваемых методик используется показатель пропущенных.

3. Эмпирическая глава

В рамках данного исследования были собраны данные двумя способами: с помощью метода снежного кома и с помощью случайной рассылки респондентам. Сбор данных проходил в интернете в социальной сети Вконтакте. Первым способом было опрошено 86 студентов, вторым способом 101 студент.

Всего было опрошено 187 студентов высшего высших учебных заведений города Москвы. В опросе приняли участие 84 юноши и 103 девушки, что примерно составляет 45% и 55% соответственно. По возрасту получилось следующее распределение.

Таблица 1. Распределение по возрасту

Возраст

Частота

Процент

17 лет

3

1,6

18 лет

30

16

19 лет

39

20,9

20 лет

29

15,5

21 год

51

27,3

22 года

30

16

23-24 года

5

2,7

Всего

187

100

Разброс значений по возрасту является незначительным: от 17 до 24 лет, при этом больше половине из опрошенных 19-21 год, примерно одной пятой 17-18 лет, также примерно одной пятой 23-24 года. Так как у нас нет гипотез о различиях в стилях реагирования для данной возрастной категории, то данное возрастное распределение можно считать приемлемым.

Рассмотрим также распределение респондентов по курсам.

Таблица 2 Распределение по курсу в университете

Курс

Частота

Процент

1 курс бакалавриата

37

19,8

2 курс бакалавриата

36

19,3

3 курс бакалавриата

28

15,0

4 курс бакалавриата

60

32,1

Магистратура

17

9,2

Другое (специалитет)

9

4,8

Total

187

100,0

Согласно данному распределению, большинство респондентов являются студентами бакалавриата и только около 10% являются студентами магистратуры и еще 5% являются студентами специалитета.

Также проанализируем, на каких направлениях обучаются опрошенные респонденты.

Таблица 3. Распределение по направлению обучения в университете

Направление обучения

Частота

Процент

Гуманитарные науки

57

30,5

Общественные науки

50

26,7

Естественные и технические науки

57

30,5

Прикладные науки

11

5,9

Другое (укажите)

10

5,3

Total

185

98,9

Пропущенны

2

1,1

Всего

187

100,0

В данном случае удалось соблюсти пропорцию. Все респонденты примерно в равном количестве обучаются по трем направлениям: гуманитарные, общественные и естественные и технические науки.

Анализ измерения разумной достаточности с помощью инструкции (Instructional Manipulation Test)

Как уже было сказано в методологической части, данный способ измерения разумной достаточности направлен на выявление невнимательных респондентов, которые ответили на вопрос о видах спорта, хотя его нужно было пропустить. Из 187 респондентов только 185 дошли до задания с инструкцией, при этом выполнили инструкцию лишь 91 студент, остальные 94 не прошли проверку и ответили на вопрос, хотя на него не нужно было отвечать. Рассмотрим получившиеся две группы и сравним, насколько они похожи или отличны друг от друга. Способствует ли какой-то фактор использованию стратегии разумной достаточности при измерении разумной достаточности с помощью инструкции? Для этого мы сравним 2 получившиеся группы сэтисфайсеров и не сэтисфайсеров по следующим характеристикам: пол, возраст, направление обучения, образование родителей.

В ходе проверки выяснилось, что сэтисфайсеры по перечисленным характеристикам мало отличаются друг от друга. Так, например, из приложенной ниже таблицы видно, что сэтисфайсеров среди юношей примерно столько же, сколько и среди девушек (отсутствие взаимосвязи было обнаружено при помощи критерия Хи-квадрат).

Таблица 4 Частотное (процентное) распределение сэтисфайсеров/ не сэтифайсеров по полу

Укажите, пожалуйста, ваш пол

Всего

Мужской

Женский

Не сэтисфайсеры

38

53

93

Сэтисфайсеры

45

49

94

Total

83

102

185

Рассмотрим средний возраст студентов- сэтисфайсеров и средний возраст студентов - не сэтисфайсеров.

Таблица 5 Средний возраст у сэтисфайсеров и не сэтисфайсеров

Сэтисфайсеры

Mean

20,10

,148

95% Confidence Interval for Mean

Lower Bound

19,80

 

Upper Bound

20,39

Не сэтисфайсеры

Mean

20,12

,161

95% Confidence Interval for Mean

Lower Bound

19,80

 

Upper Bound

20,44

Исходя из доверительных интервалов, мы можем сделать вывод, что средний возраст у тех респондентов, которые прочитали и у тех, которые не прочитали инструкцию, одинаковый.

Рассмотрим, насколько различны направления, на котором обучаются студенты из групп сэтисфайсеров и не сэтисфайсеров.

Таблица 6

 

Гуманитарные науки

Общественные науки

Естественн науки

Техническ науки

Прикладн науки

Другое укажите

Всего

Не сэтисфайсеры

27

23

11

20

7

3

91

Сэтисфайсеры

30

27

6

20

4

7

94

Total

57

50

17

40

11

10

185

Согласно частотной таблице мы видим, что распределение студентов - сэтисфайсеров и студентов - не сэтисфайсеров, исходя из направления обучения, примерно одинаковое. Отсутствие взаимосвязи также было подтверждено с помощью критерия Хи-квадрат.

Далее мы рассмотрели, есть ли различия среди сэтисфайсеров/ не сэтисфайсеров и уровнем образования их родителей. В ходе проверки с помощью критерия Хи-квадрат мы выяснили, что уровень образования родителей также не играет роли.

Интересно также проанализировать, есть ли разница во времени, которое тратится респондентом на один вопрос. Если сэтисфайсеры в данном случае являются теми студентами, которые невнимательно относятся к инструкции, значит ли это, что время, затраченное на один вопрос, будет меньше для сэтисфайсеров? Для проверки этой гипотезы мы проведем сравнение средних значений с помощью t- тестов.

Таблица 7. Сравнение среднего времени, затраченного на прохождение одного вопроса среди сэтисфайсеров и не сэтисфайсеров

 

Среднее

Количество

Станд.отклон

Не сэтисфайсеры

21,45

91

0,021

Сэтисфайсеры

13,95

94

0,054

Значение t-критерия равно 1,659 при значимости 0,023, то есть при уровне доверия 95% можно говорить, что различие в среднем времени, затраченном на прохождение одного вопроса, действительно значимо. Сэтисфайсеры действительно тратят меньше времени на прохождение одного вопроса, чем не сэтисфайсеры.

Итак, проанализировав измерение разумной достаточности, выявленной с помощью инструкции, мы можем сделать вывод, что доля респондентов, которые были невнимательны к инструкции, достаточно велика. Всего из 185 студентов лишь 91 прошли проверку, что составляет 49%, соответственно не прошли инструкцию 51%. Также отметим, что в данном случае пол, возраст, направление обучения и образование родителей не играют роли.

Анализ измерения разумной достаточности на основе нескольких индексов

Данный показатель, как уже было сказано ранее, был рассчитан с помощью 4-х индексов:

5) Раннее завершение анкеты;

6) Недифференциация вариантов ответов;

7) Пропуск вопросов;

8) «Прокликивание» (быстрое заполнение) анкеты.

Первый индекс «Ранее завершение анкеты» рассчитывается для каждого респондента как доля вопросов оставшихся без ответа после того как респондент вышел из опроса. Всего в анкете содержалось 30 вопросов: 16 вопросов на выбор варианта ответа и 14 из блока однотипных вопросов.

Из 187 студентов только 2 человека завершили опрос раньше, чем дошли до последнего вопроса. Таким образом, у двух респондентов индекс «Ранее завершение анкеты» составляет 0,43 (=13 незаполненных вопросов/30 возможных), у остальных этот индекс равен 0.

Второй индекс «Недифференциация вариантов ответов» основан на стандартном отклонении, рассчитанном для каждого респондента. В данном случае индекс не равен нулю, когда стандартное отклонение, рассчитанное для блока с однотипными вопросами, приближено к 0, то есть респондент на большинство вопросов дал один и тот же вариант ответа. При условии, что вопросы являются разноплановыми, выбор одного варианта ответа на все вопросы исключен. В ходе подсчета стандартного отклонения выяснилось, что все респонденты дифференцировали варианты ответов, так как у всех стандартное отклонение оказалось больше нуля и находилось в промежутке от 1,16 до 4,82. В связи с этим всем респондентам был присвоен индекс недифференциации, равный нулю.

Третий индекс «Пропуск вопросов» рассчитывается как отношение пропущенных вопросов ко всем вопросам в анкете, следовательно, измеряется по шкале от 0 до 1.

Таблица 8. Частотное распределение индекса «Пропуск вопросов» среди респондентов

Значение индекса

Кол-во пропущенных вариантов

Частота

Доля (%)

0,00

0

166

88,8

0,03

1

11

5,9

0,07

2

4

2,1

0,10

3

1

0,5

0,13

4

2

1,1

0,33

10

1

0,5

0,43

13

2

1,1

Всего

-

187

100,0

Исходя из данного частотного распределения видно, что большинство респондентов не пропускали вопросы. Только 10% респондентов пропускали вопросы, а значит, только у этих респондентов значение индекса не равняется нулю.

Четвертый индекс «Прокликивание» непосредственно связан со временем, затраченным на заполнение одного вопроса из анкеты. В том случае, если респондент всего ответил на 16 вопросов из 30, то время, потраченное на прохождение всей анкеты, делилось на 16. В ходе подсчета выяснилось, что модальное значение равно 10,43 с, что существенно меньше среднего значения, которое равняется 18,75 с. Всем респондентам, у которых время на прохождения одного вопроса больше 10,43 приписывается индекс «Прокликивания», равный 0, для остальных же респондентов индекс «Прокликивания» рассчитывается следующим образом:

,

где SPI - это время, затраченное на один вопрос.

В результате получилось следующее: примерно у половины респондентов индекс «Прокликивания» равен 0, у другой половины респондентов индекс принадлежит промежутку от 0,45 до 1.

Для подсчета показателя разумной достаточности все 4 индекса, согласно методике, необходимо сложить. Наибольшее значение показателя разумной достаточности получилось 1,48, а наименьшее равно 0.

Таким образом, если разбить всех респондентов на такие же группы, которые выделяют авторы данного метода, то у нас получится пять групп со следующим частотным распределением.

Таблица 9 Разделение респондентов на группы сэтисфайсеров

Значение показателя разумной достаточности

Количество респондентов

Доля

0,0 (не сэтисфайсеры)

84

45%

0,01-0,7 (слабые сэтисфайсеры)

10

5%

0,71-1,4 (умеренные сэтисфайсеры)

81

43%

1,41-2,1 (сильные сэтисфайсеры)

11

6%

2,11-2,8 (очень сильные сэтисфайсеры)

1

0,5%

Как видно из таблицы, большинство респондентов не относится к сэтисфайсерам, значение показателя для них равно 0. В связи с тем, что респондентов, которые являются сэтисфайсерами, не очень много, к тому же большинство из них относится к умеренному типу, то было принято решение объединить все категории сэтисфайсеров. В связи с данным разделением у нас получилось всего две группы: 84 не сэтисфайсеров и 103 сэтисфайсера.

В ходе исследования выяснилось, что среди студентов высших учебных заведений 55% были вовлечены хотя бы в одну форму проявления разумной достаточности; 4,89% использовали хотя бы 2 формы проявления разумной достаточности и 1,09% использовали 3 формы проявлении разумной достаточности. При этом ни у кого из студентов не проявилось все 4 формы разумной достаточности.

В приложенной ниже таблице указаны средние значения для четырех показателей, измеряемых от по шкале от 0 до 1.

Таблица 10 Средние значения по 4-м формам проявления разумной достаточности

Форма проявления

Среднее значение (станд.отклонение)

Раннее завершение анкеты

0,005 (0,044)

Недифференциация вариантов ответов

0 (0,0)

Пропуск вопросов

0,012 (0,053)

«Прокликивание»

0,295 (0,310)

Проверим, есть ли взаимосвязь между полом, возрастом, направлением обучения, образованием родителей и тем, какая стратегия была выбрана при прохождении опроса. Для проверки связи использовался критерий Хи-квадрат, а также доверительный интервал (при подсчете среднего возраста). Однако, как и при предыдущей проверке, выяснилось, что связи между переменными нет.

Метод измерения разумной достаточности с помощью кластерного

Данный метод измерения разумной достаточности подразумевает использование латентно-классового анализа. Как уже было сказано ранее, а рамках настоящего исследования мы заменили латентно-классовый на кластерный анализ. Для этого мы использовали следующие показатели:

· Показатель «Затрудняюсь ответить»

· Показатель «Один и тот же ответ»

· Показатель «Экстремальных и серединных» вариантов ответа

· Индикатор несогласованных ответов

Реализация латентно-классового анализа невозможна в программе SPSS, предназначенной для статистической обработки данных. В связи с тем, что в рамках данной работы весь анализ был выполнен в SPSS, и к тому же в работе О. Каменской не было ограничений по замене латентно-классового анализа, то было решено использовать кластерный анализ, который можно выполнить в SPSS. Все показатели измеряются по дихотомической шкале.

Согласно первому показателю «Затрудняюсь ответить», только 35 из 187 выбрали хоть раз этот вариант ответа, что составляет лишь 19%. Соответственно 152 (82%) респондента ни разу не выбрали этот вариант ответа.

Второй показатель «Один и тот же ответ» у всех респондентов равен нулю, так как никто из респондентов не избрал один и тот же ответ на все однотипные вопросы. В связи с этим мы исключим данный показатель при подсчете разумной достаточности, так как он не несет никакой смысловой нагрузки.

Третий показатель «Экстремальных и серединных» вариантов ответа в том случае засчитывался респонденту, если в блоке однотипных вопросов респондент выбирал больше, чем на половину вопросов один из следующих вариантов: 1; 5 или 10. В ходе анализа выяснилось, что из 187 только у 16 этот показатель равен 1. Таким образом, показатель «Экстремальных и серединных» вариантов ответа принимает значение 1 только в 9%.

Четвертый показатель предполагает, что невнимательные респонденты могут указать значение идеального возраста для какой-либо ситуации меньше значения «очень раннего» возраста. В этих случаях индекс принимает значение 1. Среди 184 респондентов, которые ответили на серию подобных вопросов, только 7 указали противоречащие друг другу ответы. В связи с этим индекс несогласованных ответов принимает значение 1 только в 4%.

Итак, после подсчета всех составляющих показателей разумной достаточности выяснилось, что только три показателя могут участвовать в дальнейшем кластерном анализе, так как показатель «Один и тот же ответ» не проявился ни у одного из респондентов. В работе О. Каменской рассматриваются две группы респондентов: сэтисфайсеры и оптимайзеры. Следуя за исследователем О. Каменской, мы также разделим всех респондентов на две группы, исходя из рассмотренных показателей. Для этого мы используем кластерный анализ, выполненный методом к-средних, в котором можно самому задать количество кластеров.

Согласно результатам в первой группе оказалось 150 студентов, а во второй 34.

Рассмотрим таблицу с финальными кластерными центрами.

Таблица 11 Финальные кластерные центры

Показатели разумной достаточности

1-ый кластер

2-ой кластер

Показатель «Затрудняюсь ответить»

0,00

1,00

Показатель «Экстремальных и серединных» вариантов ответа

,09

,09

Индикатор несогласованных ответов

,03

,09

В данной таблице мы видим, что в первом кластере оказались студенты, у которых меньше проявляются представленные показатели. В первом кластере только у 9% от всех студентов проявляется показатель «Экстремальных и серединных» вариантов ответа и у 3% проявляется индикатор несогласованных ответов; во втором кластере у всех 34 студентов проявляется показатель «Затрудняюсь ответить», у 9% проявляется показатель «Экстремальных и серединных» вариантов ответов и еще у 9% - индикатор несогласованных ответов.

В связи с тем, что в первом кластере меньше проявляются показатели разумной достаточности, было решено первый кластер назвать оптимайзерами, а второй сэтисфайсерами.

Для понимания содержания полученных кластеров, проанализируем, насколько получились группы однородными. Для этого мы рассчитаем среднее расстояние от центра кластера до респондентов, относящихся к первому и второму кластеру.

Таблица 12 Средние значения расстояний от центра для двух кластеров

Среднее

Количество

Станд.отклон

Оптимайзеры

0,182

150

0,021

Сэтисфайсеры

0,252

34

0,054

Данные в таблице показывают, что выделенные кластеры являются однородными, средние расстояния до центра для первого и второго кластера достаточно малы. Следовательно, разделение респондентов на два кластера можно считать удачным.

Также как и в предыдущих методах, проверим, есть ли взаимосвязь между полом, возрастом, направлением обучения, образованием родителей и тем, какая стратегия была выбрана при прохождении опроса.

Для проверки связи использовался критерий Хи-квадрат, а также доверительный интервал (при подсчете среднего возраста). Однако, как и при предыдущих проверках, выяснилось, что связи между переменными нет.

Выводы:

В анализе было представлено три метода по измерению разумной достаточности среди студентов высших учебных заведений. При использовании каждой методики мы разделили всех респондентов на сэтисфайсеров и не сэтисфайсеров. Рассмотрим, насколько различны эти группы при использовании разных методик по измерению разумной достаточности. С помощью таблиц сопряженностей и критерия Хи-квадрат сравним попарно группы:

1) Методика с помощью дополнительной инструкции и методика, основанная на сложении индексов;

2) Методика с помощью дополнительной инструкции и методика, основанная на кластерном анализе;

3) Методика, основанная на сложении индексов и методика, основанная на кластерном анализе.

Таблица 13 Попарное сравнение групп, выделенных на основе трех методик

Сложение индексов

Всего

не сэтисфайсеры

сэтисфайсеры

Manipulation Test

не сэтисфайсеры

48

43

91

сэтисфайсеры

36

58

94

Всего

84

101

185

Chi-Square=3,894; Asymp. Sig. (2-sided)=0,048

Кластерный анализ

Всего

не сэтисфайсеры

сэтисфайсеры

Manipulation Test

не сэтисфайсеры

76

14

90

сэтисфайсеры

74

20

94

Всего

150

34

184

Chi-Square=0,999; Asymp. Sig. (2-sided)=0,318

Кластерный анализ

Всего

не сэтисфайсеры

сэтисфайсеры

Сложение индексов

не сэтисфайсеры

67

17

84

сэтисфайсеры

83

17

100

Всего

150

34

184

Chi-Square=0,318; Asymp. Sig. (2-sided)=0,573

Анализируя таблицу, мы можем сказать, что наиболее схожими способами являются измерение разумной достаточности с помощью специальной инструкции и с помощью сложения индексов: связь между группами является значимой при уровне доверия 90%, то есть эти две методики в наибольшей мере определяют примерно одних и тех же респондентов как сэтисфайсеров.

Важно отметить, что все рассмотренные методы измерения разумной достаточности применяют разные способы выявления сэтисфайсеров, поэтому в конечном итоге в каждом методе получилось разное количество респондентов как сэтисфайсеров и не сэтисфайсеров:

1-ый метод (с помощью инструкции): не сэтисфайсеры - 91 (49%); сэтисфайсеры - 94 (51%);

2-ой метод (сложение индексов) не сэтисфайсеры - 84 (45%) ; сэтисфайсеры - 103 (55%);

3-ий метод (кластерный анализ) не сэтисфайсеры - 150 (82%); сэтисфайсеры - 34 (18%).

Недостатки и достоинства рассматриваемых методик

1) Измерение разумной достаточности с помощью дополнительной инструкции

В рамках данного исследования не было проанализировано, влияет ли устройство, с которого респондент проходит опрос. Вполне вероятно, что опрос, который выполняется с мобильного устройства, сложнее выполнить, чем тот же опрос с компьютера, так как длинный текст инструкции удобнее читать с экрана большего размера. Также остается не ясно, где в анкете размещать вопрос с дополнительной инструкцией. В настоящем исследовании вопрос был заключительном в основном блоке. Возможно, если бы вопрос стоял в начале анкеты, то многие респонденты были бы более внимательны. Основным недостатком данной методики является то, что специальный вопрос занимает у респондента дополнительное время, что может вызвать негативные эмоции. Более того текст инструкции не всегда соотносится с темой исследования, что может вызвать непонимание и повлиять на дальнейшее заполнение анкеты. К достоинствам данного метода можно отнести простоту при анализе данных, так как не нужно выполнить никаких дополнительных вычислений для разделения респондентов на сэтисфайсеров и не сэтисфайсеров.

2) Анализ измерения разумной достаточности на основе нескольких индексов

Достоинства данного метода заключаются в том, что нет необходимости включать дополнительные вопросы в анкету для определения сэтисфайсеров и не сэтисфайсеров. К тому же сам показатель формируется достаточно просто- путем сложения индексов. Также данный метод не проводит строгого ограничения между сэтисфайсерами и не сэтисфайсерами, а позволяет выделить несколько групп, и в этом случае при анализе данных исследователь может настороженно отнестись только к ответам «очень сильных» сэтисфайсеров.

Недостаток данного метода заключается в том, что каждый опрос должен обязательно содержать блок однотипных вопросов.

3) Метод измерения разумной достаточности с помощью кластерного анализа

Данный метод, на наш взгляд, является самым трудоемким, так как для его реализации необходимо проводить кластеризацию респондентов с помощью вспомогательного анализа. К недостаткам методики относится необходимость включения в анкету блока вопросов, на которых можно было бы рассчитать индикатор несогласованных ответов. К тому же при использовании кластерного анализа в программе SPSS не удается выделить группу респондентов, для которых все показатели разумной достаточности были бы равны нулю. Также как и в прошлой методике необходим блок однотипных вопросов.

Анализ результатов между подвыборками, делящимися по способу сбора данных

Как уже было отмечено ранее, для сбора данных использовалось два способа: метод «снежного кома» и метод случайной рассылки респондентам. Первым способом было опрошено 86 студентов, а вторым - 101.

Основной вопрос в данном случае заключается в следующем: различается ли доля сэтисфайсеров при проведении опроса методом «снежного кома» и методом случайной рассылки.

Для этого мы замерим разумную достаточность тремя рассмотренными выше способами для каждой подвыборки в отдельности и проведем сравнение долей с помощью t-тестов.

Измерение разумной достаточности на двух подвыборках с помощью инструкции

Рассчитаем, какую долю сэтисфайсеры составляют в первой и во второй подвыборках.

Таблица 14. Сравнение разумной достаточности в двух подвыборках с помощью инструкции

Способы сбора данных

N

Mean

Std. Deviation

Std. Error Mean

Снежный ком

85

,47

,502

,054

Случайная рассылка

100

,54

,501

,050

В случае сбора данных методом «снежный ком» мы видим, что доля сэтисфайсеров составляет 0,47, а в случае случайной рассылки доля сэтисфайсеров несколько больше и составляет 0,54. Чтобы понять, является ли разница значимой, рассчитаем t-тест и обратим внимание на значимость.

Таблица 15 Различия в долях сэтисфайсеров, определенных с помощью инструкции для двух подвыборок

t

df

Sig. (2-tailed)

-,938

183

,349

В связи с тем, что рассчитанная значимость 0,349 больше 0,05, следовательно, нельзя говорить, что разница в долях является значимой.

Измерение разумной достаточности на двух подвыборках, рассчитанной на основе нескольких индексов

В данном случае необходимо пересчитать для каждой подвыборки «Индекс прокликивания», так как модальное значение для каждой подвыборки рассчитывается по отдельности. В связи с этим мы получили новые значения показателя разумной достаточности для каждой подвыборки. Для респондентов, опрошенных методом «снежного кома» значения показателя разумной достаточности принадлежат промежутку от 0 до 1; для респондентов, опрошенных методом случайной рассылки, значения показателя принадлежат промежутку от 0 до 1,48.

С помощью t-теста рассчитаем среднее значение показателя разумной достаточности для каждой подвыборки и проверим, является разница в показателях значимой.

Таблица 16 Измерение разумной достаточности, рассчитанной на основе нескольких индексов на двух подвыборках

Способы сбора данных

N

Mean

Std. Deviation

Std. Error Mean

Снежный ком

86

,398

,38

,041

Случайная рассылка

101

,334

,35

,034

Мы видим, что в случае сбора данных методом «Снежный ком» среднее значение показателя разумной достаточности немного выше, чем в случае сбора данных методом случайной рассылки (0,398 и 0,334 соответственно). Проанализируем t показатель и обратим внимание на значимость.

Таблица 14 Различия в показателях разумной достаточности, рассчитанных на основе нескольких индексов на двух подвыборках,

t

df

Sig. (2-tailed)

1,211

185

,228

Однако и в данном случае различия являются незначимыми, следовательно, разницы в способе сбор данных нет. Рассмотрим, есть ли различия между двумя способами, если рассчитать не среднее значение показателя разумная достаточность для каждой подвыборки, а если рассчитать долю сэтисфайсеров в первой и во второй подвыборке. Для разделение всех студентов на две группы мы определим сэтисфайсера как любого респондента, у которого значение показателя разумной достаточности не равно нулю. С помощью t-теста выяснилось, что доля сэтисфайсеров составляет в первой и второй подвыборке 0,57, а значимость составляется 0,951, соответственно различий в долях не существует.

Измерение разумной достаточности на двух подвыборках, рассчитанной с помощью кластерного анализа

Для каждой подвыборки был заново проведен кластерный анализ методом k-средних, в результате чего было выделено два кластера в каждой подвыборке. В первой подвыборке, состоящей из респондентов, опрошенных методом «Снежного кома», доля сэтисфайсеров составила 0,19, а во второй подвыборке, состоящей из респондентов, опрошенных методом случайной рассылки, доля сэтисфайсеров составила 8%.

Таблица 17 Сравнение разумной достаточности в двух подвыборках с помощью кластерного анализа

метод "Снежный ком"

Случайная рассылка

Не сэтисфайсеры

Сэтисфайсеры

Не сэтисфайсеры

Сэтисфайсеры

Показатель затрудняюсь ответить

0%

56%

25%

25%

Показатель «экстремальных и серединных» вариантов ответа

0%

50%

0%

100%

Индикатор несогласованных ответов

3%

19%

1%

13%

Исходя из представленных данных, мы можем сделать вывод, что в первой подвыборке респонденты чаще выбирали вариант «Затрудняюсь ответить», у меньших респондентов проявляется показатель «экстремальных и серединных» вариантов ответа.

Проверим, насколько однородны получившиеся группы. Для этого рассчитаем расстояния до кластерных центров.

Таблица 18 Средние значения расстояний от центра для кластеров

 

Среднее

Количество

Станд.отклон

метод "Снежный ком"

Оптимайзеры

,056

69

,019

Сэтисфайсеры

,793

16

,036

Случайная рассылка

Оптимайзеры

,386

91

,024

Сэтисфайсеры

,449

8

,117

Средние расстояния, исходя из табличных значений, достаточно малы, что говорит об однородности кластеров.

Рассмотрим, различается ли доля сэтисфайсеров, обнаруженных в первой подвыборке, от доли сэтисфайсеров, обнаруженных во второй подвыборке. Для этого мы воспользуемся t-тестом.

Таблица 19 Различия в долях сэтисфайсеров, определенных с помощью кластерного анализа для двух подвыборок

t

df

Sig. (2-tailed)

2,173

182

,031

Для имеющихся данных при уровне доверия 95% мы не можем сделать вывод, что доли сэтисфайсеров в двух выборках различны, однако, если принять уровень доверия 90%, то различие можно считать статистически значимым. Таким образом при уровне доверия 90% доля сэтисфайсеров 19% в первой подвыборке (сбор данных методом «снежного кома») действительно больше доли сэтисфайсеров 8% во второй подвыборке (сбор данных методом случайной рассылки).

Вывод:

Наша гипотеза о том, что доля сэтисфайсеров будет выше при опросе методом случайной рассылки не оправдалась. При измерении разумной достаточности тремя выше перечисленными методами доля сэтисфайсеров оказалась примерно одинаковой. Только в последнем методе измерения разумной достаточности с помощью кластерного анализа мы обнаружили, что при уровне доверия 90% доля сэтисфайсеров при опросе методом случайной рассылки больше, чем при опросе методом «снежного кома». В связи с этим, мы можем сделать вывод, что способ сбора данных в веб -опросе не влияет на то, как часто выбирают респонденты стратегию разумной достаточности.

Заключение

В настоящей работе были представлены различные методики по измерению разумной достаточности респондентов в веб- опросах. В рамках исследования мы рассмотрели, используют ли респонденты стратегию разумной достаточности в вопросах с единичным выбором, со множественным выбором, и в блоке однотипных вопросов, измеренных по 10 балльной шкале. Вопросы для анкеты были заимствованы из известных социологических исследований, что позволяет нам говорить о применимости анкетного инструментария для дальнейших исследований.

Основная цель данного исследования состояла в сравнении нескольких методик и исследовании факторов, влияющих на применение стратегии разумной достаточности. Исходя из того, что природа разумной достаточности является сложной, мы не стали рассматривать методики, измеряющие разумную достаточность с помощью одного индикатора. В данной работе были использованы только те методики, которые основаны на нескольких показателях, а также была рассмотрена методика, в основе которой лежит инструкция, определяющая, насколько респонденты внимательны при прочтении вопросов.

В результате проведенного исследования мы получили следующие результаты, исходя из поставленных задач:

1) Задача: Выяснить, определяют ли рассматриваемые методики одних и тех же респондентов, пользующихся стратегией разумной достаточности;

Результат: все три методики определяют разных респондентов как сэтисфайсеров, из чего следует, что все три методики необходимо использовать в разных случаях. Так, например, методику с использованием дополнительной инструкцией лучше применять, когда важна внимательность респондентов и необходимо контролировать, чтобы важные инструкции в опросе не были пропущены. В ходе анализа выяснилось, что респонденты, которые прошли проверку инструкцией, в среднем больше времени затрачивают на один вопрос. Касательно методик, измеряющих разумную достаточность на основе нескольких индексов, то их лучше применять, когда анкета состоит из разнообразных вопросов и включает в себя блок однотипных вопросов. Однако вторая методика, разработанная Скотом Барджем и Хантером Гелбахом, на наш взгляд чуть проще в применении, чем третья методика разработанная О.Каменской ее коллегами. С помощью второй методики можно выделить группу «сильно выраженных» сэтисфайсеров и в последующем анализе отнестись с осторожностью к их ответам. Стоит отметить, что в ходе сбора данных мы обнаружили, что блоки, содержащие большое количество однотипных вопросов, мало эффективны при подсчете индекса недифференциации, так как данный индекс обнаруживается обычно в блоках, содержащих меньшее количество однотипных высказываний, например, 5-6 высказываний.

2) Задача: определить факторы, способствующие проявлению стратегии разумной достаточности при использовании разных методик.

Результат: в настоящей работе в числе рассматриваемых факторов были пол, возраст, направление обучения, образование родителей. Однако при помощи построения таблиц сопряженности и подсчета критерия Хи-квадрат, мы выяснили, что связь между перечисленными факторами и разумной достаточностью, как стратегии реагирования на веб-вопросы, отсутствует. Это означает, ни одна из методик не выделяет определенную группу студентов, которым было бы свойственно применять стратегию разумной достаточности.

3) Задача: выяснить, есть ли различия в методиках при сборе данных разными способами.

Результат: на подвыборках, делящихся по способу сбора данных, было проведено все три рассматриваемых методики, однако гипотеза о том, что при сборе данных методом «снежного кома» у респондентов реже проявляется стратегия разумной достаточности, чем при сборе данных другим методом, не подтвердилась.

Таким образом, при сборе данных методом «снежного кома» и методом случайной рассылки выделилась одинаковая доля сэтисфайсеров.

В результате проведенного исследования ни одна из наших гипотез не подтвердилась, так как методики оказались все достаточно разными и, несмотря на то что они направлены на измерение одного и того же показателя (разумной достаточности), все они определяют разных респондентов как сэтисфайсеров. В связи с этим, мы можем сделать вывод, что универсальную методику для измерения разумной достаточности выделить невозможно. В любом случае при решении о том, какую методику использовать, нужно исходить из целей исследовательской работы и учитывать, насколько важно получить точные данные от респондентов.

Необходимо заметить, что настоящее исследование проводилось на выборке состоящей из студентов московских высших учебных заведений. Данная группа является легкодоступной, что позволяет быстро собрать необходимые данные, однако в дальнейшем необходимо также провести исследование, обхватив более широкий возрастной диапазон.

Однако еще раз хотелось бы подчеркнуть важность исследований, проводимых в области проверки качества данных. В настоящем исследовании раскрывается понятие разумной достаточности, и наибольшее внимание уделяется разработанным методикам по ее измерению. Важно подчеркнуть, что данное исследование охватывает наиболее популярные и современные методики, однако многие методики остались нерассмотренными, что дает почву для новых исследований в этой области.

Библиографический список

1. Atkinson R., Shiffrin R. (1968). Human memory: A proposed system and its control processes. In K.W. Spense and J. T. Spense (Eds), The psychology of learning and motivation: Advances in research and theory (Vol. 2, pp. 89-195). New York: Academic Press.

2. Barge S., Gehlbach H. Using the Theory of Satisficing to Evaluate the Quality of Survey Data // Source: Research in Higher Education, Vol. 53, No. 2, p.182-200

3. Belli, R. F., Herzog, R. A., & Van Hoewyk, J. (1999). Scale simplification of expectations for survival: Cognitive ability and the quality of survey responses. Cognitive Technology, 4(2), 29-38.

4. Cannell C., Miller P., Oksenberg L. (1981). The influence of interviewr and respondent psychological and behavioral variables on the reporting in household interviews. “Vital and Health Statistics, Series 2, No. 26, i-65.

5. Fang J., Wen C., Prybutok V. An assessment of equivalence between paper and social media surveys: The role of social desirability and satisficing // Computers in Human Behavior 30 (2014) 335-343

6. Fang, J., Wen, C., & Pavur, R. (2012). Participation willingness in web surveys: Exploring effect of sponsoring corporation's and survey provider's reputation // Cyberpsychology, Behavior, and Social Networking, 15(4), 195-199.

7. Fisher C., Chengalur-Smith I., Ballou D. The Impact of Experience and Time on the Use of Data Quality Information in Decision Making // Information Systems Research, Vol. 14, No. 2 (June 2003), pp. 170-188

8. Global Market Research 2013 // ESOMAR. ISBN 92-831-0270-3

9. Herk H., Poortinga Y., Verhallen T. Response Styles in Rating Scales : Evidence of Method Bias in Data From Six EU Countries // Journal of Cross-Cultural Psychology 2004 35: 346

10. Kaminska O., Goeminne B., Swyngedouw M. (2006) Satisficing in Early versus Late Responses to a Mail Survey // Leuven: Katholieke Universiteit Leuven. Faculteit der Sociale Wetenschappen. Sociologisch Onderzoeksinstituut.

11. Kaminska O., Mccutcheon A., Billiet J. Satisficing among reluctant respondents in a cross-national context // Public Opinion Quarterly, Vol. 74, No. 5, 2010, pp. 956-984

12. Krosnick J. (1991) Response strategies for coping with the cognitive demands of attitude measures in surveys. Cognitive psychology, Vol. 5, 213-236.

13. Krosnick J. The Impact of "No Opinion" Response Options on Data Quality: Non-Attitude Reduction oran Invitation to Satisfice? // The Public Opinion Quarterly, Vol. 66, No. 3 (Autumn, 2002), pp. 371-403

14. Krosnick, J. A., Narayan, S., & Smith, W. (1996). Satisficing in surveys: Initial evidence. In M. T. Braverman & J. K. Slater (Eds.), Advances in survey research p. 29-44

15. Krosnick, J. A. The Threat of Satisficing in Surveys: The Shortcuts Respondents Take in Answering Questions // Survey Methods Newsletter, Vol. 20 №1, 2000.

16. Oppenheimer D., Meyvis T., Davidenko N. Instructional manipulation checks: Detecting satisficing to increase statistical power // Journal of Experimental Social Psychology, August 2008.

17. Peterson, Robert A. (1997). “A Quantitative Analysis of Rating-scale Response Variability”. Marketing Letters 8 (1). Springer: 9-21.

18. Scott C. (1961). Research on Mail Surveys // Journal of Royal Statistical Society 124:143-205.

19. Simon, H. A. (1957). Models of Man. New York: Wiley.

20. Smith P. (2011) Communication Styles as Dimensions of National Culture // Journal of Cross-Cultural Psychology 42: 216

21. Tourangeau, Roger, Lance J Rips, and Kenneth A. Rasinski. 2000. The Psychology of Survey Response. Cambridge, UK: Cambridge University Press, p.8

22. Warwick D., Lininger C. (1975). The sample survey: theory and practice. New York: McGraw Hill. p. 185-187

23. Готлиб А.С., Лехциер В.Л., Малаканова О.А. Социальные коммуникации: оффлайн и онлайн контексты: сборник материалов всероссийской конференции с международным участием. МЦНИП. 2014 г.

24. Социальные коммуникации: оффлайн и онлайн контексты: сборник материалов всероссийской конференции с международным участием. 2013 года Готлиб, А.С., Лехциер, В.Л., Малаканова, О.А. МЦНИП, 3 февр. 2014 г. - Всего страниц: 427

25. Федоровский А.М. Качество онлайн-опросов. Методы проверок // Мониторинг общественного мнения: Экономические и социальные перемены. 2015. № 3. С. 28-35.

26. Крыштановский А. О. Анализ социологических данных с помощью пакета SPSS. М.: Издательский дом ГУ-ВШЭ, 2007.;

27. Мягков А.Ю. Искренность респондентов в массовых опросах: Диссертация д-ра социологических наук по теме "Теория, методология и история социологии". 2003. - 401 с.

Приложение

Таблица 1 Таблица стандартизированных остатков: различия сэтисфайсеров от не сэтисфайсеров по полу (1-ый метод)

Укажите, пожалуйста, ваш пол

Мужской

Женский

проверка №1

Не сэтисфайсеры

-,4

,4

Сэтисфайсеры

,4

-,4

Таблица 2 Критерий Хи-квадрат для выявления связи между полом и сэтисфайсерами (1-ый метод)

Value

df

Asymp. Sig. (2-sided)

Pearson Chi-Square

,666

1

,414

N of Valid Cases

185

Таблица 3 Таблица стандартизированных остатков: различия сэтисфайсеров от не сэтисфайсеров по направлению обучения (1-ый метод)


Подобные документы

  • Общие принципы измерения в социологии. Использование математических методов сбора и обработки первичной социальной информации для измерения социального неравенства. Концепции прожиточного минимума и относительной бедности. Методы измерения бедности.

    курсовая работа [181,1 K], добавлен 25.01.2016

  • Тесты в социологическом исследовании, шкалирование при сборе и анализе социологической информации. Проблема качества социологического измерения, надежность и валидность измерения. Конструирование индексов и шкал, метод построения гутмановской шкалы.

    курсовая работа [58,8 K], добавлен 15.02.2011

  • Методологические основы анкетирования респондентов старшей возрастной группы. Сущность, виды, особенности и сфера применения анкетирования в социологических исследованиях. Возраст как основная детерминанта, влияющая на мнения и реакции респондентов.

    курсовая работа [344,7 K], добавлен 02.03.2009

  • Применение опросных методов в социологических исследованиях, проблема надежности получаемой информации. Определение, признаки и виды массовых опросов, составление вопросов-фильтров и вопросов-ловушек. Использование проективной техники в анкетном опросе.

    курсовая работа [77,5 K], добавлен 30.09.2011

  • Суть одномерного (частотного) и двумерного распределение в социологических исследованиях. Анализ зависимости между признаками "важность качества упаковки", "пол", "материальное состояние семьи" и "место жительства". Значимость различий в разных выборках.

    курсовая работа [911,4 K], добавлен 03.12.2011

  • Возможность граждан РФ непосредственно участвовать в формировании собственной пенсии. Основные отличия негосударственного пенсионного фонда от управляющей компании. Показатели норматива достаточности собственных средств (капитала) управляющей компании.

    курсовая работа [72,9 K], добавлен 17.03.2011

  • Понятие социальной стратегии. Средства осуществления социального проектирования, его методики: матрица идей, вживание в роль, мозговой штурм и синектика. Методы ассоциации и аналогии. Типы трудовых коллективов и рычаги влияния. Выбор типа управления.

    реферат [35,3 K], добавлен 24.11.2009

  • Массовая коммуникация и медиа в социологическом дискурсе. Социологические теории массовой коммуникации. Методы измерения аудитории радио. Цели исследования, описание выборки, метод и география измерения аудитории. Основные показатели аудитории радио.

    презентация [2,8 M], добавлен 17.08.2013

  • Социометрия как эффективный способ исследования эмоционально-непосредственных отношений внутри малой группы. Социометрические методики обследования групп и первичных коллективов. Обзор процедуры проведения опроса. Проблема анонимности ответов в опросе.

    курсовая работа [181,4 K], добавлен 11.11.2013

  • Особенности изучения общественного мнения блогосферы методом контент-анализа. Специфика социологических методов сетевых сообществ. Методики измерения отчуждения в современной социологии. Психиатрическая изоляция как практика социального отлучения.

    контрольная работа [23,5 K], добавлен 16.11.2009

  • Становление жизненной стратегии молодого поколения. Влияние семьи на жизненную ориентацию и образование. Роль образования в формировании жизненной стратегии среди городской и сельской молодежи. Факторы, влияющие на изменение жизнедеятельности молодежи.

    реферат [32,0 K], добавлен 26.01.2017

  • Определение терминов "молодежь", "гражданская позиция". Основы формирования молодежной политики. Анализ исполнительных органов, занимающихся вопросами молодежной политики в Иркутской области. Методы агитации молодежи к проявлению гражданской позиции.

    дипломная работа [144,8 K], добавлен 30.06.2010

  • Сущность и различные подходы к определению бедности. Формирование интереса к проблеме бедности в России и за рубежом. Основные показатели уровня жизни населения. Социально-демографический портрет бедных в России. Причины и стратегии борьбы с бедностью.

    курсовая работа [49,8 K], добавлен 26.09.2010

  • Анализ теории социальной идентичности Г. Тэшфела. Ее основные положения, развитие, структура. Поведенческие стратегии при неизменности ин- и аутгруппы. Противоречивый характер взаимосвязи между силой идентификации с группой и межгрупповыми феноменами.

    дипломная работа [290,8 K], добавлен 31.08.2016

  • Формирование экономической категории "качество жизни". Подходы к измерению качества жизни. Индекс развития человеческого потенциала как интегральный показатель измерения уровня жизни. Государственные минимальные социальные стандарты Республики Беларусь.

    курсовая работа [106,5 K], добавлен 19.09.2013

  • Виды социальной мобильности, ее каналы и измерения. Факторы, побуждающие людей к социальным переселениям. Формы и показатели трудовой мобильности. Цели управления трудовыми перемещениями в организации. Роль и динамика трудовой мобильности в России.

    курсовая работа [73,0 K], добавлен 14.12.2013

  • Сущность и особенности концепции революции Герберта Маркузе. Результаты исследования отношения респондентов к универсальности основных подходов Г. Маркузе к характеристикам революций. Анализ отношения респондентов к универсальности подходов ученого.

    курсовая работа [293,0 K], добавлен 16.09.2017

  • Актуальность проблем молодежной политики на современном этапе. Процесс создания и исполнения молодёжной политики в российских условиях, ее объективные факторы. Государственные направления стратегии по преодолению противоречий между обществом и молодёжью.

    контрольная работа [21,2 K], добавлен 10.06.2015

  • Родительство как социальный институт. Проблема материнства в отечественных и зарубежных исследованиях. Современные подходы к пониманию отцовства. Любовь между родителями и детьми. Мотивация родительского поведения. Ребенок в системе семейных отношений.

    лекция [33,5 K], добавлен 21.04.2016

  • Теоретические основы уровня и качества жизни населения, индикаторы и их сущность. Основные показатели уровня и качества жизни населения развитых зарубежных стран и России. Проблема бедности, государственное регулирование социально-экономической политики.

    дипломная работа [332,7 K], добавлен 26.05.2009

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.