Методология социологических исследований

Понятие ошибки выборки. Почему невозможно сравнить выборочную совокупность с генеральной ?Как контролируется ошибка выборки в массовых опросах: практика ВЦИОМ.

Предположим, m -- генеральная совокупность, обладает среднестатистической характеристикой xген Это может быть средний возраст, доход, доля консерваторов и количество испытывающих счастье. Предположим далее, что из генеральной совокупности m отобрана совокупность п -- выборочная, которая обладает средней характеристикой хвы6 Ясно, что п < т. Тогда задача заключается в сопоставлении xген и хвы6 Отклонение выборочной средней от генеральной средней называется ошибкой выборки:

Из формулы следует, что исчисление Д -- ошибки выборки является принципиально неосуществимым, если не известны значения переменной в выборочной и генеральной совокупностях. Так возникает замкнутый круг: чтобы установить значение генеральной средней, нужно построить выборку, но, даже реализовав выборку, мы не сможем определить ее ошибку, потому что не знаем генеральной средней. Если бы мы знали генеральную среднюю, задача определения ошибки выборки решалась бы просто, но в данном случае выборка была бы просто не нужна. Практически ошибка выборки определяется путем сравнения известных характеристик генеральной совокупности с выборочными средними. В социологии при обследованиях взрослого населения чаще всего используют данные переписей населения, текущего статистического учета, предшествующих опросов на том же объекте. В качестве контрольных параметров обычно применяются социально-демографические признаки. Это можно сделать по завершении анализа данных. Исключение составляют предвыборные опросы и опросы, предшествующие переписям населения и референдумам -- исследователи стремятся предсказать их результаты и, тем самым, подтвердить репрезентативность своих данных.

Например, институт Дж. Гэллапа, систематически проводящий обследования общественного мнения по национальной выборке объемом 1500 человек, контролирует репрезентативность по имеющимся в национальных цензах данным о распределении населения по полу, возрасту, образованию, доходу, профессии, расовой принадлежности (белый -- цветной), месту проживания, величине населенного пункта1.

В исследованиях, проводимых Всероссийским центром изучения общественного мнения, надежность выборочных данных также оценивается посредством «апостериорного» контроля. В анкету мониторинга экономических и социальных перемен (руководитель -- Т.И. Заславская) включены признаки (вопросы), по которым имеется информация в Государственном комитете по статистике Российской Федерации. Такими признаками являются пол, возраст, образование, тип поселения, семейное положение, сфера занятости, должностной статус респондента. Четыре показателя -- пол, возраст, образование и место жительства респондента используются для выделения контролируемых групп при определении весов опрошенных -- они должны соответствовать аналогичным группам в генеральной совокупности2.

Показатели семейного положения, сферы занятости и должностного статуса в определении весов не участвуют и служат для дополнительного контроля выборки (табл. 5.1).

Таблица 5.1 Соотношение параметров выборочной и генеральной совокупностей в мониторинге общественного мнения об экономических к социальных переменах в России, ВЦИОМ, март и июнь 1993 г., %

Специалисты ВЦИОМа обеспечивают при анализе данных тщательный ремонт выборки, чтобы минимизировать отклонения, возникшие на этапе полевых работ. Особенно сильные смещения наблюдаются по параметрам пола и возраста. Объясняется это тем, что женщины и люди с высшим образованием больше времени проводят дома и легче идут на контакт с интервьюером, т. е. являются легко достижимой группой по сравнению с мужчинами и людьми «необразованными»3. В принципе эту погрешность можно было бы уменьшить, увеличив число повторных посещений с трех до восьми-девяти, как делают западные социологи. Однако это привело бы к значительному увеличению расходов на проведение полевых работ, а во-вторых, к увеличению сроков проведения поля, -- справедливо полагают Е.В. Козеренко и С.Г. Новиков4.

Максимальное отклонение показателей выборочной совокупности от соответствующих значений государственной статистики составляет 3,1 процентных пункта. Предполагается, что в этих пределах варьирует и ошибка выборки по изучаемому параметру, значение которого в генеральной совокупности неизвестно.

Аналогичным образом строятся другие всероссийские выборки. В обследованиях Центра «СоциоЭкспресс» Института социологии РАН выборка тоже имеет всероссийский масштаб. Ее проектный объем 2 тыс. человек. Опрос производится методом формализованного интервью по месту жительства. В основе размещения выборки лежат десять экономико-географических зон, в каждой из которых выделяются крупные города (численностью свыше 500 тыс. населения), средние города (50 -- 500 тыс.), малые города (до 50 тыс.) или поселки городского типа, а также сельские населенные пункты. Репрезентативность контролируется по региональным пропорциям численности населения, пропорциям между городским и сельским населением, пропорциям между населением указанных типов населенных пунктов. Авторы полагают, что предельная ошибка их выборки не превышает трех процентов5.

Более надежны сопоставления данных выборочной совокупности с результатами иных крупномасштабных исследований, где используются «субъективные» переменные. Уникальные возможности в этом отношении возникают при проведении референдума, который являет собой опрос генеральной совокупности. 25 апреля 1993 г. в России состоялся референдум, где задавались четыре вопроса: о доверии президенту, об отношении к социально-экономической политике, проводимой президентом и правительством в 1992 г., о необходимости досрочных выборов президента, а также о необходимости досрочных выборов депутатов. Многие социологические службы страны делали свои прогнозы. Наиболее точным, но только по первым двум вопросам, оказался прогноз ВЦИОМ6, выполненный по заказу газеты «Известия» и опубликованный за день до референдума (табл. 5.2).

Таблица 5.2 Прогнозы результатов референдума 25 апреля 1993 г. различными социологическими службами, % положительных ответов

При отсутствии лучшего критерия следует согласиться с тем, что, если выборка выходит за приемлемые рамки по известным переменным, она непригодна и по изучаемой переменной. И все-таки важно сознавать, что одна и та же совокупность единиц описывается многообразными характеристиками, каждой из которых присуща своя степень вариации. Иначе говоря, по одним характеристикам генеральная совокупность «хорошо перемешана» и является однородной, по другим -- дифференцированной. Например, по признаку «грамотность -- неграмотность» современное российское общество практически однородно: можно, опросив нескольких человек, уверенно утверждать, что подавляющее большинство людей грамотны. Иное дело -- дифференциация доходов. Она столь велика, что малой выборкой не обойдешься. Отсюда следует, что не существует выборки на все случаи социологической жизни. Лучшая выборка -- не обязательно большая. Даже очень маленькая выборка может быть вполне представительной. Главное, чтобы она была хорошо перемешана в генеральной совокупности,

5.3 Случайные и систематические ошибки

Уменьшение случайных ошибок при возрастании объема выборки и независимость систематических ошибок от величины массива. Сколько человек нужно опросить для получения репрезентативных данных? Примеры из практики исследовании. Почему предвыборный прогноз «Literary Digest» 1936 г. оказался ошибочным?

Ошибки выборки подразделяются на два типа. Случайные ошибки уменьшаются при возрастании объема выборочной совокупности. Так кубик при достаточно большом числе бросаний будет падать примерно равное количество раз на каждую грань. При нескольких бросаниях он может показать преимущественное выпадение, например «шестерки». Тогда мы говорим, что число наблюдений слишком мало, чтобы судить о неслучайности выпадения «шестерок». Но если «шестерки» выпадают постоянно при сотнях и тысячах бросаний, мы говорим: крайне маловероятно, чтобы это происходило случайно. Таким образом, случайная ошибка -- это вероятность того, что выборочная средняя выйдет (или не выйдет) за пределы заданного интервала. При случайном отборе следует неукоснительно соблюдать следующую заповедь: критерии доступа к единицам исследования должны быть независимы от изучаемых переменных.

Чудесное свойство случайных ошибок уменьшаться при возрастании объема выборочной совокупности делает бессмысленными обследования огромных массивов, которые предпринимаются чаще всего с целью произвести впечатление на профессионально неподготовленного заказчика.

Даже национальные выборки достаточно малы. Первая национальная выборка в США, спроектированная в 1935 г. тогда только начинавшим карьеру «поллстера» Джорджем Гэллапом старшим, насчитывала 1327 человек и пропорционально отражала основные группы населения. Одной из наиболее важных тем общественного мнения тогда, в 1930-е гг., было возобновление запрета на производство и продажу спиртных напитков. Чтобы установить вариацию выборочной средней, обусловленную величиной массива, выборка была случайным образом разбита на три примерно равных по численности группы7. Посмотрим на распределение опрошенных в первой подвыборке (табл. 5.3).

Таблица 5.3 Отношение американцев к возобновлению запрета на спиртные напитки, опрос Дж. Гэллапа, 1935 г., первая подвыборка: 442 человека

Аналогичные результаты Гэллап получил во второй и третьей подвыборках примерно такой же величины. Каждая из них показывала некоторое отклонение от общей выборочной средней, и, если проанализировать подвыборки накопленным итогом, можно установить степень приближения результатов малых выборок к результатам большой. Мысленная экстраполяция совершенно точно указывает предел точности выборочной средней -- это генеральная средняя. Но и на промежуточных стадиях видно, что подвыборочные средние отклоняются от параметров большой национальной выборки незначительно (табл. 5.4).

Таблица 5.4 Отношение американцев к возобновлению запрета на спиртные напитки, опрос Дж. Гэллапа, 1935 г., три подвыборки накопленным итогом, %

Третья строка таблицы показывает значения, полученные в проектной выборочной совокупности, -- они ненамного отличаются от средней и малой подвыборок. А изменятся ли выборочные параметры при увеличении объема? Чтобы узнать это, Гэллап провел дополнительные обследования той же генеральной совокупности выборками нарастающего объема таким образом, что величина максимальной из них составила 12 494 человека. Каковы же результаты расширения выборки почти в десять раз (табл. 5.5)?

Таблица 5.5 Отношение американцев к запрету спиртных напитков в дополнительных выборках большего объема, опрос Дж. Гэллапа, 1935 г., %

Мы видим, что самое большое расхождение между данными по двенадцатитысячной выборке и другим выборкам меньшего объема составляет два процентных пункта (по признаку несогласия с запретом спиртного). Отсюда следует, что в обследовании отношения американцев к запрету спиртного выборка может состоять из 442, равно как и из 12 494 человек, а результаты будут практически одинаковыми.

В практике массовых опросов относительная несущественность количества обследованных для получения точных результатов демонстрировалась неоднократно. Надо заметить, что предвыборные опросы -- вероятно, единственная область социологических обследований, в которых выборочные параметры получают незамедлительное подтверждение либо опровержение: параметры генеральной совокупности обнаруживают себя сразу же после подсчета голосов. В остальных обследованиях такой возможности нет, генеральная совокупность ничем себя не показывает. В получении точных данных при минимальной выборке и проявляется мастерство «поллстера».

В лаборатории по исследованию общественного мнения Принстонского университета, которой руководил Хэрви Кентрил, изучались предпочтения избирателей штата Нью-Йорк. Шел 1942 г. За неделю до выборов один интервьюер, разъезжая по штату, опросил 200 человек. Они распределились в соответствии с плотностью населения в различных зонах территории штата (табл. 5.6).

Таблица 5.6 Распределение выборочной совокупности в обследовании избирателей штата Нью-Йорк, опрос X. Кентрила, 1942 г., абс.

Респонденты были распределены также по расовой принадлежности, экономическому положению, возрасту. Эти переменные и определили структуру выборки. Избирательные предпочтения ньюйоркцев оказались следующими: за Дьюи собирались проголосовать 115 человек, за Беннета -- 72, за Альфанжа -- 12 и за Амстера -- 1. Ошибка предсказания победы Дьюи составила 5%, средняя ошибка трех лидирующих кандидатов -- 3,3% (табл. 5.7).

Таблица 5.7 Данные опроса выборочной совокупности численностью 200 человек и результаты выборов в штате Нью-Йорк, опрос X. Кентрила, 1942 г., %

Выборка Кентрила минимальна, зато точность его данных была всего на один процентный пункт меньше, чем в опросе «Нью-Йорк дейли ньюс», где численность опрошенных составила48 тыс. человек. Американский институт общественного мнения (Дж. Гэллап) основы вал тогда свой прогноз на обследовании 2500 человек, и ошибка составила 1,3 процентных пункта8. Результаты неплохие.

Итак, даже очень маленькая выборка при условии, что она хорошо распределена в генеральной совокупности, может быть вполне репрезентативной. Чем больше объем выборки, тем выше точность ее результатов, однако очевидно, что огромная выборка не гарантирует стопроцентного попадания. Плохо распределенная выборка в десять миллионов человек хуже, чем хорошо распределенная выборка в сто человек.

Со времени своего создания в 1935 г. Американский институт общественного мнения провел сотни предвыборных опросов. Средняя ошибка репрезентативности в 1936--1940гг. составляла 5,6 процентных пункта, в 1940--1944 гг. -- 3,4, в 1944--1947 гг. -- 2,6. В 1944 г. прогноз Гэллапа на президентских выборах был выполнен с точностью до 1,8 процентных пункта, а средняя ошибка по 48 штатам составила 2,5. В 1950--1958 гг. ошибка прогноза была 1,7 процентных пункта, в 1960--1968 гг. -- 1,5, в 1970--1978 гг. -- 1,19.

Второй тип ошибок выборки -- систематические ошибки. Это неконтролируемые перекосы в распределении выборочных наблюдений, которые приводят к «утере» проектируемого объекта исследования. В отличие от случайных систематические ошибки распределяются вокруг средней неравномерно, при возрастании объема выборки не уменьшаются. Число опрошенных здесь уже не имеет значения, потому что фактическая генеральная совокупность -- та, что соответствует выборке, уже «уехала» от проектируемой, а исследователь продолжает надеяться на репрезентативность. Систематические ошибки в отличие от случайных не поддаются предварительному контролю.

Осенью 1936 г. в истории социологических исследований произошло событие, радикально изменившее представления о построении выборки для массовых опросов. В первые десятилетия XX в. американские газеты и журналы соревновались за то, чтобы стать выразителями общественного мнения. Журнал «Литерэри Дайджест» проводил «соломенные опросы» перед выборами с 1925 г. и никогда не ошибался. Рассылались миллионы почтовых бюллетеней -- тем, кто числился в телефонных справочниках и списках автовладельцев. Система работала хорошо до тех пор, пока избиратели со средними и высокими доходами голосовали в равной степени и за демократов, и за республиканцев. И наоборот: избиратели с низкими доходами были склонны голосовать за любого кандидата.

С началом «Нового курса» американский электорат стал резко стратифицироваться: люди с доходами выше среднего, придерживавшиеся демократических взглядов, переменили их на республиканские, а те, кто принадлежал к малодоходным группам, стали симпатизировать демократической партии.

В 1936 г. на пост президента США претендовали Франклин Рузвельт -- демократ и Альфред Лэндон -- республиканец. Журнал «Литерэри Дайджест» разослал по почте десять миллионов бюллетеней -- была охвачена примерно треть американских семей. Вернули бюллетени 2 376 523 человека. Очевидно, выборка «Литерэри Дайджест», состоящая из владельцев телефонов и автомобилей, была обречена на смещение в пользу республиканцев. Так и получилось. Предвыборный опрос показал, что за Лэндона собираются проголосовать 57% избирателей, а за Рузвельта -- 43%. На выборах же победил Рузвельт с результатом 62,5%, а за Лэндона было подано 37,5% голосов.

К этому времени службы Дж. Гэллапа, Э. Роупера и А. Кроссли уже давно вели эксперименты с выборочными опросами. В частности, Гэллап в 1935 г. установил сдвиг политических ориентации состоятельных избирателей вправо, а бедных -- влево. В 1936 г. он обнаружил, что большинство владельцев телефонов предпочитают Лэндона Рузвельту, в то время как только 18% получающих пособие собираются голосовать за Лэндона. 12 июля 1936 г., когда началась предвыборная кампания, Гэллап опубликовал статью с предупреждением об ошибке «Литерэри Дайджест», который, как считал автор, по всей вероятности, предскажет победу Лэндона над Рузвельтом со счетом 56: 44. Гэллап получил этот прогноз, разослав по почте всего 3 тыс. бюллетеней. Он подробно проанализировал причины возможной ошибки. В ответ в «Литерэри Дайджест» была опубликована сердитая статья, где редактор писал: «Никогда и никто еще не предсказывал результаты наших опросов еще до того, как они начались... Нашему доброму статистическому другу (имелся в виду Гэллап. -- Г. Б.) можно было бы напомнить, что эти старомодные методы обеспечивают «Дайджесту» правильные прогнозы с точностью до одной сотой процента»10.

Основной источник систематической ошибки вопросе «Литерэри Дайджест» -- использование для определения адресов респондентов телефонных справочников и регистрационных книг владельцев автомобилей. Естественно, выборка сместилась в сторону «верхних» слоев социальной структуры. Владельцы телефонов и автомобилей -- группы, в значительной степени пересекающиеся, -- и составили реальный объект исследования, в то время как проектируемый объект отождествлялся с электоратом США. В итоге сформировалась выборка из респондентов, избирательные предпочтения которых отличались от предпочтений среднего американца. Средневыборочные значения оказались смещенными в сторону более состоятельных и образованных слоев населения.

Эти социально-структурные параметры имели определяющее влияние на распределение доверия к Рузвельту среди электората. Проводимый президентом с 1932 г. «Новый курс» был основан на вмешательстве государства в сферу свободного предпринимательства, антимонопольной политике и защите интересов низших слоев населения, в том числе расширение избирательных прав для иммигрантов. Немаловажным фактором, обусловившим размежевание позиций избирателей, был и процесс крупных корпораций против Рузвельта в Верховном суде, который был выигран «капиталистами» в 1936 г. Это способствовало его популярности среди низших классов. Да и сам облик Рузвельта -- человека, с молодых лет прикованного к инвалидной коляске, но сумевшего стать выдающимся политиком, импонировал демократическому большинству. Оптимальное размещение выборки в таких условиях было несовместимо с «уклоном» в сторону богатых. Этот «уклон» значительно усилился по причине пренебрежения со стороны аналитиков «Литерэри Дайджест» к динамике электоральных предпочтений в различных социальных стратах.

В предыдущих опросах «Литерэри Дайджест» анкеты рассылались тем же группам и прогнозы оправдывались, но в 1936г. не были учтены два исключительно важных обстоятельства: во-первых, дифференциация избирательных установок в зависимости от уровня доходов -- эта тенденция усилилось с приходом в 1932 г. в Белый дом президента Рузвельта; во-вторых, значительное расширение избирательного ценза. Новые контингента электората в основном принадлежали к беднейшим классам -- они и предпочитали видеть Рузвельта на посту президента.

Метод исследования -- почтовый опрос -- также усугубил ошибку. Вероятность возврата вопросника по почте была и остается намного выше у людей с высоким образованием и доходами выше среднего, а те, кто не возвратил заполненный вопросник, как правило, принадлежали к низшим классам. Поэтому, если бы даже поллстеры из «Литерэри Дайджест» использовали списки избирателей, а не телефонные справочники, выборка все равно оказалась бы смещенной в сторону богатых и образованных.

Против «Литерэри Дайджест» работал и фактор времени. Состоятельные и более образованные люди обычно определяют «своего» кандидата на президентских выборах еще летом и, вообще, заранее имеют по этому поводу обоснованную позицию, а «простые» люди ничего заранее не умышляют. «Литерэри Дайджест» опрашивал миллионы преуспевающих американцев как раз в начале сентября, когда богатые уже определились в своем выборе, а бедные еще нет. Ошибочно предполагалось, что полученная картина сохранится до ноября, в том числе сохранится и доля тех, кто не мог сказать ничего определенного. К осени ситуация стала меняться. Количество определившихся в своем «нет» Рузвельту осталось относительно стабильным, зато подгруппа не имеющих мнения начала резко сокращаться и перетекать в «да» Рузвельту. Так величайшая по объему выборка в истории массовых опросов оказалась ошибочной, и инцидент показал, что главное для репрезентативности -- не объем, а хорошее размещение единиц отбора.

«Каждая единица имеет равный шанс попасть в выборку» -- первый принцип выборочной процедуры. Тогда же, в июле 1936 г., молодые и еще неизвестные поллстеры (так стали называть тех, кто проводит массовые опросы, в отличие от социологов), опросив несколько тысяч человек, точно предсказали победу Рузвельту. С этого времени начался институциональный период в истории обследований общественного мнения. Институты Гэллапа, Роупера и Харриса к началу 1960-х гг. уже были международными корпорациями.

5.4 Типичные систематические ошибки выборки и способы отбора единиц