Общие представления о методах экспертной оценки

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

На современном этапе развития российского общества, в период крупнейших научно-технических, социально-экономических преобразований неизмеримо возрастает значение социологической науки.

В настоящее время в нашей стране метод экспертных оценок широко применяется при подготовке на государственном уровне важнейших народно - хозяйственных решений, для оценки социально-экономических проблем, возникающих в процессе разработки перспективных планов развития. В различных отраслях, ведомствах и на предприятиях действуют постоянные или временные экспертные комиссии, связанные с оценкой качества продукции и выбором перспективной техники, с проведением профессиональной аттестации кадров. В данной работе мы постараемся раскрыть понятие экспертного опроса и описать его преимущества перед другими методами сбора социологической информации.

1. Общие представления о методах экспертной оценки

1.1 Определение метода экспертных оценок

Экспертные методы используются в исследовании социально - экономических и политических явлений и процессов в тех случаях, когда не хватает достоверной статистической информации об исследуемом явлении или имеются весьма неопределенные представления об условиях его функционирования, что бывает довольно часто, а также при дефиците времени для исследования данного явления или при проведении его в экстремальных ситуациях.

Экспертные методы социологического исследования чаще всего имеют форму экспертных опросов - форму устной беседы (интервью) или письменного анкетного опроса.

При устном опросе исследователь вступает в непосредственный контакт с экспертом (респондентом), фиксирует его отношение к обсуждаемой проблеме, контролирует и направляет беседу. При этом надо избегать какого-либо психологического давления на эксперта, не мешая ему свободно высказывать свои суждения.

При письменном опросе эксперты заполняют анкету, разработанную исследователем, и возвращают ее либо лично данному исследователю, либо отправляют ее по почте. В отдельных случаях анкеты могут доводиться до экспертов с помощью СМИ - газет, журналов, радио, телевидения.

В качестве экспертов привлекаются высококвалифицированные специалисты в области экономики, политики или иной сферы деятельности. Эксперт - это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования. Им дается некая первоначальная информация об исследуемом явлении или процессе и в случае необходимости сообщается дополнительная информация о нем.

На основе представленной информации, своих знаний и имеющегося опыта эксперты высказывают свои суждения, оценки, предложения. Их мнения соотносятся между собой, если надо получить представление об их общем мнении или решении. При этом могут быть использованы разные формы организации труда экспертов, в том числе их «индивидуальная независимая деятельность либо коллективная взаимообусловленная работа».

Экспертные оценки используются практически на всех этапах экономических исследований, хотя их методическая основа может существенно различаться. Экспертные оценки по своей сути субъективны, но поскольку основу каждого суждения составляют вполне определенная информация, накопленный опыт, результаты анализа объективной действительности, предполагается, что суждения не будут слишком противоречивыми. Различия могут быть преодолены путем взаимной коррекции, произведенной с учетом дополнительных сведений, полученных от других экспертов: при увеличении количества объективной информации, как правило, повышается степень адекватности выдвигаемых гипотез и их использования в исследовании социально-экономического процесса.

Метод экспертных оценок предполагает разработку каждым экспертом индивидуального решения в отношении предполагаемых будущих характеристик исследуемого процесса.

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

1.2 Разновидность методов

Экспертные оценки разделяются на индивидуальные и групповые.

Индивидуальные оценки (метод «интервью», аналитические докладные записки, написание сценария и др.) предполагают независимую работу каждого эксперта над решением поставленной проблемы. Окончательный вариант решения в этом случае определяется непосредственно исследователем путем анализа экспертных данных.

Метод «интервью» предусматривает непосредственный контакт исследователя-прогнозиста с экспертом в режиме работы «вопрос - ответ» по заранее разработанной программе, направленной на выявление перспектив развития изучаемого процесса. Успех зависит от продуманности вопросов, их однозначности и логической взаимосвязанности. Вопросы можно разделить на две группы: 1) направленные на оценку мотивов, которыми руководствовался эксперт при обосновании решения;

2) направленные на определение этого решения.

Результатом работы является докладная записка, содержащая обоснование предполагаемых в будущем состояний процесса. Индивидуальное экспертное прогнозирование получило достаточно широкое распространение при определении будущих изменений на рынке товаров - перспективных характеристик спроса, потребления и производства товаров и услуг различных групп, инвестиций и товарных запасов и т.п.

Написание сценария предполагает описание логической последовательности ситуаций, которые исходя из существующего состояния процесса позволяют прогнозировать возможные состояния в будущем. Последовательность состояний обычно рассматривается во временной системе координат. Сценарный метод применяется при прогнозировании частично или полностью управляемых процессов; он принуждает обращать внимание на детальные стороны взаимосвязей между явлениями, которые могли быть упущены на абстрактном уровне их анализа. Если разработкой сценария занимается не один эксперт, а целая группа, то этот метод относится к групповым экспертным оценкам.

Преимущества групповых экспертных оценок перед индивидуальными:

* сумма информации, которой обладают все члены группы экспертов, больше информации, располагаемой каждым из них;

* количество учитываемых факторов обычно превосходит число факторов, которыми оперирует отдельный член группы;

* правильно организованное взаимодействие членов группы позволяет компенсировать полярность их мнений, способствуя тем самым разработке более обоснованного прогнозного решения.

Перечисленные преимущества групповой экспертизы являются критерием точности.

Одним из широко используемых методов групповой оценки прогнозного решения является анкетный метод - ряд последовательных процедур, направленных на подготовку и обоснование прогноза. Эти процедуры характеризуются анонимностью письменного опроса, производимого с помощью анкет регулируемой обратной связью между результатами опроса предыдущего этапа и подготовкой их нового варианта, а также групповым характером ответа. Регулируемая обратная связь осуществляется путем проведения нескольких туров опроса экспертов, на каждом из которых характеристики ответов обрабатываются с применением математико-статистических методов и результаты сообщаются анонимно. Групповой ответ формируется путем обработки и анализа результатов ответов экспертов. Критерием окончания его разработки, как правило, служит «близость» мнений экспертов.

Анкетный метод отличается от свободного интервью письменной формой опроса, возможностью привлечения большого числа экспертов; при заочной форме сбора мнений исключается один из недостатков свободного интервью - «эффект интервьюера» (т.е. возможное воздействие интервьюера на формирование мнения опрашиваемого). Однако этот метод отличается низким уровнем возврата анкет; кроме того, полностью не исключается возможность интерпретации организатором экспертизы ответов экспертов. Формализованный опрос представляет собой анкетирование в привычном для социологов смысле слова. Респонденты получают подробно разработанную анкету с вопросами, сформулированными в основном в закрытом или полузакрытом виде. Цель этого метода заключается в выяснении мнения большинства специалистов, оценке ими тех или иных аспектов решения поставленной проблемы. Получаемая информация подлежит не только качественному, но и количественному анализу.

Метод шкалированных оценок направлен на получение количественной информации с помощью измерения отношения специалистов к предмету экспертизы по той или иной шкале - номинальной, ранговой, метрической.

Статистические методы являются критерием точности групповой экспертизы.

В основном метод экспертных оценок учитывается в полной мере при исследовании политических явлений и процессов. Как и в других случаях, при их исследовании применяются такие формы экспертных опросов, как разовый индивидуальный опрос (интервью или анкетирование), однократный коллективный опрос (совещание, мозговой штурм), индивидуальный опрос в несколько туров (метод Дельфи) и коллективный опрос в несколько туров (дискуссия, совещания, многоступенчатый опрос):

Разовый индивидуальный опрос - это разовая беседа с экспертом или одноразовое заполнение им анкеты, полученной от исследователя. Эксперт сам формулирует ответы на вопросы анкеты или выбирает один из предложенных в анкете ответов.

Однократный коллективный опрос направлен на получение заключения коллектива экспертов по рассматриваемой проблеме, поскольку коллективное мнение и заключение экспертов может быть более компетентным. К тому же совместный поиск истины может стимулировать творческий подход к решению поставленной задачи. Есть данные о том, что «групповое мышление производит на 70% больше ценных новых идей, чем сумма результатов индивидуальных мышлений».

Существуют различные формы однократного коллективного экспертного опроса: дискуссия, совещание, круглый стол и т.п. Во всех из них главным является дискуссия экспертов - в виде простого обмена мнениями на совещании экспертов или в виде «мозгового штурма», в котором высказывание новых идей, гипотез, доказательств нередко принимает лавинообразный характер. При этом большой творческий порыв и «концентрация внимания всех участников на заданной проблеме» дает свой эффект. Важно, однако, чтобы «мозговой шторм» отличался не только творческим порывом, но и основательностью анализа проблемы. Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки широкого круга специалистов.

Индивидуальный опрос в несколько туров, известный как метод Дельфи, противостоит таким коллективным формам экспертных опросов, как дискуссия и совещание, т.е. характеризуется полным отсутствием личных контактов опрашиваемых экспертов. Процедура их опросов в данном случае состоит из нескольких туров (итераций). Каждая из них начинается с индивидуального опроса экспертов, ответы которых на поставленные вопросы подвергаются машинной обработке. В первом туре эксперты свободно высказывают свои суждения без какой-либо их аргументации. Во втором туре организаторы опроса могут попросить экспертов обосновать свои выводы. При этом каждому из них сообщают обобщенные данные, полученные при обработке материалов первого тура. Таким образом, происходит заочная и анонимная дискуссия экспертов. В ходе третьего тура эксперт может изменить некоторые свои суждения под влиянием представленных ему новых материалов, обосновывая свои измененные суждения и выводы из них. Информация о них сообщается другим экспертам в четвертом туре². Исследователи отмечают, что после третьего и четвертого туров «ответы экспертов перестают существенно меняться, что и является основанием для прекращения опроса и принятия результатов последнего тура в качестве коллективного мнения, рекомендации или решения».

Коллективный опрос в несколько туров осуществляется путем использования всех форм и способов коллективной экспертизы, в том числе дискуссии, совещания, круглого стола, «мозгового штурма». Многотуровый или многоступенчатый опрос экспертов направлен на их максимальное углубление в решение соответствующей проблемы, на «превращение такого опроса из интуитивного в интуитивно-логический». Для этого применяются, в частности, «такие формы логического анализа, как разработка матриц взаимокорректировки и «дерева целей».

При построении «дерева целей» сначала разрабатываются сценарии исследования той или иной проблемы. Затем при многотуровом (многоступенчатом) взаимодействии с экспертами на основе разработанного сценария строится «дерево целей»: фиксируются основная цель исследования и ее «подцели», реализация которых является условием достижения основной цели. Далее «определяются коэффициенты относительной важности критериев и целей» на всех уровнях «дерева целей». После этого «определяются конкретные виды необходимых работ, ресурсы и сроки их осуществления».

Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

Исключительно важное значение имеет подбор квалифицированных и добросовестных политических экспертов, способных давать глубокие компетентные заключения, не поддаваясь политическому и идеологическому давлению со стороны кого бы то ни было, что довольно трудно.

В анализе политических явлений и процессов поиск истины часто происходит под сильным влиянием политических интересов тех или иных социальных сил и нередко политических интересов самих экспертов. В этих случаях бывает довольно сложно объективно исследовать политическое явления и делать столь же объективные заключения.

Особенно это касается исследований политических явлений, ибо последние оказывают определяющее влияние на многие стороны жизни общества, и уже поэтому давление интересов различных социальных сил при решении политических проблем бывает очень мощным. Но именно эти силы часто выступают заказчиком исследований политических явлений и процессов. Поэтому не случайно появляются ошибочные, а иногда и предвзятые заключения экспертов по различным политическим проблемам, неверно отражающие суть дела, а то и фальсифицирующие его. Все свидетельствует о том, что не только уровень квалификации, но и идеологические ориентации и моральные качества экспертов являются важными факторами осуществления экспертного изучения различных политических явлений, складывающихся ситуаций и в целом политических процессов.

В настоящее время при их анализе чаше всего прибегают к таким формам экспертного опроса, как устный опрос высококвалифицированных специалистов, среди которых могут быть профессиональные политики, в том числе крупные государственные деятели, а также так называемый круглый стол, за которым ведут творческую дискуссию теоретики и практические политические деятели, приходящие к тем или иным теоретическим решениям и практическим рекомендациям по обсуждаемой проблеме.

При необходимости исследователи прибегают и к индивидуальным заочным опросам экспертов в несколько туров (так называемому методу Дельфи), а также к коллективному опросу экспертов в несколько туров. Во всех случаях точность и надежность прогнозов относительно исследуемых политических явлений и процессов обусловлена такими факторами, как тщательный отбор экспертов, возможность проверки их выводов и рекомендаций другими способами (системного анализа, сравнительного метода, моделирования и т.д.).

В настоящее время методы экспертных оценок широко применяются при исследовании политических явлений и процессов и в той или иной мере способствуют их всестороннему анализу. Однако для повышения эффективности их использования они должны быть соответствующим образом организованы. При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.

1.3 Специфика экспертного опроса

В современной методологической литературе указывают, как правило, на существование трех основных методов сбора первичной социологической информации. К ним относят метод прямого наблюдения, метод анализа документов и метод опроса[1].

В комплексе перечисленных социологических методов в настоящее время наиболее популярен опрос. Его специфика состоит прежде всего в том, что источником первичной социологической информации является человек (респондент) - непосредственный участник исследуемых социальных процессов и явлений. В основе опросного метода лежит совокупность предлагаемых опрашиваемым вопросов, ответы на которые и образуют первичную информацию.

Обычно выделяют два больших класса опросных методов - анкетирование и интервьюирование, связанные с письменной или устной формой общения с респондентами. Существует, однако, еще одно специфическое подразделение опросов, которое далеко не всегда учитывается при проведении социологического исследования, но настолько важное, что его следует рассматривать особо как превосходящее по значимости все прочие подразделения. Речь идет об обособлении массового и экспертного опросов.

Опросы этих двух видов, как правило, включаются в исследование для решения различных задач. Целью массового опроса является получение информации о знаниях, мнениях, ценностных ориентациях и установках респондентов, отражающих их отношение к определенным событиям, явлениям действительности. Цель экспертного опроса заключается в получении информации о самих событиях и явлениях действительности, отраженной в знаниях, мнениях и оценках респондентов. Подобная информация может исходить только от компетентных лиц - экспертов, имеющих глубокие знания о предмете или объекте исследования. Опросы компетентных лиц именуются экспертными, а результаты опроса - экспертными оценками.

Наиболее наглядно проявляется отличие экспертного опроса от массового в прогнозировании.

Так, например, программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее прогнозу явление, предусматриваются в виде гипотез возможные варианты его исхода.

В соответствии со степенью разработанности гипотез, знания направлений прогноза в инструментарий исследования включаются те или иные виды вопросов. В том случае, если исследователь располагает информацией лишь о возможных вариантах исхода прогнозируемого явления и затрудняется однозначно сформулировать их причины, предпочтительней в анкете эксперта использовать открытые вопросы с полной свободой выбора формы ответа. Если же исследователь располагает приемлемыми предположениями о причинах исхода прогноза, он сам может сформулировать прогностические гипотезы. Последние в виде утверждений составляют основу формализации анкеты эксперта[2].

Основной инструментарий экспертных опросов - анкета или бланк- интервью, разработанные по специальной программе. При его составлении некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свое значение при опросе такой специфической аудитории, как эксперты. Так, например, нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выявить «скрытые» позиции респондента. Более того, использование подобных приемов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова - активный участник научного исследования, и попытка скрыть от него цель исследования, превратив таким образом в пассивный источник информации, чревато потерей его доверия к организаторам исследования.

Ориентация опроса на экспертный или массовый должна гарантироваться формулировкой вопросов, инструкцией интервьюеру и т.п., а также контролироваться при кодировке вариантов вопросов. В зависимости от того, какая ориентация опроса признана основной, зависит и включение получаемой информации в схему обработки и анализа. В противном случае в рамках одного опроса можно получить разнохарактерную информацию, не приводимую к одному основанию. Ориентация на массовый или экспертный опрос существенно влияет на постановку проблемы надежности полученной информации, в особенности если последняя носит оценочный характер.

2. Структура и функции экспертного опроса

Как справедливо указывает В.А. Ядов, если мы имеем дело с массовыми опросами, а не с опросами экспертов, необоснованные оценки при фактической осведомленности о данном предмете столь же «надежны», как и обоснованные. В этом смысле проверка компетентности опрашиваемого сводится к тому, чтобы уяснить, извести ли ему оцениваемые события. Такова типичная ситуация при опросе общественного мнения. Оно может быть справедливым и объективным несправедливым и ошибочным с точки зрения непредвзятого и серьезного анализа проблемы. Однако знание о мнении и оценках общественности, какими бы ни были эти мнения и оценки, - это объективная и достоверная информация, если опрашиваются люди, знакомые с тем, о чем их спрашивают, если они сталкиваются с данными событиями и фактами в своей повседневной жизни.

Иначе обстоит дело, если проводится экспертный опрос, где опрашиваемые

- специалисты, и их компетентность должна не вызывать сомнений. В этом случае важна не только объективно обусловленная возможность респондента судить по данному предмету, но и реальная способность высказать обоснованное мнение. Поэтому для экспертных опросов тщательнейшим образом отбирают только тех, кто вполне заслуживает статуса компетентного лица в данной области. Например, экспертный опрос в сфере организации досуга может охватить ответственных работников отделов культуры народных советов, клубных работников, актив общественных организаций, а экспертизу по проблемам организации труда следует, конечно, осуществлять с помощью специалистов совершенно иного профиля[3].

Основные функции экспертного опроса в социологии связаны с оцениванием социального качества общественных систем и их элементов, вариантов социально значимых решений, достоверности данных (в том числе полученных в ходе массового опроса), социальных последствий реализации проектов и рекомендаций; прогнозированием общественных процессов, аттестацией коллектива и его членов.

Однако социологические функции экспертного опроса не сводятся лишь к решению перечисленных задач. В.В. Чередниченко справедливо указывает на потенциальные возможности использования экспертов практически на всех этапах социологического исследования[4]. Данное предположение подтверждается анализом накопленного в это области практического опыта.

Законченное социологическое исследование состоит, как известно, из четырех основных этапов: разработки программы исследования, полевого этапа

- обора информации, ее обработки и анализа результатов. Каждый из этих этапов в свою очередь распадается на более мелкие части. Так, в программе должны быть представлены теоретический и процедурный разделы, а также обоснование выборки.

При подготовке теоретического раздела программы, как правило, применяются очные методы опроса экспертов. Формулировка проблемы, определение целей, задач, предмета и объекта исследования требуют возможно более широкого подхода к проблеме. Это достигается, помимо всего прочего, с помощью привлечения специалистов. В.А. Ядов, например, рекомендует на этом этапе работы опрашивать экспертов в форме свободного интервью для проверки полноты библиографии, поиска дополнительной информации, оригинальных идей, используемых, в частности, для набросков первичных гипотез[5]. Поскольку при подготовке теоретического раздела программы помощь специалистов состоит прежде всего в выработке продуктивных идей, наиболее эффективным здесь являются методы очного опроса.

Процедурный раздел программы - наиболее сложная и ответственная часть работы. Все теоретические положения на этом этапе должны быть переведены на язык эмпирического исследования. Необходимо подобрать эмпирические референты понятиям, на основе которых строится концептуальная схема объекта, провести их операциональную интерпретацию, сформулировать систему рабочих гипотез, наметить процедуры их проверки, воплотить процедуры в конкретные методики сбора информации, т.е. создать систему показателей, соответствующих основным понятиям теории и, если возможно, построить шкалы для измерения эмпирических величин показателей. Наконец, нужно провести логическую проверку и практическую апробацию подготовленных методических документов (анкет, планов-интервью, бланков наблюдений и т.п.) с тем, чтобы устранить возможные ошибки. Успех работы по этому разделу программы во многом зависит от опыта исследователя, его интуиции. В данном случае обращение к экспертам более чем оправдано. Метод опроса экспертов определяется конкретными задачами каждой операции.

При эмпирической операционализации понятий основная задача состоит в достижении согласованного мнения по поводу явлений реальной действительности, через которые может быть описано то или иное теоретическое понятие. Например, как мы можем установить степень общественной активности респондента? Наиболее эффективным способом работы экспертов при решении задач подобного рода является очный опрос методом обмена мнениями («отнесенной оценки»). Так, в исследования социальных потребностей молодежи этот метод использовался для эмпирической интерпретации понятий относящихся к характеристике потребностей молодежи, в частности эстетических. Опрос экспертов позволил установить эмпирические референты, по которым можно судить, проявляются ли у респондентов изучаемые потребности[6]. Полученное операциональное определение эстетической потребности, явилось в дальнейшем основой для разработки измерительной шкалы.

Выдвижение рабочих гипотез - многоступенчатый процесс логического вывода: от теоретических положений концептуальной модели к эмпирически проверяемым суждениям. Безусловно, этот процесс может быть интенсифицирован коллективной работой экспертов. Наибольший эффект достигается применением методов обмена мнениями и стимулированного наблюдения.

Разработка методики сбора информации, предназначенной для проверки гипотез, включает построение системы показателей и шкал, на основе которых затем составляются методические документы (анкеты, карточки наблюдения, планы-интервью, макеты статистических таблиц и т.д.). В этой части процедурного раздела программы наиболее широки возможности применения экспертных методов. Например, в упоминавшемся исследовании по изучению и прогнозированию социальных потребностей молодежи, опросы экспертов применялись для разработки системы показателей и шкал измерения потребностей, а также шкалы, учитывающей прогностический фон - влияние на потребности других социальных процессов.

В соответствии с операциональным рассмотрением художественно - эстетической потребности в процессе мозговых атак было составлено более ста утверждений, свидетельствующих о наличии или отсутствии художественно - эстетической потребности, которые легли в основу составленного опросника[7].

Построение шкалы измерения потребностей по методу эстремальных групп явилось результатом семи этапов работы, один из которых - составление списка вопросов и определение числа и вида ответов на них, причем таких, которые обладали бы различительной способностью, т.е., делали возможной корреляцию их с уровнем paзвития потребности респондента. Это, как правило, требует дополнительной информации о характере избранной потребности, о фактоpax, влияющих на нее, о видах проявления данной потребности в поведении, сфере сознания, эмоциональной жизни респондентов. В целях возможно большего разнообразия вопросов применялся метод «мозговой атаки», которая расширяет ассоциативную основу коллективной интеллектуальной деятельности[8].

Построение с помощью экспертных оценок шкалы - одна из двух возможных процедур измерения активности фона наряду с математико-статистической обработкой данных по показателям базовой модели за период основания прогноза.

Применение процедур второго типа возможно в том случае, когда исследователь располагает полными и достаточно надежными данными, характеризующими динамику как профиля так и фона. Если же таких данных в распоряжении исследователя нет - а это типичная ситуация для прогнозирования в социологии, - ему приходится прибегать к опросу экспертов. Кроме того, экспертные оценки необходимы как вспомогательный, контрольный метод и в том случае, когда возможно применение математико - статистических процедур.

Шкалированный опрос экспертов был использован в работе Б.С. Батыгина для построения системы показателей образа жизни. Выбор экспертного метода обосновывается применением эмпирического определения значимости показателей, разработанных в современной социологии и статистике и основанных на построении многомерных моделей, на данном этапе построения системы затруднено. Экспертные оценки используются, как правило, в ситуациях, когда точность информации, необходимой для принятия решения, относительно невелика. Притом, при выборе данного метода сыграли определенную роль соображения экономичности и простоты экспертизы.

Опрос экспертов обнаружил гораздо больше нерешенных теоретических и методологических проблем, чем достоверных решений, однако, несмотря на приблизительность оценок он удобнее и экономичнее более сложных техник статистического определения значимости показателя[9].

При рассмотрении роли экспертного метода в разработке методики сбора информации необходимо подчеркнуть также тот факт, что шкалы высшего для социологического измерения типа - интервальные - строятся исключительно на основе экспертных оценок в технике парных сравнений (шкала Терстоуна), равных интервалов и последовательных категорий[10]. Работа с экспертами широко применяется и в других случаях, когда мы обращаемся к выборочной группе из массива обследуемых для того, чтобы глазами будущих испытуемых проверить соотносительную значимость оценок, придаваемых пунктам шкалы.

Различные процедуры с использованием экспертных оценок все чаще применяются при разработке методике ГОЛ (групповой оценки личности). В качестве примера можно привести исследование, проведенное социологической лабораторией Киевского университета, при составлении банка шкал для измерения творческой активности был использован один из вариантов экспертного опроса, разработанный в рамках подхода к изучению частоты поступков.

Процедура состояла в том, что от группы экспертов (21 человек) требовалось указать личностные свойства и поступка своих знакомых и друзей, которых, по их мнению, можно назвать творчески активными личностями. Эти черты и поступки должны были служить примером проявления творческой активности или отражать ее наличие у данного человека. Затем группе экспертов (31 человек) предлагалось оценить по полученному списку качеств известных им творчески активных людей, используя следующую шкалу: 5 - качество, присущее полностью; 4 - присуще отчасти; 3 - выражено очень слабо; 2 - отсутствует полностью. Кроме того, эксперты могли указать на неприменимость качества для оценки конкретного человека или на отсутствие достаточных знаний о его проявлении. Полученные ретроспективные оценки усреднялись, что давало возможность вычленить те качества личности, по которым наблюдалась высокая согласованность мнений экспертов.

На втором этапе исследования экспертам было предложено из списка качеств отобрать такой необходимый и достаточный их под-набор, который, по их мнению, наилучшим образом характеризует творческую активность личности.

Чаще всего (более чем в 50% случаев) назывались следующие качества: наличие собственного взгляда на вещи, разносторонность интересов, критическое отношение к себе, упорство и целеустремленность, способность оставит след в духовном мире другого человека; постоянная готовность дойти до самой сути; постоянное переосмысление известного; целостность личности; постоянное самообразование; способность пожертвовать отдыхом ради работы.

После того, как методические документы подготовлены, они должны пройти стадию логической проверки и практического апробирования - пилотажа. Перед социологом встает задача определить, насколько методика соответствует целям исследования, позволяет ли она проверить выдвинутые рабочие гипотезы, направлена ли именно на тот аспект предмета исследования, которого касаются гипотезы, например, измеряет ли шкала потребностей в общественно - политической деятельности именно эту потребность, не смешивая ее с потребностью в лидерстве, стремлением к достижению карьеристских целей и т.п. Проверка готовой методики на надежность, устойчивость и обоснованность выполняется параллельно двумя способами: о помощью логического анализа и пробного использования ее на микровыборке - пилотажа. В первом случае можно с успехом применять опрос экспертов: в форме консультаций по поводу подготовленных методик (свободное интервью, реже - «мозговая атака» и обмен мнениями), а также с помощью заочных методов - от сбора мнений до дельфийской техники. Наиболее эффективны здесь обмен мнениями и формализованный заочный опрос экспертов[11].

В процессе пилотажа методик применение экспертных методов ограничено, поскольку здесь подготовленные и логически проверенные документы проходят практическую апробацию. Однако и тут возможно привлечение экспертов, во-первых, для определения численности и состава пилотажных групп, во-вторых, для обсуждения, итогов пилотажа, внесения исправлений и дополнений в документы. Но наиболее эффективен здесь обмен мнениями.

В упомянутом исследовании по изучению и прогнозированию социальных потребностей молодежи экспертный метод применялся для проверки на обоснованность подготовленного опросника. В соответствии с требованиями метода «известной группы» по установленной на одной из сессий «мозговых атак» выборке были определены две группы респондентов - с высоким и низким уровнем изучаемой художественно-эстетической потребности[12].

Обоснование выборки завершает разработку программы. На этом этапе необходимо принять решение о том, каким будет исследование - сплошным или выборочным. Затем, если исследование выборочное, надо определить способ и соответственно ему объем выборки. Что касается последнего, то тут роль экспертов минимальна: для определения объема выборки существуют детально разработанные статистические процедуры. Однако эксперты могут быть полезны для определения способа отбора - операции, требующей учета многих особенностей предмета исследования и связей в нем. Коллективное решение этой задачи, безусловно, поможет избежать ошибок репрезентативности и, следовательно, систематических ошибок в результатах исследования. К сожалению, этот момент учитывается далеко не всегда. Обоснование выборки остается пока одним из слабых звеньев в практике наших социологических исследований.

Когда программа готова, наступает этап полевого исследования, состоящий из двух последовательных частей - отбора единиц наблюдения и сбора информации. Процесс отбора проходит без участия экспертов, которые уже определили наилучший его способ. Что же касается сбора эмпирических данных, то здесь вновь открываются широкие возможности применения экспертных методов. Очень часто оказывается: ту информацию, которая собирается в ходе массового анкетного опроса или интервьюирования, со значительно меньшими затратами средств, сил и энергии можно получить, используя другие методы, в том числе экспертные. Так, при изучении социальной активности в различных ее формах (трудовой, обществен политической, познавательной, творческой и т.д.), а также дисциплинированности, ответственности экспертные оценки с успехом могут заменить громоздкие анкеты, с помощью которых зачастую получают ненадежную и трудно интерпретируемую информацию.

Область применения

Экспертный опрос наряду с традиционными методами сбора информации может широко применяться и в других областях социологических исследований.

Так, например, В.З. Докторов справедливо указывает, что использование данного приема весьма эффективно при изучении общественного мнения[13].

Чем обусловлено обращение к экспертам? Заключения специалистов, связанных в силу своей повседневной профессиональной деятельности с изучением состояния и динамики общественного мнения могут дать надежную и точную картину, не уступающую по своей достоверности массовым опросам.

Поскольку общественное мнение всегда предметно, поскольку в нем всегда содержится отношение к той или иной проблеме, постольку статусом эксперта могут быть (при известных ограничениях) наделены, во-первых, специалисты, занимающиеся исследование различных аспектов этой проблемы, во-вторых, представители социальных институтов, призванных решать ее в интересах всего общества, и, в-третьих, лица, ответственные за формирование общественного мнения по данной социальной проблематике.

В основе изучения рациональной составляющей общественной мнения лежит идея сопоставления суждений профессионального, специализированного сознания и сознания массового. Поскольку первые выступают в качестве эталона рационалистического, научного отношения к проблеме, постольку степень близости ответов населения к реакциям экспертов служит индикатором компетентности, развитости общественного мнения.

Экспертные оценки были использованы в исследовании актуальных проблем внутритеатрального управления в связи с проведением комплексного социального эксперимента по перестройке театрального дела. Прежде чем приступить к нововведениям, группе исследователей было поручено изучить мнения руководителей театров Москвы, входящих в систему Министерства культуры РФ. Целью опроса было выяснить, что именно и каким образом они хотели бы усовершенствовать.

Поскольку социально-культурные цели театра достигаются при ограничениях, заданных финансовым планом, постольку существует два вида его деятельности: художественно-творческая и производственно-экономическая.

Первой руководит главный режиссер, главный художник, режиссеры - постановщики, помощники главного режиссера по литературной части и по труппе, второй - директор, его заместители, заведующий художественно - постановочной частью. Первая группа именовалась «художественными», а вторая

- административными руководителями.

В восемнадцати театрах Москвы было опрошено 13 главных режиссеров, 16 директоров, 9 их заместителей, 11 режиссеров-постановщиков, 12 заведующих художественно-постановочной частью, 13 помощников главного режиссера по литературной части, 5 помощников главного режиссера по труппе, 6 главных художников. Группа «художественных» руководителей была представлена 48, а группа «административных» - 37 респондентами.

Эксперты - участники опроса - высказывали свое мнение относительно роли директора и главного режиссера в решении основных вопросов деятельности театров, оценивали целесообразность различных моделей внутритеатрального управления, перспективы с здания театральных объединений и др.

На третьем этапе исследования осуществляется обработка информации - сложная, трудоемкая и зачастую дорогостоящая процедура. Большое значение имеет определение оптимальной стратегии обработки. Как проверить гипотезы, с помощью каких статистических методов? Какие статистические показатели и критерии следует применить в каждом конкретном случае? Ответить на эти вопросы исследователь должен раньше, чем массив информации будет переведен на машинные носители и введен в компьютер. Строго говоря, стратегия обработки данных, хотя бы в общих чертах, должна быть ясна еще во время подготовки процедурной части программы, так как характер методических документов, применяемые в них шкалы самым непосредственным образом связаны с методами обработки собранной с их помощью информации. Участие экспертов в определении путей решения этой задачи должно оказаться чрезвычайно полезным, однако пока наша социологическая практика таким опытом не располагает. Можно лишь предположить, что наиболее эффективным в данном случае очные методы опроса экспертов, особенно прямая мозговая атака и обмен мнениями.

На этапе ручной обработки и кодирования возможностей использования эксперта гораздо меньше. Но и здесь следует обращаться к специалистам, например, при выборе способа кодирования или в спорных случаях, когда вероятна различная интерпретация записей, содержащихся в методических документах. Форма опросов экспертов в этом случае - свободное интервью и в отдельных случаях «обмен мнениями».

Завершающий этап исследований - анализ результатов. Он начинается с проверки гипотез: подтвердились ли они эмпирическими данными. Иногда для этого достаточно просмотреть соответствующие таблицы, отпечатанные на компьютере. Так бывает в случае четкого соответствия гипотез, методических документов и стратегии обработки, что в социологической практике пока встречается редко. Чаще полученные данные допускают различные толкования, поэтому вопрос о подтверждении или опровержении гипотезы оказывается совсем не простым. Его можно решить с помощью экспертов. Наиболее пригоден здесь метод «обмена мнениями» («отнесенной оценки»).

Затем следует интерпретация результатов оценки гипотез. Вспомним, что гипотезы формулировались в терминах эмпирического следования, следовательно, нужно перевести результаты их проверки на язык теории. В программе присутствует концептуальная модель предмета исследования. Теперь настало время решить, что в этой модели соответствует эмпирической действительности, что - нет, в каких направлениях надо ее развить, дополнить, в каких пересмотреть, а то и вовсе сократить. Эта работа может быть эффективно проведена с помощью экспертов. Наиболее подходящими здесь представляются методы очного опроса: «мозговая атака» и «обмен мнениями» [14].

Параллельно с интерпретацией результатов разрабатывается прогноз, даже если перед исследованием не стоят специально прогностические задачи. Роль экспертов в прогнозировании трудно переоценить. Причем на этом этапе могут быть использованы практически все экспертные методы. Наиболее подходящими для социологического прогнозирования являются «стимулирование наблюдения», формализованный опрос, шкалированные оценки, «метод Дельфи» [15].

Анализ информации, а с ним и все исследование, завершается формулированием выводов и рекомендаций. Нужно определить, выполнены ли поставленные перед исследованием задачи и насколько полно, какие из них решены, а какие нет, рассмотреть причины, по которым некоторые задачи остались нерешенными. Необходимо показать, какой вклад исследование внесло в теорию изучавшейся проблемы и в поиск путей ее практического решения, сформулировать практические рекомендации по управлению изучавшимися социальными процессами.

На заключительном этапе работы привлечение экспертов более чем оправдано. При этом желательно более широкое включение в ее состав экспертов практических работников, хорошо знакомых с конкретными условиями внедрения рекомендаций. Наиболее приемлемой формой работы в данном случае является опрос экспертов по методу коллективной генерации идей. Для уточнения полученных таким путем рекомендаций может также использоваться опрос экспертов методом комиссии[16].

Итак, экспертный опрос наряду с массовым представляет собой важнейшее подразделение опросного метода. Его отличительные черты касаются задач, для решения которых он используется, функций выполняемых в социологическом исследовании, технических и методических приемов подготовки инструментария и проведения опроса, кодировки вопросов, включения получаемой информации в схему обработки и анализа, постановки проблемы достоверности и репрезентативности и т.п.

Функции экспертного метода в социологическом исследовании не сводятся лишь к получению первичной социологической информации. Как показывает теоретический анализ и практические результаты, эксперты могут использоваться практически на каждом этапе организации и проведения социологического исследования.

Заключение

экспертный социальный политический опрос

Экспертный опрос (очный и заочный, одноразовый и итеративный) имеет ряд принципиальных отличий от традиционно применяемого в социологии опроса массового. Эти два подразделения опросного метода при включении в исследование служат для решения различных задач, что должно находить отражение в содержании программы, инструментарии (формулировке обращения, вопросов, инструкций, кодировке ответов), способе отбора респондентов, определении надежности полученной информации, методе ее количественной обработки и анализа. Несоблюдение правил включения двух различных модификаций опроса в структуру исследования может привести к получению разнохарактерной информации, неприводимой к одному основанию.

Список литературы

1. Бестужев-Лада И.В. Социальное прогнозирование: особенности и проблемы. Прогнозирование социальных потребностей молодежи.

2. Докторов Б.З. Экспертный опрос как метод изучения общественного мнения. - 1975.

3. Аванесов В.С., Маслин А.А., Минасьян С.Г., Чередниченко В.В. Методические проблемы измерения и прогнозирования художественно - эстетической потребности.

4. Ядов В.А. Социологическое исследование: методология, программа, методы. - М., 1987.

5. Батыгин Г.С. Опыт построения типологии социальных показателей образа жизни. Социологические исследования. - 1977. - №2.

6. Чередниченко В.В. Применение экспертных оценок в социологических исследованиях. Социологические исследования. - 1981. №3

7. Гардон Л.А., Чертихина Э.С. Экспертная оценка гипотез при изучении перспектив развития образа жизни. Социологические исследования. - 1983.

Размещено на Allbest.ru