Экспертные оценки: общая характеристика, достоинства, недостатки и ограничения на использование

Размещено на http://www.allbest.ru/

Российский государственный университет

физической культуры, спорта и туризма

Экспертные оценки: общая характеристика, достоинства, недостатки и ограничения на использование

Пулина А.М., магистрант кафедры

лечебной физкультуры

Содержание

Введение

1. Общая характеристика методов экспертной оценки

2. Виды экспертных оценок

3. Анализ результатов экспертных оценок

4. Достоинства, недостатки, ограничения на использование

Заключение

Список литературы

Введение

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения. Бесспорно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов [1].

Эксперты (от латинского "expertus" - опытный) - это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

Моя будущая спортивная и педагогическая работа, как тренера по адаптивной физической культуре, во многом будет строиться на использовании собственного опыта и интуиции и использования оценок других экспертов. Полнота освоения методов экспертных оценок, их применения, анализа и интерпретации результатов дадут хорошую методическую основу для решения многих моих будущих профессиональных задач.

1. Общая характеристика методов экспертной оценки

экспертная оценка интуиция знание

Несмотря на все большую роль математических методов при решении экономических задач, нельзя считать, что формальные методы современной математики окажутся универсальным средством решения всех проблем, возникающих в сферах деятельности общества. Методы, использующие результаты опыта и интуицию, т.е. эвристические (неформальные), безусловно, сохранят свое значение и в дальнейшем. Примерами традиционных, эвристических процедур являются различные экспертизы, консилиумы, совещания и т. д. Порядок их проведения часто регламентируется традицией, т.е. в конечном счете, снова опытом, и во многих отношениях представляет собой искусство. Однако постепенно и в эту область начинают проникать разнообразные математические методы обработки исходного материала эвристического происхождения, и в первую очередь статистические методы.

Можно выделить два уровня использования экспертных оценок: качественный и количественный. Если применение экспертных оценок на качественном уровне не вызывает сомнения, то возможность применения количественных балльных оценок нередко подвергается критике. При этом справедливо отмечают, что балльные оценки нередко скрывают неумение квалифицированно оценивать те или иные действия, явления, перспективы развития.

Однако в связи с ограниченными возможностями применения в отдельных случаях экономико-математических методов, отсутствием статистической и другой информации, а также надежных методов определения соответствия математических моделей реальным объектам экспертные оценки являются единственным средством решения многих задач. Для повышения достоверности и надежности получаемых с помощью экспертных оценок результатов надо владеть теоретическими и методическими основами использования данных методов, избегать иллюзии простоты их применения.

Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их недостаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения.

Предполагается, что эксперт основывает свое суждение на группе причинных факторов, действующих в рамках определенного сценария, оценивая вероятность их реализации и их вероятное влияние на изучаемый показатель, например уровень спроса.

Используя экспертные оценки, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта.

Предполагается также, что совокупность индивидуальных ответов экспертов должна включать «истинный» ответ.

Зачастую оценки экспертов не обладают достаточной устойчивостью, т.е. эксперт может одни и те же события при нескольких повторных экспертизах оценить по-разному. Чем устойчивее оценки, тем больше можно им доверять. Однако на практике повторная экспертиза вследствие организационных и финансовых трудностей применяется крайне редко.

Одним из показателей, характеризующих пригодность эксперта, является степень его надежности.

Под степенью надежности понимается относительная частота случаев, когда он приписывал более высокую вероятность тем событиям, которые впоследствии реализовывались. На этом основании считается, что чем чаще эксперт оказывался прав, тем выше его авторитет.

Однако необходимо иметь в виду, что могут существовать обстоятельства, когда эксперт, несведущий в данном вопросе, дает правильный ответ с высокой степенью вероятности.

2. Виды экспертных оценок

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, в других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (см., например, [2] ).

В настоящее время не существует научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Сначала в нашей стране появились публикации о простейших методах экспертных оценок (см., например, [2-3]). Наиболее продвинутые результаты в рассматриваемой области были получены в результате работы комиссии "Экспертные оценки" Научного совета АН СССР по комплексной проблеме "Кибернетика" в 70-90-х годах (см.[9-30] и др. публикации).

Существует две группы экспертных оценок:

· Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.

Основными целями использования индивидуальных экспертных оценок являются:

· прогнозирование хода развития событий и явлений в будущем, а также оценка их в настоящем (количественная и качественная оценка вероятности реализации определенного события в будущем, прогнозирование характеристик рынка и направлений их развития, определение целей и стратегий маркетинговой деятельности, ранжирование различных объектов и т.д.);

· анализ и обобщение результатов, представленных другими экспертами;

· составление сценариев;

· выдача заключений на работу других специалистов или организаций (рецензии, отзывы, экспертизы и т.д.).

Отдельный эксперт в раде случаев может быть очень полезен как источник информации и как советник для руководителей, принимающих решения.

Даже в том случае, если работа выполнена одним экспертом, она может по существу обобщить мнения многих людей и дать крайне полезные исходные данные для анализа.

· Коллективные оценки основаны на использовании коллективного мнения экспертов.

К числу групповых экспертных опросов относятся:

· открытое обсуждение поставленных вопросов с последующим открытым или закрытым голосованием;

· закрытое обсуждение с последующим закрытым голосованием или заполнением анкет экспертного опроса;

· свободные высказывания без обсуждения и голосования.

Групповые экспертные оценки могут быть получены при опросе экспертов как одной специальности, так и разных. В последнем случае экспертная оценка часто носит характер деловой игры.

Опыт показал, что традиционные методы обсуждения поставленных перед группой экспертов вопросов, относящиеся к первому типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции не являются наилучшими методами использования группы экспертов. Эти методы обсуждения страдают рядом недостатков, таких, как взаимное влияние мнений экспертов и нежелание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов находят все большее распространение второй и третий типы групповых экспертных оценок.

Второй тип групповых экспертных оценок можно подразделить на две категории: экспертный опрос, проводимый в один тур путем одноразового заполнения анкет, и проводимый в несколько туров путем многократного заполнения анкет экспертами с целью последовательного уточнения оценок.

Совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов. Данный метод применяют для получения количественных оценок качественных характеристик и свойств. Например, оценка нескольких технических проектов по их степени соответствия заданному критерию, во время соревнования оценка судьями выступления фигуриста.

Существующие виды экспертных оценок также можно классифицировать по признакам:

· По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

· По количеству итераций (повторов процедуры для повышения точности) -- одношаговые и итерационные.

· По решаемым задачам: генерирующие решения и оценивающие варианты.

· По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

· По способу обработки мнений экспертов: непосредственные и аналитические.

· По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 -- 12 человек экспертов.

Обозначим основные этапы экспертного оценивания:

1. Постановка цели исследования.

2. Выбор формы исследования, определение бюджета проекта.

3. Подготовка информационных материалов, бланков анкет, модератора процедуры.

4. Подбор экспертов.

5. Проведение экспертизы.

6. Статистический анализ результатов.

7. Подготовка отчета с результатами экспертного оценивания.

Известны следующие методы экспертных оценок:

· Метод ассоциаций. Основан на изучении схожего по свойствам объекта с другим объектом.

· Метод парных (бинарных) сравнений. Основан на сопоставлении экспертом альтернативных вариантов, из которых надо выбрать наиболее предпочтительные.

· Метод векторов предпочтений. Эксперт анализирует весь набор альтернативных вариантов и выбирает наиболее предпочтительные.

· Метод фокальных объектов. Основан на перенесении признаков случайно отобранных аналогов на исследуемый объект.

· Индивидуальный экспертный опрос. Опрос в форме интервью или в виде анализа экспертных оценок. Означает беседу заказчика с экспертом, в ходе которой заказчик ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает индивидуальное заполнение экспертом разработанного заказчиком формуляра, по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути ее решения. Свои соображения эксперт выносит в виде отдельного документа.

· Метод средней точки. Формулируются два альтернативных варианта решения, один из которых менее предпочтителен. После этого эксперту необходимо подобрать третий альтернативный вариант, оценка которого расположена между значений первой и второй альтернативы.

Приведём примеры наиболее известных методов экспертных оценок: метод Дельфи и мозговой штурм. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

Суть метода "Дельфи" состоит в том, чтобы с помощью серии последовательных действий - опросов, интервью, мозговых штурмов - добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами.

Базовым принципом метода является то, что некоторое количество независимых экспертов (часто несвязанных и не знающих друг о друге) лучше оценивает и предсказывает результат, чем структурированная группа (коллектив) личностей. Позволяет избежать открытых столкновений между носителями противоположенных позиций т.к. исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства, даёт возможность проводить опрос экстерриториально, не собирая экспертов в одном месте.

Еще один вариант экспертного оценивания - мозговой штурм. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Правильно организованный мозговой штурм включает три обязательных этапа. Этапы отличаются организацией и правилами их проведения:

1. Постановка проблемы. Предварительный этап. В начале этого этапа проблема должна быть четко сформулирована. Происходит отбор участников штурма, определение ведущего и распределение прочих ролей участников в зависимости от поставленной проблемы и выбранного способа проведения штурма.

2. Генерация идей. Основной этап, от которого во многом зависит успех (см. ниже) всего мозгового штурма. Поэтому очень важно соблюдать правила для этого этапа:

o Главное -- количество идей. Не делайте никаких ограничений.

o Полный запрет на критику и любую (в том числе положительную) оценку высказываемых идей, так как оценка отвлекает от основной задачи и сбивает творческий настрой.

o Необычные и даже абсурдные идеи приветствуются.

o Комбинируйте и улучшайте любые идеи.

3. Группировка, отбор и оценка идей. Этот этап часто забывают, но именно он позволяет выделить наиболее ценные идеи и дать окончательный результат мозгового штурма. На этом этапе, в отличие от второго, оценка не ограничивается, а наоборот, приветствуется. Методы анализа и оценки идей могут быть очень разными. Успешность этого этапа напрямую зависит от того, насколько "одинаково" участники понимают критерии отбора и оценки идей. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию устройств, создающих волны, сбивающиеся торпеду с курса.

3. Анализ результатов экспертных оценок

При анализе мнений экспертов можно применять самые разнообразные статистические методы, описывать их - значит описывать всю прикладную статистику. Тем не менее, можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.

Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы.

Почему ответы экспертов часто носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Эксперт может сравнить два объекта, сказать, какой из двух лучше (метод парных сравнений), дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физико-технических измерений. В случае произвольности "оцифровки" выводы, полученные в результате обработки данных, могут не иметь отношения к реальности.

Проверка согласованности мнений экспертов и классификация экспертных мнений. Ясно, что мнения разных экспертов различаются. Важно понять, насколько велико это различие. Если мало - усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико - усреднение является чисто формальной процедурой. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Из сказанного ясна важность проблемы проверки согласованности мнений экспертов [1].

Разработан ряд методов такой проверки. Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных. Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений.

При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу, предварительно введя метрику в пространство мнений экспертов. Идея американского математика Джона Кемени об аксиоматическом введении метрик (см. ниже) нашла многочисленных продолжателей. Однако методы кластер-анализа обычно являются эвристическими. В частности, невозможно с позиций статистической теории обосновать "законность" объединения двух кластеров в один. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу. Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок [1].

Нахождение итогового мнения комиссии экспертов. Пусть мнения комиссии экспертов или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Согласно идее Джона Кемени следует найти среднее мнение как решение оптимизационной задачи. А именно, надо минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. Найденное таким способом среднее мнение называют "медианой Кемени".

Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения построена в ряде работ, в частности, показано, что в силу обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который естественно назвать математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).

В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики, связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты, в то время как применение показателя различия на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним рангам [1].

4. Достоинства, недостатки, ограничения на использование

Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

· Выбор лучшего варианта решения среди имеющихся.

· Прогнозирование развития процесса.

· Поиска возможного решения сложных задач.

В то же время экспертные оценки имеют и недостатки. С одной стороны, нет гарантий, что полученные оценки в действительности достоверны, а с другой -- имеются определенные трудности в проведении опроса экспертов и обработке полученных данных. Если второй недостаток относится к преодолимым трудностям, то первый имеет принципиальное значение. Существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экспертов достоверность оценок гарантируется. Это на самом деле не всегда верно, и можно привести случаи, когда отдельные эксперты, не согласные с мнением большинства, давали правильные оценки.

Следовательно, единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, особенно нестандартных, например связанных с прогнозированием рыночной ситуации в нестабильных политико-экономических условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные «средними» экспертами, будут основаны в лучшем случае на традиционных, привычных оценках, тогда как высококвалифицированные специалисты обнаружат и оценят скрытые факторы.

При нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информации о событиях и недостаточной компетентностью экспертов, возможна и погрешность совсем иного рода, обусловленная заинтересованностью экспертов в результатах оценки, что обязательно скажется на их достоверности. Наличие такого рода погрешности может значительно искажать оценки, вследствие чего необходимо предусмотреть соответствующие меры для устранения погрешности.

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

Вопрос об оценке компетентности экспертов не менее сложен. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять.

Также существуют причины нарушения достоверности результатов в ходе экспертного оценивания. В качестве примера используем дидактическое оценивание, осуществляемое педагогами для выявления качества знаний и степени сформированности умений и навыков обучаемых.

Известно, что иногда несколько педагогов, оценивая независимо друг от друга один и тот же устный ответ или письменную работу ученика, выставляют совершенно разные отметки по традиционной шкале успешности обучения. Бывает и так, что учитель, повторно оценивая письменную работу через некоторый промежуток времени, выставляет отметку, отличающуюся (подчас значительно) от собственной отметки, сделанной ранее. Почему это происходит?

Можно выделить следующие причины оценочного субъективизма:

1. Полифункциональность отметки в учебном процессе иногда приводит к тому, что вступают в противоречие функции контроля и воспитания, ориентации учащегося в его достижениях и стимуляции к достижениям.

2. Неисчисляемость оценочных процедур. Традиционная для современной образования шкала успешности обучения является порядковой. Учитель не измеряет качества ответов или работ, а сравнивает их с неким идеальным образом, эталоном. Он пользуется цифрами, но не делает вычислений, применяя обозначения количества в качестве ярлыков. Естественно, что каждый из них делает это по-своему.

3. Разный уровень профессиональной подготовленности экспертов, в частности, степень владения учебным материалом, умение пользоваться данным средством контроля, коммуникативно-аудиальные умения.

4. Индивидуально-личностные особенности педагогов, в том числе:

- степень автономности от социальных стереотипов;

- уровень инертности сложившихся к моменту оценивания представлений о возможностях ученика (в силу этого «отличнику» так же трудно бывает получить «3», как «троечнику» - «5», даже если их ответы заслуживают такой отметки);

- различия в умении абстрагироваться от имеющихся межличностных отношений с учащимся;

- характерологические особенности: ответственность, добросовестность, собранность, заинтересованность и др.;

- различия во влиянии на оценку несущественных аспектов ответа или работы ученика, таких как темп речи, дикция, громкость голоса, наличие пауз и количество оговорок, ораторские способности, особенности почерка, число исправлений или орфографических ошибок (если оценивается не грамотность) и т.д.

Особо выделим здесь несколько т.н. «эффектов».

Эффект ореола (в педагогическом оценивании) заключается во влиянии на отметку сложившихся представлений о возможностях ученика. Это влияние образа учащегося, который обычно «глобален», слабо дифференцирован, стереотипен и статичен (к примеру, «умный студент», «интересуется моей дисциплиной» и т.д.).

Эффект фасада (в педагогическом оценивании) обозначает зависимость отметки от впечатления, произведенного отвечающим в момент оценивания. Известно, что на восприятие эксперта влияют внешний вид, пол, манеры поведения, логичность ответа, уверенность отвечающего и др.

5. Ситуационные условия оценивания, такие как:

- степень усталости проверяющего;

- различия в оборудовании рабочего места и характеристиках условий труда (освещенность, температура помещения и т.д.);

- фактор чередования различных по качеству ответов или работ;

- воздействие на отметку общего уровня подготовленности класса.

Необходимо пояснить последние тезисы.

Эффект контраста отражает зависимость отметки от нескольких предшествующих отметок других учащихся. Известно, что хороший ответ часто оценивается выше, чем он заслуживает, если ему предшествовали плохие по качеству ответы. И, наоборот, слабый ответ может быть оценен еще хуже, если он выслушивается после серии отличных ответов.

Эффект фона обозначает влияние на отметку выявленного педагогом к тому времени общего уровня подготовленности класса. По сути, это внутригрупповая поправка в систему норм оценки. Так, в «слабом» классе бывает намного легче получить хорошую отметку, чем в «сильном», за счет выделения на общем фоне.

Специфика той или иной сферы, естественно, определяет свой набор причин искажения достоверности результатов экспертного оценивания.

До сих пор речь шла о субъективизме эксперта, работающего индивидуально, без непосредственного (очного) взаимодействия с другими. Следует заметить, что в работе группы специалистов, сообща оценивающих объект и дискутирующих о его характеристиках, влияние многих причин искажения качества экспертизы существенно ослабляется. Но при этом далеко не всегда можно гарантировать повышение достоверности результатов процедуры. Дело в том, что при этом возникают феномены интерсубъективного искажения результатов оценивания.

К причинам нарушения достоверности данных при очном групповом оценивании следует отнести:

- стремление к идентификации сообщения с его источником, в силу которого слушатель бывает склонен принять или опровергнуть чье-либо мнение в зависимости не от реального содержания, но от отношения к человеку, высказавшему его;

- центростремительное давление, проявляющееся в виде смещения экспертных оценок в ходе обсуждения в сторону «безопасной середины»;

- тенденцию защищать собственную позицию, высказанную публично, даже после того, как сам эксперт убедился в ее неверности;

- стремление к доминированию как личностная особенность, возникающая, часто, у лиц, не являющихся признанными лидерами, но претендующих на это;

- влияние феномена «огруппления мышления», появляющееся в том случае, когда чувство принадлежности человека к группе подталкивает его к поддержке решений не столько правильных, сколько способных обеспечить единодушие;

- неустойчивость имплицитной оценки, легко изменяющейся под воздействием уже высказанных мнений со стороны других экспертов.

Большинство из этих факторов не оказывают особого влияния на итоги группового оценивания, осуществляющегося в заочной форме, без непосредственного взаимодействия экспертов между собой. Однако заочная форма экспертизы обычно требует нескольких туров, что увеличивает продолжительность и трудоемкость процедуры.

Перед началом любого экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. Должным образом сформулированная При этом рекомендуется придерживаться следующих правил:

· Четкое определение условий, времени, внешних и внутренних ограничений проблемы. Возможность ответа на вопрос с доступной человеческому опыту точностью.

· Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.

· Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

Заключение

Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения.

Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки.

Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

Список литературы

1. Орлов А.И. Экспертные оценки. Учебное пособие. М.: ИВСТЭ. 2002.

2. Орлов А.И. Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателей качества. - В сб."Многомерный статистический анализ в социально-экономических исследованиях", М.: Наука, 1974, с.388-393.

3. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. - М.: Наука, 1973. - 79 с.

4. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. - М.: Экономика, 1974. - 151 с.

5. Бурков В.Н. Большие системы: моделирование организационных механизмов. - М.: Наука, 1989. - 354 с.

6. Китаев Н.Н. Групповые экспертные оценки. - М.: Знание, 1975. - 64 с.

7. Ларичев О.И. Объективные модели и субъективные решения. - М.: Наука, 1987. - 143 с.

8. Моисеев Н.Н. Неформальные процедуры и автоматизация проектирования. - М.: Знание, 1979. - 64 с.

9. Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 487 с.

10. Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - 384 с.

11. Экспертные оценки/Вопросы кибернетики. - Вып.58. - М.: Научный совет АН СССР по комплексной проблеме "Кибернетика", 1979. - 200 с.

12. Экспертные оценки в системных исследованиях/Сборник трудов. - Вып.4. - М.: ВНИИСИ, 1979. - 120 с.

13. Современные проблемы кибернетики: прикладная статистика. - М.: Знание, 1981. - 64 с.

14. Первое Всесоюзное совещание по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации/Тезисы докладов. - М.- Алма-Ата, ВИНИТИ, 1981. - 439 с.

15. Экспертные оценки в задачах управления /Сборник трудов. - М.: Институт проблем управления, 1982. - 106 с.

16. Анализ нечисловых данных в системных исследованиях/Сборник трудов. - Вып.10. - М.: ВНИИСИ, 1982. - 155 с.

17. Вторая Всесоюзная конференция по анализу нечисловой информации/ Тезисы докладов. - М.- Таллин: ВИНИТИ, 1984. - 348 с.

18. Методы анализа данных, оценивания и выбора/Сборник трудов. - Вып.11. - М.: ВНИИСИ, 1984. - 92 с.

19. Анализ нечисловой информации в социологических исследованиях. _ М.: Наука, 1985. - 221 с.

20. Методы анализа данных, оценивания и выбора в системных исследованиях/Сборник трудов. - Вып.14. - М.: ВНИИСИ, 1986. - 124 с.

21. Дорофеюк А.А./ Статистика. Вероятность. Экономика. - М.: Наука, 1985. - С. 137 - 145.

22. Литвак Б.Г. Экспертная информация. Методы получения и анализа. - М.: Радио и связь, 1982. -184 с.

23. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

24. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.

25. Раушенбах Г.В., Филиппов О.В. Экспертные оценки в медицине. Научный обзор. - М.: ВНИИММТИ Минздрава СССР, 1983. - 80 с.

26. Сидельников Ю.В. Теория и организация экспертного прогнозирования. - М.: ИМЭМО АН СССР, 1990. - 196 с.

27. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации/Препринт.- М.: Научный совет АН СССР по комплексной проблеме "Кибернетика", 1981. - 80 с.

28. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С./Заводская лаборатория. 1980. Т.46. No.10. С.931-935.

29. Тюрин Ю.Н., Шмерлинг Д.С./Заводская лаборатория. 1985, Т.51,No.7. С.42-48.

30. Лапига А.Г., Поляков В.В./Заводская лаборатория. 1989, Т.55,No.5. С.89-92.

31. Волков Н.Г., Ерофеева С.Ю./Заводская лаборатория. 1992, Т.58, No.10. С.59-62.

Размещено на Allbest.ru

...