Метод экспертных оценок

Размещено на http://www.allbest.ru/

Введение

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Эксперты (от латинского "expertus" - опытный) - это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

Процедура получения оценок от экспертов называется экспертизой.

Метод экспертных оценок включает в себя три составляющие.

1. Интуитивно-логический анализ задачи. Строится на логическом мышлении и интуиции экспертов, основан на их знании и опыте. Этим объясняется высокий уровень требований, предъявляемых к экспертам.

2. Решение и выдача количественных или качественных оценок. Эта процедура представляет собой завершающую часть работы эксперта. Им формируется решение по рассматриваемой проблеме и дается оценка ожидаемых результатов.

3. Обработка результатов решения. Полученные от экспертов оценки должны быть обработаны с целью получения итоговой оценки проблемы. В зависимости от поставленной задачи изменяется количество выполняемых на этом этапе расчетных и логических процедур. Для обеспечения оперативности и минимизации ошибок на данном этапе целесообразно использование вычислительной техники.

В условиях недостаточно полной и недостоверной информации методы экспертных оценок дают вполне приемлемые результаты. В настоящее время, характеризующееся ускорением научно-технического прогресса, появлением новых проблем организационного, технического, экономического, социально-психологического плана, сфера применения метода расширяется.

Приведем некоторые примеры задач, при решении которых могут использоваться экспертные оценки:

· выбор вариантов технического и социально-экономического развития предприятия;

· отбор проектов при проведении тендеров;

· отбор заявок на получение грантов и разработку научных тем;

· определение стратегических целей фирмы и т.п.

Для решения подобных задач могут использоваться различные формы проведения экспертизы:

· дискуссия;

· анкетирование;

· интервьюирование;

· «мозговой штурм»;

· совещание;

· деловая игра и др.

Иногда различные формы используются в комплексе.

Одной из наиболее перспективных форм проведения экспертного оценивания считается метод Дельфы.

Метод Дельфы - это набор процедур, выполняемых в определенной последовательности с целью формирования группового мнения о проблеме, характеризующейся недостаточностью информации для использования других методов.

Метод Дельфы - это метод группового анкетирования. Используемые процедуры характеризуются тремя основными чертами: анонимностью, регулируемой обратной связью и групповым ответом. Обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каждого тура обрабатываются статистическими методами и сообщаются экспертам. Во втором и последующих турах эксперты аргументируют свои ответы. Таким образом, в последующих турах эксперты могут пересмотреть свои первоначальные ответы. От тура к туру ответы экспертов носят все более устойчивый характер и, в конце концов, перестают изменяться, что служит основанием для прекращения опросов.

Практика показывает, что обычно проводится три-четыре тура опросов, так как в дальнейшем оценки перестают изменяться.

метод экспертный оценка согласованность

1. Сущность метода экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.).

Формирование объектов осуществляется экспертами на основе логического мышления и интуиции. При этом большую роль играют знания и опыт эксперта.

Измерение характеристик объектов требует от экспертов знания теории измерений.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Экспертные коллективные оценки широко использовались в государственном масштабе для решения сложных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реорганизации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки широкого круга специалистов.

В настоящее время в нашей стране и за рубежом метод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные комиссии, формирующие решения по различным сложным неформализуемым проблемам.

Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации;

2) групповое мнение экспертов близко к истинному решению проблемы.

Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

1) составление перечня возможных событий в различных областях за определенный промежуток времени;

2) определение наиболее вероятных интервалов времени свершения совокупности событий;

3) определение целей и задач управления с упорядочением их по степени важности;

4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;

5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6) альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивидуальную работу эксперта.

Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

При использовании метода экспертных оценок возникают свои проблемы.

Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.

2. Этапы подготовки и проведения экспертизы

Качество получаемых экспертных оценок в значительной степени определяется подготовкой экспертизы, а также применяемыми методами обработки информации, получаемой от экспертов.

Единых правил подготовки и проведения экспертизы нет.

Однако можно выделить основные этапы ее подготовки и проведения. К ним относятся:

· формулировка цели экспертного анализа;

· формирование группы организаторов экспертизы;

· разработка процедур проведения экспертной оценки;

· подбор экспертов;

· получение экспертных оценок;

· обработка результатов опроса и анализ полученных данных;

· установление степени достижения цели экспертизы.

С точки зрения изучаемой нами дисциплины наибольший интерес представляют два этапа: получение экспертных оценок, обработка результатов опроса и анализ полученных данных.

3. Организация экспертного оценивания

Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а также для руководства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управления и ответственность за организацию ее работы.

После формирования группа управления осуществляет работу по подбору экспертной группы примерно в такой последовательности:

уяснение решаемой проблемы;

определение круга областей деятельности, связанных с проблемой;

определение долевого состава экспертов по каждой области деятельности;

определение количества экспертов в группе; составление предварительного списка экспертов с учетом их местонахождения; анализ качеств экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе;

составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и одобрение результатов; представление итогов работы на утверждение; ознакомление с результатами экспертизы организаций и лиц.

4. Подбор экспертов

Для реализации процедуры экспертного оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов.

Использование экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов.

Определение характера зависимости достоверности от перечисленных факторов является еще одной проблемой процедуры подбора экспертов.

Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

Еще одной проблемой является организация процедуры подбора экспертов, т.е. определение четкой последовательности работ, выполняемых в процессе подбора экспертов и необходимых ресурсов для их реализации.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив зависимость между достоверностью, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений.

Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе.

При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты.

После составлении списка экспертов им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности.

Получив ответы экспертов, группа управления составляет окончательный список группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.

5. Опрос экспертов

Опрос - главный этап совместной работы группы управления и экспертов.

Основным содержанием опроса является:

- постановка задачи и предъявление вопросов экспертам;

- информационное обеспечение работы экспертов;

- выработка экспертами суждений, оценок, предложений;

- сбор результатов работы экспертов.

Можно назвать три типа задач, которые решаются в процессе опроса:

- оценка качественная или количественная заданных объектов;

- построение новых объектов;

- построение и оценка новых объектов.

При коллективной экспертизе используются следующие основные виды опроса:

дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.

Анкетирование может проводиться с обратной связью или без нее. При анкетировании с обратной связью опрос экспертов производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.

Главным в организации опроса является обеспечение максимума информации и максимума творческой активности, самостоятельности эксперта. Необходимо стремиться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому явлению, которой располагают как эксперты, так и организаторы опроса, не лишая в то же время эксперта творческой самостоятельности и активности.

Однако возможности эксперта по переработке информации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается человеком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она представляется в доходчивой, яркой и компактной форме.

Из этих психологических особенностей следует необходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения записей, использования технических средств, а также необходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.

Необходимо подчеркнуть противоречивость значения обмена экспертами информацией, так как получение такой информации таит опасность потери творческой независимости в построении модели объекта экспертом. Разрешение этого противоречия в полной мере невозможно, и при каждой экспертизе ее организаторы должны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспертов.

Каждый из видов опроса имеет свои достоинства и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества. Выбор того или иного вида опроса определяется многими факторами, из которых основными являются:

- цель и задачи экспертизы;

- существо и сложность анализируемой проблемы;

- полнота и достоверность исходной информации;

- требуемые объем и достоверность информации, получаемой в результате

опроса;

- время, отведенное на опрос и экспертизу в целом;

- допустимая стоимость опроса, и экспертизы в целом;

- количество экспертов и членов группы управления, их характеристики.

Анкетирование является наиболее эффективным и самым распространенным видом опроса, ибо позволяет наилучшим образом сочетать информационное обеспечение экспертов с их самостоятельным творчеством.

6. Получение экспертных оценок. Понятие шкалы. Типы шкал

Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для дальнейшего анализа.

Формализация информации, получаемой от экспертов, должна быть направлена на подготовку решения таких задач, которые не могут быть в полной мере описаны математически.

Одна из главных трудностей при оценивании состоит в том, что помимо явлений, объектов, факторов, состояние которых может быть выражено количественно (в руб., $, кг, км, % и т.п.), приходится оценивать качественные факторы, уровень которых нельзя точно определить. Часть информации, не поддающуюся количественному измерению, необходимо представить в виде косвенных оценок.

Если эксперт способен сравнить и оценить какие-либо объекты, явления, факторы, варианты действий, приписав каждому из них какое-либо число, то говорят, что он обладает определенной системой предпочтений.

В зависимости от того, по какой шкале заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к математической формализации.

Шкала - это инструмент (принятая система правил) оценки (измерения) каких-либо объектов или явлений.

Различают четыре типа шкал.

1. Номинальная шкала. Реализует простейший тип измерения. В этом случае проводится сравнение свойств объекта (явления) с каким-либо признаком-эталоном, результатом является упорядочение по двухэлементной шкале, где каждому из объектов (явлений) присваивается балл, равный нулю либо единице.

Примером измерения по номинальной шкале может служить проведение зачета. В этом случае эксперт-преподаватель оценивает уровень знаний студентов и выносит решение: зачет (объекту-студенту присваивается балл, равный нулю) или незачет (объекту-студенту присваивается балл, равный единице).

2. Порядковая шкала. Цель состоит в упорядочении объектов (явлений), а точнее, в выявлении с помощью экспертов скрытой упорядоченности, которая, по предположению, присуща множеству объектов. Результатом оценки является решение о том, что какой-либо объект (явление) предпочтительнее другого в отношении какого-то критерия.

Примером может служить определение жюри победителей и призеров какого-либо конкурса. Здесь эксперты должны решить, что участник, занявший первое место, оказался предпочтительнее (с точки зрения целей конкурса) участника, занявшего второе место. Участник, занявший второе место, в свою очередь, признается лучшим по отношению к третьему и т.д.

3. Интервальная шкала. Оценка по данной шкале позволяет не только определить, что один объект (явление) предпочтительнее другого, но также определить: на сколько предпочтительнее. Нулевая точка и единица измерения выбираются при этом произвольно.

Ярким примером оценки по интервальной шкале является проведение экзамена. Здесь эксперт-преподаватель, оценивая уровень знаний студентов, должен не только решить, что один студент знает материал лучше другого, но сказать: на сколько лучше. Измерение фактически производится по шкале из четырех баллов ("неудовлетворительно", "удовлетворительно", "хорошо", "отлично"). При этом уровень знаний, соответствующий нулевому баллу (нулевая точка) не известен.

Измерение по интервальной шкале используется при выставлении экспертами-судьями оценок в таких видах спорта, как фигурное катание, прыжки в воду, художественная и спортивная гимнастика.

4. Шкала отношения. В данном случае предполагается, что известно абсолютное значение свойств объекта, т.е. известна истинная нулевая точка. Шкала используется для тех факторов, которые могут быть представлены количественно.

Например, при помощи такой шкалы эксперты могут оценить размер прибыли, которая может быть получена в результате реализации какого-либо проекта.

В зависимости от существа исследуемых объектов для их оценки могут быть использованы различные шкалы.

Такие факторы как затраты, прибыль, время могут быть оценены по шкале отношения или интервальной шкале (например, в рублях, днях, баллах).

Для оценки таких факторов как срок окупаемости или сравнительная эффективность может быть использована интервальная илипорядковая шкала.

Качественные, например, социальные или политические факторы могут оцениваться по порядковой или номинальной шкале.

7. Способы измерения объектов

Перейдем к рассмотрению вопросов формирования экспертных оценок, а именно к рассмотрению способов (техники) измерения объектов.

В первую очередь нас будут интересовать способы измерения, позволяющие расположить объекты на порядковой или интервальной шкале, поскольку именно такой тип оценок чаще всего используется при проведении экспертизы. Это объясняется тем, что оценка по номинальной шкале предполагает лишь два варианта ответов - ДА, НЕТ. По шкале отношения измеряются факторы, имеющие количественный характер. Значения этих факторов часто можно получить расчетным путем без использования экспертных оценок.

Выделим способы измерения объектов, наиболее часто применяемые при оценке по порядковой или интервальной шкале: ранжирование, парное сравнение, непосредственная оценка.

1.Ранжирование - это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.

Результатом проведения ранжирования является ранжировка.

Если имеется n объектов, то в результате их ранжирования j-ым экспертом каждый объект получает оценку x_ij - ранг, приписываемый i-му объекту j-ым экспертом.

Значения x_ij находятся в интервале от 1 до n. Ранг самого важного фактора равен единице, наименее значимого - числу n.

Ранжировкой j-го эксперта называется последовательность рангов x_1j, x_2j, …, x_nj.

Достоинством метода является его простота, а недостатком - ограниченные возможности использования. При оценке большого количества объектов экспертам очень трудно строить ранжированный ряд, поскольку приходится учитывать множество сложных связей.

От этого недостатка свободен следующий метод.

2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.

Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.

При использовании метода чаще всего составляется матрица размером nxn, где n - количество сравниваемых объектов. Общий вид матрицы парных сравнений представлен на рисунке 7.1.

Объекты	1	2	...	j	...	n
1
2
...
i
...
n

aij=		2, если объект i предпочтительнее объекта j (i > j), 1, если установлено равенство объектов (i = j), 0, если объект j предпочтительнее объекта i (i < j).

Рисунок 7.1 - Общий вид матрицы парных сравнений

При сравнении объектов матрица заполняется элементами a_ij следующим образом (может быть предложена и иная схема заполнения):

Сумма (по строке) в данном случае позволяет оценить относительную значимость объектов. Тот объект, для которого сумма окажется наибольшей, может быть признан наиболее важным (значимым).

Суммирование можно производить и по столбцам (), тогда самым существенным будет фактор, набравший наименьшее количество баллов.

3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие.

В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10.

Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Смысл метода состоит в том, что эксперт помещает каждый из анализируемых объектов в определенный интервал (приписывает балл). Измерителем при этом является степень обладания объекта тем или иным свойством.

Число интервалов, на которые разбивается диапазон изменения свойства, может быть различным для разных экспертов. Кроме того, метод разрешает давать одну и ту же оценку (т.е. помещать в один и тот же интервал) различным объектам.

Например, метод непосредственной оценки используется при проведении экзаменов. Здесь диапазон, характеризующий уровень знаний студентов мысленно разбивается экспертом-преподавателем на интервалы, подобно тому, как показано на рисунке 7.2.

Рисунок 7.2 - Пример разбиения диапазона изменения характеристик объекта на интервалы

8. Обработка результатов опроса экспертов

Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.

На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.

Чаще всего при обработке результатов опроса используются методы математической статистики.

В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:

? формирование обобщенной оценки;

? определение относительных весов объектов;

? установление степени согласованности мнений экспертов и др.

Далее рассмотрим некоторые методы решения каждой из перечисленных задач.

8.1 Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x_j - оценка j-го эксперта, , где m - число экспертов.

Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (M_E), за которую принимается такая оценка, по отношению к которой число бoльших оценок равняется числу меньших.

Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:

(7.2)

8.2 Определение относительных весов объектов

Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.

Один из методов определения весов состоит в следующем. Пусть x_ij - оценка фактора i, данная j-ым экспертом, , , n - число сравниваемых объектов, m - число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (w_i), равен:

(7.3)

где w_ij - вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

(7.4)

8.3 Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики - меры разброса.

Вариационный размах (R):

R = x_max - x_min,(7.5)

где x_max - максимальная оценка объекта;

x_min - минимальная оценка объекта.

Среднее квадратическое отклонение, вычисляемое по известной формуле:

(7.6)

где x_j - оценка, данная j-ым экспертом;

m - количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

(7.7)

Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x_1j, x_2j, …, x_nj.

Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

(7.8)

где x_ij - ранг, присвоенный i-му объекту j-ым экспертом;

x_ik - ранг, присвоенный i-му объекту k-ым экспертом;

d_i - разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.

Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемыйкоэффициент конкордации - общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

(7.9)

где

Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.

Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.

Далее приведем примеры расчета коэффициентов и W.

Пример 7.1. Пусть два эксперта приписали двенадцати факторам, влияющим на успешность реализации инновационного проекта, ранги, показанные в таблице 7.1.

На основе приведенных данных рассчитайте коэффициент ранговой корреляции Спирмэна.

Решение.

Рассчитаем коэффициент Спирмэна, используя формулу (7.8). Промежуточные результаты расчетов (d_i и d_i²) приведены в таблице 7.1.

Таблица 7.1 - Исходные данные и промежуточные результаты расчетов примера 7.1

Фактор	Ранги	di	di2
	первый эксперт (xi1)	второй эксперт (xi2)
А Б В Г Д Е З Ж И К Л М	7 8 2 1 9 3 12 11 4 10 6 5	6 4 1 3 11 2 12 10 5 9 7 8	1 4 1 -2 -2 1 0 1 -1 1 -1 -3	1 16 1 4 4 1 0 1 1 1 1 9
				40

Подставляя вычисленное значение в формулу (7.8), получим:

Такое значение коэффициента Спирмэна свидетельствует о высокой согласованности оценок экспертов.

Пример 7.2. Пять экспертов проранжировали семь вариантов капиталовложений (соответствующие оценки приведены в таблице 7.2).

Проверьте согласованность ранжировок, используя коэффициент конкордации.

Решение.

Рассчитаем коэффициент конкордации, используя формулу (7.9). В таблице 7.2 приведены промежуточные результаты расчетов.

Таблица 7.2 - Исходные данные и промежуточные результаты расчетов примера 7.2

Варианты	Эксперты	Сумма рангов	Отклонения от средней суммы	Квадрат отклонения
	1	2	3	4	5
I II III IV V VI VII	1 2 6 4 7 3 5	1 2 7 6 3 5 4	2 1 6 4 7 5 3	3 1 5 6 4 7 2	1 2 6 4 5 7 3	8 8 30 24 26 27 17	-12 -12 10 4 6 7 -3	144 144 100 16 36 49 9
								498

Подставляя вычисленное значение в формулу (7.9), получим:

Такая величина W позволяет сделать вывод о том, что существует неслучайная согласованность в мнениях экспертов.

Заключение

Динамизм и новизна современных народнохозяйственных задач, возможность возникновения разнообразных факторов, влияющих на эффективность решений, требуют, чтобы эти решения принимались быстро и в то же время были хорошо обоснованы. Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения.

Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

Список литературы

1. Афанасьев В.Г. Научное управление обществом. М.: Политиздат, 1968. 183 с.

2. Беклешев В.К., Завлин П.Н. Нормирование труда в НИИ и КБ. М.: Экономика, 1973. 203 с.

3. Берж К. Теория графов и ее применения. Изд-во иностр. лит. 1962 196с.

4. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М.: Наука, 1973. 246с.

5. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. М.: Экономика, 1976. 287 с.

6. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

7. Вентцель Е.С. Теория вероятностей. М.: Наука, 1969. 368 с.

8. Волгин Б.А Деловые совещания. М.: Московский рабочий, 1972. 204 с.

9. Диксон Дж, Проектирование систем: изобретательство, анализ, принятие решений. М.: Мир, 1969. 323 с.

10. Добров Г.М., Ершов Ю.В., Левин Е.И., Смирнов Л.П. Экспертные оценки в научно-техническом прогнозировании. Киев: Наукова думка, 1974. 263 с.

11. Евланов Л.Г. Принятие решений в условиях неопределенности. М.: ИУНХ, 1976. 196 с.

12. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978. 133 с.

13. Карданская Н. Принятие управленческого решения. М.: ЮНИТИ, 1999. 407 с.

14. Кемени Д., Снелл Д. Кибернетическое моделирование. М.: Советское радио, 1972. 234 с.

15. Кравченко Т.К. Процесс принятия плановых решений. М.: Экономика, 1974. 183 с.

16. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974. 256 с.

17. Михеев В.И. Социально-психологические аспекты управления. Стиль и методы работы руководителя. М.: Молодая гвардия, 1975. 181 с.

18. Пфанцагль И. Теория измерений. М.: Мир, 1976. 278 с.

19. Тихомиров Ю.А. Управленческое решение. М.: Наука, 1996. 278 с.

20. Федоренко Н.П. Оптимизация экономики. М.: Наука, 1977. 236 с.

21. Ямпольский С.М., Лисичкин В.А. Прогнозирование научно-технического прогресса. М.: Экономика, 1974. 302 с.

Размещено на Allbest.ru

...