Методика проведения экспертного опроса

Размещено на http://www.allbest.ru/

Аннотация

Данная работа посвящена рассмотрению вопросов использования экспертных технологий в управлении процессами. Рассматривается классификация экспертных методов, а также значимость их применения. Определяется порядок и правила проведения экспертного оценивания. Приводятся примеры практического применения экспертных оценок.

С. 28. Ил. 3. Табл. 7. Литература 5 назв. Прил. 2.

Оглавление

Введение

1. Роль экспертных оценок в управлении процессом

1.1 Сущность метода экспертных оценок

1.2 Основные методы экспертных оценок

2. Методика проведения экспертного опроса

2.1 Организация экспертного оценивания

2.2 Методы опроса

2.2.1 Метод рангов

2.2.2 Метод непосредственного оценивания

2.2.3 Метод последовательного сопоставления

3. Оценка согласованности экспертных данных

Библиографический список

экспертный опрос метод решение



Введение

В исследовании управления процессами широкое распространение имеет метод экспертных оценок. Это объясняется сложностью многих проблем, их происхождением из-за "человеческого фактора", отсутствием надежных экспериментальных или нормативных инструментов.

Бесспорно, совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широкое применение в социально-политическом и научно-техническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных программ, в решении отдельных проблем управления.

Применение экспертных методов обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность.



1. Роль экспертных оценок в управлении процессом

Процесс - совокупность взаимосвязанных или взаимодействующих видов деятельности, преобразующих входы в выходы [1]. Управление процессом осуществляет назначенный владелец процесса, которому выделены необходимые ресурсы (персонал, оборудование, инфраструктура, среда и прочее).

Для управления процессом владелец должен получать информацию о ходе процесса и информацию от потребителя процесса. Одним из основных составляющих систем процессного управления являются система поступления информации владельцу процесса и регулярная отчетность о ходе процесса.

Владелец процесса принимает управленческие решения на основании поступившей информации и установленных планов. Информация о ходе протекания процесса и результатах может быть количественной и качественной. Для систематизации информации применяют экспертные методы.

Экспертные методы используются при решении проблем качества на всех этапах жизненного цикла продукции. Особенно часто их применяют при прогнозировании потребностей, технического уровня и качества продукции, проектировании и производстве продукции. Экспертные оценки обеспечивают принцип системы менеджмента качества «Принятие решений, основанных на фактах» в независимости от характера информации [1].

Таким образом, экспертные методы могут послужить эффективным инструментом эффективного управления процессами предприятия.



1.1 Сущность метода экспертных оценок

Как научный способ экспертный метод разработан сравнительно недавно и назывался «Дельфи». В дальнейшем были разработаны другие аналогичные методы, имеющие в своей основе экспертные оценки. Сначала экспертные методы использовались в основном для решения задач, связанных с прогнозированием в области науки и техники, а затем стали применяться в других областях, в том числе в управлении качеством.

Экспертные методы также используются в случаях:

· невозможности применения моделирования и описания управляемых объектов формализованными математическими способами;

· отсутствия достаточно достоверной информации;

· информационной неопределенности управляемых объектов;

· разработки средне - и долгосрочных прогнозов влияния законов и закономерностей на управление качеством;

· существования тенденции развития управления качеством и рыночной среды;

· наличия экстремальных ситуаций в управлении качеством.

Экспертный (в том числе и органолептический) метод предполагает использование мнений экспертов. Термин «эксперт» определяется в дословном переводе с латинского языка как «опытный» [2].

Сущность экспертных методов заключается в усреднении полученных различными способами мнений (суждений) специалистов - экспертов по рассматриваемым вопросам [2].

Усредненная оценка (К) определяется по формуле:

,

где N- количество экспертов;

- оценка, данная j - м экспертом.

Методы экспертных оценок - организационные, логические и математико-статистические процедуры, направленные на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выбора оптимальных решений [3].

Экспертные методы применяются в случаях, представленных на рисунке 1.

Рисунок 1 Применение экспертных методов

1.2 Основные методы экспертных оценок

К разновидностям экспертных методов с определенной долей условности можно отнести органолептический и социологический.

Органолептический метод основан на использовании чувств (вкуса, слуха, зрения, обоняния, тактильности) эксперта. Этот метод применяется при измерении значений показателей качества, например, продукции пищевой промышленности.

Социологический метод базируется на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной форме с помощью анкет или устно.

Существующие методы экспертных оценок можно разделить на индивидуальные (анкетирование, интервьюирование) и коллективные (метод комиссий, «мозговой штурм»).

Индивидуальные оценки - это оценки одного специалиста. Наиболее распространены два метода такой оценки: интервью и аналитические экспертные оценки. Основными преимуществами рассматриваемых методов являются возможность максимального использования индивидуальных особенностей эксперта и незначительность психологического давления, оказываемого на отдельного работника. Однако эти методы малопригодны для решения сложных комплексных задач из-за ограниченности знаний одного специалиста-эксперта. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или при угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей [4].

Коллективные экспертные методы основываются на принципе выявления коллективного мнения экспертов по изучаемому вопросу. Наиболее распространенными коллективными методами экспертной оценки являются метод «мозговой атаки» (метод коллективной генерации идей) и метод Дельфи. Применяются также методы эвристического прогнозирования (МЭП), программного прогнозирования, морфологического анализа, построения прогнозных сценариев, прогнозных графов и «дерева целей», матричный метод.

Разновидности экспертной оценки представлены на рисунке 2.

Рисунок 2 Разновидности экспертной оценки

Анкетирование представляет собой опрос экспертов в письменной форме с помощью анкет. В анкете содержатся вопросы, которые можно классифицировать по содержанию и типу.

Интервьюирование - это устный опрос, проводимый в форме беседы-интервью. При подготовке беседы интервьюер разрабатывает вопросы эксперту. Характерной особенностью этих вопросов является возможность быстрого ответа на них экспертом, поскольку он практически не имеет времени на его обдумывание.

Достоинством интервью является непрерывный живой контакт интервьюера с экспертом, что позволяет быстро получить необходимую информацию путем прямых и уточняющих вопросов в зависимости от ответов эксперта.

Недостатками интервью являются возможность сильного влияния интервьюера на ответы эксперта, отсутствие времени для глубокого продумывания ответов и большие затраты его на опрос всего состава экспертов.

Метод Дельфи представляет собой много туровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. Метод назван по имени греческого города, в котором в древности жил знаменитый оракул.

В первом туре опроса методом Дельфы экспертам предлагаются вопросы, на которые они дают ответы без аргументирования. Полученные от экспертов данные обрабатываются с целью выделения среднего или медианы и крайних значений оценок. Экспертам сообщаются результаты обработки первого тура опроса с указанием расположения оценок каждого эксперта. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку.

Во втором туре эксперты аргументируют или изменяют свою оценку с объяснением причин корректировки. Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Если после первого тура производилась корректировка оценок, то результаты обработки второго тура содержат новые средние и крайние значения оценок экспертов.

Проведение последующих туров осуществляется по аналогичной процедуре. Обычно после третьего или четвертого тура оценки экспертов стабилизируются, что и служит критерием прекращения дальнейшего опроса.

При проведении опроса в методе Дельфы сохраняется анонимность ответов экспертов по отношению друг к другу.

Мозговой штурм представляет собой групповое обсуждение с целью получения новых идей, вариантов решения проблемы. Мозговой штурм часто называют также мозговой атакой, методом генерации идей. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов категорически запрещается критика их высказываний.

Методика проведения мозгового штурма: осуществляется подбор экспертов в группу до 20-25 человек, для проведения сеанса назначается ведущий, сеанс продолжается примерно 40-45 минут без перерыва. Для выступления предоставляется 2-3 минуты и они могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых, может быть, на первый взгляд фантастических идей или развивать ранее высказанные идеи, дополняя и углубляя их.

Выступления экспертов фиксируются путем стенографирования или магнитофонной записи и после окончания сеанса подвергаются анализу, который заключается в группировке и классификации высказанных идей и решений по различным признакам, оценке степени полезности и возможности реализации.

Дискуссия - этот вид экспертизы широко применяется на практике для обсуждения проблем, путей их решения, анализа различных факторов и т.п.

Для проведения дискуссии формируется группа экспертов не более 20 человек. Дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявление позиций и интересов участников. В ходе дискуссии разрешается критика. Большую роль в дискуссии играет ведущий. От его умения создать творческую благожелательную атмосферу, четко выступить с постановкой проблемы, кратко и глубоко резюмировать выступления и, главное, умело направить ход дискуссии на решение проблемы существенно зависит эффективность результатов обсуждения [5].



2. Методика проведения экспертного опроса

Общность экспертных методов заключается в последовательности проведения процедур их использования. К ним следует отнести организацию экспертного оценивания, проведения сбора мнений экспертов и обработку полученных результатов [5].

2.1 Организация экспертного оценивания

Формирование экспертной группы -- наиболее ответственный момент в организации экспертизы. Для общего руководства экспертными работами назначается председатель экспертной комиссии. В составе комиссии организуют две группы - рабочую и экспертную (рисунок 2).

В подчинении руководителя рабочей группы находятся технические работники, осуществляющие техническую сторону подготовки материалов к работе экспертов, обработку полученных результатов, а также специалисты по решаемым проблемам [2].

В экспертную группу входят эксперты -- специалисты по решаемым проблемам. Формирование этой группы осуществляет руководитель (организатор) рабочей группы. Число экспертов в экспертной группе зависит от множества факторов и условий: в частности от важности решаемой проблемы, располагаемых возможностей и т.п.

Рисунок 2 Типовой состав экспертной комиссии

Эксперты должны удовлетворять следующим требованиям:

· профессиональная компетентность и наличие практического и исследовательского опыта в области управления;

· креативность (умение решать творческие задачи);

· научная интуиция;

· заинтересованность в объективных результатах экспертной работы;

· независимость суждений:

· деловитость (собранность, умение переключаться с одного вида деятельности на другой, коммуникативность, независимость суждений, мотивированность действий);

· объективность;

· нонконформизм;

· высокая общая эрудиция [2].



2.2 Методы опроса

2.2.1 Метод рангов

Метод рангов предусматривает ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности), осуществляемое экспертом. При этом обычно наиболее предпочтительному объекту присваивают ранг1, а наименее предпочтительному -- последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования, и наоборот.

При предпочтительной (по рангам) расстановке объектов экспертизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектов H, начиная с единицы [].

Результирующие ранги объектов ранжирования по данным опросов определяются как сумма рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний -- тому, у которого оказалась наибольшая сумма рангов (пример определения результирующего ранга трех объектов семью экспертами приведен в таблице 1) [2].

Таблица 1

Определение результирующего ранга объектов ранжирования

Объект ранжирования	Эксперт	Сумма рангов объекта	Результирующий ранг объекта
	1	2	3	4	5	6	7
1	1	2	2	1	2	1	2	11	2
2	2	1	1	2	1	2	1	10	1
3	3	3	3	3	3	3	3	21	3



2.2.2 Метод непосредственного оценивания

Метод непосредственного оценивания (балльный метод) представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них.

При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Наиболее распространенные диапазоны шкалы оценок: от 0 до 1,0; от 0 до 5,0; от 0 до 10,0; от 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «мало важный» и т.п., что тоже в ряде случаев для большего удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1 или другие) [2].

Непосредственное оценивание следует применять при уверенности полной профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранги весомость (значимость) каждого исследуемого объекта (пример оценивания трех объектов по10-балльной шкале приведен в табл.2).

Таблица 2

Определение результатов непосредственного оценивания объектов

Объект ранжирования	Эксперт	Сумма рангов объекта	Результирую-щий ранг объекта	Весомость объекта
	1	2	3	4	5	6	7
1	7	6	5	6	4	7	8	43	2	0,36
2	9	10	8	7	5	8	10	57	1	0,47
3	4	1	2	4	3	5	2	21	3	0,17

По результатам оценок экспертов место любого объекта можно определить по формуле:

где - значимость i-го объекта (i=1,2,…,n), рассчитанная на основании оценок экспертов (j=1,2,…, k); - оценка (в баллах), данная i-у объекту j-м экспертом [2].

2.2.3 Метод последовательного сопоставления

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

Общее количество пар сравнения равно:

,

где H - количество исследуемых объектов экспертизы.

В результате сравнения эксперт высказывает мнение о важности того или иного объекта, т.е. отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Для упорядочения всех рассматриваемых объектов необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы (таблица 3).



Таблица 3

Матрица оценки объектов методом парного сравнения

Название объекта	Номер объекта	Эксперт	Общее количество предпочтений
		1	2	3	…	N-й
	1		1	0	…	0
	2	0		0	…	1
	3	1	1		…
	...				…
	H	1			…

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, т.е. предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого, поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, т.е. еще раз осуществляют парное сравнение, но только при обратном расположении объектов и объектов в каждой паре. Количество пар при двойном парном сравнении соответственно в два раза больше, чем при одинарном парном сравнении.

При записи каждой комбинации эксперт подчеркивает в каждой паре сравниваемых объектов наиболее важный. На пересечении вертикальных и горизонтальных строк матрицы для каждой пары объектов он ставит 1 или 0 (либо плюс или минус) в зависимости от определенной им значимости того или иного объекта.

Весомость каждого объекта сравнения рассчитывается по формуле:

,

где - количество предпочтений (единиц, или плюсов, подчеркиваний i-го объекта над i-м объектом, указанное j-м экспертом; A - общее количество пар объектов.

Таблица 4

Сводная матрица результатов парного сравнения объектов

Навание объекта	Номер объекта	Количество предпочтений i-го объекта, данных экспертами	Сумма предпочтений	Весомость объекта
		1	2	3	…	N-й
	1		1	0	…	0
	2	0		0	…	1
	3	1	1		…
	...				…
	H	1			…

Расчеты при двойном парном сравнении проводятся по тем же формулам, что и при обычном парном сравнении, однако количество пар при этом увеличивается вдвое.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому объекту присваивается определенное количество баллов, например, по шкале от 0 до 1 (как метод оценивания). Причем самому важному объекту дается балл, равный 1, а всем остальным - в порядке уменьшения их значимости от 1 до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг 1, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличится до этого уровня, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов. Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок, особенно это ощущается при количестве, превышающем шесть-семь исследуемых объектов [2].



3. Оценка согласованности экспертных данных

Обработка собранных мнений (данных) экспертов проводится как количественно (численные данные), так и качественно (содержательная информация). При обработке используются различные способы. При наличии численных данных для решения вопросов, имеющих достаточный материал, применяются методы усреднения экспертных суждений [2].

При использовании рассмотренных экспертных методов мнения экспертов часто не совпадают, поэтому необходимо количественно оценивать меру согласованности мнений экспертов и устанавливать причины несовпадения суждений. Мера согласованности определяется на основе статистических данных всей группы экспертов. Для оценки меры согласованности мнений экспертов используются коэффициенты конкордации.

Мера согласованности определяется математико-статистической обработкой всех имеющихся результатов экспертизы. Так, согласованность мнений компетентных экспертов при использовании всех указанных экспертных методов, где определяются ранги объектов, можно определить с помощью коэффициента конкордации (согласия) по формуле:

,

где C - сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т.е.

,

где - средняя сумма рангов.

Полная запись формулы имеет следующий вид:

.

Коэффициент конкордации может быть в диапазоне При W=0 согласованность мнений экспертов отсутствует, а при W=1 - согласованность полная. Обычно считается, что согласованность вполне достаточна, если .

При использовании экспертных методов, в которых ранги не определяются, для нахождения конкордации рассчитанные значимости объектов следует переводить в ранги. Ранг 1 приписывается объекту, у которого значимость наибольшая и т.д., в противном случае оценку согласованности мнений проводят по другим критериям согласия [2].

Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона (X²) c определенным уровнем значимости (B), т.е. максимальной вероятностью неправильного результата работы экспертов. Обычно задавать значимость достаточно в пределах 0,0050,05.

В случае получения расчетной величины X²_расч>табличной X²_табл (с избранным уровнем значимости) мнения экспертов окончательно признаются согласованными.

Расчетная величина X²_расч определяется по формуле:

X²_расч=.

В случае определения несогласованности линий экспертов по коэффициентам конкордации и соответствующей проверке его величины по критерию Пирсона экспертные опросы следует осуществлять повторно.

Размещено на Allbest.ru

...