Методика использования экспертных методов для решения задач прогнозирования

Размещено на http://www.allbest.ru/

Министерство образования Республики Беларусь

Министерство образования и науки Российской Федерации

ГОСУДАРСТВЕННОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «БЕЛОРУССКО-РОССИЙСКИЙ УНИВЕРСИТЕТ»

Кафедра «Маркетинг и менеджмент»

ЛАБОРАТОРНАЯ РАБОТА

по дисциплине «Прогнозирование рынка»

Выполнила

Леонович М.А

Проверила

Иванова В.И.

Могилев 2015



Резюме

Общий объем работы - 16 с. Объем, занимаемый 7 таблицами, 2 использованными источниками, 1 приложениями, составляет 5 с.

Объем работы, исключая таблицы, рисунки, список использованных источников и приложения, - 9 с.

Лабораторная работа № 2. Экспертное прогнозирование

МЕДИАНА, КВАРТИЛИ, РАЗБРОС МНЕНИЙ ЭКСПЕРТОВ, КОЭФФИЦИЕНТ ВАРИАЦИ, ПРОГНОЗ, ПРОГНОЗИРОВАНИЕ

Объектом анализа являются исходные данные о предполагаемом прогнозном значении спроса на товар в следующем году по мнению 10 экспертов, полученные с помощью метода Дельфи в двух турах.

Цель работы - изучить методику использования экспертных методов для решения задач прогнозирования.

В процессе работы проведен описательный анализ данных с применением функций и инструментов MS Excel, проведен статистический анализ объемов продаж продукции. В результате сделан предварительный прогноз о динамике объемов продаж на следующий год.



Содержание

1. Экспертное прогнозирование

2. Область применения экспертных методов в прогнозировании

3. Индивидуальные экспертные оценки: понятие, методы, особенности применения, преимущества, недостатки

4. Коллективные экспертные оценки: понятие, методы, особенности применения, преимущества, недостатки

5. Показатели, которые позволяют судить о степени согласованности оценок экспертов



1. Экспертное прогнозирование

Цель работы: изучить методику использования экспертных методов для решения задач прогнозирования.

Задачи работы:

выполнить задания;

по результатам анализа сделать выводы;

дать ответы на контрольные вопросы;

по результатам выполнения заданий лабораторной работы подготовить отчет в MS Word.

Исходные данные к заданиям

1 В таблице приведены данные о предполагаемом прогнозном значении спроса на товар в следующем году по мнению 10 экспертов, полученные с помощью метода Дельфи в двух турах.

Необходимо:

а) рассчитать медиану оценок, квартили вариационного ряда, разброс мнений экспертов;

б) оценить согласованность оценок экспертов, оценив коэффициент вариации;

в) опираясь на мнение экспертов , дать прогноз уровня спроса на товар на будущий год.

Таблица 1 - Данные о прогнозном значении спроса на товар.

Эксперт	1	2	3	4	5	6	7	8	9	10
Спрос (1 тур)	365	358	373	377	361	365	372	359	368	371
Спрос (2 тур)	368	367	373	377	364	374	374	368	370	373

Медиана - значение признака, приходящегося на середину упорядоченной совокупности.

Квартили - значения случайной переменной, делящие распределение на 4 равные по объему части.

Разброс мнений экспертов - разница между интервалами верхнего и нижнего квартиля, то есть разница между 3 и 1 квартилями.

Медианой спроса на товар в 1 туре является оценка 366,5, а во втором туре - 371,5.

25% объема прогнозируемого спроса приходятся до значения 1 квартиля, то есть до 606; следующие 25 % объема прогнозируемого спроса - в пределах от 1 до 2 квартиля, то есть от 362 до 377; следующие 25 % - в пределах от 2 до 3 квартиля, то есть от 368 до 377 и оставшиеся 25 % - свыше 3 квартиля.

В первом туре разброс мнений экспертов не значителен, поскольку он равен 9,75. Оценки разбросаны в малой степени.

Во втором туре разброс мнений сократился, то есть во втором туре мнение группы скорректировалось.

Таблица 2 - Коэффициент вариации

Коэффициент вариации	1 тур	2 тур
	1,740223	1,084725
Станд отклонение	6,384878	4,022161
Среднее значение	366,9	370,8

Коэффициент вариации в 1 туре равен 1,74%. Следовательно, изменчивость спроса на товар в 1 туре незначительная.

Во втором туре данные более однородны и они более приемлемы, то есть мнения экспертов во втором туре являются согласованными, и с их помощью можно делать прогноз уровня спроса на товар на будущий год.

Чем больше значение коэффициента вариации, тем относительно больший разброс и меньшая выравненность исследуемых значений. Если коэффициент вариации меньше 10%, то изменчивость вариационного ряда принято считать незначительной, от 10% до 20% относится к средней, больше 20% и меньше 33% к значительной и если коэффициент вариации превышает 33%, то это говорит о неоднородности информации и необходимости исключения самых больших и самых маленьких значений.

Вывод: В результате анализа двух туров и опроса 10 экспертов было выявлено, что мнения экспертов были более согласованны во 2 туре, поэтому прогноз уровня спроса на товар будет производиться по результатам исследования во 2 туре. Уровень спроса на товар в следующем году увеличится в пределах от 1 до 3 квартиля 2 тура.

2 Необходимо объединиться в экспертные группы по 4 человека и самостоятельно под руководством преподавателя

1. Выбрать объект и направление прогнозирования;

2. Выделить 7-10 факторов , влияющих на объект прогнозирования;

3. Провести математическую обработку экспертной информации на основе метода ранговой корреляции и обосновать рациональное направление.

Этап 1. Индивидуальная работа экспертов.

Цель: Выявление факторов , которые больше всего влияют на потребителя при покупке шоколада.

Таблица 4- Мнение 1 эксперта

Фактор	Ранг
Цена	5
Качество	2
Состав	3
Дизайн	6
Начинки	4
Вкус	1
Упаковка	7

Таблица 5- Мнение 2 эксперта

Фактор	Ранг
Цена	5
Качество	3
Состав	7
Дизайн	4
Начинки	1
Вкус	2
Упаковка	6

Таблица 6- Мнение 3 эксперта

Фактор	Ранг
Цена	2
Качество	1
Состав	7
Дизайн	3
Начинки	6
Вкус	5
Упаковка	4

Таблица 7- Мнение 4 эксперта

Фактор	Ранг
Цена	3
Качество	2
Состав	4
Дизайн	7
Начинки	5
Вкус	1
Упаковка	6

Затем полученные результаты были объединены в итоговую общую таблицу.

Этап 2. Коллективная оценка работы экспертов.

Таблица 6- Матрица оценок факторов.

Номер эксперта	Фактор	Количество повторяющихся рангов
	1	2	3	4	5	6	7
Исходная матрица данных
1	5	2	3	6	4	1	7	0
2	5	3	7	4	1	2	6	0
3	2	1	7	3	6	5	4	0
4	3	2	4	7	5	1	6	0
Сумма рангов	15	8	21	20	16	9	23
Отклонение от средней суммы рангов	-1	-8	5	4	0	-7	7
Квадраты отклонений	1	64	25	16	0	49	49	204

При выборе товара наиболее главными для потребителя являются Качество и Вкус, не главными - Упаковка и Состав.

Для оценки согласованности мнений экспертов применяется коэффициент конкордации W, который рассчитывается по формуле

где S - сумма квадратов отклонений суммы рангов факторов от средней суммы рангов.

W = 0,455357, то есть мнения экспертов относительно согласованы.

Для оценки значимости W находим

= 10,92

После этого определяем Х20,95 для числа степеней свободы, равного v = n - 1, и 5-процентного уровня значимости .

Таблица 7 - Значения Х2

v	1	2	3	4	5	6	7	8	9	10
Х20,95	3,84	5,99	7,82	9,49	11,07	12,59	14,07	15,51	16,92	18,31

Поскольку Х2 меньше Х20,95, то коэффициент конкордации является значимым, и с вероятностью более 95 % можно утверждать о наличии определенной согласованности в оценке представленных факторов.



2. Область применения экспертных методов в прогнозировании

Методы экспертных оценок в прогнозировании и перспективном планировании научно-технического прогресса применяются в следующих случаях:

а) в условиях отсутствия достаточно представительной и достоверной статистики характеристики объекта (например, лазеры, голографические запоминающие устройства, рациональное использование водных ресурсов на предприятиях);

б) в условиях большой неопределенности среды функционирования объекта (например, прогнозов человеко-машинной системы в космосе или учет взаимовлияния областей науки и техники);

в) при средне- и долгосрочном прогнозировании объектов новых отраслей промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

г) в условиях дефицита времени или экстремальных ситуациях.

Экспертная оценка необходима, когда нет надлежащей теоретической основы развития объекта. Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями. Существует две категории экспертов - это узкие специалисты и специалисты широкого профиля, обеспечивающие формулирование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их репутации среди определенной категории специалистов. Однако не следует забывать и того обстоятельства, что первоклассный специалист не всегда может достаточно квалифицированно рассмотреть и понять общие, глобальные, вопросы. Для этой цели нужно привлекать экспертов хотя и недостаточно узко информированных, но обладающих способностью к дерзанию и воображению.

Важно установить не абсолютную степень надежности экспертной оценки, а степень надежности по сравнению с оценкой среднего специалиста, а также корреляцию между вероятностью его прогнозной оценки и надежностью класса тех гипотез, которыми оперирует эксперт.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны в технике измерений как систематические, ошибки второго вида - как случайные. Эксперт, склонный к ошибкам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры. Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при вынесении экспертных суждений, можно добавить к рассмотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, априори определить способность человека делать правильные экспертные оценки невозможно. Важным средством подготовки экспертов являются специальные тренировочные игры.

Организация форм работы эксперта может быть программированной или не программированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или свободное изложение по заданной теме).



3. Индивидуальные экспертные оценки: понятие, методы, особенности применения, преимущества, недостатки

Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.

Методы экспертных оценок можно разделить на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».

Метод «мозговой атаки». Методы этого типа известны также под названием коллективной генерации идей, мозгового штурма, дискуссионных методов. Все эти методы основаны на свободном выдвижении идей, направленных на решение проблемы. Затем из этих идей отбираются наиболее ценные.

Достоинством метода «мозговой атаки» является высокая оперативность получения требуемого решения. Основным недостатком его -- сложность организации экспертизы, так как иногда невозможно собрать вместе требуемых специалистов, создать непринужденную атмосферу и исключить влияние должностных взаимоотношений.

Метод «сценариев» представляет собой совокупность правил по изложению в письменном виде предложений специалистов по решаемой проблеме. Сценарий представляет собой документ, содержащий анализ проблемы и предложения по ее реализации. Предложения вначале пишут эксперты индивидуально, а затем они согласуются и излагаются в форме единого документа. вариация спрос экспертный прогнозирование

Основным преимуществом сценария является комплексный охват решаемой проблемы в доступной для восприятия форме. К недостаткам можно отнести возможные неоднозначность, нечеткость излагаемых вопросов и недостаточную обоснованность отдельных решений.

«Деловые игры» основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод «совещаний» («комиссий», «круглого стола») -- самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода «мозговой атаки» каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод «суда» является разновидностью метода «совещаний» и реализуется по аналогии с ведением судебного процесса. В роли «подсудимых» выступают выбираемые варианты решения; в роли «судей» -- лица, принимающие решение; в роли «прокуроров» и «защитников» -- члены экспертной группы.

Роль «свидетелей» выполняют различные условия выбора и доводы экспертов. При ведении такого «судебного процесса» отклоняются или принимаются те или иные решения.

Метод «суда» целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы «Дельфи». Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи», или метод «дельфийского оракула», представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.

Процедура метода включает несколько последовательных этапов опроса. На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений. На втором-- вся информация сообщается экспертам и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются, и необходимо прекращать процедуру.

Достоинством метода «Дельфи» является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.

Основные этапы процесса экспертного оценивания:

* формирование цели и задач экспертного оценивания;

* формирование группы управления и оформление решения на проведение экспертного оценивания;

* выбор метода получения экспертной информации и способов ее обработки;

* подбор экспертной группы и формирование при необходимости анкет опроса;

* опрос экспертов (экспертиза);

* обработка и анализ результатов экспертизы;

* интерпретация полученных результатов;

* составление отчета.



4. Коллективные экспертные оценки: понятие, методы, особенности применения, преимущества, недостатки

Коллективные экспертные методы основаны на получении обобщенной и согласованной оценки группы экспертов, причем обычно эти оценки формируют в процессе совместного обсуждения и решения поставленных проблем.

Основным достоинством коллективных экспертных оценок является достаточно высокая степень точности и согласованности получаемых результатов. Основной недостаток - возможность взаимовлияния экспертов друг на друга.

При использовании методов коллективных экспертных оценок необходимо соблюдать ряд требований:

Во-первых, необходимо формирование специальных рабочих групп, функциями которых является организация и проведение опроса, обработка и анализ полученных результатов.

Во-вторых, при проведении опроса следует обеспечить однозначность понимания вопросов, а также относительную независимость суждений экспертов.

В-третьих, должна быть проведена обработка результатов, которые характеризуют обобщенное мнение и степень согласованности индивидуальных оценок экспертов.

Существует много модификаций методов коллективной экспертизы:

·метод совещаний (комиссий);

·метод «круглого стола»;

·метод Дельфи;

·метод «мозговой атаки»;

·метод «суда» и другие.

Метод совещаний (комиссий)заключается в работе объединенных в комиссию экспертов, т.е. это метод открытого обсуждения проблемы.

Разновидностью совещаний являются дискуссии,которые проводятся как открытые коллективные обсуждения рассматриваемых проблем, основной задачей которых является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявление позиций и интересов участников. Результаты дискуссии фиксируются в виде стенограммы или магнитной записи. После окончания дискуссии проводится анализ записей для более четкого представления основных результатов.

Метод «круглого стола». Специальная комиссия обсуждает проблему с целью согласования мнений и выработки единого решения. Недостатком метода является то, что зачастую эксперты руководствуются логикой компромисса, что иногда снижает качество принимаемых решений.

Метод Дельфи - получение согласованного мнения и оценки экспертов с помощью специальной программы последовательных индивидуальных опросов экспертов. Основные особенности и принципы экспертизы по методу Дельфи:

полный отказ от личных контактов экспертов, опрашиваемых по конкретной проблеме;

обеспечение экспертов необходимой информацией;

сохранение анонимности оценок, аргументации и критики;

обоснование ответов экспертов по запросу организаторов экспертизы;

возможность количественной оценки ответов экспертов;

несколько туров проведения экспертизы;

информирование экспертов о результатах каждого тура;

выявление оценок и мнений, отличающихся от мнения большинства;

статистическая обработка результатов.

Обычно в качестве групповой оценки принимается среднее суждение экспертов.

В последнее время процедура «Дельфи» в той или иной форме обычно сопутствует любым другим методам моделирования систем - методу «дерева целей», морфологическому, сетевому и т.д.

Метод мозговой атаки получил широкое распространение с начала 50-х годов как «метод систематической тренировки творческого мышления, нацеленный на открытие новых идей и достижение согласия группой людей на основе интуитивного мышления». Методы этого типа известны также под названием «мозговой штурм»,«конференция идей», «коллективная генерация идей». Существуют общие правила, принципы проведения мозговой атаки:

обеспечивать максимальную свободу мышления и высказывания новых идей;

приветствовать любые идеи, даже если они кажутся сомнительными или абсурдными (обсуждение и оценка идей предусматривается позднее);

не допускается критика;

чем больше идей, тем лучше;

обмен мыслями и сочетание идей.

Данный метод целесообразно использовать для решения нетривиальных проблем, не поддающихся привычным решениям, например для разработки инновационнойстратегии, тактики управления маркетингом и т.п.

Метод судаосновывается на том, что организация работы экспертов проводится в соответствии с правилами ведения судебного процесса. Использование этого метода особенно полезно при наличии нескольких подгрупп экспертов, каждая из которых отстаивает свою точку зрения.

Особое место в группе экспертных методов занимает эвристическоепрограммирование, когда основой компьютерных программ являются результаты изучения процесса решения различных задач реальными людьми: шахматистами, музыкантами, логиками-теоретиками. В отличие от компьютера, человек способен целесообразно действовать в условиях, когда ни описание исходной ситуации, ни пути достижения решения не формализованы. Это качество особенно важно в процессе реализации системного анализа.

Эвристика в широком смысле представляет собой раздел психологии, изучающий природу мыслительных операций человека при решении им различного рода задач.

Эвристические методы предполагают активизацию творческого, нестандартного мышления для решения нестандартной задачи. Например, метод мозгового штурма.

Творческий разум способен создавать принципиально новые понятия и методы для решения новых проблем, а следовательно, полезно исследовать и использовать методы активизации интуиции и опыта специалистов, сочетая их с формальными, математическими методами, которые освобождают человека от рутинной деятельности и ускоряют анализ вариантов решения.

5. Показатели, которые позволяют судить о степени согласованности оценок экспертов

При проведении анализа собранных экспертных данных в соответствии с це-лями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты -- варианты, показатели, факторы и т.п.), а также определить согласован-ность действий экспертов и достоверность экспертных оценок.

Так, например, выявленные в процессе качественного анализа риски необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения риска -- в порядке их предпочтительности и т.п.

Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распростра-ненными из них являются: ранжирование, непосредственная оценка, последова-тельное сравнение, парное сравнение.

Важным моментом экспертных процедур является оценка согласованности дей-ствий экспертов и достоверности экспертных оценок.

Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экс-пертов достоверность оценок гарантируется.

Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.

Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками раз-личных экспертов отсутствует. При W = 1 -- согласованность мнений экспертов полная.

Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше за-данного (нормативного) значения Wн (W > Wн).

Можно принять Wн = 0,5. Считается, что при W > 0,5 действия экспер-тов в большей степени согласованы, чем не согласованы.

Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выяв-лены пять видов риска, которым может подвергаться проект в процессе его реализации.

Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важности) по степени возможного их влияния на уровень потерь.

При полностью согласованном мнении экспертов каждый из них перво-му виду риска дал два балла, второму -- один, третьему -- четыре, четвертому -- три, пятому -- пять. В этом случае суммарный ранг важ-ности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.

Известно, что среднее значение суммарной оценки для m объектов, назначаемых n экспертами, составляет 1/2 * n (m+1) и в рассматрива-емом примере среднее значение составляет -- 12.

Таким образом, мнения экспертов можно считать в достаточной степени согласованным.

Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась результатом случайных вариаций их мнений.

Если в соответствии с принятыми критериями мнения экспертов можно считать согласованными, то данные ими оценки принимаются и исполь-зуются в процессе подготовки и реализации управленческих решений.

Если полученные оценки нельзя считать достоверными, следует повто-рить опрос заново. Если и это не дает желаемых результатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.

Здесь следует отметить важную роль организаторов экспертизы, в за-дачи которых входят:

постановка проблемы, определение целей и задач экспертизы, ее гра-ниц и основных этапов;

разработка процедур экспертизы, в наибольшей степени соот-ветствующей характеру решаемой проблемы; отбор экспертов, провер-ка их компетентности и формирование групп экспертов;

проведение опроса и согласование оценок; формализация полученной информации, ее обработка, анализ и интерпретация.

От правильной организации экспертизы в значительной степени зависит эффективность результатов, полученных посредством экспертных оце-нок, в т.ч. и достоверность этих оценок.

Размещено на Allbest.ru

...