Метод "Дельфи"
Использование метода Дельфи для определения основных приоритетов научных исследований в области высоких технологий. Разработка прогнозов, основанных на методе Дельфи. Метод экспертных оценок при планировании хозяйственной деятельности предприятия.
Рубрика | Менеджмент и трудовые отношения |
Вид | реферат |
Язык | русский |
Дата добавления | 05.12.2015 |
Размер файла | 73,7 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Метод «Дельфи» («Дельфийский» или «Метод Дельфийского оракула») получил свое название от древнегреческого города Дельфы, где жили оракулы-прорицатели при храме бога Аполлона. Слово главного оракула принималось за истину в последней инстанции.
В наши дни оракул вновь «заговорил» в 50 -- 60-ее годы в США как результат проекта РЭНД (RAND) начатому в 1944 году генералом ВВС Генри Х. Арнольдом для прогнозирования методов ведения ядерной войны. Авторы метода прогнозирования вероятного будущего стали Олаф Хелмер (Olaf Helmer), Норман Дэлкей (Norman Dalkey) и Николас Ресчер (Nicholas Rescher). Метод Дельфи основан на так называемом диалектическом дознании -- искусстве спорить, вести рассуждение. После Второй мировой войны, когда мир разделился на два лагеря, и началась затяжная «Холодная война» обладание ядерным оружием стало главным сдерживающим фактором начала Третьей, и возможно последней в истории человечества, мировой войны. Просчитать аналитически ход и последствия ядерного конфликта, не нажимая кнопки - «что бы жахнуть, и мир в труху…», и была первая и главная цель этого метода.
В гражданском приложении, метод Дельфи впервые был описан в «Докладе об изучении долгосрочного прогнозирования» в 1964 году. Объектами исследования предлагались сделать: научные прорывы, прирост народонаселения и распределения ресурсов, автоматизацию, исследование космоса, возникновение и предотвращение войн, будущие перспективные системы вооружения. За последующие полвека, перечень прогнозируемых процессов значительно расширился, но, несомненно, наибольшее применение этот метод нашел в областях, связанных с научно-техническим прогрессом. В частности, для определения основных приоритетов научных исследований в области высоких технологий. Метод позволяет определять и прогнозировать:
§ сроки выполнения работ -- от выдачи технического задания на работу, до начала эксплуатации объекта;
§ приоритетные направления развития предприятий и отраслей хозяйства -- по технологии производства, объему производства, числу занятых, объемам требуемых финансовых вложений и т.п.;
§ критерии оценок значимости научных разработок и др.;
§ анализировать перспективность выдвинутых идей.
В большинстве развитых стран метод применяется для определения приоритетов научно-технического развития и принятия решений о финансировании крупных государственных программ.
Прогноз, основанный на методе Дельфи, это попытка предсказать развитие той или иной технологии на длительную перспективу, до 20 -- 30 лет. Техника метода Дельфи была использована впервые для целей национального и отраслевого технологического прогнозирования в Японии в 70-е годы. Тогда, впервые в мире, был проведен цикл из шести исследований. Впоследствии, и в значительной степени по японскому образцу, этот опыт был повторен в Германии, Франции, Великобритании, Испании, Австрии, Южной Корее. В целом, можно говорить о буме этого метода в 90-е годы.
Метод Дельфи имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить погрешность по всей совокупности индивидуальных ответов, ограничивает колебания внутри опрашиваемых групп. При этом наличие менее квалифицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет получения новой информации от своей группы.
От метода Дельфи, по организации работы экспертов, принципиально отличается метод, получивший название «мозговой штурм», который также называют методом «мозговой атаки» и методом коллективной генерации идей. Этот метод подразумевает получение решения как продукта коллективного творчества специалистов в ходе заседания, проводимого по определенным правилам, и последующего анализа его результатов.
Но дело в том, что на любую экспертную оценку влияет групповая динамика обсуждения проблемы. Даже непроизвольно, эксперты, собираясь вместе для обсуждения чего либо, влияют на мнение друг друга. С целью исключить групповое влияние, и была предложена методика получившая имя Дельфийского оракула. По-сути это методика экспертной оценки, с той особенностью, что проводится она заочно, на нескольких уровнях, и зачастую анонимно. Конечная цель, результат метода -- с помощью последовательных опросов, интервью - добиться максимального консенсуса для нахождения правильного решения. Аналитика метода проводится в несколько этапов, а результаты обрабатываются статистическими методами.
Изолированные друг от друга эксперты, в идеале - несвязанные, и не знающие друг о друге, лучше оценивают и предсказывают результат, чем объединенные в группу. Это позволяет избежать открытых обсуждений, споров между противоположенными мнениями сторон, следовательно, исключает групповое влияние, приводящее к подчинению мнению большинства.
А двух-четырех ступенчатая процедура оценки позволяет экспертам уточнить или пересмотреть свою точку зрения с учетом мнения коллег и выработать в результате согласованную, действительно коллективную позицию по всему кругу поставленных вопросов, число которых на первом этапе, может превышать тысячу. В разных странах выработалась своя специфика проведения прогнозирования по методу Дельфи. Например, в Испании привлекалась группа из 123 экспертов, а в Южной Корее до 25 тысяч на первом этапе, основанном на предлагаемых первоначальных схемах, включающих, в том числе уровень научно-исследовательской активности по данному направлению, участие в создании национального богатства, повышении качества жизни и конкурентоспособности, ожидаемые сроки реализации новых достижений.
Прогнозирование по методу Дельфи оказывается эффективным и в достижении ряда других, принципиально важных для выявления приоритетов, результатов. Это познавательный эффект, обучение и расширение кругозора экспертов -- участников опроса в отдельных дисциплинах, технических областях и странах. Выработка консенсуса представителей различных секторов научно-технической сферы и, что не менее важно, стимулирование широкого обсуждения научной общественностью тенденций научно-технологического развития своей страны и мира.
Исторически сложилось, что Япония имеет не только наиболее длительную историю оценок технологического развития своей страны и мира, но и наиболее эффективную практику использования этих прогнозов для общей ориентации национальной научно-технического прогресса. Интересно отметить еще и то, что доля государства, в финансировании национальной науки, никогда не превышала 20-25%. Управление научной и технической сферой экономики, координируется через стратегические исследовательские программы технологического прогнозирования. Опросы по методу Дельфи проводятся каждые пять лет с временным диапазоном до 30 лет, постепенно охватывая все области науки и техники. Если первый опрос, прогнозировавший период 1970-2000 гг., смог охватить 5 направлений и 644 темы, то последний, охватывающий период 1996-2025 гг., уже включал 14 направлений и 1072 темы:
1. материалы и их обработка;
2. информатика;
3. электроника;
4. науки о жизни;
5. здравоохранение и социальное обеспечение;
6. изучение и использование космического пространства;
7. науки о Земле и океанология;
8. энергетика и природные ресурсы;
9. экология;
10. сельское хозяйство, лесная промышленность и рыбоводство;
11. промышленное производство;
12. урбанизация и строительство;
13. связь;
14. транспорт.
Респондентам последнего опроса предлагалось оценить технологические темы с точки зрения их вклада в социально-экономическое развитие, улучшение качества жизни и решение экологических проблем, а также их значение в целом. Участники опроса должны были определить временной диапазон, в течение которого перечисленные технологии будут реализованы как в Японии, так и других ведущих странах, а также очертить круг мер, которые необходимо для этого предпринять государственным властным структурам.
Во Франции в начале 1994 г. при использовании метода Дельфи было проведено широкое обследование перспектив развития 15 основных научно-технических направлений (электроника, физика элементарных частиц, проблемы окружающей среды, урбанизации и т.д.). Для экспертных оценок было привлечено свыше тысячи специалистов из различных секторов экономики -- 45% представители промышленной науки, 30% государственных НИИ и 25% сотрудники университетов, что в целом отражало структуру научного сектора экономики Франции. Этому же принципу следовали при формировании групп экспертов и большинство стран, начинающих работу над прогнозами и приоритетами.
В 1991 г. Министерство исследований и технологии Германии провело сравнительный анализ оценок японских и немецких экспертов, используя японский вопросник. Результаты в целом показали сходство позиций экспертов двух стран относительно развития перспективных технологий, хотя и выявились определенные различия, отражающие национальную культурную и промышленную специфику этих стран.
В Великобритании с 1994 г. также началось использование метода Дельфи для выбора национальных научно-технических приоритетов. Однако, в отличие от Германии и Франции, страна не пошла по пути копирования японского опыта (например, во Франции при опросе ученых-экспертов в качестве приоритетного ставился вопрос о перспективах исследований по проблемам рисоводства, напрямую заимствованный из японской методики). Новый механизм определения приоритетов государственной научной политики Великобритании получил название «Предвидение». Программа предусматривает совместное с промышленностью определение перспективных рынков и технологий на ближайшие 10 -- 20 лет, а также мероприятий, которые позволят использовать новые возможности в целях повышения качества жизни и ускорения экономического роста. Цели «Предвидения»: во-первых, собрать необходимую для принятия решений информацию о состоянии и направлениях финансируемых государством НИОКР; во-вторых, создать новую культуру взаимодействия между учеными и бизнесом; в-третьих, определить ресурсы, необходимые для достижения поставленных задач.
Отличительные особенности нового подхода -- определение не конкретных технологий, а направлений развития, многовариантность сценариев, непрерывность этапов программы по времени. Программа «Предвидение 1» действовала в 1994-1999 гг. и перешла в «Предвидение 2» на 1999-2004 гг. Каждая программа представляет собой три взаимоперетекающих этапа -- анализ, распространение информации и применение результатов, подготовка к следующей программе. «Предвидение» определяет государственные приоритеты в научно-технических программах, в подготовке кадров, в методах государственного регулирования. Вместе с тем, она не является жестким руководством для госсектора, а для частной промышленности оно служит «приглашением к действию» как в области участия в кооперационных программах, так и в сфере стратегического планирования.
На первом этапе 16 тематических групп, в состав которых входят эксперты из промышленности и госсектора, проанализировали широкий круг рынков и технологий. Практически все группы возглавляются представителями крупных компаний, действуют в следующих областях:
1. сельское хозяйство;
2. природные ресурсы и окружающая среда;
3. химические продукты;
4. средства связи;
5. строительство;
6. оборонная и аэрокосмическая промышленность;
7. энергетика;
8. финансовые услуги;
9. пищевые продукты;
10. здравоохранение и науки о жизни;
11. образование и досуг;
12. производственные процессы и предпринимательство;
13. материалы;
14. розничная торговля;
15. транспорт;
16. морские технологии.
Эксперты с использованием метода Дельфи проанализировали точки зрения 1000 человек. На основе этих материалов группы представили отчеты, содержащие оценку будущих рынков и мероприятий, необходимых для сохранения международной конкурентоспособности Великобритании. Головная группа, возглавляемая Главным научным консультантом правительства, на основе 360 рекомендаций, сформулированных отраслевыми группами, выделила 6 межсекторных стратегических тем:
1. коммуникации и компьютеры;
2. новые организмы, генетические продукты и процессы;
3. достижения в материаловедении, инженерии и технологии;
4. повышение эффективности производственных процессов и услуг;
5. необходимость сохранения окружающей среды и ресурсов;
6. совершенствование понимания и использования социальных факторов.
В рамках этих 6 стратегических направлений головная группа выделила 27 общих приоритетных направлений для сотрудничества научного и промышленного сообщества. Головная группа также сформулировала 5 крупных приоритетов в области инфраструктуры:
1. необходимость поддержки высокого уровня образования и профессионального обучения (особое значение придается уровню подготовки школьных учителей в области науки и техники, от которого зависит квалификация следующего поколения ученых, инженеров и технологов);
2. дальнейшее поддержание высокого уровня фундаментальных исследований (особенно в мультидисциплинарных областях);
3. развитие коммуникационной инфраструктуры, которая позволит Великобритании быть в центре информационных потоков;
4. поддержка инновационного предпринимательства (финансовые институты и правительство должны постоянно пересматривать политику долгосрочного финансирования малого инновационного предпринимательства и изучать влияние финансового климата на инновационную активность);
5. необходимость постоянной ревизии государственной политики и законодательных рамок (в первую очередь в таких областях, как защита прав интеллектуальной собственности в электронных средствах связи, разработка новых генетических организмов, инвестиции в прогрессивные коммуникационные инфраструктуры).
В разработке приоритетов участвуют практически все субъекты сферы НИОКР страны. Приоритеты определяются снизу и, в результате, не являются чуждыми для научных организаций, что, как считает Управление науки и технологии, облегчает и ускоряет сам процесс переориентации исследований.
На более низком уровне - региональном, отраслевом или проблемном -- в ряде стран, например в Германии, проводится изучение перспективных приоритетов по методу мини-Дельфи.
Но, стоит отметить, метод Дельфи как попытка предвосхитить будущее путем коллективной процедуры имеет и ряд недостатков. Это сомнения в достоверности результатов, полученных путем прямолинейного опроса. И сомнения в качестве выборки группы экспертов, представляющей научное сообщество. А также размытость целей и результатов, высокая вероятность выработки пассивного взгляда на будущее, а также прямое некритичное копирование зарубежного опыта. Кроме того, некоторые специалисты считают, что «предположение о том, чтобы те, кто резко расходится с мнением большинства, обосновали свою точку зрения, может привести к усилению эффекта приспособления, а не уменьшить его, как это было задумано». Но все же многие ученые утверждают, что метод Дельфи превосходит «обычные» методы прогнозирования, по крайней мере, при разработке краткосрочных прогнозов.
Так, хотя метод Дельфи очень популярен, его влияние на реальную структуру приоритетов в большинстве развитых стран следует все же считать ограниченным. Во многих странах этот и другие методы выявления приоритетов часто попадают на бесплодную почву, то есть либо не обеспечены механизмами реализации, либо уступают место другим приоритетам, выбранным в соответствии с политическими или какими-либо лоббистскими интересами.
В 60-ее годы Дельфийский метод подвергался и такой критике, например, считалось, что мнение эксперта «беззащитно» перед организационной статистической группой. Которая, как казалось, обладает слишком большими полномочиями. Высказывались сомнения, что мнение большинства -- не всегда могло оказаться правильным, когда как креативное решение меньшинства, могло стать ключевым решением, но быть отброшенным в сторону обсуждением.
Этого можно избежать, как и некий конформизм и стремление экспертов подчиниться большинству, только в совершенно беспристрастной аналитической группе, подводящей итоги опроса и, которая избегает манипулировать мнением экспертов. А так же подбор нескольких групп экспертов из различных структур, научных и социальных сред.
В настоящее время Дельфийский метод применяет в технике, футурологии, бизнесе, стратегическом планировании.
К сожалению, в современной России, метод применяется мало, так как статистические центры слишком централизованы, нет независимых аналитических структур, стратегический анализ мало востребован как таковой, отсутствие традиции проведения подобных анализов. Хотя для России формулирование целей и отработка методов отбора приоритетов государственной научно-технологической политики имеет особое значение. Составление комплексных прогнозов научно-технического развития страны и мира в СССР началось еще в начале 1970-х годов, основными ориентирами для них служили интересы оборонного сектора и партийного госаппарата. В настоящее время цели развития безусловно расширились, но соответствующая им процедура выбора приоритетов не разработана, не согласована, не имеет нормативной базы и традиций. В этих условиях при выборе приоритетов и получении соответствующей финансовой и правовой поддержки могут возобладать смещенные и узкие интересы ведомств, ВПК, регионов или чьи либо иные, в то время как интересы государства в целом не будут приниматься в расчет. В этих условиях отработка процедуры выбора приоритетов и изучение опыта других стран крайне важны.
Методология Дельфи
Для проведения опроса создаются две группы участников:
Предварительные этап, формирование групп-участников:
1. Группа экспертов, каждый из которых отвечает индивидуально.
2. Статистическая аналитическая группа обработки результатов.
Этапы проведения опроса:
1. Постановка проблемы.
2. Экспертам задается вопрос, и предлагается разбить его на составляющие подвопросы. На основе этих опросов составляется общий предварительный опросник.
3. Предварительный опросник вновь передается экспертам, для получения дополнительной, уточняющей информации, на основе этих данных составляется основной опросник.
4. Основной опросник передается экспертной группе для поиска решения и оценки самых полярных мнений участников экспертной группы. Участники этой группы должны оценить проблему с точки зрения эффективности, затрат ресурсов, соответствие результатов решения изначально поставленной цели. При этом выявляются преобладающие мнения группы и крайние радикальные точки зрения отдельных участников, которые добавляются в опросник. После этого процедура проведения опроса может повторяться.
5. Опрос повторяется до тех пор, не пока не будет достигнута согласованность между экспертами или окончательно не будет установлено отсутствие единого мнения по проблеме.
6. Понимание причин расхождений в оценках позволяет выявить незамеченные ранее аспекты проблемы и обратить внимание на вероятные, но не учтенные ранее, последствия развития проблемы.
Завершающий этап:
В соответствии с этими результатами опросов вырабатывается окончательная оценка, проверка совпадений мнений экспертов, анализ полученных выводов и практические рекомендации.
Метод экспертных оценок при планировании хозяйственной деятельности предприятия
метод дельфи планирование прогноз
В этом случае метод применяется для обобщения оценок экспертов, касающихся перспектив развития экономического субъекта бизнеса. Особенность метода в этом случае, состоит в нескольких различных методиках постановки проблемы.
Морфологический анализ -- метод систематизации всех возможных вариантов развития отдельных элементов проблемы, применяется в прогнозировании сложных процессов при написании сценариев и сопоставлении их друг с другом, для получения комплексной картины будущего развития.
Ситуационный анализ и прогнозирование - метод для изучения функциональных связей, когда каждой проблеме соответствует вполне определенное значение результативности. Используя этот метод и подставляя прогнозные значения с учетом различных внешних факторов, например, выручки от реализации, сезонности товарооборота, оборачиваемости активов, финансовой независимости и др., можно рассчитать прогнозное значение рентабельности предприятия.
Имитационное моделирование -- метод исследования факторов влияющих на развитие хозяйственного субъекта и установления их степени влияния на различные показатели. Для этого используется имитационная модель формирования и распределения доходов предприятия. Прогнозируемые расчеты проводятся по принципу «что будет, если …». Иными словами, в модель вводятся прогнозируемые значения факторов в различных комбинациях, в результате чего рассчитывается ожидаемое значение прибыли. По результатам имитации может выбираться один или несколько вариантов планирования.
Метод написания сценария предусматривает выяснение деталей неопределенного будущего с помощью написания «сценария будущего» для окружения предприятия на многие годы вперед. Обычно создается один наиболее вероятный сценарий развития событий, дополняемый несколькими менее вероятными возможными сценариями. Это дает возможность правильно реагировать на реальные изменения.
В любом случае структура опроса строится следующим образом:
В первом раунде обсуждения эксперты отвечают в письменном виде на вопросы, поставленные перед ними исследовательской группой. Каждый ответ эксперта должен быть им обоснован. Первая анкета может допускать любые ответы. Цель такой анкеты - составление перечня событий для определения рамок прогноза. Организатор экспертизы объединяет прогнозы, и полученный перечень событий становится основой второй анкеты.
Во втором раунде эксперты оценивают сроки реализации прогнозов и приводят соображения, по которым они считают свои оценки верными. По сделанным оценкам и их обоснованиям организатор экспертизы проводит статистическую обработку полученных данных, группирует мнения экспертов, изучает крайние точки зрения. Результаты этой работы организатора сообщаются экспертам, и они могут изменить свое мнение. Работа экспертов идет анонимно.
Анкета третьего раунда содержит перечень событий, статистических характеристик, дат наступления событий, сводных данных и аргументов о причинах более ранних или более поздних оценок. Экспертам надо рассмотреть аргументы, сформулировать новые оценки предполагаемой даты наступления каждого события, обосновать свою точку зрения при ее значительном отклонении от групповой, анонимно прокомментировать противоположные мнения. Пересмотренные оценки и новые аргументы возвращаются к организатору экспертизы, который вновь их обрабатывает, суммирует все аргументы и подготавливает на этой основе новый прогноз.
В четвертом раунде эксперты знакомятся с новым групповым прогнозом, аргументами, критикой и составляют новый прогноз. Если группа не может прийти к единому мнению и организатор экспертизы заинтересуется аргументами различных сторон, то он может собрать экспертов для очного обсуждения.
Число раундов опроса может варьироваться в зависимости от целей оценок, располагаемых средств текущих результатов. Практика показывает, что после 3-5 раундов оценки экспертов становятся стабильными, что является сигналом для прекращения опроса.
Аналитическая служба обеспечивает работу по подготовке, обоснованию и формированию механизмов реализации наиболее важных и ответственных решений.
Основными целями и задачами аналитической службы, определяющими потребность в проведении соответствующих экспертиз, являются:
§ выявление приоритетных направлений и целей деятельности лица, принимающего решение;
§ сбор, систематизация, классификация и анализ информации по основным направлениям деятельности лица, принимающего решение;
§ анализ ситуаций, которые являются областью активной деятельности лица, принимающего решение, и оказывают существенное влияние на достижение поставленных целей;
§ разработка и оценка альтернативных вариантов решений, выявление их сильных и слабых сторон;
§ формирование и использование коллективных механизмов принятия решений, конкурсов, тендеров при принятии ответственных решений;
§ определение механизма реализации выбранного решения;
§ мониторинг динамики развития ситуации с выявлением кризисных и предкризисных ситуаций, отслеживание хода реализации ранее принятых решений.
Очень важна квалифицированная экспертиза при определении факторов, оказывающих существенное влияние на развитие анализируемой ситуации при прогнозировании вероятных возможностей развития процессов как без учета управляющих воздействий, так и с их учетом. Для обеспечения нужного уровня качества работы экспертной группы в настоящий момент широко используются методы организации информационного взаимодействия экспертов.
Важной особенностью работы аналитической группы при использовании экспертных оценок является корректное применение результатов экспертизы в оптимизационном моделировании. Проблема проста: экспертные оценки, как правило, имеют большую или меньшую погрешность, и их использование в высокоточных моделях и расчетах должно быть аккуратным, точность результатов на выходе таких моделей нужно соотносить с точностью входной информации.
Аналитическая группа должна заранее подготовить необходимый аналитический материал, который помогал бы экспертам в концентрированном виде получать информацию, полезную для их работы. В поле зрения аналитической группы также должны быть вопросы формирования коллективного мнения по частным оценкам, вопросы компетентности экспертов и т. д. Особенностью работы в данном случае является то, что аналитическая группа проводит экспертное оценивание не столько для себя, сколько для лица, принимающего решение.
Практический пример применения метода Дельфи при не инструментальном тестировании линейки стиральных машин в редакции журнала «Потребитель. Бытовая техника», издательский дом «Комсомольская правда». Тестирование проводилось в середине 90-х годов
Поставленная задача: провести виртуальное тестирование стиральных машин с фронтальной загрузкой нескольких производителей.
Чтобы решить, следует ли использовать метод Дельфи, очень важно тщательно рассмотреть ситуацию, к которой будет применен метод. И прежде чем принимать решение, необходимо задать ряд вопросов:
1. кто будет проводить экспертизу, и где будут находиться ее участники;
2. какая должна поддерживаться связь с ними в процессе рассмотрения существующей проблемы;
3. какие существуют в наличии альтернативные методики, и какие результаты реально можно ожидать от их применения?
По первому вопросу в экспертную группу вошли менеджеры и сервисные инженеры компаний производителей. Аналитическую группу составила редакция журнала.
По условиям тестирования группы экспертов в рамках компании не общались по вопросам тестирования с группа из других компаний. Централизованный обмен информации был организован через аналитическую группу.
Во время проведения тестирования альтернативы виртуальному тестированию не существовала, так как на тот момент существующие за рубежом методики потребительского инструментального тестирования не применялись.
Метод Дельфи наиболее подходил для выполнения поставленной задачи, так как представлял собой системный способ обобщения оценок экспертов. И наиболее применим, так как к работе привлекались эксперты, компетентные не по всей проблеме, а по ее различным составляющим (менеджеры по продажам, мастера установщики и инженеры по ремонты техники).
В процессе обмена мнениями между участниками опроса постарались ограничить влияние авторитета коллег, чтобы исключить появлению популярных ответов. Именно метод Дельфи позволяет разрешить это диалектическое противоречие. Для этого прямые дискуссии экспертов были заменены индивидуальными письменными опросами. Собранные варианты ответов подвергаются статистической обработке. Полученные обобщенные ответы передавались каждому эксперту путем личного общения, либо по обычной или электронной почте с просьбой пересмотреть и уточнить свое мнение. Эта процедура может повторяться несколько раз. В соответствии с методом Дельфи группа экспертов должна включать не менее 10 специалистов в своей области. Компетентность экспертов определяется путем оценки уровня ответов по результатами первичного анкетирования, анализом уровня ответов и сравнения их с аналогичными от конкурентов.
ЭТАП 1. ФОРМИРОВАНИЕ РАБОЧЕЙ ПЕРВОЙ ГРУППЫ ЭКСПЕРТОВ.
На этом этапе задача аналитической группы заключается в организации процедуры первого экспертного опроса. В опросный лист вошли сравнительные потребительские характеристики стиральных машин, как то количество режимом стирки, количество оборотов машины, габариты, количество загрузки белья и т.п. первый этап опроса проводился среди менеджеров по продаже бытовой техники. Кроме этого проводился опрос о мнение специалистов по технике конкурентов.
ЭТАП 2. ФОРМИРОВАНИЕ ВТОРОЙ ЭКСПЕРТНОЙ ГРУППЫ.
Вторая экспертная группа формировалась из специалистов сервисного центра устанавливающих свою фирменную технику. В опросных листах для этой группы акцент делался на более углубленные параметры, как то длинна шлангов, расход воды и электроэнергии, шумность техники, экономичности. Соответственно опрашивалось и мнение о технике конкурентов.
ЭТАП 3. ФОРМИРОВАНИЕ ТРЕТЕЙ ЭКСПЕРТНОЙ ГРУППЫ.
На данном этапе подвергались опросу сервисные инженеры по ремонту техники. Для этой группы опрашиваемых были подготовлены вопросы касающиеся внутреннего устройства машины, зашиты нагревательных тенов от накипи, материалов бака и барабана (пластик, метал, карбон или их сочетание) стиральной машине, формы перфорации и т.д. Соответственно опрашивалось и мнение об устройстве техники конкурентов, ее слабые и сильные стороны.
ЭТАП 4. ПРОВЕДЕНИЕ ПРЕДВАРИТЕЛЬНОГО АНАЛИЗА.
На основе полученных данных, анализа сравнительных характеристик, составлялся более развернутый опросный лист с учетом полученных данных, в том числе и мнений специалистов о технике конкурентов. Формулировки вопросов на этом этапе должны быть особенно четкими и однозначно трактуемыми, предполагать однозначные ответы, касающиеся в первом туре количественных оценок. Эксперты должны обязательно познакомиться с результатами и выводами аналитиков, после чего проводится второй опрос.
ЭТАП 5. ПОВТОРНЫЙ УТОЧНЯЮЩИЙ ОПРОС.
Метод Дельфи предполагает повторение нескольких шагов проведения опроса. По результатам новых опросных листов проводился опрос все выше перечисленных экспертных групп. Для проведения завершающего тура экспертам предлагаются вопросы, ответы на которые должны быть представлены в виде уже качественных оценок. Ответ должен быть обоснован экспертом. Эксперты по результатам представленных результатов могут увидеть, как корреспондируется их мнение с мнением всей группы экспертов. Они могут изменить свои мнения или оставить прежними, но в этом случае выдвинуть контраргументы в свою пользу. При этом строго соблюдается принцип анонимности. В итоге получаем довольно точную групповую оценку.
ЭТАП 6. ПОДВЕДЕНИЕ ИТОГОВ ОПРОСА.
Аналитическая группа проводит статистическую обработку полученной от всех экспертов информации. Для этого рассчитывается среднее значение исследуемого параметра, средневзвешенное значение исследуемого параметра, определяется медиана как средний член общего ряда чисел, полученных от экспертов и область доверительности.
При использовании метода Дельфи следует учитывать следующее:
1. Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.
2. Время между турами опросов должно быть не более месяца.
3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.
4. Число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также и для критики этих причин.
5. Должен проводиться систематический отбор экспертов.
6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.
7. Нужна формула согласованности оценок, основанная на данных самооценок.
Метод Дельфи применим практически в любой ситуации, требующей прогнозирования или оценки, в том числе, если для принятия решения недостаточно информации. Существует несколько модификаций метода Дельфи, в которых основные принципы организации экспертизы имеют много общего. Различия связаны с попытками усовершенствовать метод за счет более обоснованного отбора экспертов, введения схем оценки их компетентности, улучшенных механизмов обратных связей и т.п. Для удобства обработки информации все модификации, как правило, предполагают возможность выражения ответа в виде числа, количественной оценки.
Но у него есть недостатки -- например, субъективность мнений специалистов, участвующих в опросе, он не позволяет сталкивать в споре мнения экспертов, и на него затрачивается много времени.
Некоторые недостатки метода Дельфи связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов. Эти недочеты устраняются совершенствованием организации экспертиз путем создания автоматизированных систем обработки результатов опроса.
Перспективы Дельфийской методики прогнозирования в России
Хорошо известно, что в современном мире нельзя войти в число ведущих государств без использования методов научного прогнозирования, которые позволяют определить приоритетные пути развития страны.
Если страна хочет развиваться в рамках инновационной программы, то она нуждается в правильном выборе отправных точек, которые позволят добиться высокого уровня конкурентоспособности, необходимого для достижения экономического и технологического лидерства. Можно ставить сколь угодно привлекательные и амбициозные задачи, но без их проверки на состоятельность профессионалами вложенные в проект человеческие ресурсы и финансовые инвестиции могут оказаться бесплодными.
Насколько известно, в России стратегические исследования по Дельфийскому методу не проводились. Только сейчас ситуация начала меняться - Центр развития информационного общества под патронажем Мининформсвязи провел первый этап такого исследования. При подготовке проекта изучался и использовался передовой зарубежный опыт - его методика и структура основывались на 7-м японском исследовании, но с принципиальной поправкой на российскую специфику.
В рамках исследования около 500 экспертов в области ИКТ оценивали перспективность и приоритетность внедрения в России 74 современных технологий. Специалисты должны были высказать свое профессиональное мнение о степени важности этих технологий для России, о том, каков может быть эффект от их внедрения для экономики и общества, а также о возможных мерах государственной поддержки развития этих технологий. Всего было получено 140 содержательных ответов, что можно рассматривать как достаточно высокий показатель. Тем более, что среди наших экспертов - статусные ученые: 38 докторов и 48 кандидатов наук, 33 руководителя высших учебных заведений, 29 глав компаний. При этом большинство респондентов работают в Москве и Петербурге - только 22 эксперта живут вне двух столиц. Представляется, что, отчасти, это закономерное явление - речь идет об основных интеллектуальных центрах страны. В то же время для полноты картины было бы полезно, если следующий опрос пройдет уже в действительно общенациональном масштабе с более широким привлечением лучших региональных интеллектуальных сил в сфере высоких технологий. Впрочем, нынешнее исследование имеет как практический, так и демонстрационный эффект - необходимо было привлечь внимание профессионального сообщества (как научного, так и предпринимательского) к новому для России методу исследований. Если эта задача будет выполнена, то будущие исследования соберут еще более представительную, чем сейчас, аудиторию.
Кроме того, в исследовании участвовало сравнительно небольшое количество молодых ученых, которые представляют собой будущее нашей науки и высокотехнологичных отраслей экономики. Частично речь идет, видимо, об объективном факторе - количество выпускников вузов, избравших научную карьеру резко сократилось, и особенно это относится к фундаментальной науке. В то же время количество представителей «поколения тридцатилетних», которые и должны будут реализовать высокотехнологичные проекты, что особенно касается будущего, когда произойдет естественная смена поколений, в негосударственном секторе научных исследований достаточно велико. «Достучаться» до них - также задача следующих исследований.
Впрочем, следует признать, что и в этой ситуации экспертная база проекта носит солидный характер, что позволило получить значимые результаты. Каждый из давших содержательные ответ экспертов показал высокую осведомленность в среднем в 10 технологиях, что вполне приемлемый общий индекс осведомленности.
При этом особую важность (и сложность) проблеме придает то обстоятельство, что ИКТ широко используются практически во всех отраслях современной экономики, а также и в социальной сфере. Информатизация становится закономерным явлением в таких областях как здравоохранение, образование, государственное управление. Для того, чтобы свести всю эту сферу к определенному набору технологических результатов, объединенных в восемь направлений, понадобилось привлечь к реализации проекта междисциплинарные экспертные группы.
Что же показало проведенное исследование? Приоритеты: догнать и перегнать. Значимый результат исследования заключается в том, что выявлены технологии, которые эксперты считают приоритетными. Максимальные оценки получили технологии ведения регламентированных процессов в Интернете, технологии моделирования и прикладные приложения информационных технологий, технологии организации и систематизации контента.
Таким образом, с точки зрения представителей экспертного сообщества, Россия должна первоначально создать прочную основу для последующего технологического рывка. Действительно, перечисленные технологии, в основном, внедрены в наиболее развитых странах, являющихся нашими конкурентами. Однако без них невозможно реализовать никакие амбициозные проекты. В том числе и те, которые пока что отнесены нашими экспертами к числу неприоритетных - среди них разработка полносферного трехмерного устройства отображения информации или появление технологий, преобразующих печатный текст в звуковой сигнал, близкий к человеческой речи. Это не означает, что данные технологии менее важны для нашей экономики - просто речь идет о необходимости преодоления отставания России от мировых лидеров. По сути дела, наша страна переживает этап «догоняющего развития», который надо пройти как можно быстрее и осмысленнее - судьба «вечно догоняющих» в современном мире незавидна.
Причины этого отставания понятны. В советский период отечественной истории абсолютное большинство современных технологий применялось в военно-промышленном комплексе, который из-за своего закрытого, часто изолированного характера мог лишь в незначительной степени осуществлять функции локомотива для других отраслей экономики. Затем наступил период часто непродуманной, обвальной конверсии, которая привела к тому, что значительная часть наработанного высокотехнологичного потенциала была бездумно разбазарена. Положение усугубила массированная утечка мозгов, разрушение многих прославленных научных школ, стремительное старение представителей фундаментальной науки, закрытие многих отраслевых научных учреждений, далеко не все из которых были бесполезными отстойниками, плодившими синекуры.
Теперь многое надо восстанавливать - хорошо, что не с чистого листа, так как определенные традиции все же сохранились. Кроме того, появились новые структуры прикладной науки, которые действуют в составе компаний новой экономики, работающих в области высоких технологий. Также нельзя не отметить бурную информатизацию начала 90-х годов, когда компьютер из роскоши стал средством передвижения в информационном пространстве.
Но если основа для дальнейшего развития есть, то времени для раскачки уже нет. Уже в самое ближайшее время необходимо перейти к этапу реализации двух десятков важнейших для России технологий, которые отобраны экспертами. В этом случае появляется реальная возможность уже в среднесрочной перспективе перейти к внедрению следующей группы технологий, которые отнесены к следующей по важности категории. При этом необходимо отметить, что многие из приоритетных направлений развития ИКТ способны сыграть определяющую роль в развитии национальных проектов, инициированных Президентом России В. В. Путиным.
И в том числе, для национальных проектов Национальные проекты часто ассоциируются в общественном мнении только с дополнительными бюджетными расходами на выплаты повышенных зарплат врачам ряда категорий и школьным классным руководителям. На самом деле, эти немаловажные с социальной точки зрения шаги должны быть только частью общего плана реализации этих государственно важных начинаний.
Особое значение национальных проектов - в их модернизационном значении для социальной сферы, которая должна быть переведена на рельсы высоких технологий. Отсюда и необходимость внедрения в эти отрасли указанных в рамках исследования по методу технологий стратегического прогнозирования.
Исследование показало, что из двух десятков предложенных технологий пять имеют прямое отношение к отраслям социальной сферы.
Так, для национального проекта «Здравоохранение», с точки зрения участников исследования, приоритетным должно стать внедрение следующих технологий:
§ разработка открытых стандартов обмена медицинской информацией, обеспечивающих предоставление профессиональных медицинских услуг в удаленном режиме;
§ появление экспертных медицинских систем, обеспечивающих анализ медицинских данных на уровне среднего медперсонала;
§ широкое распространение устройств, обеспечивающих мониторинг и поддержание критических параметров здоровья в удаленном режиме.
Для национального проекта «Образование» актуальным является:
§ появление моделей непрерывного профессионального образования с опорой на методы добычи знаний;
§ широкое распространение систем дистанционного обучения, удостоверяющих соответствие полученной квалификации очным формам обучения.
Таким образом, очевидно, что высокие технологии прямо способствуют росту доступности предоставления качественных услуг. В современной России сложился серьезный дисбаланс, когда качество образования и медицинской сферы в мегаполисах в разы превышает уровень их развития в провинции. Складывается опасная ситуация, при которой страна живет как бы на разных скоростях, что представляет серьезную проблему для обеспечения ее единства и территориальной целостности. Кроме того, в этом случае нельзя говорить об обществе равных возможностей, которые государство должно предоставить всем своим гражданам - напомним, что это один из основных принципов не декларативной, а реальной демократии.
Современные технологии должны позволить более эффективно использовать человеческий капитал - один из главных ресурсов любой страны. В России к нему в течение многих лет относились недопустимо расточительно, растрачивая его при реализации слабо обоснованных проектов века, реализация которых осуществлялась по экстенсивному принципу. Сбережение человека, облегчение условий его труда и повседневной жизни - все это может быть сделано с помощью высокотехнологичных инноваций.
Активное внедрение новых технологий в социальную сферу позволит создать системы, позволяющие предоставлять услуги в дистанционном режиме. Понятно, что врач высшей квалификации лишь в виде подтверждающего правило исключения может оказаться в отдаленном райцентре. А будущий Ломоносов может в том же райцентре получить качественное образование (несмотря на то, что в школе, где он обучается, не хватает половины учителей-предметников) и отправиться в Москву получать университетское образование. Однако нельзя полагаться на волю случая - поэтому если пациент с Вологодчины или школьник из Амурской области смогут стать потребителями высококачественных удаленных услуг в социальной сфере, то можно будет говорить о создании логично выстроенной современной системы обеспечения равных возможностей.
На первый взгляд кажется, что два других национальных проекта, целью которых является строительство доступного жилья и развитие инфраструктуры в аграрном секторе, не имеют прямого отношения к высоким технологиям. Однако это не так. Поэтому все национальные проекты должны основываться на эффективном функционировании системы государственного управления, основанных на использовании высокотехнологичных методов. Российская история знает множество примеров того, как самые благие пожелания не реализовывались из-за слабости и недееспособности управленческого аппарата, продолжающего работать по старинке. Тем более значимо создание механизма информационной поддержки, обеспечивающего быстрое принятие решений и их четкое выполнение при использовании современных методов защиты информации. Отсюда и необходимость внедрения таких названных в ходе исследования технологий: в частности, речь идет о важности:
§ широкого применения средств и стандартов организации электронного документооборота между различными органами государственной власти (включая стандарты обмена, цифровую подпись);
§ разработки нанотехнологий, обеспечивающих формирование вычислительных систем без использования современных фототехнических процессов и способных коренным образом изменить технологическую базу ИКТ;
§ появления методов и средств персонализации и обеспечения приватности потоков контента, привязанных к пользователю и не зависящих от устройства доступа;
§ появления систем семантического (смыслового) поиска, позволяющих искать документы в сетях не по принципам ключевых слов и нечеткого поиска, а на основе сличения смысла запроса и смысла, изложенного в документах:
§ появления технологий логической обработки информации, базирующейся на причинно-следственных связях.
Также экспертами названы еще ряд технологий, нуждающихся в срочном внедрении для обеспечения «технологизации» работы государственного аппарата, что должно дать новый импульс развитию как национальных проектов, так и других инициатив российской власти, направленных на развитие отечественной экономики и социальной сферы.
Таким образом, исследования свидетельствует о необходимости прагматического выбора для внедрении наиболее актуальных на сегодняшний момент технологий. Однако решение этой задачи не должно быть единственным результатом проделанной работы.
Один из самых примечательных результатов исследования - выделение так называемых «сгустков мнений», то есть «зон консенсуса» экспертов о том, какой эффект могут дать конкретные технологии (или целые направления их развития).
При этом эффект может быть разным - это и инновационные «прорывы» в экономике, и повышение качества жизни, и определение мер государственной поддержки, необходимых для развития тех или иных технологий. Так, удалось выделить наиболее ресурсоемкие направления развития, для которых необходима комплексная поддержка государства и его сотрудничество с научным и деловым сообществом. Речь идет, в частности, о технологиях искусственного интеллекта, а также основанных на новых физических методах. Обращает на себя внимание тот факт, что именно эти направления признаны экспертами реализуемыми лишь в относительно долгосрочной перспективе.
Можно считать, что проведенные исследования привели к положительным результатам. Теперь задача организаторов работ по методу Делфи - организация дальнейших исследовательских проектов, которые позволили бы перейти от разового использования этого метода к систематическому его применению. Это необходимо для повышения конкурентоспособности России в соревновании с другими мировыми державами, обеспечения ее лидерских позиций как страны с высокотехнологичной экономикой и обществом равных возможностей, способным успешно развиваться в современных условиях.
Список литературы
1. Алексеева М.М. Планирование деятельности фирмы: Учебно-методическое пособие. М.: Финансы и статистика, 1998. 248 с.
2. Романенко И.В. Социальное и экономическое прогнозирование: Конспект лекций. СПб.: Издательство Михайлова В.А., 2000 г. 64 с.
3. Прогнозирование и финансирование экономики в условиях рыночных отношений. М.: Мысль, 1970. 448 с.
4. Рябушкин Б.Т. Применение статистических методов в экономическом анализе и прогнозировании. М.: Финансы и статистика, 1987. 75 c.
5. Статистическое моделирование и прогнозирование: под ред. А.Г. Гранберга. М.: Финансы и статистика, 1990. 382 с.
6. Грисеев Ю.П. Долгосрочное прогнозирование экономических процессов: Киев: Наукова думка, 1987. 131 с.
7. Шибалкин О.Ю. Проблемы и методы построения сценариев социально-экономического развития. М.: Наука, 1992. 176 с.
8. Суворов А.В. Методы построения макроэкономических сценариев социально-экономического развития// Проблемы прогнозирования. 1993. №4. СС. 27-39.
9. Юргенс: «Дельфийский метод» с российской спецификой -- дальний прицел», статьи в сети интернет.
10. Авдулов П.В., Гойзман Э.И., Кутузов В.А. и др. Экономико- математические методы и модели для руководителя. М.: Экономика 1998 г.
11. Агафонов В.А. Анализ стратегий и разработка комплексных программ. М.: Наука, 1997 г.
12. Математические методы в планировании отраслей и предприятий / Под ред. И.Г. Попова. М.: Экономика, 1997 г.
13. Л.П. Владимирова. Прогнозирование и планирование в условиях рынка., учебное пособие (второе издание). М.: 2001 г.
Размещено на Allbest.ru
...Подобные документы
Использование экспертных оценок. Применение различных методов для решения одной задачи. Ранжирование, парные и множественные сравнения, непосредственная оценка, метод Терстоуна – наиболее употребительные процедуры экспертных измерений. Методы типа Дельфи.
контрольная работа [1,8 M], добавлен 09.03.2011Исследование содержания и структуры метода экспертных оценок Дельфи. Изучение особенностей работы с экспертными оценками, их статистической обработки. Описание традиционной процедуры экспертизы. Характер взаимодействия экспертов. Модификации метода.
контрольная работа [225,1 K], добавлен 08.06.2015Усовершенствование методик группового принятия решений. Содержание метода экспертных оценок Дельфи. Работа с экспертными оценками, их статистическая обработка. Экспертные оценки вероятности события, их расхождение. Характер взаимодействия экспертов.
курсовая работа [238,6 K], добавлен 21.01.2015Решение задач, аргументация и формирование количественных оценок результатов формальными методами. Составляющие метода экспертных оценок. Метод коллективной генерации идей ("мозговая атака"). Метод Дельфи, особенности метода фокус-групп, SWOT-анализ.
презентация [1,4 M], добавлен 30.03.2014Управленческие решения: роль и место в управлении. Классификация управленческих решений, предъявляемые к ним требования и этапы процесса разработки. Составляющие эффективности управления. Метод Дельфи как технология принятия управленческих решений.
курсовая работа [63,6 K], добавлен 12.01.2013Процесс принятия управленческих решений в современном менеджменте. Теоретические основы, формы и этапы принятия и разработки управленческих решений. Сущность и практическое применение метода "Дельфи" в прогнозировании сельскохозяйственных показателей.
курсовая работа [243,5 K], добавлен 20.11.2010Анализ метода организации коллективной мыследеятельности: мозговой штурм и метод Дельфи. Содержание методов Дельфи и мозговой атаки. Составляющие внутреннего содержания этих методов. Исторический экскурс по возникновению и развитию, процесс проведения.
контрольная работа [29,6 K], добавлен 20.02.2011Сущность и содержание, основные этапы проведения экспертного анализа, сферы и особенности его практического применения, интерпретация результатов. Степень достоверности данной экспертизы. Применение метода экспертных оценок для построения дерева целей.
курсовая работа [31,1 K], добавлен 25.02.2012Сущность и содержание эвристических методов проектного анализа. Элементы истории развития эвристических методов анализа. Особенности "качественных" методов анализа: мозговая атака, сценарии, "дельфи", дерево целей, Цвикки, метод проб и ошибок, синектика.
контрольная работа [24,3 K], добавлен 04.12.2010Понятие и особенности применения экспертных технологий, как неотъемлемой составной части процесса подготовки и принятия важных управленческих решений. Изучение основных стадий экспертного опроса. Подбор экспертов. Метод Делфи, ПАТТЕРН, мозговой атаки.
реферат [62,7 K], добавлен 09.10.2016Характеристика экспертных процедур: особенности эвристических методов и моделей, методов индивидуальных оценок, коллективных экспертных оценок. Специфика проведения экспертизы, содержание и обработка результатов. Экспертная оценка уровня странового риска.
реферат [209,3 K], добавлен 10.05.2010Теория принятия решений. Практическое применение и решение определенных вопросов, связанных с оптимизацией производственного процесса. Метод дерева решений. Метод экспертных оценок и метод непосредственной оценки. Создание формы в Excel и ввод данных.
курсовая работа [1,1 M], добавлен 01.06.2012Проблема лидерства и процесс принятия группового решения. Групповая дискуссия и ее роль в принятии групповых решений, выделение в группе синекторов. Принципы методов "мозгового штурма" и Дельфи. Пять стилей руководства, выделенных в модели Врума-Йеттона.
контрольная работа [112,1 K], добавлен 16.04.2009Понятие и сущность планирования потребностей в персонале, его роль в системе внутрифирменного планирования. Виды и факторы кадрового планирования. Метод трудоемкости (фотография рабочего места). Метод расчета по нормам обслуживания и экспертных оценок.
контрольная работа [147,1 K], добавлен 20.06.2014Метод экспертных оценок. Принятие решения по критериальным показателям. Определение оптимальной очередности расстановки оборудования на серийном участке производства. Оптимизация обработки разномаршрутных партий деталей при последовательном движении.
курсовая работа [180,2 K], добавлен 18.02.2009Исследования рынка молочной продукции Санкт-Петербурга с целью определения тенденции и приоритетов его развития. Проведение анализа финансово-хозяйственной деятельности предприятия, оценки его положения на рынке и обозначение его основных конкурентов.
дипломная работа [762,0 K], добавлен 19.03.2010Характеристика имеющейся организационной структуры предприятия, ее недостатки и предложение методов их устранения. Принятие управленческого решения с помощью метода экспертных оценок и расчета коэффициента конкордации. Эффективность принятых решений.
курсовая работа [53,3 K], добавлен 11.08.2010Роль и значение исследовательской деятельности в управлении. Основные формально-логические, общенаучные и специфические методы исследования систем управления. Конструирование определений и метод экспертных оценок. Характеристика понятия "полемика".
курсовая работа [44,9 K], добавлен 06.07.2009Разработка концепции проекта. Прединвестиционные исследования. Анализ осуществимости на основе метода экспертных оценок. Решение об инвестировании проекта, разработка Ходатайства (Декларации) о намерениях. Определение инвестиционных возможностей.
презентация [176,4 K], добавлен 22.01.2014Рассмотрение правил выбора проекта для инвестирования с использованием метода анализа иерархий. Формулирование задачи выбора. Расстановка оценок объектов по критериям и уровням иерархии. Итоговое свертывание по нормированным оценкам и принятие решения.
практическая работа [428,1 K], добавлен 30.06.2014