Дельфі як базова форсайт-технологія соціально-політичної ризикології

Размещено на http://www.allbest.ru/

Дельфі як базова форсайт-технологія соціально-політичної ризикології

В.В. Кривошеїн

Постановка проблеми. Соціально-політична реальність сучасного суспільства надзвичайно динамічна. Підвищення невизначеності соціально-політичної ситуації, існування загроз і ризиків неминуче призводить до виникнення криз у соціально-політичній сфері суспільства. За цих умов значної актуальності набуває створення моделей і технологій передбачення можливих ускладнень і реагування на ситуацію, що швидко змінюється. Брак чи відмова від використовування подібних технологій може призвести до того, що в умовах сучасного розвитку ціна помилки в наслідок ухвалення неадекватних рішень у соціально-політичній сфері або їх неухвалення може бути надто високою - починаючи від затяжної економічної кризи та закінчуючи занепадом окремих держав і системи світового порядку.

Необхідність прогностичного дослідження соціально-політичного ризику сьогодні визнається провідними зарубіжними та вітчизняними вченими. Вивчення цього явища є основним для ефективнішого вирішення державних і міждержавних завдань. Минулий і теперішній досвід показує, що сьогодні брак належної уваги до питань політичного ризику знижує якість рішень, що приймаються на державному та міжнародному рівнях.

Ризики давно привертають увагу вчених-суспільствознавців, проте активізація досліджень у цій царині припадає на початок 1950-х років у контексті оцінювання інвестиційного клімату країни. Соціально-політичний ризик почав розглядатися як вірогідність несприятливих наслідків рішень у соціально-політичній сфері, що приймаються в умовах невизначеності, дефіциту ресурсів (часу, інформації тощо), що призводить до збитків і вірогідності здійснення небажаних подій для учасників діяльності (в першу чергу, комерційної).

Тобто соціально-політичний ризик - це неусувний елемент будь-якої діяльності, є породженням невизначеності соціально-політичного середовища і характеризується особливим типом взаємозв'язку об'єктивної соціально-політичної ситуації і діяльності суб'єкта в ній.

По мірі становлення й утвердження соціально- політичної ризикології як самостійної науки про закономірності вироблення соціально-політичних ризиків, способи їх оцінки та аналізу, технології управління ними, були розроблені різноманітні техніки та методики, які дозволяють не лише оцінити сучасний стан досліджуваної ризикової ситуації, але й достатньо точно прогнозувати її подальший розвиток. У вирішенні даної проблеми доволі ефективним і продуктивним виявилася ітеративна (тобто така, що ґрунтується на основі багаторазових чи повторюваних дій) прогностична техніка групових експертних оцінок, яка отримала назву «Дельфі» («Delphi»).

Аналіз досліджень і публікацій. Питання застосування дельфійської техніки у соціально-політичній сфері розглядалися з 1960-х років такими західними вченими, як Т Гордон, О. Хелнер [23], Н. Долкі [21], Д. Андерсон, І. Шнайдер [16], К. Брукс [19], А. Ван де Вен [36], Г. Лінстоун, М. Турофф [35], В. Ріггз [32], Дж. Роу, Дж. Райт [33], Ч.-Ч. Цу, Б. Сендфорд [27], Г. Сакмен [34], К. Хілл, Дж. Фоулс [25], та ін. Стосовно аналізу та прогнозування соціально-політичних ризиків за допомогою техніки Дельфі, то тут варто виділити праці У Гупти, Р. Кларка [24], Р. Койвісто, Н. Вейсберга, А. Ероли, Т. Алквіста, С. Ківісаарі, Дж. Мілліойя, М. Галонена [28], М. Лоджа [29], К. Маркменна, І.-Л. Даркоу та Х. фон дер Грахта [30] та ін.

У радянські часи цей метод розглядався в основному з критичних позицій (див.: [7; 9; 1415]). В сучасній Україні метод Дельфі застосовується рідко, оскільки аналітичне середовище виявилося неготовим до його правильної реалізації. Це пояснюється тим, що довгий час вітчизняна аналітика була дуже централізована, що обумовило високий конформізм експертів; для успішної реалізації ітеративної процедури Дельфі потрібні дійсно незалежні аналітичні структури, яких в Україні поки що немає; у пострадянських суспільствах стратегічний аналіз мало затребуваний, а отже, дельфійська техніка не знаходить попит на ринку аналітичних послуг і, нарешті, в Україні немає традиції проведення подібних досліджень - бракує професіоналів, коло експертів дуже вузьке. Проте останнім часом інтерес до застосування дельфійської процедури почав активно проявлятися, з'являються наукові публікації, зокрема таких авторів: Г. Гнатієнко, В. Снитюк [1], Б. Грабовецький [3], Л. Ємельяненко [4], М. Капінос [5], С. Квітка [6], С. Кукушкіна [8], І. Панченко [10], Н. Семенова [12], Л. Федулова [13] та ін. У розрізі проблематики соціально-політичної ризикології метод Дельфі досліджувався у роботах В. Головатюка [2], О.Рибака [11] та ін.

Мета дослідження - розкрити технологічні особливості, переваги і недоліки методу Дельфі для оцінки та прогнозування соціально-політичних ризиків.

Виклад основного матеріалу. Спочатку з'ясуємо поняття «форсайт». За спостереженням українського вченого Сергія Квітки «форсайт (від англ. Foresight - погляд у майбутнє, передбачення), поєднавши у собі найкращі здобутки прогнозування та стратегічного планування, став на сьогодні однією з найефективніших технологій проектування розвитку суспільства виходячи, при цьому не з минулого, а з майбутнього» [6, с. 7]. На Заході вперше термін «foresight» вжив письменник-фан-таст Герберт Веллс у 1930 р., коли, виступаючи на телеканалі ВВС, він запропонував увести особливу спеціальність - «професор передбачення», який, подібно історику, буде аналізувати і знаходити застосування майбутнім технологічним відкриттям. Проте Форсайт як технологія практичного застосування обґрунтованого передбачення був розроблений і застосований лише в 1950-ті роки фахівцями відомої американської фабрики думки «RAND Corporation», де вирішувалися завдання визначення перспективних військових технологій. Зіткнувшись з недостатністю традиційних прогностичних методів (кількісні моделі, екстраполяція існуючих тенденцій тощо), фахівці «RAND Corporation» розробили метод Дельфі, який став основою Форсайт- досліджень [6, с. 7-8].

Початково «RAND Corporation» використовувала метод Дельфі для дослідження воєнно-стратегічних і військово-технічних проблем. Автори цього методу - Олаф Хелнер, Теодор Гордон, Норман Долкі - вперше застосували цей метод для визначення системи оптимальних цілей на території США для нанесення ядерного удару й необхідної кількості ядерних зарядів для реалізації подібного плану з погляду керівництва СРСР [35, р. 10]. Науковій громадськості даний метод став відомий тільки в середині 1960-х рр. після публікацій у відкритій пресі робіт О. Хелнера та Т. Гордона, які спробували вивести метод Дельфі за рамки суто військових рішень [23].

Назва методу Дельфі походить від грецького міста Дельфи, розташованого біля підніжжя гори Парнас, де знаходився храм Аполлона. Цей культовий об'єкт відомий своїм оракулом, до якого зверталися із проханням вирішити ті чи інші проблеми не тільки пересічні громадяни, але й представники правлячих політичних еліт. Подібна назва, на думку сучасних винахідників цього дельфійського методу, мала б символізувати необхідність використання політичним керівництвом різних держав та інших суб'єктів політичного процесу експертного знання. Техніка Дельфі являє собою такий метод експертних оцінок, за яким експерти самостійно відповідають на запропоновані запитання, представляючи свої відповіді на папері. Крім експертів, у дослідницькому процесі бере участь спеціальна організаційна група, що займається розробкою опитувальників, обробкою одержуваних відповідей, а також забезпеченням експертів необхідною інформацією.

Загальний алгоритм процедури Дельфі складається із чотирьох кроків:

1. Передопитувальна підготовка: формування робочої групи для збору та узагальнення думок експертів та групи експертів з відповідної галузі знань чи практики.

2. Складання опитувальників і створення експертних мереж.

3. Проведення опитування: відповідно до методики, яка передбачає при необхідності повторювати цю процедуру.

4. Аналіз та обробка результатів опитування: узагальнення експертних висновків, формулювання рекомендацій з вирішення поставленої проблеми [8, с. 70-72].

Гарольд Сакмен (див.: [34]) визначив такі ознаки звичайної техніки Дельфі:

• Використовується формальна та структурована анкета.

• Анкета може бути сформована модератором, учасниками чи обома.

• Можна використовувати кількісні або якісні шкали.

• Опитування проводиться в два або більше тури.

• Анкети можуть включати або не включати питання відкритого типу.

• Зворотний зв'язок з кожного туру проводиться у формі статистичного зворотного зв'язку на основі певної міри центральної тенденції та деякої міри розповсюдження.

• Зворотний зв'язок з кожного туру може містити обрану текстову інформацію.

• Індивідуальні відповіді на елементи зберігаються анонімно.

• Ітерація зі зворотним зв'язком триває до досягнення консенсусу, міра якого визначається модератором.

• Учасники не зустрічаються один з одним та можуть бути розбиті географічно.

• Експерти можуть пояснювати свої відповіді в письмовій формі.

Як форсайт-технологія метод Дельфі має такі характеристики: взаємодія експертів відбувається у заочний спосіб; думки експертів є анонімними; експертиза побудована за ітеративною процедурою; зворотний зв'язок має керований характер; експертні оцінки можуть бути піддані квантифікації та статистичній обробці. Тобто в методі Дельфі поєднуються переваги форм колективного обговорення (наприклад, у рамках мозкового штурму), проте виключаються притаманні їм проблеми: груповий тиск, вплив особистісних чинників, різний статус учасників.

Головна відмінність техніки Дельфі від звичайних опитувань експертів полягає в тому, що її застосування забезпечує зворотний зв'язок з фахівцями. Метод Дельфі передбачає серію опитувань - як мінімум, дві ітерації анкетування однієї і тієї ж групи експертів (для класичного варіанта Дельфі характерно від 3 до 8 ітерацій). У наступних турах крім того ж набору запитань, експертам надаються узагальнені результати опитувань, які отримано на попередніх етапах. В ідеальному варіанті учасники ітерацій повинні отримати інформацію про те, чим обґрунтовані ті чи інші судження, особливо якщо це граничні або неординарні думки.

До основних переваг техніки Дельфі відноситься те, що вона дозволяє брати участь в аналітичній діяльності великій кількості фахівців, що неможливо при організації експертної дискусії в очний спосіб. Не менш важливим є і те, що до експертизи можуть бути долучені експерти, які звикли працювати в кабінетних умовах або в силу своїх психологічних особливостей не можуть продуктивно працювати в незнайомій, шумній обстановці. У рамках Дельфі є можливість розглядати заперечення та пропозиції інших членів групи в атмосфері, вільної від впливу особистісних пересторог та індивідуальних особливостей учасників групової взаємодії. Метод Дельфі не дозволяє експертам, що володіють високим професійним або соціальним статусом, домінувати при виробленні прогнозів.

Разом з тим техніка Дельфі має і свої недоліки. Зокрема, йдеться про дорожнечу і тривалість проведення опитування. Сьогодні ці недоліки вирішуються з використанням електронної версії методу

Дельфі - «e-Delphi». Час та витрати процесу значно скорочуються, дані отримуються в електронному вигляді, а учасникам надається більш детальна інформація [20].

Критики Дельфійської техніки також наполягають на тому, що під час заочного обговорення експертам бракує соціальної емоційної підтримки, що робить цей процес надто механічним і немотивуючим (див., наприклад: [36]).

Інколи при заочній формі виникають втрати в кількості відповідей експертів, що відбувається внаслідок того, що у деяких експертів бракує відчуття важливості участі в опитуванні, вони можуть бути зайняті або не встигнути відповісти у встановлені терміни. Також може виникнути ефект психологічної втоми. Внаслідок цього досягнення узгодженої думки може бути утруднене. Ці недоліки також можна мінімізувати. Наприклад, можна спростити доступ та навігацію веб-сайту опитування, чітко повідомляючи учасникам опитування про ступінь їх очікуваної участі, надаючи швидкий відгук про результати кожного туру та заохочуючи реагувати експертів на звернення організаторів шляхом систематичного подальшого контакту [17, р. 350-354].

Ймовірність конформізму також не виключається, оскільки під час ознайомлення з результатами попередніх турів може відіграти роль групового мислення. Тобто узагальнена оцінка може суттєво позначитися на власній думці експерта. Не виключається і вплив на експерта його соціально- професійної групи [15, с. 150].

Останнім часом у царині соціально-політичної ризикології стає домінуючою думка про те, що аналіз та оцінка соціально-політичних ризиків більшою мірою потребує якісного підходу, незважаючи на те, що кількісний підхід має об'єктивний характер і зменшує упередженість та суб'єктивність. Так, Шарлотта Брінк зауважила, що вимірювання соціально-політичного ризику значною мірою вимагає суб'єктивності, тобто людського судження [18, р. 77-78] а Джон Гуд і Шахід Наваз, підтверджуючи це твердження, зазначили, що вимірювання соціально-політичного ризику та управління ним «часто стають більш суб'єктивними, ніж об'єктивними» [26, р. 8-9].

Серед якісних методів аналізу соціально-політичних ризиків ключову роль тут відіграє метод Дельфі, який передбачає використання матеріалів незалежних експертів, які обізнані про політичні події та процеси в конкретному середовищі приймаючої країни. Ця методика запобігає пасткам колективного мозкового штурму, який прагне консенсусу, коли індивідуальна оцінка змінюється за рахунок групової динаміки. Деніел Фрай і Дітер Рулофф вважають техніку Дельфі багатокроковим методом, який передбачає початкове ізольоване винесення експертами своїх суджень і подальше багаторазове їх коригування на базі ознайомлення кожного експерта з судженнями інших експертів до того часу, доки величина різниці оцінок не буде знаходитися в рамках заздалегідь встановленого бажаного інтервалу варіювання оцінок - найкращим для подібних досліджень [22, р. 5]. Бані Ноордін, Агус Гарджіто і Яні Хазір визначили техніку Дельфі як таку, що «прагне до колективної думки групи незалежних консультантів про чинники, що впливають на політичне середовище країни» [31, р. 94], а успіх цієї техніки значною мірою залежить від якості залучених консультантів та їх бажання позитивно сприяти вирішенню проблем.

Першою фірмою, яка застосувала техніку Дельфі при формуванні індексу соціально-політичних ризиків, стала служба BERI (Business Environment Risk Intelligence). Модель BERI, автором якої є Фредерік Ханер, є своєрідним еталоном для цілої низки інших моделей, що використовують техніку Дельфі. На підставі заочного опитування 100 експертів з різних галузей соціально-політичної сфери чотири рази на рік виводяться два індекси: індекс політичних ризиків (PRI - Political Risk Index) та індекс операційних ризиків (ORI - Operation Risk Index).

Індекс політичних ризиків відображає оцінку 8 соціально-політичних чинників у тій чи іншій країні (регіоні) та двох індикаторів («симптомів») ризику:

- внутрішні чинники: 1) фрагментація політичного спектра і владний ресурс кожного сегмента; 2) різні способи мислення: ксенофобія, націоналізм, ставлення до корупції, готовність йти на компроміс і т.д.; 3) поділ на основі мови, етнічної приналежності та / або віросповідання і владний ресурс відповідних груп; 4) соціальні умови, включаючи щільність населення і розподілу суспільних благ; 5) потреба в заборонних і каральних заходах для підтримки влади; 6) організованість і сила радикальних політичних угрупувань.

- зовнішні чинники: 1) сила основних противників і залежність від неї; 2) негативний вплив регіональних політичних сил;

- симптоми: 1) соціальні конфлікти, включаючи демонстрації, страйки, вуличні зіткнення; 2) нестабільність, включаючи такі її прояви, як спроби зміни конституційного ладу, терористичні акти, політичні вбивства, громадянські війни.

Кожен чинник оцінюється за 7-бальною шкалою, де 7 балів означає, що у сфері соціально-політичних умов країна не відчуває ніяких труднощів, а 0 балів означає великі труднощі.

Індекс операційних ризиків відображає оцінку ділового середовища і виявляє основні перешкоди на шляху розвитку бізнесу. Оцінка проводиться на основі 15 критеріїв: 1) політична стабільність; 2) ставлення до іноземних інвесторів та іноземного прибутку; 3) рівень націоналізації, 4) ступінь інфляції, 5) стан платіжного балансу, 6) ступінь бюрократизації, 7) темпи економічного зростання, 8) конвертованість валюти, 9) можливості отримання прибутку, можливість реалізації проекту, здійсненність контрактів, 10) вартість робочої сили, продуктивність праці, 11) розвиток ринку професійних послуг, можливість отримання консультаційних послуг, 12) стан інфраструктури (комунікації і транспорт), 13) місцеві управлінські кадри і партнери, можливість кооперування в сфері виробництва, 14) наявність короткострокових і 15) довгострокових кредитів.

Кожен критерій оцінюється за 4-бальною шкалою, де 4 бали відповідає найбільш сприятливому діловому середовищу, а 0 балів означає неприйнятні для розвитку бізнесу умови.

У рамках даної моделі існує і третій, додатковий індекс «R», який відображає ступінь готовності країни дозволити іноземним компаніям імпортувати обладнання і сировину та переводити на свою батьківщину доходи від діяльності в даній країні. Цей індекс включає 4 субіндекси, що, зокрема, оцінюють ефективність чинного законодавства та правозастосовну практику.

Відповідно до моделі BERI оцінка ризику передбачає декілька етапів. Спочатку визначається коло перемінних, які найімовірніше будуть впливати на ситуацію. Потім визначається вага кожної перемінної, загальна сума яких дорівнює 100%. Після того, як перемінні обрані і визначена їх вага, складається анкета у вигляді системи показників, яка і надходить до експертів. Отримана від експертів інформація узагальнюється. Для кожної перемінної експерти дають кількісну оцінку, після чого отримують для порівняння оцінки інших експертів і вносять поправки в свої оцінки. Після цього оцінки підсумовуються і осереднюються. Крім ранжирування ризиків, експерти дають також якісну оцінку ситуації.

Наведемо схематичний приклад експертного обґрунтування критерію 1 індексу операційних ризиків. Наприклад, експерт А вважає, що в країні Х політична стабільність гарантована в середньо- строковій перспективі: компетентний уряд повністю контролює політичну ситуацію, що відповідає 4 балам. У цьому випадку вага критерію «політична стабільність» (а вона дорівнює «3») множиться на 4. Якщо ж політична ситуація потенційно вразлива (при наявності окремих неорганізованих і незначних опозиційних сил), але уряд є стійким, то вага критерію множиться на 3. Якщо опозиційні сили досить активні і мають підтримку у частини населення, то вага критерію множиться на 2. У разі великої ймовірності зміни влади (на експертній шкалі це відповідає «1») підсумковий результат становить «3». Якщо ж в результаті якихось політичних подій до влади прийшли нові сили, підсумкова сума становить 0 - повна невизначеність.

Потім думки експертів узагальнюються. Існує кілька способів обробки результатів отриманої експертної інформації. Один з них - метод узгодження оцінок - полягає в тому, що кожен експерт дає оцінку незалежно від інших, а потім за допомогою певних прийомів ці оцінки поєднуються в одну узагальнену (узгоджену). У методі Дельфі як узагальнена думка приймається медіана оцінок останнього туру опитування експертів. Медіанне значення допомагає перевіряти наскільки представницьким є середнє значення. Медіана являє собою значення середньої ознаки в упорядкованому ряду, до і після якого знаходиться рівна кількість ознак. Обчислення медіани вимагає відрахувати з обох кінців частотного розподілу рівну кількість ознак (в нашому випадку оцінок експертів) доти, доки не дійдемо до серединного, і визначити потім його значення. Там, де є непарна кількість ознак, можна визначити єдину серединну ознаку (наприклад, для 99 ознак 50-а від будь- якого кінця частотного розподілу одиниця буде мати 49 одиниць як до, так і після себе).

Висновки. Таким чином, серед форсайт-технологій, які розроблені і застосовані в 1950-х роках фахівцями «RAND Corporation», особливе місце посідає техніка Дельфі - система ітеративних групових експертних оцінок. Як форсайт-технологія метод Дельфі характеризується тим, що взаємодія експертів відбувається у заочний спосіб; думки експертів є анонімними; експертиза побудована за ітеративною процедурою; зворотний зв'язок має керований характер; експертні оцінки можуть бути піддані квантифікації та статистичній обробці. Головна відмінність техніки Дельфі від звичайних опитувань експертів полягає в тому, її застосування забезпечує зворотний зв'язок з фахівцями - у серії ітерацій експертам надаються узагальнені результати опитувань, які отримано на попередніх етапах, тим самим досягається встановлення консенсусу щодо вирішуваної проблеми.

Особливо продуктивною техніка Дельфі виявляється під час аналізу та оцінки соціально-політичних ризиків, яка передбачає початкове ізольоване винесення експертами своїх суджень і подальше багаторазове їх коригування на базі ознайомлення кожного експерта з судженнями інших експертів до досягнення певної єдності. Дана форсайт-технологія отримала апробацію в службі BERI (Business Environment Risk Intelligence), яка згодом стала своєрідним еталоном для цілої низки інших моделей, що використовують техніку Дельфі. На підставі заочного опитування 100 експертів з різних галузей соціально-політичної сфери чотири рази на рік виводяться два індекси: індекс політичних ризиків (PRI - Political Risk Index) та індекс операційних ризиків (ORI - Operation Risk Index). Саме завдяки особливій процедурі опитування фахівців і статистичного аналізу отриманих результатів форсайт-технологія Дельфі дозволяє уникнути похибок індивідуальної експертизи, а також багатьох недоліків традиційної групової експертизи.

дельфі соціальний політичний ризик

БІБЛІОГРАФІЧНІ ПОСИЛАННЯ

1. Гнатієнко ГМ. Експертні технології прийняття рішень: монографія / ГМ. Гнатієнко, В.Є. Снитюк. - Київ: ТОВ «Маклаут», 2008. - 444 с.

2. Головатюк В.М. Методичні аспекти аналізу та оцінки політичного ризику / В.М. Головатюк // Проблеми науки. - 2002. - № 5. - С. 36-47.

3. Грабовецький Б.Є. Методи експертних оцінок: теорія, методологія, напрямки використання: монографія / Б.Є. Грабовецький. - Вінниця: ВНТУ, 2010. - 171 с.

4. Ємельяненко Л.М. Форсайт - методологія стратегічного управління інноваційним розвитком суспільства / Л.М. Ємельяненко // Вісник Східноукраїнського національного університету ім. Володимира Даля. - 2008. - № 10 (128). - Режим доступу: http://www. nbuv.gov.ua/portal/soc_gum/vsunu/2008_10_2/emeljanenko.pdf.

5. Капінос М.С. Форсайтні методи дослідження як інструмент визначення конституційного устрою / М.С. Капінос // Вісник НАДУ - 2014. - № 2. - С. 18-24.

6. Квітка С.А. Форсайт як технологія проектування майбутнього: новітні механізми взаємодії публічної влади, бізнесу та громадянського суспільства / С.А. Квітка // Аспекти публічного управління. - 2016. - № 8 (34). - С. 5-15.

7. Китаев Н.Н. Групповые экспертные оценки / Н.Н. Китаев. - Москва: Знание, 1975. - 64 с.

8. Кукушкина С.Н. Метод Дельфи в форсайт-проектах / С.Н. Кукушкина // Форсайт. - 2007. - № 1. - С. 68-72.

9. Литвак Б.Г Экспертная информация: методы получения и анализа / Б.Г Литвак. - Москва: Радио и связь, 1982. - 184 с.

10. Панченко І.А. Форсайт: методологія технологічного прогнозування / І.А. Панченко // Держава та регіони. Сер. Економіка та підприємництво. - 2011. - № 3. - С. 30-35.

11. Рибак О. Методологічні принципи дослідження політичних ризиків в Україні / О. Рибак // Історико-політичні проблеми сучасного світу. - Чернівці: Вид-во Чернівецького національного університету, 2013. - Т. 25-26. - С. 282-287.

12. Семенова Н.Н. Форсайт в условиях глобализации / Н.Н. Семенова // Информационное общество / Ин-т развития информ. о-ва. - 2008. - № 3-4. - С. 112-125.

13. Федулова Л.І. Форсайт: сучасна методологія технологічного прогнозування / Л.І. Федулова // Економіка і прогнозування. - 2008. - № 4. - С. 124-138.

14. Цыгичко В.Н. Прогнозирование социально-экономических процессов / В.Н. Цыгичко. - Москва: Финансы и статистика, 1986. - 207 с.

15. Экспертные оценки в социологических исследованиях / С.Б. Крымский (отв. ред.); АН УССР, Ин-т философии. - Київ: Наук. думка, 1990. - 318 с.

16. Anderson D.H. Using the Delphi process to identify significant recreation research-based innovations / D.H. Anderson, I.E. Schneider // Journal of Park and Recreation Administration. - 1993. - Vol. 11, № 1. - Р 25-36.

17. Borg W.R. Educational research: An introduction / W.R. Borg, M.D. Gall; 4th ed. - New York: Longman, 1983. - 936 p.

18. Brink C.H. Measuring political risk: Risks to Foreign Investment / C.H. Brink. - Aldershot: Ashgate Publishing Limited, 2004. - 200 р.

19. Brooks K.W. Delphi technique: Expanding applications / K.W. Brooks // North Central Association Quarterly. - 1979. - Vol. 54, № - Р. 377-385.

20. Chou C. Developing the e-Delphi system: A web-based forecasting tool for educational research / C. Chou // British Journal of Educational Technology. - 2002. - Vol. 33, № 2. - P. 233-236.

21. Dalkey N.C. An experimental application of the Delphi method to the use of experts / N.C. Dalkey, O. Helmer // Management Science. 1963. - Vol. 9, № 3. - Р 458-467.

22. Frei D. The methodology of political risk assessment: An overview / D. Frei, D. Ruloff // World Futures. - 1988. - Vol. 25, № 1. - P. 1-24.

23. Gordon T. Report on a long-range forecasting study / T. Gordon, O. Helmer // Social technology / T. Gordon, O. Helmer (eds.). - New York: Basic Books, 1966. - Р 7-9.

24. Gupta U.G. Theory and applications of the Delphi technique: a bibliography (1975-1994) / U.G. Gupta, R.E. Clarke // Technological Forecasting and Social Change. - 1996. - Vol. 53. - Р 185-211.

25. Hill K.Q. The methodological worth of the Delphi forecasting technique / K.Q. Hill, J. Fowles // Technological Forecasting and Social Change. - 1975. - Vol. 7. - Р 179-192.

26. Hood J. Political risk exposure and management in multi-national companies: is there a role for the corporate risk manager? / J. Hood, M.S. Nawaz // Risk Management. - 2004. - Vol. 6, № 1. - P 7-18.

27. Hsu Ch.-Ch. The Delphi Technique: Making Sense of Consensus / Chia-Chien Hsu, Brian A. Sandford // Practical Assessment Research & Evaluation. - 2007. - Vol. 12, № 10. - Available online: http://pareonline.net/getvn.asp?v=12&n=10.

28. Koivisto R. Integrating future-oriented technology analysis and risk assessment methodologies / R. Koivisto, N. Wessberg, A. Eerola, T. Ahlqvist, S. Kivisaari, J. Myllyoja, M. Halonen // Technological Forecasting & Social Change. - 2009. - Vol. 76. - Р 1163-1176.

29. Lodge M. The public management of risk: the case for deliberating among worldviews / M. Lodge // Review of Policy Research. - 2009. - Vol. 26. - Р. 395-408.

30. Markmann Ch. A Delphi-based risk analysis - Identifying and assessing future challenges for supply chain security in a multistakeholder environment / Ch. Markmann, I.-L. Darkow, H. von der Gracht // Technological Forecasting & Social Change. - 2013. - Vol. 80. - P. 1815-1833.

31. Noordin B. Political risk assessment of Malaysian based multinational corporation / B. Noordin, D.A. Harjito, A.Y. Hazir // Problems and Perspectives in Management. - 2006. - Vol. 4, № 3. - P. 91-99.

32. Riggs W.E. The Delphi technique: an experimental evaluation / W.E. Riggs // Technological Forecasting and Social Change. - 1983. Vol. 23. - Р. 89-94.

33. Rowe G. The Delphi technique as a forecasting tool: issues and analysis / G. Rowe, G. Wright // International Journal of Forecasting. 1999. - Vol. 15. - P. 353-375.

34. Sackman H. Delphi assessment: Expert opinion, forecasting and group process / H. Sackman. - Santa Monica, CA: Rand Corporation, 1974. - 118 p.

35. The Delphi Method. Techniques and Applications / H. Linstone, M. Turoff (eds.). - New York: Addison-Wesley Publishing Company, 2002. - 616 p.

36. Van de Ven A.H. Group Decision Making Effectiveness: An Experimental Study / Andrew H. Van de Ven. - Kent, Ohio: Kent State University Press, 1974. - 110 р.

Размещено на Allbest.ru