Размещено на http://www.allbest.ru/

Національний технічний університет України

“Київський політехнічний інститут”

Автореферат дисертації на здобуття наукового ступеня

кандидата технічних наук

01.05.03 - математичне та програмне забезпечення обчислювальних машин і систем

Методи отримання та обробки кардинальних експертних оцінок

Циганок Віталій Володимирович

Київ - 2003

Загальна характеристика роботи

множина експертний продуктивність

Актуальність теми. З розвитком суспільства, науки та техніки все більш вагомим стає фактор прийняття правильного рішення в конкретній ситуації. Допомагати розв'язувати це складне питання призначені системи підтримки прийняття рішень (СППР) та експертні системи (ЕС). Безперечно, що для прийняття обґрунтованих рішень в будь-якій сфері діяльності людини потрібно спиратись на знання, досвід та інтуїцію спеціалістів. На теперішній час існує достатньо велика кількість методів експертних оцінок (ЕО) тобто методів, що включають організацію роботи з фахівцями-експертами та обробку особистих думок експертів, виражених у кількісній і/або якісній формі з метою підготовки необхідної для прийняття рішень інформації особам, що приймають рішення (ОПР). Розрізняють два типи ЕО: ординальні, що дозволяють отримати ранжування об'єктів, та більш загальний тип - кардинальні, які крім того дозволяють знаходити числові значення вагомості об'єктів відносно деякого критерію. Методи отримання кардинальних ЕО часто використовують парні порівняння для підвищення достовірності отримуваних оцінок, але існуючі методи обробки матриці парних порівнянь (МПП) не дозволяють виявити джерело можливих протиріч, що виникають під час порівнянь об'єктів і порекомендувати експертові спосіб узгодити ці порівняння і тим самим підвищити достовірність результатів. У зв'язку з цим існує нагальна необхідність у створенні нових методів обробки МПП зі зворотним зв'язком з експертом, які б були позбавлені вказаного недоліку. Крім того всі методи ЕО характеризуються рядом параметрів, і актуальною науковою проблемою є вибір методу ЕО, за допомогою якого оцінки можна знайти з найбільшою ефективністю в конкретній ситуації. Дисертаційна робота присвячена дослідженню існуючих методів ЕО, розробці нових методів, які б відповідали поставленим вимогам, та розробці методики вибору конкретного методу ЕО серед існуючих для застосування в конкретній ситуації.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконувалась у рамках плану фундаментальних наукових досліджень Інституту проблем реєстрації інформації НАН України за темами “Розробка елементів теорії ієрархій як основи побудови прогнозуючих систем підтримки рішень” (1999р., № держреєстрації 0197U016092), “Система підтримки рішень при комплексному цільовому плануванні НДДКР та закупівлі озброєння і військової техніки для Збройних Сил України” (1999р., № держреєстрації 0199U003984), “Розробка системи інформатизації діяльності науково-технічної ради Міністерства Оборони України” (1999р., № держреєстрації 0199U003985) та “Розробка елементів теорії прийняття колективних рішень” (2002р., № держреєстрації 0100U002077).

Мета і задачі досліджень. Мета досліджень - підвищення ефективності компонент СППР шляхом розробки методів отримання та обробки ЕО, критеріїв їхнього оцінювання та вирішення задачі вибору оптимального з точки зору ОПР методу в конкретній ситуації. Відповідно до поставленої мети сформульовані та вирішені наступні задачі дисертаційного дослідження:

розробка методу визначення серед множини об'єктів підмножин взаємно сумісних об'єктів;

розробка індивідуальних методів парних порівнянь зі зворотним зв'язком з експертом;

розробка індивідуальних методів парних порівнянь “приведення до ідеалу”;

розробка групових методів отримання кардинальних ЕО;

розробка методики експериментального дослідження та проведення експерименту з метою визначення основних показників, що характеризують той чи інший метод ЕО;

розробка методики та алгоритму вибору конкретного методу ЕО на основі отриманих експериментальним шляхом характеристик методів та вимог до методу, що має застосовуватись в конкретній ситуації.

Об'єкт дослідження - експертна інформація.

Предмет дослідження - методи отримання та обробки кардинальних експертних оцінок.

Методи дослідження. Для вирішення задач дисертаційного дослідження застосовувались методи булевої алгебри, математичної статистики, теорії множин та теорії графів.

Наукова новизна одержаних результатів:

розроблено метод визначення серед множини об'єктів підмножин взаємно сумісних об'єктів, який має значно меншу трудомісткість в порівнянні з методами, що застосовувались раніше;

розроблено методи парних порівнянь з використанням зворотного зв'язку з експертом для покращення внутрішньої узгодженості думок експерта шляхом виявлення та вказівки експертові на джерело можливих протиріч;

розроблено методи парних порівнянь комбінаторного типу - “приведення до ідеалу”, які дозволяють звести кількість звернень за думкою експерта до мінімуму;

розроблено методи групового експертного оцінювання в умовах неповної визначеності, тобто при умові, що деякі пари об'єктів не були оцінені деякими експертами;

розроблено метод прийняття рішення при виборі методу ЕО, який на основі отриманих експериментальним шляхом середньостатистичних параметрах кожного з методів та по отриманих від експерта оцінках переваг цих параметрів в конкретній ситуації дає змогу обґрунтованого вибору методу ЕО.

Практичне значення одержаних результатів. Запропоновані у дисертаційній роботі методи ЕО (крім методів групового експертного оцінювання) реалізовані в програмній системі підтримки прийняття рішень “Солон-2” (Свідоцтво про державну реєстрацію прав автора на твір ПА №4137 / В.Г.Тоценко, В.В.Циганок, О.С.Олійник, П.Т.Качанов; зареєстровано 17.04.2001, видано 16.05.2001 державним департаментом інтелектуальної власності Міністерства освіти і науки України). Запропоновані методи, включаючи і методи групового експертного оцінювання, знайшли свою реалізацію в системі підтримки прийняття рішень “Солон_3”. Результати дисертаційного дослідження впроваджені в Головному управлінні розробок та закупівлі озброєння і військової техніки озброєння Міністерства Оборони України (акт від 29.04.2003).

Особистий внесок дисертанта. Усі основні результати дисертаційного дослідження отримані автором самостійно, а саме: самостійно розроблено метод виділення у множині об'єктів підмножин взаємно сумісних об'єктів [1], також самостійно розроблено комбінаторний метод парних порівнянь “приведення до ідеалу” зі зворотним зв'язком з експертом [3]. У роботах, опублікованих у співавторстві автору належить: спосіб досягнення стабільності методу парних порівнянь зі зворотним зв'язком з експертом та спосіб уникнення повторних звернень до експерта з одним і тим самим запитанням [2], вибір об'єкта для оцінювання при проведенні експерименту, розробка алгоритму проведення експерименту, розробка системи збору та обробки експериментальних даних [4,5], формалізація задачі прийняття рішення щодо вибору конкретного методу експертного оцінювання, програмна реалізація запропонованого алгоритму та опис конкретних прикладів [6].

Апробація результатів дисертації. Основні положення та результати роботи доповідались та обговорювались на 9-й міжнародній школі-семінарі ”Информационно-управляющие системы на железно-дорожном транспорте”, Алушта, 1996 [7,8] та науково-технічних конференціях Інституту проблем реєстрації інформації НАН України, Київ, 2002, 2003.

Публікації. Основні результати дисертації опубліковані в 6 наукових статтях в провідних фахових виданнях.

Структура та обсяг дисертації. Дисертаційна робота складається із вступу, основної частини з п'яти розділів, висновків, списку використаних джерел (97 найменувань). Робота містить 8 рисунків, 15 таблиць, 3 додатки (59 сторінок). Загальний обсяг роботи - 198 друкованих сторінок.

Зміст дисертації

У вступі обґрунтовано актуальність теми дисертації, сформульовано мету і задачі досліджень, наукову новизну і практичне значення отриманих результатів, наведено дані про впровадження результатів роботи, публікації і особистий внесок автора.

Перший розділ присвячено розробці індивідуальних методів парних порівнянь зі зворотним зв'язком з експертом. Оскільки будь-які порівняльні оцінки є сенс застосовувати тільки серед множин сумісних між собою об'єктів, то існує необхідність в знаходженні таких підмножин об'єктів максимальної потужності, кожна з яких включала б тільки сумісні об'єкти. Тому в першому підрозділі представлено розроблений метод визначення підмножин сумісних об'єктів, який є ітераційним і передбачає визначення сумісних підмножин в процесі поступового отримання інформації про несумісність пар об'єктів із вихідної множини об'єктів. Метод характеризується значно меншою трудомісткістю в порівнянні з методами, що застосовувались раніше для вирішення цієї проблеми. Задача формулюється у такий спосіб:

Дана множина об'єктів A={a_i}, iI, де I={1,2,…,n} - множина індексів; P - множина пар сумісних об'єктів, тобто пар <a_i;a_j>[a_i,a_jA], для яких a_{i *} a_j = "істина"(`_*' - уведена бінарна операція сумісності).

Знайти:

A_s A (s I), такі, що m[(a_mA_s)(= "істина")] k[(a_k A_s)(a_kA)] справедлива рівність:

 = "хиба".

Запропонований метод знаходження підмножин A_s у множині A припускає визначення цих підмножин у процесі послідовного виключення елементів з множини пар несумісних об'єктів. Метод є ітераційним і кількість ітерацій дорівнює кількості елементів у вищезгаданій множині пар. Перед початком виконання алгоритму вважаємо, що усі пари об'єктів - сумісні, при цьому, природно, множина сумісних об'єктів збігається з вихідною множиною (A_s=A). Нехай у результаті деякого експерименту встановлена несумісність пари <a_k;a_l>, тобто ця пара виключається з множини сумісних пар.

Доведено, що для множини A сумісних об'єктів потужності n при виключенні пари <a_k;a_l> з множини сумісних пар отримуємо дві підмножини сумісних об'єктів: A₁={a_i | iI, ik}, і A₂={a_i | iI, il} потужності (n-1) кожна, і що ця потужність є максимально можлива. У такий спосіб виконується кожна ітерація запропонованого методу над усіма підмножинами, отриманими на попередньому кроці алгоритму. Крім того, з метою мінімізації кількості отриманих підмножин сумісних об'єктів на кожній ітерації алгоритму виконуються всі можливі поглинання отриманими множинами тих множин, що є підмножинами перших. Ітеративний процес припиняється, коли множина пар несумісних об'єктів стане пустою.

У другому підрозділі запропоновано метод парних порівнянь зі зворотним зв'язком з експертом і послідовною обробкою МПП. Цей метод, на відміну від існуючих методів з паралельною обробкою МПП, дозволяє виявити протиріччя думок експерта, висловлених ним при порівнянні різних пар об'єктів, і для підвищення достовірності отримуваних результатів дозволяє експертові відкоригувати МПП для покращення її узгодженості.

Ступінь цієї узгодженості визначаємо, скориставшись методикою обчислення спектрального коефіцієнта узгодженості, яка передбачає розрахунки порогів виявлення та застосування. Якщо розрахований для отриманої МПП коефіцієнт узгодженості - менше, ніж поріг виявлення, то вважається, що протиріччя думок експерта настільки значні, що парні порівняння не несуть корисної інформації для отримання достовірних результатів (це інформаційний шум), і ці порівняння потрібно виконати знову. В іншому випадку, коли коефіцієнт узгодженості є не меншим ніж поріг виявлення, але меншим, ніж поріг застосування, передбачається використання додаткових звернень за думкою експерта (зворотний зв'язок) для покращення узгодженості доки коефіцієнт узгодженості не досягне порогу застосування.

Сутність методу обробки результатів парних порівнянь полягає в обчисленні так званих відносних ваг об'єктів для конкретної МПП, які входять як складові до спектрів відносних ваг і поділ множини цих ваг на три особливі підмножини, що взаємно не перетинаються. Доведено стабільність методу при умові, що для поліпшення узгодженості МПП на початковому етапі будуть змінюватись ті елементи матриці, які відповідають відносним вагам з першої підмножини і перехід до наступної з трьох підмножин проводиться тільки при вичерпанні можливостей поліпшення узгодженості за рахунок компонентів попередньої. Зміна того чи іншого елемента МПП здійснюється відповідно з думкою експерта.

В результаті роботи методу або будуть отримані ваги об'єктів по достатньо узгодженій МПП, або буде зроблено висновок про неможливість отримання таких оцінок через небажання експерта покращити узгодженість своїх попередніх оцінок.

В кінці підрозділу наведені приклади використання методу для довільної шкали, з використанням порівнянь при яких експертом оцінюється у скільки разів один об'єкт перевершує інший по деякому критерію (мультиплікативні) та для порівнянь, коли експертові задається питання типу “На скільки умовних одиниць один об'єкт перевершує інший ?” (адитивні).

В третьому підрозділі охарактеризовані способи уведення інформації, які можуть використовуватись для отримання кардинальних ЕО. Виділяються три основні способи: числовий, словесний та графічний.

Другий розділ присвячено розробці індивідуальних комбінаторних методів парних порівнянь “приведення до ідеалу” зі зворотним зв'язком з експертом, в яких застосовується оригінальний підхід до обробки МПП. Причиною, що спонукала до розробки цього класу методів, є достатньо велика кількість звернень до експерта за його думкою у методах зі зворотним зв'язком, особливо коли існує значна неузгодженість при парних порівняннях, та коли є наявними конфлікти в ранжуванні об'єктів. Тому розроблено методи, які прагнуть звести кількість звернень до експерта до мінімуму.

Метод базується на наступній властивості МПП.

Властивість. Якщо матриця парних порівнянь D=|d_ij| розмірністю n x n - ідеально узгоджена, то для i,j,k {1,2,...,n} виконується рівність:

d_ij = f ( d_ik ; d_jk ).

Для мультиплікативних порівнянь функція f має вигляд: d_ij = d_ik / d_jk, а для адитивних: d_ij = d_ik - d_jk.

З вище представленої властивості випливає, що частина елементів ідеально узгодженої матриці парних порівнянь (ІУМПП) аналітично пов'язані з іншими елементами цієї ж матриці. Тому можна знайти підмножину елементів ІУМПП мінімальної потужності, використовуючи елементи якої, можна визначити решту елементів ІУМПП.

Підмножину елементів ІУМПП, по якій однозначно будується повна ІУМПП, називаємо підмножиною інформаційно-вагомих елементів (ІВЕ).

Надалі користуємося графовою інтерпретацією МПП. Для цього ставимо у відповідність МПП неорієнтований граф G, вершини якого позначені об'єктами. Ребро, що з'єднує вершини a_i та a_j позначається d_ij. Показано, що необхідною і достатньою умовою, при якій підмножина оцінок ребер складає підмножину ІВЕ, є сильна зв'язність графа G. Ґрунтуючись на цьому, можна сформувати множину підмножин ІВЕ, склад якої не залежить від конкретних значень d_ij, а визначається тільки числом об'єктів n.

В розділі представлені доказ існування, властивості й алгоритм знаходження множин ІВЕ, там же отримано і значення потужності цих множин, рівне (n - 1).

Суть представленого в розділі методу полягає в знаходженні ІУМПП, до якої, погоджуючись з думкою експерта, змінивши значення деякої множини елементів, можна привести реальну МПП. Надалі по знайденій ІУМПП визначаються значення ваг об'єктів.

Опис алгоритму

Дано реальну матрицю D₀, отриману при парному порівнянні деяких n об'єктів. Слід зазначити, що елементи головної діагоналі, як ті, що не несуть інформації, визначаються однозначно для мультиплікативних порівнянь d_ii = 1, а для адитивних: d_ii = 0. Крім того будемо вважати, що для будь-якої МПП порівняння a_i-го об'єкта з a_j-м та a_j-го об'єкта з a_i-м - взаємно узгоджені, і тому для мультиплікативних порівнянь d_ij = 1 / d_ji, а для адитивних: d_ij = - d_ji. Причому розглядаються тільки елементи матриці, що знаходяться праворуч від головної діагоналі: {d_ij | i < j}.

Алгоритм умовно поділяється на два етапи: підготовчий і пошуковий.

Під час підготовчого етапу формується й упорядковується множина, елементами якої є ІУМПП, отримані на основі множин ІВЕ, узятих з реальної МПП. Цей процес складається з наступних кроків.

Крок 1. Формування множин ІВЕ для будь-якої ІУМПП розмірності n x n.

Цей процес полягає в переборі варіантів підмножин потужності k=(n_1) множини елементів матриці, (її потужність дорівнює m = n(n-1) / 2)), і відборі з цих варіантів (їх C_m^k) тих, котрі задовольняють описаній вище необхідній і достатній умові бути підмножиною ІВЕ. Зауважимо, що множина ІВЕ визначається не значеннями елементів МПП, а їхніми позиціями в матриці, тобто множиною індексів елементів.

Крок 2. Формування множини, що складається з ІУМПП, на базі знайдених на попередньому кроці підмножин ІВЕ.

Кожна ІУМПП формується з k елементів реальної МПП, що знаходяться на позиціях знайдених ІВЕ. Інші елементи в кожної ІУМПП, що не входять у конкретну підмножину ІВЕ, обчислюються, виходячи з виразу d_ij = f(d_im; d_jm). Для кожної такої ІУМПП D_r ставиться у відповідність кортеж _r елементів цієї матриці, які відрізняються від відповідних елементів реальної МПП.

Крок 3. Сформована множина кортежів _r упорядковується по кількості елементів, що містяться в кожнім кортежі, причому повтори виключаються.

Наступний етап алгоритму - пошуковий - пов'язаний з аналізом сформованого набору ІУМПП і з пошуком у ньому такої ІУМПП, у яку б перетворювалася реальна МПП шляхом зміни (збільшення або зменшення) частини її елементів, погоджуючи ці зміни з думкою експерта.

Пошук полягає в послідовному поелементному аналізі кортежів _r і пропозиціях експерту змінити в той чи інший бік значення елемента реальної МПП, щоб наблизити його значення до значення елемента кортежу _r - тобто експерту пропонується змінити ступінь переваги одного об'єкта над іншим убік його наближення до значення цього ступеня переваги у відповідній ІУМПП.

Сформована на підготовчому етапі алгоритму множина кортежів коригується відповідно до уже висловленої думки експерта (згоди або відмови змінити конкретний елемент МПП) шляхом виключення тих кортежів, що перестали відповідати вимогам експерта, які з'ясовуються поступово в процесі діалогу з ним. Таким чином, у процесі пошуку сформований на підготовчому етапі алгоритму набір кортежів поступово скорочується. Так, якщо експерт погодився, наприклад, збільшити елемент реальної МПП, то з набору видаляються всі кортежі, у яких є присутнім цей елемент зі значенням меншим, ніж наявне спочатку. І навпаки, якщо експерт відмовився збільшити елемент реальної МПП, то з набору видаляються всі кортежі, у яких є присутнім цей елемент зі значенням, більшим початкового.

Отже, у ході виконання алгоритму експерту пропонується привести реальну МПП до ІУМПП шляхом зміни деякої множини елементів першої матриці. В іншому випадку може відбутися так, що на деякому кроці алгоритму в наборі не залишиться кортежів, тоді робиться висновок про те, що спроба експерта узгодити реальну матрицю (привести її до ІУМПП) є неуспішною.

При успішному завершенні алгоритму ненормовані ваги об'єктів знаходяться по будь-якому i-ому рядку отриманої ІУМПП. У i-ому рядку знаходиться мінімальний елемент d_ij, і оскільки d_ij - результат порівняння a_i з a_j, то при цьому a_j є домінуючим по i-ому рядку об'єктом.

Якщо експерт виконував адитивні порівняння, то йому пропонується методом безпосередньої оцінки визначити ненормоване абсолютне значення v_jдом домінуючого по цьому рядку об'єкта a_j. Потім визначається власна вага v_iⁱ об'єкта a_i:

v_iⁱ = v_jдом+ d_ij.

Після цього визначаються ваги інших об'єктів:

v_hⁱ = v_iⁱ - d_ih.

У випадку мультиплікативних порівнянь для визначення ваг об'єктів немає необхідності в безпосередній оцінці ненормованого абсолютного значення домінуючого по рядку об'єкта, а ненормовані значення ваг об'єктів знаходяться в такий спосіб:

v_jдом=1; v_iⁱ= v_jдомd_ij= d_ij; v_hⁱ= v_iⁱ/d_ih.

Оскільки сформована в результаті виконання алгоритму матриця є ІУМПП, то ваги, визначені по будь-якому рядку, збігаються.

В підрозділі 2.2 описані різновиди методу, ідея створення яких виникла при аналізі та тестуванні комбінаторних методів (“приведення до ідеалу”). Суть полягає в тому, що не завжди є виправданим вести процес діалогу з експертом аж до тих пір, поки реальна МПП буде повністю співпадати з однією із згенерованих ІУМПП, тобто до моменту повної узгодженості МПП. Ідея цих доробок полягає в тому, щоб припинити процес пошуку ІУМПП, або навіть його не розпочинати, якщо на цей момент реальна МПП є достатньо узгодженою. Тим самим можливе додаткове скорочення кількості звернень до експерта, чого і праглося при розробці комбінаторних методів (“приведення до ідеалу”). Так виник різновид даних методів парних порівнянь - з додатковою перевіркою узгодженості МПП.

Цей метод цілком аналогічний описаному в попередньому підрозділі, з тією особливістю, що на пошуковому етапі алгоритму перед кожним зверненням до експерта перевіряється узгодженість МПП, отриманої з вихідної реальної МПП шляхом заміни тих її елементів на відповідні елементи ІУМПП, зміну яких було погоджено з експертом на попередньому кроці. Узгодженість перевіряється методом спектральних коефіцієнтів узгодженості, і у випадку, якщо розрахований коефіцієнт узгодженості більше або дорівнює порогові застосування - процес пошуку ІУМПП зупиняється і проводиться обчислення ваг по частково узгодженій матриці.

При використанні адитивних порівнянь для визначення ваг експерту пропонується методом безпосередньої оцінки визначити ненормоване абсолютне значення v_iдом - домінуючого по i-ому рядку об'єкта, і після цього визначаються ненормовані абсолютні значення ваг об'єктів:

.

У випадку мультиплікативних порівнянь для визначення ваг об'єктів немає необхідності в безпосередній оцінці ненормованого абсолютного значення домінуючого по кожному рядку об'єкта, а ненормовані значення ваг об'єктів знаходяться як середнє геометричне кожного рядка отриманої матриці:

.

Третій розділ присвячено розробці групових методів ЕО в умовах неповної визначеності з урахуванням різної компетентності експертів - членів групи. В загальному випадку МПП є неповною, тобто результати деяких порівнянь пар об'єктів (альтернатив, критеріїв, цілей і т.п.) відсутні. Причини неповноти матриць можуть бути різні. Однією з найбільш розповсюджених причин є відсутність в експерта достатньої інформації або знань для того, щоб виконати порівняння деякої пари об'єктів за заданим критерієм.

У даному розділі представлено метод отримання кардинальних оцінок, придатний для методів парних порівнянь зі зворотним зв'язком, наприклад, таких, що представлені в першому розділі, за умови неповноти матриць порівнянь, виконуваних експертами. При цьому використовується спектральний метод обчислення кількісних показників ступеня узгодженості результатів парних порівнянь, а також ідея використання зворотного зв'язку з експертами в ході виконання ними парних порівнянь.

У ході розробки такого методу було вирішено ряд окремих задач. Перша полягає у визначенні необхідних і достатніх умов, яким повинна задовольняти множина неповних МПП для того, щоб вона була конструктивною, тобто дозволяла обчислити узгоджені групові оцінки об'єктів. Друге завдання полягає в розробці методу обчислення узагальнених оцінок об'єктів по конструктивній множині неповних часткових МПП. Сутність наступної задачі полягає в розробці методу організації діалогу з експертами, що має метою досягнення достатнього ступеня узгодженості оцінок, даних різними експертами, з урахуванням їх компетентності. Вирішення цих задач достатньо для одержання узгоджених агрегованих групових оцінок об'єктів по неповним частковим МПП за умови, що експертам не пропонується виконати порівняння додаткових пар об'єктів з метою поліпшення якості оцінок. Якщо ж така необхідність є, то додатково вирішуються ще дві задачі. Перша полягає у формуванні кількісного критерію якості множини оцінок і алгоритму його обчислення для заданої множини експертів і множини часткових неповних МПП, даних ними. Друга полягає в розробці методу організації діалогу з експертами, спрямованого на досягнення множиною оцінок об'єктів необхідної якості.

У першому підрозділі сформульовано постановку задачі та викладено сутність запропонованого підходу до її вирішення. В подальших підрозділах описано реалізації конкретних методів, а саме: методу безпосередньої оцінки, методів парних порівнянь “лінія”, “трикутник” та “квадрат”.

Метод безпосередньої оцінки розглядається як вироджений випадок методу парних порівнянь, при якому всі об'єкти порівнюються з одним еталоном, тому для всіх запропонованих методів існує єдина структура алгоритму.

Спочатку кожен з групи експертів проводить парні порівняння запропонованих об'єктів і має право відмовитись від порівнянь деяких з них. Кількість і тип порівнянь, що пропонуються виконати експертові, залежать від конкретного методу. Після отримання результатів порівнянь від усіх експертів проводиться перевірка множини цих результатів на предмет конструктивності, тобто можливості з їх допомогою знайти узагальнені оцінки.

Доведено, що множина результатів, отриманих від експертів при використанні методу безпосередньої оцінки, є конструктивною, якщо для кожного з оцінюваних об'єктів знайдеться хоча б один експерт, який дав оцінку цьому об'єктові. Для методу “лінія” - для кожного з парних порівнянь вибраного об'єкта з рештою об'єктів знайдеться хоча б один експерт, який виконав дане порівняння. Стосовно методу “трикутник”, - доведено, що множина результатів парних порівнянь, виконаних експертами є конструктивною тоді, і тільки тоді, коли в мультиграфі, вершинами якого є об'єкти, а наявність дуги відповідає виконаному порівнянню двох об'єктів деяким експертом, існує хоча б один простий шлях, що включає усі вершини мультиграфа. Також доведено необхідність і достатність конструктивності множини результатів парних порівнянь при використанні методу “квадрат”. Ця множина є конструктивною тоді, і тільки тоді, коли виконано порівняння кожного об'єкта з кожним із решти об'єктів хоча б одним із експертів.

Якщо множина отриманих від експертів оцінок є конструктивною, то по кожному із об'єктів, що підлягають оцінюванню, будуються спектри оцінок ваг і знаходяться спектральні коефіцієнти узгодженості оцінок по кожному з об'єктів з урахуванням коефіцієнтів відносної компетентності експертів, що дали дані оцінки. Побудова цих спектрів є індивідуальною для кожного з різновидів методу.

Після розрахунку порогів виявлення та застосування приймається рішення на основі кожного із спектрів або про обчислення узагальненої оцінки об'єкта, якщо узгодженість спектра достатня (коефіцієнт узгодженості не менший за поріг застосування), або про організацію діалогу з експертами з метою досягти покращення узгодженості. У випадку ж, коли коефіцієнт узгодженості менший за поріг виявлення, то робиться висновок про неможливість отримання узгоджених оцінок на даний момент даною групою експертів і рекомендується провести спільні консультації по даному питанню, або змінити групу експертів.

В розділі розглядаються варіанти дій, коли множина оцінок даних експертами виявилась неконструктивною. Також розглянута організація роботи експертів з метою отримання потрібної вірогідності оцінок за мінімальний час.

В четвертому розділі описано експериментальне порівняльне дослідження існуючих та представлених в дисертації індивідуальних методів отримання кардинальних ЕО. Таке дослідження є необхідним тому, що такі основні характеристики методів як похибки оцінювання, узгодженість результатів, середня тривалість отримання оцінок, психологічна привабливість методів і т.і. можуть бути визначені тільки шляхом експерименту, який забезпечує статистичну спроможність оцінок.

В першому підрозділі обґрунтовується вибір об'єктів, які пропонуються для оцінки експертові під час проведення експерименту. Для визначення перерахованих вище характеристик методів експертного оцінювання необхідно знати еталонні значення параметрів оцінюваних об'єктів. Стосовно до параметрів об'єктів, використовуваних при розв'язанні задач підтримки прийняття рішень (коефіцієнти відносної значимості критеріїв, цілей, альтернатив), можна стверджувати, що такі еталонні значення в принципі невідомі. Тому виникає необхідність використовувати інформаційні моделі цих параметрів для визначення оцінок методів ЕО.

Вимоги, що висуваються до вибору цих моделей досить очевидні:

в інформаційному відношенні ступінь невизначеності параметрів моделі повинна бути аналогічного ступеню невизначеності параметрів об'єктів, оцінюваних при підтримці прийняття рішень;

необхідно мати можливість точно вимірювати параметри моделі;

простота і загальне розуміння моделі, що дозволило б проводити експеримент з експертами різного ступеня компетентності.

Виходячи з цих вимог та з простоти реалізації на ПК, у якості моделі оцінюваного об'єкта (цілі, критерію, альтернативи) був обраний прямокутник, заповнений випадково розміщеними зафарбованими точками, а моделлю оцінюваного параметра (відносна значимість цілі, критерію, альтернативи) послужив відносний ступінь заповнення випадково розміщеними пофарбованими точками прямокутника (рис. 1).



Цей показник задається для кожного прямокутника програмно і тому відомий достовірно. Отже ці дані можна використовувати в якості еталонних і, тим самим визначати оцінки досліджуваних методів експертного оцінювання за названими критеріями.

Головною метою експериментального дослідження є одержання даних, що дозволяють вибрати метод відповідно до оцінок ОПР, вагомості для неї критеріїв оцінки методів, а також відповідно до експериментально визначених кардинальних оцінок цих методів за згаданими критеріями. Виходячи з цього, в якості критеріїв оцінки методів були обрані:

коефіцієнт узгодженості множини ЕО відносних ваг об'єктів;

математичне очікування відносної похибки визначення відносних ваг об'єктів;

математичне очікування тривалості процесу отримання ЕО відносних ваг об'єктів.

Для наочності характеристики методів, що розглядаються, представлені в табл.1.

В заголовках граф цієї таблиці вказані номери методів, знаком “+” відмічено наявність властивостей у перелічених методів. Крім того приведені номери аналогічних методів, що відрізняються наявністю зворотного зв'язку (спарені методи).

Результати обробки експериментальних даних наведені в табл.2, вказані ранги методів по кожному з параметрів, а також кількість експертів, що приймали участь в тестуванні методів.

Колонки таблиці позначені наступним чином: K_s - коефіцієнт узгодженості; E(K_s) - відносна оцінка по коефіцієнту узгодженості; R(K_s) - ранжування по коефіцієнту узгодженості; M - математичне очікування (МО) відносної похибки визначення кардинальних ЕО; E(M) - відносна оцінка по МО відносної похибки; R(M) - ранжування по МО відносної похибки; M - МО тривалості визначення КЕО; E(M) - відносна оцінка по МО тривалості визначення КЕО; R(M) - ранжування по МО тривалості визначення КЕО; N_e - кількість експертів, що приймали участь у тестуванні.

На підставі аналізу отриманих експериментальних даних зроблено наступні висновки:

Усі досліджені методи забезпечують достатній коефіцієнт узгодженості (що перевищує поріг застосування) результатів оцінювання об'єктів різними експертами, що свідчить про малу залежність результатів експертного оцінювання від особистості експерта.

Таблиця 1. Стисла характеристика методів, які оцінювались під час експерименту.

Ознака методу

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

Зворотний зв'язок з експертом

+

+

+

+

+

+

+

+

+

+

+

+

Безпосередня оцінка

+

Трикутник

+

+

+

+

+

+

+

+

Квадрат

+

+

+

+

+

+

+

+

+

+

+

+

+

+

Попереднє упорядкування

+

+

+

+

Фундаментальна шкала

+

+

+

+

+

+

+

+

+

+

Довільна шкала

+

+

+

+

+

+

+

+

+

+

+

+

+

Адитивний

+

+

+

+

+

+

Мультиплікативний

+

+

+

+

+

+

+

+

+

+

+

+

+

+

+

+

Паралельна обробка

+

+

Послідовна обробка по рядках

+

+

+

+

+

+

+

+

+

+

Послідовна обробка по стовпцях

+

+

+

+

+

+

“Приведення до ідеалу” (ПІ)

+

+

+

+

Перевірка узгодженості для ПІ

+

+

Словесне уведення

+

+

+

+

+

+

+

Числове уведення

+

+

+

+

+

+

+

+

+

+

+

+

+

Графічне уведення

+

+

+

+

Дискретні значення

+

+

+

+

+

+

+

Квазібезперервні значення

+

+

+

+

+

+

+

+

+

+

+

+

+

+

+

+

Номер спареного методу

12

13

5

4

14

15

16

17

18

19

2

3

6

7

8

9

10

11

22

23

20

21

Таблиця 2. Результати обробки експериментальних даних

№	Ks	E(Ks)	R(Ks)	M	E(M)	R(M)	M	E(M)	R(M)	Ne
1	0.93807	0.04563	3	0.08748	0.02235	14	133.81	0.16677	1	157
2	0.90513	0.04403	10	0.23541	0.00831	21	295.81	0.07544	2	145
3	0.90894	0.04421	8	0.18579	0.01052	20	617.41	0.03615	12	148
4	0.96171	0.04678	1	0.50873	0.00384	23	326.29	0.06839	3	177
5	0.94984	0.04620	2	0.45695	0.00428	22	668.78	0.03337	14	142
6	0.87017	0.04232	19	0.11498	0.01701	15	733.18	0.03044	16	61
7	0.89217	0.04339	14	0.07739	0.02527	11	825.57	0.02703	19	54
8	0.90786	0.04416	9	0.0665	0.02940	8	728.52	0.03063	15	118
9	0.91057	0.04429	7	0.08473	0.02308	13	741.39	0.03010	18	116
10	0.89331	0.04345	13	0.02644	0.07395	4	474.97	0.04698	5	119
11	0.89487	0.04353	11	0.02849	0.06863	5	479.42	0.04655	6	118
12	0.91350	0.04443	5	0.14993	0.01304	18	342.61	0.06514	4	154
13	0.91326	0.04442	6	0.12245	0.01597	16	653.99	0.03412	13	154
14	0.88639	0.04311	15	0.08386	0.02332	12	1379.90	0.01617	23	72
15	0.87412	0.04252	16	0.06753	0.02895	9	1359.19	0.01642	22	68
16	0.86867	0.04225	20	0.06753	0.02895	10	1036.55	0.02153	20	54
17	0.87408	0.04251	17	0.12763	0.01532	17	1183.89	0.01885	21	89
18	0.83731	0.04073	22	0.01533	0.12755	2	599.04	0.03725	11	70
19	0.83523	0.04063	23	0.18563	0.01053	19	737.93	0.03024	17	74
20	0.87113	0.04237	18	0.06485	0.03015	7	540.09	0.04132	8	60
21	0.84530	0.04111	21	0.01685	0.11604	3	480.90	0.04641	7	40
22	0.91400	0.04446	4	0.00794	0.24626	1	555.63	0.04016	10	106
23	0.89386	0.04348	12	0.03414	0.05727	6	550.69	0.04052	9	81

Серед досліджених методів без зворотного зв'язку є такі, котрі забезпечують досить високу точність результатів: відносна похибка визначення відносних ваг знаходиться в межах 2,64_7,7% (методи 10, 11, 8, 7).

Використання зворотного зв'язку з експертом для більшості методів приводить до зниження похибки. Так для методу 22 відносна похибка визначення відносних ваг не перевищує 1%, для методу 18 дорівнює 1.5%.

Залучення додаткової інформації підвищує точність ЕО. Це випливає з того, що майже всі методи “квадрат”, що вимагають k(k - 1) порівнянь, перевершують по точності результатів методи “трикутник”, що вимагають k(k - 1)/2 порівнянь.

Немає підстав стверджувати про превалювання методів “трикутник” над методами “квадрат” у відношенні часу оцінювання.

Використання квазібезперервних значень ступенів переваг об'єктів, як правило, приводить до підвищення точності оцінок у порівнянні з використанням дискретних значень.

Послідовний метод обробки МПП по рядках або стовпцях, а також комбінаторний метод “приведення до ідеалу” забезпечує більшу точність результатів у порівнянні з паралельним методом обробки в цілому.

Існують методи, що поступаються іншим по всіх параметрах, однак, у більшості випадків поліпшення одних параметрів спричиняє погіршення інших.

П'ятий розділ присвячено вирішенню задачі обґрунтованого вибору методу отримання КЕО (МОКЕО) у конкретній ситуації. Цей вибір має розглядатися як задача підтримки прийняття рішень при мультикритеріальному оцінюванні альтернатив. Вибір методу отримання КЕО базується на використанні інформації двох типів, а саме:

експериментально визначених значень вказаних показників застосування досліджених МОКЕО;

характеристики поточної ситуації у вигляді вибраної ОПР підмножини вагомих з її точки зору показників застосування МОКЕО і визначених нею значень відносної вагомості цих показників.

Задачу можна сформулювати наступним чином:

Дано: - множина ={m_i}, iI, I={1,2,...,n}, методів отримання КЕО;

- множина H ={h_l}, lL, L={1,2,...,c} критеріїв оцінки m_i ;

- матриця розмірністю n x c, де елемент матриці k_ij - це КЕО i-го методу із множини по j_му критерію із множини H;

- c-вимірний вектор V, де елемент вектора v_b - це КЕО показника відносної важливості b-го критерію із множини H для даного конкретного випадку.

Знайти: Вектор W узагальнених КЕО по кожному з методів із множини , які можуть бути претендентами на використання. На основі цих оцінок приймається рішення про вибір конкретного методу у даній ситуації.

Опис алгоритму:

1. Запропонувати ОПР вибрати підмножину критеріїв оцінки МОКЕО.

2. Оцінки МОКЕО по кожному критерію привести до єдиної форми. Оскільки алгоритм передбачає вибір методу, якому відповідає максимальна узагальнена КЕО, то експериментальні оцінки за вибраними критеріями мають бути перетворені таким чином, щоб зростання перетвореної оцінки свідчило про підвищення ефективності методу.

3. Визначити коефіцієнти вагомості критеріїв із множини H, тобто значення елементів вектора V. Наприклад, запропонуємо експертові використати будь-який один із методів парних порівнянь, що перелічені в табл.1. Результатом роботи будуть нормовані значення ступеню важливості критеріїв v_b, bL, для даного експерта і даної проблеми.

4. Визначити підмножину МОКЕО, які потенційно можуть бути обрані для використання. В загальному випадку деякі методи отримання КЕО поступаються перед іншими відносно всіх, без виключення, критеріїв. Очевидно, що ці методи в такому випадку не зможуть мати максимальну узагальнену КЕО і, тим самим, бути обраними для використання.

Тому, для зменшення трудомісткості подальшого процесу аналізу множини методів отримання КЕО, потрібно визначити в цій множині таку підмножину методів, для якої виконується властивість Парето-оптимальності, тобто підмножину методів _p , _p={m_i}, iP, P={1,2,..., p}, що для iP jP, ji, [ lL, L={1,2,...,c}, k_il ? k_jl], де k_ab - значення КЕО a-го методу по b-му критерію, при умові прагнення вибору максимального із значень критеріїв.

Отже, на цьому кроці алгоритму шляхом виключення із множини методів тих, які по всіх критеріях не кращі за решту методів, знаходимо підмножину методів, які відповідають властивості Парето-оптимальності.

На практиці знаходження цієї підмножини поєднується з перетворенням матриці розмірністю n x c в матрицю _p розмірністю p x c. Це перетворення здійснюється наступним чином:

4.1. i := 1;

4.2. j := 1;

4.3. якщо lL, [ (k_il ? k_jl) & (i j) ], то i_й рядок видаляється з матриці, інакше - п.4.5;

4.4. n := n - 1; якщо i ? n, то п.4.2, інакше - п.4.7;

4.5. j := j + 1; якщо j ? n, то п.4.3;

4.6. i := i + 1; якщо i ? n, то п.4.2

4.7. p := n; перетворення матриці закінчено.

5. Перенормування значень отриманої матриці _p по кожному з критеріїв:

.

6. Визначення узагальнених оцінок по кожному методу за наступною формулою:

.

7. Ранжування значень в порядку зменшення.

Таким чином, запропонований алгоритм вибору методу отримання КЕО готовий до практичного застосування в експертних системах різного спрямування, в системах підтримки прийняття рішень і, можливо, при вирішенні деяких задач багатокритеріального вибору.

Висновки

В дисертаційній роботі досліджено методи отримання та обробки експертної інформації. В процесі дослідження розроблено нові методи та обґрунтовану методику вибору методу для використання в конкретній ситуації. Основні наукові та практичні результати полягають у наступному:

Розроблено метод визначення серед множини об'єктів підмножин сумісних об'єктів, який характеризується значно меншою трудомісткістю в порівнянні з методами, що застосовувались раніше для вирішення цієї проблеми. Знаходження цих підмножин необхідне для визначення області можливого застосування методів ЕО.

Розроблено індивідуальні методи парних порівнянь із застосуванням зворотного зв'язку з експертом для підвищення достовірності результатів ЕО.

Розроблено індивідуальні комбінаторні методи парних порівнянь - “приведення до ідеалу”, які дають змогу звести кількість звернень за думкою експерта до мінімуму.

Розроблено групові методи отримання кардинальних ЕО, які дозволяють прийти до єдиної думки групі експертів з різною компетентністю в даному питанні навіть при умові відмови в оцінюванні деяких об'єктів деякими експертами.

Розроблено методику експериментального дослідження та проведено експеримент з метою визначення основних показників, що характеризують кожний з методів ЕО.

Розроблено методику та алгоритм вибору конкретного методу ЕО на основі отриманих експериментальним шляхом характеристик методів та вимог ОПР до методу, який має застосовуватись для оцінювання в конкретній ситуації.

Список опублікованих праць за темою дисертації

Циганок В.В. Про один метод виділення в множині об'єктів підмножин взаємно сумісних об'єктів. // Реєстрація, зберігання і обробка даних. - 1999. - Т.1. - No2. - С.78-81.

Тоценко В.Г., Цыганок В.В. Метод парных сравнений с обратной связью с экспертом // Проблемы управления и информатики. 1999. - №3. - С.111-125. (Totsenko V.G., Tsyganok V.V Method of paired comparisons using feedack with expert // Journal of Automation and Information Sciences. - 1999. - Vol.31, No9. - P.86-97.) (Дисертантом запропоновано спосіб досягнення стабільності методу парних порівнянь зі зворотним зв'язком з експертом та спосіб уникнення повторних звернень до експерта з одним і тим самим запитанням.)

Циганок В.В. Комбінаторний алгоритм парних порівнянь зі зворотним зв'язком з експертом // Реєстрація, зберігання і обробка даних. - 2000. - Т.2, №2. - С.92-102.

Тоценко В.Г., Цыганок В.В., Качанов П.Т., Деев А.А., Качанова Е.В., Торба Л.Т. Эксперимен-тальное исследование методов получения кардинальных экспертных оценок альтернатив. Ч.I. Методы без обратной связи с экспертом // Проблемы управления и информатики. - 2003. - №1. - С.34-48.

Тоценко В.Г., Цыганок В.В., Качанов П.Т., Деев А.А., Качанова Е.В., Торба Л.Т. Экспериментальное исследование методов получения кардинальных экспертных оценок альтернатив. Ч.II. Методы с обратной связью с экспертом // Проблемы управления и информатики. - 2003. - №2. - С.112-125. (В роботах [5,6] дисертанту належить вибір об'єкта для оцінювання при проведенні експерименту, розробка алгоритму проведення експерименту, розробка системи збору та обробки експериментальних даних.)

Тоценко В.Г., Циганок В.В., Качанов П.Т. Підтримка прийняття рішення щодо вибору методу експертного оцінювання // Системные исследования и информационные технологии. - 2002. - №4. - C.52-60. (Дисертанту належить формалізація задачі прийняття рішення щодо вибору конкретного методу експертного оцінювання, програмна реалізація запропонованого алгоритму та опис конкретних прикладів.)

Тоценко В.Г., Цыганок В.В., Олийнык А.С. Системы поддержки решений по профессиональному отбору // Труды 9-й международной школы-семинара (спец. выпуск ж-ла Инфор-мационно-управляющие системы на железнодорожном транспорте. - 1996. - №3-4. - 46с.)

Тоценко В.Г., Цыцарев В.Н., Перова Т.С., Цыганок В.В., Литвинчук О.В., Настенко И.М. Экспертная система диагностирования по произвольным диагностическим признакам c интегрированной базой знаний // Труды 9-й международной школы-семинара (спец. вып. ж-ла Информационно-управляющие системы на железнодорожном транспорте. -1996. - №3-4. - 57с.)

Размещено на Allbest.ru

...