Методи обробки експертних даних в задачі автоматизації профвідбору

Размещено на http://www.allbest.ru/

Національний технічний університет України

“київський політехнічний інститут”

УДК 681.5.015

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Методи обробки експертних даних в задачі автоматизації профвідбору

05.13.07 -- “Автоматизація технологічних процесів”

Носок Світлана Олександрівна

Київ-2007

Дисертацією є рукопис. математичний експертиза технологія

Робота виконана на кафедрі інформаційної безпеки Фізико-технічного інституту Національного технічного університету України “Київський політехнічний інститут” Міністерства освіти і науки України.

Науковий керівник:

доктор технічних наук, професор Архипов Олександр Євгенійович, Національний технічний університет України “Київський політехнічний інститут”, професор кафедри інформаційної безпеки

Офіційні опоненти:

доктор технічних наук, професор Сільвестров Антон Миколайович, Національний технічний університет України "Київський політехнічний інститут", професор кафедри теоретичної електротехніки

кандидат технічних наук Луцик Сергій Леонідович, Національний науково-дослідний центр оборонних технологій та військової безпеки України, докторант

Захист відбудеться “22” жовтня 2007р. о 1430 годині на засіданні спеціалізованої ради Д26.002.04 Національного технічного університету України “Київський політехнічний інститут” за адресою: 03056, м. Київ, проспект Перемоги, 37, корпус 18, кімната № 432.

З дисертацією можна ознайомитися у бібліотеці Національного технічного університету України “Київський політехнічний інститут” за адресою: 03056, м. Київ, проспект Перемоги, 37.

Автореферат розісланий: “20” вересня 2007 р.

Вчений секретар спеціалізованої Ради Д26.002.04, кандидат технічних наук, професор Л.С. Ямпольський

Загальна характеристика роботи

Актуальність теми. Метою дисертаційної роботи є розроблення і дослідження методів обробки експертних оцінок, отриманих в процесі проведення експертиз на стадіях технологічної підготовки технологій профвідбору та їх практичної реалізації. Актуальність цієї тематики як, зокрема, для задач профвідбору, так і для більш широкого кола прикладних застосувань визначається тим, що в сучасних умовах експертне оцінювання - один з самих дієвих методів оперативного добору інформації, який і в наш час приваблює широке коло спеціалістів - як практиків, так і теоретиків. Пояснюється це рядом особливостей, притаманних методу експертних оцінок. По-перше, даний метод - найбільш доступний, універсальний, а іноді і просто єдиний можливий для отримання та аналізу інформації, що використовується для вирішення широкого спектра задач управління, прогнозування, планування в соціології, техніці. По-друге, сфера застосування експертного оцінювання постійно розширяється, зокрема, це визначення структури і параметрів складних систем, особливо систем, що не мають достатньої передісторії функціонування і характеризуються високим рівнем структурно-параметричної невизначеності: складних соціально-економічних систем, систем проектного менеджменту, систем захисту інформації і т.д. Загальною досить привабливою стороною експертних методів є оперативність і простота отримання потрібних відомостей.

При використанні методу експертних оцінок основним джерелом інформації є експерт - його судження, якісні та кількісні оцінки. При цьому механізм продукування цих оцінок лишається невизначеним. Як правило, він невідомий навіть самому експертові, має виключно індивідуальний, особистий характер і не може бути повторений чи відтворений кимсь іншим. В цих умовах недостатній рівень компетентності експертів може призвести в даних експертизи до появи грубих (аномальних) помилок чи просто зумовити високий рівень неоднорідності даних експертизи. В обох випадках можливі суттєві втрати інформації, що призведуть до неправильно прийнятих за результатами експертизи рішень, помилкового завдання параметрів, оцінок й т.п., негативні наслідки яких можуть бути відчутні і на всіх наступних етапах застосування результатів, отриманих за даними експертизи.

Тому питання ефективної, якісної обробки експертних даних визначає коректність й правильність виконання усіх наступних операцій й процедур, що спираються на отримані експертні оцінки.

Зв'язок із науковими програмами, планами, темами: дисертаційна робота виконана в рамках держбюджетної теми №2708 “Математичні методи прогнозування та оптимального керування складними динамічними системами з елементами критичної та стохастичної поведінки”, державний реєстраційний № 0104U000714.

Мета і задачі дослідження. Метою дисертаційної роботи є розробка методики та методів обробки експертних даних.

Задача: розробка методів математичної обробки даних експертизи з метою підвищення точності результатів експертного дослідження якості АСУТП та комплексів різного призначення.

Об'єкт дослідження: експертні методи отримання інформації.

Предмет дослідження: методи обробки результатів експертизи.

Методи дослідження:

1) методи статистичного аналізу і попередньої обробки даних;

2) методи класифікації і зниження розмірності;

3) методи математичного моделювання та ідентифікації моделей;

4) методи імітаційного моделювання і прийняття рішень.

Наукова новизна одержаних результатів

1. Запропонований підхід до аналізу та класифікації якості даних, отриманих в процесі експертизи, реалізований у формі методики визначення аномальних експертів.

2. Запропоновано узагальнену модель похибок експертизи, що дає можливість підвищити якість первинної обробки даних.

3. Запропонований ентропійний показник узгодженості суджень експертів, який у порівнянні з традиційними ранговими критеріями узгодженості дає можливість враховувати більший обсяг інформації з вихідних даних для прийняття рішень.

4. Розроблена методика оцінки рівня компетентності експертів за результатами аналізу та обробки даних експертизи.

5. Побудована модель компетентності експерта за результатами аналізу даних експертизи та кластеризації експертів.

Практичне значення одержаних результатів. Результати дисертації впроваджені в тематику НДР “Професійний відбір у Збройні Сили України призовників та кандидатів на військову службу за контрактом”, яка виконувалась у науково-дослідному центрі гуманітарних проблем Збройних Сил України.

Результати наукових досліджень використані у навчальному процесі на кафедрі інформаційної безпеки Фізико-технічного інституту Національного технічного університету України “Київський політехнічний інститут”.

Розроблена система підтримки прийняття рішень, що використовується як інструментальний засіб АРМ фахівця з профвідбору.

Особистий внесок здобувача. Автором запропонована методика обробки експертних даних.

Запропоновано підхід до аналізу та класифікації експертів, реалізований у формі методики визначення аномальних експертів.

Проведені дослідження та створена математична модель компетентності експертів, розроблена методика оцінки рівня компетентності експертів.

Створено імітаційну модель процесу аналізу даних і виявлення аномальних експертів.

Побудована система підтримки прийняття рішень, для ефективної обробки даних експертних опитувань, при наявності “аномальних” експертів.

Апробація результатів роботи. Основні положення і результати дисертаційної роботи доповідалися й обговорювалися на I Міжнародній науково-практичній конференції “Сучасні проблеми управління” у НТУУ”КПІ”, 30 листопада - 1 грудня 2001р.; II Міжнародній науково-практичній конференції “Сучасні проблеми управління” у НТУУ”КПІ”, 27 - 28 листопада 2003р.; III Міжнародній науково-практичній конференції “Сучасні проблеми управління” у НТУУ”КПІ”, 29 - 30 листопада 2005р.; II Всеукраїнській науково-практичній конференції студентів, аспірантів та молодих вчених “Технології безпеки інформації” у НТУУ”КПІ”, 16 квітня 2004р.; IV Міжнародній науково-практичній конференції “Інтернет-Освіта-Наука 2004”, у Вінницькому національному технічному університеті 5 - 9 жовтня 2004р.; Міжнародній науковій конференції “Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій”, Євпаторія, 18 - 21 травня 2005р.

Публікації. Основні результати дисертаційної роботи опубліковані в 6 статтях у наукових фахових виданнях, згідно з переліком ВАК України, 6 тезах доповідей у працях міжнародних науково-технічних конференцій, усього в 12 наукових працях. Роботи написані разом з науковим керівником.

Структура дисертації. Дисертація складається зі вступу, п'яти розділів, висновків, списку використаних джерел з 93 найменувань, додатків. Загальний обсяг роботи становить 160 сторінок машинописного тексту, включаючи 26 рисунків, 29 таблиць.

Основний зміст роботи

У вступі визначена актуальність теми дисертації, сформульована мета досліджень, визначені основні завдання і методи їх розв'язання, викладена наукова новизна та практичне значення одержаних результатів, надано відомості про апробації, публікації та реалізацію роботи.

У першому розділі “Особливості автоматизації технологій управлінської та інформаційно-аналітичної діяльності” на прикладі аналізу технологічних аспектів автоматизації системи профвідбору зроблено спробу проаналізувати та дослідити деякі особливості автоматизації процесів аналітичної і управлінської діяльності в неструктурованих чи погано структурованих системах, зокрема, причини і особливості інтенсивного застосування експертних методів в цій сфері.

Професійний відбір - це процедура дослідження і оцінки придатності особистості до оволодіння спеціальністю і досягнення потрібного рівня майстерності в виконанні своїх професійних обов'язків, основним елементом якої є психологічна діагностика і прогнозування наявності у людини визначених професійно важливих якостей (ПВЯ), що забезпечують індивідуальні передпосилки придатності до визначеного виду професійної діяльності. Проблема вибору виду професійної діяльності - одна з важливих для особистості, однак одночасно це одна з важливих соціальних проблем суспільства, доцільність і соціально-економічна необхідність вирішення якої доведена практикою.

Опитування претендентів відбувається за спеціальною тест-методикою. Потім дані переводяться в комп'ютер і обробляються, далі на основі функції профпридатності, прогнозуються рівні профпридатності кандидатів, що проходять профвідбір, та відбувається відбір кращих кандидатур. Реалізується технологія профвідбору виконанням ряду робіт в вигляді послідовності модулів . При зміні виду професійної діяльності, для якої здійснюється профвідбір, склад, призначення і послідовність модулів, що реалізують профвідбір, не змінюються. Відбувається лише перепобудова комплексу тестових методик відповідно змінам в наборі ПВЯ, а також складу і параметрів функції прогнозу профпридатності.

Якщо зміна виду спеціальностей тягне за собою мобільну перебудову операцій профвідбору, маємо гнучку виробничу систему (ГВС), що включає в себе наряду з вже розглянутими додатковий модуль - базу даних, що зберігає необхідну інформацію про можливі розширення набору ПВЯ і множину функцій профпридатності . В свою чергу, ГВС психологічної діагностики - складова частина гнучкого автоматизованого виробництва (ГАВ), в якому інтегровані системи, що забезпечують швидку перебудову ГВС і функціонування всього ГАВ в цілому.

Досвід практичної реалізації процедур профвідбору показав, що найбільш трудомісткою і складною в інформаційно-аналітичному аспекті є стадія підготовки виробництва, що вимагає проведення значного обсягу спеціальних науково-дослідних робіт, технологічного проектування і технологічної підготовки виробництва. Найбільший обсяг робіт приходиться на частку наукових досліджень, які фактично інтегрують в собі дві інші складові підготовки. Типізація методів, що використовуються в ГАВ, привела до наступного набору методів: первинної статистичної обробки даних; багатовимірного аналізу; структурно-параметричної ідентифікації; розпізнавання образів; кластерного аналізу; дослідження операцій; експертних оцінок. Практично за всіма позиціями наведеного вище переліку існує достатньо добре відпрацьоване і перевірене практикою методичне і програмне забезпечення, виключення складає остання група методів - експертні методи. Слід зазначити, що застосування експертних методів останнім часом істотно зросло і широко представлено в різних задачах: управління проектами, управління ризиками, аудит безпеки, тощо. Побіжний аналіз цих задач показує, що фактично всі вони пов'язані із практичним застосуванням так званих новітніх інформаційних технологій та їх використанням для автоматизації розв'язку погано структурованих проблем та задач в сфері представлення знань, аналітичній і управлінській діяльності тощо.

Недостатня формалізація окремих елементів інформаційно-аналітичних технологій, відсутність чітких моделей прийняття рішень спричиняють до можливого виникнення “вузьких” місць у функціонуванні автоматизованих систем. Часто єдиною можливістю оперативної нейтралізації цих “вузьких” місць є застосування апарату експертних оцінок. Логіка самого процесу автоматизації інформаційно-аналітичних процедур обробки даних (оперативність, швидкодія, незначні фінансові витрати) виключає можливість застосування складних експертиз, що гарантують високу надійність та якість отриманих експертних висновків, потребуючи, зокрема, значних часових витрат і суттєвого фінансового забезпечення. Тому основним робочим інструментом стають прості експертизи, якість результатів яких не завжди задовільна. Зважаючи на те, що помилки експертизи можуть звести нанівець роботу усієї АСУТП, очевидною стає необхідність математичної обробки результатів, отриманих на виході простих експертиз. Ця обробка має забезпечити високу якість кінцевих експертних даних, бути достатньо оперативною і виконуватися користувачем.

У другому розділі “Математичні методи підвищення інформативності даних багатооб'єктної експертизи” розглянута процедура виділення професійно-важливих якостей при побудові процедури професійного відбору для кожної нової спеціальності. Виділення ПВЯ є однією з найвідповідальніших задач, що, виконуючись на стадії розробки технологій профвідбору, потребує застосування методу експертних оцінок. Тому саме на прикладі розв'язання цієї задачі доцільно розглянути проблеми, що виникають при обробці результатів експертного опитування, та способи їх вирішення.

Механізм виділення ПВЯ полягає у наступному. Групі експертів пред'являється перелік якостей особистості, заздалегідь підібраних для певної досить широкої соціально-професійної сфери. Відповідно до методики опитування експерти визначають свою точку зору із приводу значимості (важливості) тієї або іншої якості для конкретного виду діяльності, характеризуючи цю якість в -бальній шкалі ,, де відповідає найвищому рівню значимості. Отримані результати групової експертизи склали деяку сукупність вихідних даних , представлену матрицею розміром , де - кількість винесених на експертний розгляд якостей, - чисельність експертів:

(1)

де - оцінка важливості i-ої якості, виставлена j-им експертом. Елементи матриці можуть приймати значення від 0 до , де .

Спираючись на отримані експертні дані, з загальної множини якостей-претендентів відбирали підмножину якостей , , професійно-важливих для заданого типу діяльності. Розв'язання цієї задачі базується на ранжуванні середніх значень

, , (2)

розрахованих для кожної з якостей-претендентів, з наступним виокремленням за певним критерієм групи якостей, що і утворюють підмножину . Коли ранжування виконується в порядку зменшення середніх значень, то виокремленню підлягає група якостей, середні значення котрих мають найнижчі ранги . Іноді, якщо загальний перелік Я включає в себе кілька груп якостей , кожна з яких - окрема множина, що є функціональною складовою загальної структури якостей (причому , , , тобто ), то за обраною методологією у кожній групі виділяються якості-претенденти з найменшими для цієї групи рангами відповідних середніх значень.

Точність розв'язання задачі виділення групи ПВЯ істотно залежить від послідовності розташування якостей в ранжованому ряді їх середніх значень, на що можуть суттєво впливати аномальні оцінки, проставлені окремими експертами. Аналіз реальних даних експертизи свідчить про наявність в них значної кількості аномальних оцінок, внаслідок чого розподіл цих даних суттєво відрізняється від традиційних уявлень про його форму, характеризується багатомодовістю і підвищеним рівнем дисперсії. Аномалії зазвичай є наслідком наявності в групі експертів з низьким рівнем компетентності. Вивчення особливостей розподілу оцінок, отриманих від аномальних експертів, дозволяє припустити існування кількох можливих стратегій їх поведінки: “жорсткий експерт” -виставляє занижені оцінки, у зв'язку з чим розподіл оцінок локалізується в нижній (початковій) частині шкали оцінок (рис.2, E1); “ліберальний експерт” -побоюючись випадково відкинути суттєву якість, завищує свої оцінки, внаслідок чого вони концентруються в верхній частині шкали (рис.2, E2); “випадковий експерт” - оцінює рівні важливостей окремих якостей абсолютно довільно, можливо не бажаючи заглиблюватися в зміст завдання, в результаті такі оцінки досить рівномірно розподілені в діапазоні вимірювань (рис. 2, E4).

Рис. 2. Розподіл оцінок експертів E1, E2, E4

Спираючись на наведені вище описові моделі аномальних експертів, введено ряд статистик, сукупний аналіз яких дозволяє виявити та оцінити рівень аномальності дій окремого експерта:

- середній бал -ого експерта

(3)

- відхилення від загального середнього

(4)

де - загальний середній бал експертизи,

- вибірковий другий початковий момент для даних -ого експерта

(5)

- вибіркова дисперсія

(6)

- оцінка ентропії , розрахована для кожного експерта.

(7)

Після виявлення та ідентифікації аномального експерта його дані виключаються із загальної таблиці результатів експертизи. Доцільність виключення даних кожного з експертів, що підозрюються на аномальність, визначається ентропією таблиці нев'язок розрахованих для середніх , обчислених після виключення аномальних даних:

(8)

(9)

де - абсолютна частота розподілу елементів матриці на сукупності інтервалів варіювання I1,…,I9,…,I18 нев'язок.

Щоб визначити суттєвість впливу виключень даних на наслідки подальшої обробки результатів експертизи, наприклад, виділення групи ПВЯ, введено міру змін в структурі ранжованого ряду, побудованого за скороченою вибіркою даних (після виключення аномальних даних). У якості цієї міри обрано значення статистики інверсій елементів ранжованого ряду. Визначено межі змін цієї статистики та характер розподілу її значень.

Зважаючи, що для реальних даних експертизи виключення підозрюваних на аномальність даних призвело до вельми суттєвих змін статистики інверсій, запропоновану евристичну методику виявлення аномальних експертів було перевірено застосуванням кластерних методів класифікації експертів, наслідком яких знов-таки стало виділення груп аномальних експертів. В цих методах кожного експерта було представлено точкою (образом) в багатовимірному просторі: в М-вимірному (за кількістю експертованих кожним експертом якостей), в L-вимірному (за кількістю інтервалів варіювання бальних оцінок кожного з експертів), в 4-вимірному (за кількістю введених вище характерних ознак , , , поведінки (дій) експерта у ході експертизи).

Застосування кластерних методів класифікації експертів дало результати, що добре співпали з вихідною евристичною методикою виявлення та ідентифікації аномальних експертів.

В третьому розділі “Імітаційне моделювання процесу обробки результатів експертного оцінювання” проведено імітаційний експеримент, сутність якого полягає в перевірці працездатності запропонованих методик (методики евристичні, математичного доведення немає), тобто штучно відтворена вибірка експертних даних, для якої на заздалегідь відомий тестовий профіль “правильних” оцінок накладено шуми (помилки експертів), характер яких у кожному окремому випадку дозволяє змоделювати той чи інший тип поведінки експерта в процесі експертизи. Таким чином за допомогою тестового прикладу представлено у “експериментальних” даних різноманітні моделі експертів. Сформовано матрицю вихідних даних, в якій представлено дані, що відповідають слідуючим моделям експертів: правильні, ліберальні, жорсткі, випадкові та змішані. Проведено обробку даних, та виконано порівняння отриманих результатів з реальним тестовим профілем даних, тобто проведено прозорий експеримент.

Обробка штучно сформованих модельних даних за наведеними у другому розділі методиками дає змогу об'єктивно визначити практичну ефективність та дієвість розроблених методик через кількісну оцінку рівня співпадіння результатів обробки з заздалегідь відомим реальним профілем тестових даних.

У четвертому розділі “Формально-теоретичні аспекти оцінювання ступеня узгодженості суджень експертів та рівнів їх компетентності” розв'язувалися слідуючи задачі:

1) автоматизацію процедури визначення претендентів на аномальність експертів, яка дозволяє достатньо просто виявляти аномальних експертів;

2) визначення моменту припинення процесу пошуку та видалення аномальних експертів.

Для розв'язання другої задачі необхідне введення міри рівня узгодженості суджень експертів (виключення аномальних експертів суттєво підвищує рівень узгодженості суджень множини експертів, що залишилися). При визначенні рівня узгодженості суджень експертів значення ентропії , розраховане за конкретною теоретичною моделлю розподілу похибок експертів, зіставляється з вибірковою оцінкою ентропії матриці нев'язок. Відношення може служити мірою узгодженості суджень експертів. Ця методика базується на уточненій моделі похибок експертних даних, що припускає лапласовий розподіл цих похибок, що, зокрема, дозволяє розрахувати можливі граничні значення ентропії похибок, необхідні для оцінки рівня узгодженості суджень експертів. Припущення про розподіл Лапласа витікає з традиційного положення про нормальний розподіл помилок експертів та експериментально встановлений факт про випадковий характер дисперсії , розподіл якої близький до закону Релея . Тому в цілому для всієї сукупності помилок експертів маємо щільність розподілу помилок експертів, визначену зваженим усередненням безлічі функцій виду :

, (10)

де ,

, (11)

тобто - це розподіл Лапласа.

В таблиці 1 вміщено дані розраховані за сімома вибірковими сукупностями: за вихідними експертними даними (групи експертів Б, від 18 експертів) та за вибірками меншого обсягу, отриманими після виключення підозрюваних на аномальність експертів.

Таблиця 1 Порівняння вибіркових оцінок ентропії з теоретичними значеннями для виборок різного обсягу

N	18	11	10	10	9	9	8
	6,96	5,45	5,65	6,0	6,0	5,36	4,85
	2,0217	1,842	1,8217	1,8084	1,7925	1,8232	1,7623
	1,744	1,622	1,64	1,67	1,67	1,6137	1,5637
	2,389	2,2667	2,285	2,315	2,315	2,258	2,2083
	0,8626	0,8806	0,900	0,923	0,9317	0,8851	0.8873
	1,1817	1,231	1,254	1,28	1,291	1,238	1,253

Спадний ряд кількостей залишившихся експертів: 18, 11, 10,…, наведений у першому рядку (N) табл.1. Другий та третій рядки табл.1. складається з вибіркових оцінок дисперсії та ентропій відповідних сукупностей, четвертий та п'ятий - з теоретичних значень ентропій , лапласової та гаусової випадкової величини.

Аналізуючи низки значень, що відповідають показникам , , бачимо, що послідовність кількісних оцінок першого з них (шостий рядок) сягає максимуму до п'ятого експерименту (дев'ять виключених експертів), де значення цього показника близькі до 1, тобто розподіл вибіркової сукупності у цьому випадку добре апроксимується лапласовим розподілом. Розташовані лівіше та правіше відносно результату п'ятого експерименту оцінки відношення мають менші значення. Це пояснюється тим, що знайдені для них вибіркові ентропії значно перевищують відповідні теоретичні значення , що, в свою чергу, пояснюється відмінностями розподілу виборок, за якими розраховувалися ці ентропії, від лапласового розподілу. Лівіші виборки мають розподіл, деформований даними аномальних експертів, правіші - тяжіють до розподілу з більш сталими, однорідними значеннями дисперсій, ближчим за своїм характером до гаусового (нормального) розподілу.

Таким чином, відслідковуючи поточні значення відношення , за їх максимумом можна визначити момент припинення вилучення експертів через підозру їх причетності до аномальних.

Вирішення задач підбору експертів і організації обробки даних колективної експертизи пов'язане з проблемою некомпетентності експертів, хоча шляхи подолання цієї проблеми для кожної задачі свої: в першому випадку - недопуск в групу низькокваліфікованих експертів, в другому - облік рівня компетентності експерта в спеціально розроблених методиках обробки результатів експертизи. Обидві ці задачі потребують визначення рівня компетентності експертів.

Тому актуальною є задача розробки методики, що дозволяє оцінити рівень компетентності експерта з отриманих в ході експертизи даних безпосередньо за результатами аналізу цих даних.

Упевнена ідентифікація кластера “нормальних” експертів вимагає деякої опорної інформації про характеристики експертів, що входять до цього кластеру. В якості подібної інформації зручно використовувати раніше згадані ознаки, що використовуються для типізації експертів: вибіркові моментні характеристики, емпіричні розподіли, інші індивідуальні характеристики, що розраховуються для кожного експерта окремо. Якщо припустити, що сукупність таких характеристик, представлені вектором , містить у собі певну інформацію про рівень компетентності експерта, то можна спробувати побудувати модель компетентності експерта у вигляді залежності:

, (12)

Оцінки рівня компетентності знаходимо за результатами кластерного аналізу експертних даних у -мірному ознаковому просторі з евклідовою метрикою, де кожному об'єкту класифікації (експертові) відповідає точка з координатами , що називається образом -того експерта. Для цього після виділення кластера нормальних експертів визначаються координати його центра , а потім оцінюються відстані між центром й образом кожного з експертів:

, (13)

які потім перетворяться в набори значень оцінок індивідуальних компетентностей експертів ; ( ).

У найпростішому випадку модель (12) може бути описана лінійною регресією:

(14)

Перевірити наскільки вдала гіпотеза про форму моделі (12) можна, виконавши ідентифікацію цієї моделі за реальними даними й оцінивши її працездатність шляхом зіставлення результатів модельних досліджень із висновками, отриманими із застосуванням уже відпрацьованих методів дослідження. Для цього скористаємося розглянутою в розділі 2 задачею обробки експертних даних, в якій результати колективної експертизи, отримані групою з експертів, представлені прямокутною матрицею розміру . Для аналізу результатів експертизи досліджуються відхилення оцінок кожного з експертів від середніх по рядку значень:

,

зведені в матрицю, аналогічну за своєю структурою матриці (1).

При ідентифікації моделі (12) у якості факторів, що використовуються для формування регресорів у виразі (14), виберемо вже розглянуті нами раніше показники , , , , індивідуально характеризуючи дії кожного з експертів.

За результатами аналізу й обробки даних експертних опитувань в роботі отримана модель компетентності експерта, застосування якої дозволяє значно спростити процедуру оцінки компетентності і відпадає необхідність виконання досить складної процедури кластерного аналізу, результати якої не завжди допускають легку й прозору інтерпретацію отриманих результатів.

Нажаль, сукупність (13) відстаней , які мають провідну роль при побудові моделі компетентності, обраховувалась відносно центра кластера “нормальних” експертів, координати котрого визначені лише приблизно. Це є джерелом систематичних помилок в усіх значеннях , наслідком яких можуть бути суттєві помилки в процесі ідентифікації моделі. Справа в тому, що вибір структури моделі виконується у два етапи (рис.4): спочатку реалізується генерація можливих варіантів перерахунку (перший етап), потім - власне побудова моделі компетентності шляхом перебору можливих варіантів моделей за кожним (другий етап). Помилки в призводять до зсунень відповідних значень , тобто вплив систематичних відхилень в на структуру моделей компетентності закладається на першому етапі процедури структурної ідентифікації. Позбутися цієї колізії можна за допомогою імітаційного експерименту на зразок того, що вже був проведений вище, зміст якого полягає в наступному.

Для відомого положення центру кластера “нормальних” експертів з координатами , які задаються у ході планування імітаційного експерименту, генеруються дані експертизи, що імітують дані, отримані від експертів різного рівня компетентності і мають відповідні характеристики , , , та точно розраховані відстані . Вплив розглянутих вище систематичних похибок на підбір структури моделі компетентності у цій ситуації виключений, тому можна сподіватися на отримання більш точної структури моделі, що детальніше враховує певні особливості (12). В такій ситуації можливе переускладнення моделі, внесення до неї структурної надмірності, що звичайно тягне за собою нестійке оцінювання параметрів моделі, зокрема, швидке зростання дисперсій оцінок параметрів. Запобігти цьому можна через одночасний контроль якості як структурної, так і параметричної ідентифікації, що реалізується застосуванням спеціальних складених (комплексних) показників якості структурно-параметричної ідентифікації, які контролюють як точність моделі, так і сталість її коефіцієнтів. Одним з таких показників є функціонал виду:

(15)

де (16)

який звичайно застосовується при підборі моделей в класі лінійних регресій типу (13).

Переускладнення моделі, поява в ній незначущого регресора при коефіцієнті (або кількох незначущих регресорів) характеризується ситуацією, за якою , а дисперсія цієї оцінки , відношення стає великим (навіть аномально великим). Дисперсія інших коефіцієнтів теж починає збільшуватися і перша складова в (15) загалом зростає. Одночасно ускладнення, як і переускладнення моделі веде до зменшення нев'язок моделі за модулем:

, (17)

тобто чисельник другої складової в (15) зменшується. Знаменник цієї складової - стала величина, що має нормуюче призначення.

Загалом при поелементному ускладненні моделі типу (13), починаючи з явно загрубленого варіанту структури, маємо наступну картину: початкове виправдане ускладнення моделі призводить до зменшення другої складової при незначних змінах першої, що веде до стрімкого зменшення значень . При достатньому ускладненні моделі темпи зменшення уповільнюються, а з переускладненням моделі показник починає збільшуватися через стрімке зростання його першої складової, тобто мінімум дозволяє зафіксувати стан “оптимальної” складності моделі. Слід зазначити, що при цьому суттєвим є вдалий вибір вагового коефіцієнту , який визначає компроміс між вимогами до точності моделі (її апроксимативними можливостями) та умовами сталості процедури параметричної ідентифікації. При побудові моделі в імітаційному експерименті, зважаючи на відсутність помилок в значеннях , пріоритетні вимоги було виказано апроксимативним характеристикам моделі , що мало на межі більш детально визначити її структуру, яка б забезпечила високий рівень адекватності моделі вихідним даним.

В табл.2 наведено кращі моделі за чотирма варіантами перерахунку . Як бачимо, за всіма параметрами (, його складові) четверта модель переважає інші. Другою за якістю є перша модель, однак в неї найгірші показники сталості оцінювання параметрів.

Таблиця 2 Порівняння отриманих моделей

Функціональна залежність компетентності від відстаней	Модель компетентності у вигляді	Коефіцієнт детермінації	Оцінка якості моделей
				Перша складова	Друга складова
		0,81	0,2556	0,0301	0,2255
		0,806	0,6636	0,0191	0,6445
		0,904	0,3248	0,0198	0,3050
		0,957	0,04684	0,00364	0,0432

До позитивних якостей визнаної кращою моделі:

(18)

слід віднести форму використаної в ній залежності , яка має сигмоїдний характер (за іншою термінологією є S-подібною, логістичною залежністю) із значною практично лінійною ділянкою, що дозволяє спростити ранжування експертів за рівнями компетентності. Як варіант, проведемо поділ експертів на п'ять умовні груп: висококваліфіковані, нормальні, середньої кваліфікації, низькокваліфіковані та аномальні експерти. На групи відмічені сірим кольором різної інтенсивності (темна зона відповідає групі висококваліфікованих експертів, найсвітліша - аномальним тобто таким, що фактично не проводять об'єктивного оцінювання різних ознак).

Очевидно, що задовольнитися якоюсь єдиною формою моделі компетентності й беззастережно застосувати її для автоматичного визначення аномальних експертів не є прийнятним засобом гарантованого вирішення проблеми аномальних експертів. Більш виваженим її розв'язком буде підхід, що базується на використанні кількох модельних форм та розрахованих за ними оцінок компетентності експертів. Прийняття остаточного рішення за цими даними має залишитися за обробником, точніше за особою, що приймає рішення.

У п'ятому розділі “Розробка системи підтримки прийняття рішення для обробки результатів експертизи” розглянута реалізація системи підтримки і прийняття рішення (СППР), яка дозволяє проводити обробку даних, сформувати гіпотезу про аномальність того чи іншого експерта, перевірити її та прийняти остаточне рішення.

На вхід СППР з системи збору та зберігання експертних даних подаються дані результатів відповідей експертів на питання анкети опитувальника. На першому етапі особа, що приймає рішення, приймає рішення щодо вибору способу попередньої обробки вхідних даних (виявлення аномальних експертів), що знаходяться в базі знань. На другому етапі, вхідні дані, з вилученими оцінками зробленими аномальними експертами, поступають до модулю розрахунку для ранжирування та виділення істотних якостей.

Програмна реалізація системи підтримки прийняття рішень є кінцевим практичним результатом дисертаційної роботи. Результати розробки доведено до рівня практичного застосування, інтерфейс системи забезпечує в цілому достатньо комфортні умови роботи користувача з СППР.

Побудована система підтримки прийняття рішень, що дозволяє ефективно обробляти дані експертних опитувань, при наявності “аномальних” експертів, її перевагами є простота та зручність користування, наглядність. Реалізована підсистема попередньої обробки даних дозволяє виявити й виключити недостовірні дані з обробки, підвищити точність й інформативність результатів експертного опитування й, як наслідок, ефективність самої експертизи.

У додатках наведено огляд найбільш поширених експертних методів та методів підвищення точності даних експертного оцінювання.

Висновки

Основним результатом дисертаційної роботи є розробка та дослідження методів обробки даних експертного оцінювання, зокрема:

1. Розроблена евристична методика пошуку та ідентифікації експертів, чиї оцінки мають аномальний характер.

2. Розроблена комплексна методика визначення аномальних експертів, що базується на класифікації результатів експертного оцінювання методами кластерного аналізу.

3. Запропоновано критерій для оцінювання суттєвості структурно-якісних змін вихідної сукупності експертних даних, обумовлених застосуванням до цієї сукупності методів первинної обробки.

4. Запропоновано та досліджено уточнену модель помилок в експертних даних.

5. Отримано та досліджено ентропійний критерій ступеню узгодженості суджень експертів.

6. Розроблено методику оцінювання рівня компетентності експертів та визначено базові варіанти структури моделі компетентності експерта.

7. Достовірність одержаних результатів перевірена за допомогою створеної імітаційної моделі.

8. З метою полегшення діяльності особи, що приймає рішення, реалізована система підтримки і прийняття рішень.

9. За результатами проведених досліджень впроваджено практичні рекомендації в НДР “Професійний відбір кандидатів на військову службу за контрактом”, яка виконувалась у науково-дослідному центрі гуманітарних проблем Збройних Сил України, що дозволило поліпшити якість підбору кадрів в складну ієрархічну систему Збройних Сил України.

Список опублікованих праць за темою дисертації

1. Архипов А.Е., Архипова С.А., Носок С.А., Пишко И.В. Применение методов классификации в задаче обработки данных экспертного опроса // Радіоелектроніка. Інформатика. Управління. Науковий журнал. - Випуск 2 (10) 2003. - Запоріжжя: ЗНТУ, 2003. - С. 104-108.

(Дисертанту належить розробка методики обробки експертних даних).

2. Архипов А.Е., Архипова С.А., Носок С.А. Применение кластерного анализа для структурирования данных экспертного опроса // Адаптивні системи автоматичного управління. Міжвідомчий науково-технічний збірник. - № 6 (26) 2003. - Дніпропетровськ: Системні технології, 2003. - С. 55-61.

(Дисертантом запропоновано застосування кластерного аналізу - як одного з методів виявлення аномальних даних).

3. Архипов А.Е., Архипова С.А., Носок С.А. Технологии экспертного оценивания в задачах защиты информации // Інформаційні технології та комп'ютерна інженерія. Міжнародний науково-технічний журнал. - № 1, 2005. - Вінниця: ВНТУ, 2005. - С. 89-94.

(Дисертантом розглянуто застосування експертних методів в інформаційній безпеці).

4. Архипов А.Е., Носок С.А. Вопросы технологического обеспечения задач профотбора // Адаптивні системи автоматичного управління // Міжвідомчий науково-технічний збірник. - Дніпропетровськ: Системні технології. 2005, №8(28). - С. 67-72.

(Дисертантом описано можливість представлення процесу професійного відбору як гнучкої виробничої системи, що об'єднує проблемно-орієнтований комплекс технічних засобів, інформаційного і програмного забезпечення).

5. Архипов А.Е., Архипова С.А, Носок С.А. О построении модели компетентности эксперта // Системні технології. Регіональний міжвузівський збірник наукових праць. - Випуск 1(42). - Дніпропетровськ, 2006. - С. 99 - 106.

(Дисертантом запропонована методика оцінки рівня компетентності експертів і модель компетентності).

6. Архипов А.Е., Архипова С.А., Носок С.А. Энтропийный подход к оцениванию согласованности суждений экспертов // Адаптивні системи автоматичного управління // Міжвідомчий науково-технічний збірник. - Дніпропетровськ: Системні технології. 2007, №10(30). - С. 8-14.

(Дисертантом запропоновано визначення моменту припинення процесу пошуку та видалення аномальних експертів використовуючи ентропійний підхід).

7. Архипов А.Е., Архипова С.А, Носок С.А. Особенности обработки данных в тестовых системах контроля знаний // Матеріали I міжнародної науково-практичної конференції “Сучасні проблеми управління”. - Київ: НТУУ”КПІ”. - 2001. - С. 295 - 296.

(Дисертантом розглянуто особливості побудови систем тестування для задач профвідбору).

8. Архипов А.Е., Архипова С.А, Носок С.А., Ткаченко Т.П. Применение методов классификации к задачам социологического исследования // Матеріали II міжнародної науково-практичної конференції “Сучасні проблеми управління”. - Київ: НТУУ”КПІ”. - 2003, Ч.1. - С. 96 - 97.

(Дисертантом розглянуто особливості задачі класифікації стосовно задач профвідбору).

9. Архипов А.Е., Архипова С.А., Архипова Е.А., Носок С.А. Определение уровня компетентности экспертов по результатам анализа данных экспертного оценивания // Матеріали III міжнародної науково-практичної конференції “Сучасні проблеми управління”. - Київ: НТУУ”КПІ” ФС, 2005. - С. 275 - 276.

(Дисертантом запропоновані вербальні моделі поведінки експертів в процесі проведення експертизи).

10. Архипов А.Е., Архипова С.А., Носок С.А. Технологические аспекты обеспечения системы профессионального отбора // Матеріали III міжнародної науково-практичної конференції “Сучасні проблеми управління”. - Київ: НТУУ”КПІ” ФС, 2005. - С. 276 - 277.

(Дисертантом описана можливість представлення системи профвідбору як гнучкої виробничої системи).

11. Носок С.А., Архипов А.Е. СППР для обработки данных експертного опроса // Матеріали міжнародної наукової конференції “Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій”. - Євпаторія, 2005. - С. 105 - 107.

(Дисертантом запропонована система підтримки прийняття рішень для обробки даних).

12. Arhipov O., Arhipova S., Nosok S. Expert evaluation technologies in the information security problem // the fourth international conference “Internet - Education - Science - 2004” (IES-2004). - Vinnytsia: VNTU, 2004. - 462 - 464 pp.

(Дисертантом розглянуті проблеми експертних технологій в інформаційній безпеці).

Анотації

Носок С.О. Методи обробки експертних даних в задачі автоматизації профвідбору. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.07 “Автоматизація технологічних процесів”. Національний технічний університет України “Київський політехнічний інститут”, Київ, 2007.

Дисертаційна робота присвячена розробці методики та методів обробки експертних даних.

В роботі побудована математична модель даних, отриманих за результатами групового експертного опитування та відповідні моделі експертів. Запропонована узагальнена модель похибок експертизи, що дає можливість підвищити якість первинної обробки даних. Розроблена методика оцінки рівня компетентності експертів за результатами аналізу та обробки даних експертизи і представлена модель компетентності. З метою перевірки достовірності отриманих результатів була запропонована імітаційна модель. Розроблено комплекс спеціального програмно-алгоритмічного забезпечення обробки даних групової експертизи, що реалізує запропоновану методику. Результати проведених наукових досліджень використані у науково-дослідній роботі.

Ключові слова: професійно-важливі якості, експерт, професійний відбір, гнучка виробнича система, гнучне автоматизоване виробництво, система підтримки прийняття рішень, компетентність.

Носок С.А. Методы обработки экспертных данных в задаче автоматизации профотбора. - Рукопись.

Диссертация на соискание учёной степени кандидата технических наук по специальности 05.13.07 “Автоматизация технологических процессов”. Национальный технический университет Украины “Киевский политехнический институт”, Киев, 2007.

Целью диссертационной работы является разработка и исследование методов обработки экспертных оценок, полученных в процессе проведения экспертизы на стадии технологической подготовки технологий профотбора. Проблема выбора вида профессиональной деятельности - одна из важных, не только для личности, но и для общества, проблем, целесообразность и социально-экономическая необходимость решения которой доказана практикой. Профессиональный отбор - это процедура исследования и оценки пригодности личности к овладению специальностью (прогнозирование наличия у человека профессионально-важных качеств). В работе рассмотрены особенности применения экспертных методов в современных управленческих и информационно-аналитических технологиях, их достоинства и недостатки.

Предложено применение метода экспертных оценок для выделения профессионально-важных качеств. Проведен анализ поведения экспертов в процессе многообьектной экспертизы, в этом случае анализ данных, полученных от экспертов позволяет определить некоторые характерные черты поведения экспертов в процессе формирования экспертных оценок, которые стают причиной появления аномальных данных, и выделить группу “аномальных” экспертов, среди которых, в свою очередь, можно выделить три типовые модели аномального поведения: “жесткий”, “либеральный”, “случайный”. Предложены 4 показателя: для извлечения аномальных экспертов. Разработаны методики применения кластерного анализа для извлечения аномальных данных.

С целью проверки работоспособности предложенных эвристичных методов поиска и извлечения аномальных экспертов было проведено имитационное моделирование, был предложен тестовый пример в котором представлены разные модели экспертов, обработка и сравнение с реальным профилем данных подтвердили работоспособность и точность работы предложенных методик.

Предложен энтропийный подход к оценке уровня согласованности суждений экспертов позволяющий сформировать эту оценку без потерь информативности, которые имеют место при применении распространенного на практике рангового показателя согласованности - коэффициента конкордации. Применение энтропийного подхода к обработке реальных данных базируется на уточненной модели погрешностей экспертных данных, предполагающей лапласово распределение этих погрешностей, что, в частности, позволяет рассчитать возможные предельные значения энтропии погрешностей, необходимые для оценки уровня согласованности суждений экспертов.

Получены базовые варианты структуры модели компетентности эксперта, позволяющие значительно упростить процедуру оценки компетентности и отказаться от сложной процедуры кластерного анализа, результаты которой не всегда допускают легкую и прозрачную интерпретацию полученных результатов, в частности объективное выделение кластера ”нормальных” экспертов. Построена система поддержки принятия решений, позволяющая эффективно обрабатывать данные экспертного опроса, при наличии “аномальных” экспертов.

Ключевые слова: профессионально-важные качества, эксперт, профессиональный отбор, гибкая производственная система, гибкое автоматизированное производство, система поддержки принятия решения, компетентность.

Nosok S.O. Expert data processing methods in automation of occupational selection. - Manuscript.

Dissertation for the scientific degree of Candidate of Technical Sciences on specialty 05.13.07 “Automation of Technological Processes”. National Technical University of Ukraine ''Kyiv Polytechnic Institute'', Kyiv, 2007.

The dissertation work deals with development of expert data processing methods and methodology.

The work develops mathematical data model, received based on group expert poll results, and respective expert models. Generalized model of expert errors, which permits to improve primary data processing, has been offered. Methodology of expert competency level assessment based on the results of expert data analysis and processing has been developed; competency model has been introduced. Simulated model for the purpose of verification of the received results consistency has been offered. Complex of special program-algorithmic support for group expertise data processing, which implements the offered methodology, has been developed. The results of the scientific research have been used in the research work.

Key words: properties of occupational importance, expert, occupation selection, flexible manufacturing system, flexible automated manufacturing, decision support system, and competency.

Размещено на Allbest.ru

...