Інформаційні технології багатокритеріального експертного оцінювання альтернатив у соціальних системах

Размещено на http://www.allbest.ru/

Національна академія наук України

Інститут проблем математичних машин і систем

Автореферат

дисертації на здобуття наукового ступеня кандидата технічних наук

05.13.06 - Інформаційні технології

Інформаційні технології багатокритеріального експертного оцінювання альтернатив у соціальних системах

Вдовиченко Ірина Никифорівна

Київ - 2008

Дисертацією є рукопис.

Робота виконана в Інституті проблем математичних машин і систем НАН України.

Науковий керівник кандидат технічних наук, старший науковий співробітник Косолапов Володимир Леонідович, Інститут проблем математичних машин і систем НАН України, провідний науковий співробітник

Офіційні опоненти:

доктор технічних наук, професор Литвинов Віталій Васильович, Інститут проблем математичних машин і систем НАН України, завідувач відділу

кандидат технічних наук, старший науковий співробітник Ігнатенко Петро Петрович, Інститут програмних систем НАН України, завідувач відділу

Вчений секретар спеціалізованої вченої ради, кандидат технічних наук Ходак В.І.

Анотація

інформаційний багатокритеріальний експертиза

Вдовиченко І.Н. Інформаційні технології багатокритеріального експертного оцінювання альтернатив у соціальних системах. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за

спеціальністю 05.13.06 - Інформаційні технології. - Інститут проблем математичних машин і систем НАН України, Київ, 2008.

Дисертаційна робота присвячена розробці теоретичних та методологічних засад створення й застосування інформаційної технології комбінованого багатокритеріального експертного оцінювання альтернатив, що використовується для формування експертної групи.

Розроблено методологію експертного вибору. Систему процесу формування експертної групи представлено як сукупність модулів. Побудовано математичну модель кожного модуля. Запропоновано схему агрегації результату. Розроблено оцінну систему, критерії оцінки, групи критеріїв. Розроблено комбінований метод багатокритеріального експертного оцінювання альтернатив та створено інформаційно-аналітичну систему ФОРЕГ для його реалізації. Запропоновано комплексну технологію проведення соціологічної експертизи, збору даних та аналізу результату. Для реалізації технології розроблено інформаційно-аналітичний комплекс "Тестування експертів".

Результати виконаного соціолого-експертного дослідження проблем запровадження Болонської конвенції в Україні, підтвердили правильність формування експертної групи. Представлено аналіз стану питання запровадження Болонської конвенції в Україні.

Ключові слова: багатокритеріальне експертне оцінювання, критерії оцінки, комплексний метод, експертні методи, статистичні методи, агрегована оцінка.

Аннотация

Вдовиченко И.Н. Информационные технологии многокритериального экспертного оценивания альтернатив в социальных системах. - Рукопись.

Диссертация на соискание научной степени кандидата технических наук по специальности 05.13.06 - Информационные технологии. - Институт проблем математических машин и систем НАН Украины, Киев, 2008.

Диссертационная работа посвящена разработке теоретических и методологических основ создания и применения информационной технологии комбинированного многокритериального экспертного оценивания альтернатив, применяемой для формирования экспертной группы.

Подчеркнута актуальность применения экспертных методов для оценки состояния общества и динамики его изменений. Предложена классификация форм экспертного опроса. Проанализированы вопросы состояния развития информационных систем в социологии. Выявлено недостаточное использование ИС в социологических исследованиях.

На основании проведенных исследований и сравнительного анализа сформулирована задача разработки методологии формирования экспертных групп, базирующаяся на многокритериальном экспертном выборе альтернатив. Определены пути решения задачи по созданию информационно-аналитической системы для многокритериального выбора, разработки и применения технологии комплексного метода для сбора и обработки экспертной информации с целью анализа и прогнозирования сложных социальных систем.

Построена структурная схема системы многокритериального выбора альтернатив для формирования экспертной группы в социальных исследованиях. Разработана схема информационных потоков в системе. Построена функциональная схема системы формирования экспертной группы. Предложена математическая модель системы, базирующаяся на теории многокритериальной оптимизации, теории принятия решений, методах математической статистики.

Разработана оценочная система для многокритериального экспертного оценивания. Сформированная оценочная система состоит из: 26 критериев, которые характеризуют альтернативы; шкал для оценки сравнительной важности критериев; шкал для оценки сравнительной важности 5 групп критериев; вербально-числовых шкал для оценки альтернатив по критериям. Выполняя декомпозицию и классификацию критериев, сформировали группы: профессиональных признаков; творческих признаков; эмоциональных признаков; волевых признаков; эвристических признаков. Предложено и обосновано использование шкал качественных признаков: порядковой шкалы и шкалы наименований. Разработаны процедуры определения весовых коэффициентов критериев для отбора альтернатив.

Разработана и проанализирована методика комплексного многокритериального экспертного оценивания альтернатив. Использование методики целесообразно, когда объективные критерии определить трудно или невозможно, когда оценка производится субъективно с учетом объективных данных. Предложено использование методики КМЭОА для отбора экспертов в экспертную группу. Многокритериальный выбор альтернатив выполняется по 26 критериям. Методика объединяет эвристические и статистические методы. Значения вычисленных показателей весомости альтернатив определяются комбинацией экспертных методов, статистических методов, психологических методик. Всего для построения комбинированной методики использовано 30 базовых методов и 3 психологических теста. Для реализации комбинированной методики создана информационно-аналитическая система ФОРЭГ.

Предложена технология проведения социологической экспертизы и анализа результата на основе комбинированного использования экспертных методов сбора информации и статистической обработки. Для реализации технологии создан информационно-аналитический комплекс "Тестирование экспертов". Представлено описание программной реализации, приведены сведения относительно их внедрения.

Технология и информационно-аналитический комплекс "Тестирование экспертов" апробированы при проведении социологического экспертного исследования проблем внедрения Болонской конвенции в Украине. Методика КМЭОА и информационно-аналитическая система ФОРЭГ апробированы в системе высшего образования Украины, научных учреждениях и промышленных предприятиях.

Рассчитана эффективность использования разработанной информационной технологии и ИАС ФОРЭГ. При полномасштабном внедрении для научно-технической и инновационной экспертизы годовая экономия может составить порядка 8500000 грн., для социальной экспертизы - порядка 110000 грн. в год.

Ключевые слова: многокритериальное экспертное оценивание, критерии оценки, комплексный метод, экспертные методы, статистические методы, агрегированная оценка.

Abstract

Vdovichenko І.N. Information technologies of multicriterion expert estimation of social system alternative. - Manuscript.

The thesis on gaining the candidate degree of technical science in speciality 05.13.06 - information technologies. - Institute of Mathematical Machines and Systems of NAS of Ukraine, Kyiv, 2008.

The increase of social examination efficiency is investigated. Technological and methodical bases of multicriterion expert evaluation of alternatives are developed. Methodology of system research of expert group forming process is developed.

Methodology of expert choice is developed. The system is represented as aggregate of modules. The mathematical model of every module is built. The result aggregation chart is offered. The assessment system, estimation criteria, group of criteria are developed. The complex method of multicriterion expert evaluation of alternatives is worked out and information-analytical system EGF (Expert Group Forming) is created for its realization. Combined technology of sociological examination conducting, data capture and result analysis are offered. For the introduction of technology information-analytical complex “Expert testing” is created.

Experimental sociological investigation of problems of Bologna convention introduction in Ukraine is represented. The results are analyzed, conclusions are made.

Key words: multicriterion expert evaluation, estimation criteria, complex method, expert methods, statistical methods, aggregated estimation.

1. Загальна характеристика роботи

Актуальність теми. Характерною рисою сучасного розвитку інформаційних технологій є безперервне якісне ускладнення сфер їхнього застосування. Розробка технологій автоматизації вирішення складних завдань, керування об'єктами й виробничими процесами дозволило розширити сфери застосування інформаційних технологій на моделювання соціальних систем, прогнозування основних показників динаміки соціальних процесів.

Одним з найважливіших сучасних завдань є порівняння й прогнозування показників соціального стану, наукове передбачення конкретних перспектив розвитку суспільства.

Останнім часом значною мірою зросла важливість задач, коли доводиться приймати компромісні рішення в процесі дослідження складних соціальних об'єктів. Це пояснюється зростанням динамізму навколишнього середовища та розвитком науки і техніки, що спричинив появу великої кількості альтернативних варіантів вибору. За цих умов для прийняття рішень все частіше використовуються процедури експертизи. Експертні методи є ефективним інструментом аналізу соціальних об'єктів, побудови прогнозів, визначення їх якості та цінності. Застосування експертних методів актуальне для оцінки багатьох процесів.

Загальновідомим є факт, що якість експертизи залежить від компетентності виконуючих її експертів. У відомих методах проведення експертизи передбачено, що експертна група вже задана. Недостатньо уваги було приділено питанню підбору експертів. Методика, що забезпечує правильність формування експертної групи, тільки розробляється. З вищезазначеного можна зробити висновок, що жоден з методів, що використовується, не може служити універсальним рішенням питання про вибір експертів. На даний час не існують моделі й алгоритми керування багатокритеріальним вибором експертів. Розробка такої методики, інформаційна її підтримка є досить актуальним завданням, адже від якості експертної групи залежить якість експертизи й правильність прийнятого на її підставі рішення.

Великий внесок у розробку теоретичних і прикладних питань формування різних моделей соціальної експертизи й теорії прийняття рішень внесли: С.Д. Бешелев, Ф.Г. Гурвич, О.І. Ларичев, Б.Г. Литвак, Б.Г. Миркин, А.І. Орлів, В. Парето, В.В. Подиновський, Д.А. Поспєлов, Т. Сааті, Г. Саймон, Г. Фішер, К. Дж. Єрроу. Але розглянута проблема розкрита лише частково, методики, що використовуються не вирішують завдання формування експертної групи. Існує нагальна необхідність у подальшій розробці проблеми, про що неодноразово писали різні автори. Ці факти зумовлюють актуальність дослідження проблеми побудови методики й інформаційних технологій багатокритеріального вибору для прийняття рішень за результатами соціальної експертизи.

Зв'язок роботи з науковими програмами, планами, темами. Роботу виконано в межах науково-дослідних робіт, що виконувалися в Інституті проблем математичних машин і систем Національної Академії Наук України відповідно до координаційного плану найважливіших науково-дослідних робіт із державної науково-технічної програми «Економічні проблеми побудови державності України», а саме: «Створення інтелектуальних інформаційних технологій, моделей, та мовних засобів для систем підтримки прийняття рішень» (2002-2006 рр.), шифр «Експерт», державний реєстраційний номер - 0102U002700. В результаті досліджень автором запропоновано вирішення завдання багатокритеріального вибору й оцінювання альтернатив в процесі вивчення складних соціальних об'єктів і розроблена інформаційно-аналітична система для проведення соціальної експертизи.

Дисертаційна робота пов'язана з науковою роботою, що проводиться в Кременчуцькому університеті економіки, інформаційних технологій і управління за темою "Розробка і дослідження моделей і алгоритмів інтелектуальної підтримки прийняття рішень в умовах неповної визначеності", державний реєстраційний номер - 0106U000059, терміни виконання: 01.01.06 - 01.01.09.

Мета і завдання дослідження. Метою дисертаційної роботи є розробка теоретичних і методологічних засад створення й застосування інформаційної технології комбінованого багатокритеріального експертного оцінювання альтернатив для формування експертної групи з метою підвищення ефективності соціальної експертизи, а також створення комплексної технології проведення соціальної експертизи й обробки її результатів.

Поставлена мета передбачає вирішення таких завдань:

дослідити ефективність існуючих методів і моделей експертного опитування й багатокритеріального вибору;

побудувати модель й алгоритми комбінованого методу для багатокритеріального експертного вибору й аналізу;

розробити інформаційну технологію для багатокритеріального експертного вибору альтернатив для соціальних досліджень;

створити інформаційно-аналітичну систему для комплексної технології проведення соціальної експертизи й аналізу її результатів;

випробувати й оцінити ефективність технологій на конкретному прикладі.

Об'єктом дослідження є технології проведення соціальної експертизи.

Предметом дослідження є інформаційні технології експертного оцінювання альтернатив для формування експертної групи.

Методи дослідження. У дисертаційній роботі використана теорія системного аналізу; теорія багатокритеріальної оптимізації; теорія прийняття рішень; методи кореляційно-регресійного аналізу; методи експертних оцінок; методи математичної статистики; евристичні методи.

Наукова новизна одержаних результатів. У дисертації подане нове рішення наукової задачі багатокритеріального вибору альтернатив для формування експертної групи для соціальних досліджень. У задачі багатокритеріального вибору, що вирішується в даній роботі, використовується комбінація експертних, статистичних, евристичних, психологічних оцінок. У такому аспекті завдання вибору з кінцевої вихідної множини альтернатив у науковій літературі практично не розглядалося. Тому основні результати роботи є оригінальними.

Серед них виділимо такі:

вирішено актуальне наукове завдання розробки моделей, алгоритмів й інформаційної технології для соціальної експертизи;

вперше розроблена й перевірена комбінована методика багатокритеріального експертного оцінювання альтернатив для формування експертної групи, що поєднує 30 базових методів (експертних і статистичних), 6 основних методик, 3 психологічних тести;

вперше розроблена математична модель комбінованої методики багатокритеріального оцінювання альтернатив для формування експертної групи для соціальних досліджень;

запропоновано й обґрунтовано нове рішення науково-практичного завдання побудови інформаційної моделі формування експертної групи;

запропонована й реалізована комплексна інформаційна технологія для збору експертної інформації, аналізу й обробки результатів експертизи; удосконалені методи одержання експертних даних.

Практичне значення одержаних результатів. Розроблена методика і інформаційна технологія вирішує завдання підвищення ефективності соціальної експертизи, прискорює процес прийняття рішень за рахунок оптимального формування експертної групи й об'єктивного оцінювання результатів експертизи. Створено дві інформаційно-аналітичні системи: ФОРЕГ (ФОРмування Експертної Групи) і "Тестування експертів" для реалізації розроблених методики й технології. Використання створеного математичного й програмного забезпечення дозволяє істотно зменшити витрати ручної праці, скоротити час введення результатів експертного опитування в БД, підвищити точність одержаних оцінок, скоротити терміни аналізу даних, одержати науково-обґрунтовані висновки.

Практичне значення результатів підтверджується їх впровадженням, використанням для вирішення низки прикладних задач.

Результати дисертаційної роботи використані на металургійному комбінаті ВАТ "АрселорМіттал Кривий Ріг" як наукові й методичні основи при формуванні банку даних конкурентоспроможності науково-технічного персоналу, нових технологій розвитку персоналу, наукових нововведень для забезпечення ефективності експертного аналізу при ухваленні рішення щодо доцільності їхньої підтримки з метою своєчасного практичного запровадження на підприємстві (Акт впровадження від 24 вересня 2007 р.).

Розроблені в дисертаційному дослідженні методика й інформаційна технологія використовуються в навчальному процесі студентів спеціальності "Гнучкі комп'ютеризовані системи і робототехніка" при вивченні дисципліни "Людино-машинні системи" на кафедрі технічної кібернетики Криворізького інституту Кременчуцького університету економіки, інформаційних технологій і управління (Акт запровадження від 26 червня 2006 р.), також спеціальності "Автоматизоване керування електроприводом" в процесі вивчення дисципліни "Моделювання електромеханічних систем" і спеціальності "Автоматичне керування технологічними процесами й виробництвом" при вивченні дисципліни "Інформаційні технології науково-дослідної діяльності" на кафедрі комп'ютерних систем автоматизованого керування електропроводом Національної металургійної академії України (Акт впровадження від 4 липня 2006 р.).

Розроблені методи й програми використані Криворізькою лабораторією "Науково-дослідного і дослідно-конструкторського інституту автоматизації чорної металургії" в практиці розробки телемеханічних систем дистанційного керування вибуховими роботами на кар'єрах за допомогою дротових і радіоканалів зв'язку з метою визначення найвагоміших показників якості технічних рішень (Акт запровадження від 10 вересня 2006 р.).

На основі розробленої в дисертації інформаційної технології комбінованого багатокритеріального експертного вибору була сформована експертна група. Розроблені методика, моделі, алгоритми й інформаційна технологія були використані для проведення соціолого-експертного дослідження стану питання впровадження Болонської конвенції в Україні. Дослідження проводилося на базі вузів і відділу освіти Дніпропетровської області. За результатами експертизи за допомогою створеного програмного забезпечення, зроблений аналіз стану питання впровадження Болонської конвенції в Україні.

Результати дисертаційної роботи можуть бути використані для вирішення задач вибору альтернатив у складних соціальних і технічних системах. Методичне, математичне і програмне забезпечення дозволяють застосовувати їх для комплексного цільового використання в різних сферах діяльності.

Особистий внесок здобувача. Основні теоретичні та практичні результати дисертації, висновки, рекомендації, програми, які викладені в дисертаційній роботі й виносяться на захист, одержані та розроблені автором самостійно. Вони представлені в спеціалізованих національних і міжнародних виданнях, на міжнародних і національних конференціях і семінарах. У роботах, опублікованих у співавторстві, особистий внесок здобувача полягає в наступному: у [2] виконано аналіз тенденцій розвитку експертних технологій для дослідження складних соціальних систем; у [5] розроблена технологія застосування експертних методів в соціологічних дослідженнях.

Апробація результатів дисертації. Основні теоретичні положення дисертаційної роботи й практичні результати дослідження доповідалися й обговорювалися на Міжнародній науково-практичній конференції "Інформаційні технології і інформаційна безпека в науці, техніці і освіті" «Інфотекс-2002» (м. Севастополь, 2002 р.), III Всеукраїнській конференції “Сучасні технології в науці і освіті” (м. Кривий Ріг, 2003 р.), ІV Всеукраїнській конференції "Теорія і методика навчання математики, фізики, інформатики" (м. Кривий Ріг, 2004 р.), Міжнародній науково-практичній конференції "Інформаційні технології і інформаційна безпека в науці, техніці і освіті" «Інфотекс-2004» (м. Севастополь, 2004 р.), IX Міжнародній науково-практичній конференції "Наука та освіта-2006" (м. Дніпропетровськ, 2006 р.), VI Всеукраїнській конференції "Теорія і методика навчання фундаментальних дисциплін у вищій школі" (м. Кривий Ріг, 2006 р.), II Науково-технічній конференції з міжнародною участю "Матеріали електронної техніки і сучасні інформаційні технології" (МЕТІТ-2) (м. Кременчук, 2006 р.), II Міжнародній науково-практичній конференції "Інформаційні технології в наукових дослідженнях і учбовому процесі" (м. Луганськ, 2006 р.), Науково-практичній конференції з міжнародною участю "Системи підтримки прийняття рішень. Теорія і практика" (м. Київ, 2007 р.), II Міжвузівській науково-технічній конференції молодих учених і студентів "Інформаційні технології в економічних і технічних системах" (ІТЕТС -2007) (м. Кременчук, 2007 р.) та ін.

Публікації. Основні наукові результати дисертаційної роботи викладено у 14 публікаціях. З них 10 статей надруковано у наукових фахових виданнях, рекомендованих ВАК України для спеціальності 05.13.06, 8 з яких одноосібні. Опубліковано 4 тези доповідей на наукових конференціях.

Структура дисертації. Дисертаційне дослідження складається зі вступу, чотирьох розділів, висновків, списку використаних джерел із 130 найменувань, 11 додатків на 37 сторінках, 23 рисунків та 17 таблиць. Загальний обсяг дисертації становить 141 сторінку.

2. Основний зміст роботи

У вступі обґрунтована актуальність дисертаційної роботи, сформульовані мета і завдання дослідження, доведена наукова новизна тематики та визначена її практична цінність. Подається інформація про апробації роботи і використання результатів проведених досліджень в системі вищої освіти в Україні, наукових установах і промислових підприємствах.

Перший розділ узагальнює результати аналізу стану питання експертизи в Україні та за кордоном. Розглядається стан розробленості проблеми. Відмічені автори і літературні джерела, що внесли значний внесок у розробку вказаного питання. Проаналізована роль експертних оцінок у розвитку й управлінні суспільством. Визначена актуальність застосування експертних методів для оцінки стану суспільства і динаміки його змін.

Порівняльний аналіз існуючих сучасних підходів і методів проведення експертизи показав особливості та складності проведення експертизи соціальних систем. Виявлено, що основна увага науковців приділяється проведенню експертизи, а питанню формування експертних груп приділяється недостатньо уваги. На основі результатів аналізу розроблено логіко-функціональну схему проведення експертизи у соціологічних дослідженнях (рис. 1), запропонована класифікація форм експертного опитування, яка відмінна від усталеної комбінованими формами і використанням технічних засобів.

Представлені засади необхідності створення нової методології на основі декількох методів, що доповнюють і врівноважують один одного. Запропоновано алгоритм автоматизованого збору й обробки експертної інформації, що складається з чотирьох етапів. На підставі проведених досліджень і порівняльного аналізу сформульована задача розробки методології формування експертних груп, що базується на багатокритеріальному експертному виборі альтернатив. Головними питаннями вирішення такої задачі є: обґрунтований відбір експертів, правильне визначення їх кількості, оптимальна організація їх роботи, науково обґрунтована процедура обробки результатів опитування. Зроблено аналіз застосування інформаційних систем в соціології. Виявлена недостатня інформаційна підтримка в процесі проведення соціологічних досліджень (0,4% з трьохсот досліджених ІС).

Результати досліджень, викладені у першому розділі, дозволили зробити висновок про необхідність розробки методології для формування експертної групи, що ґрунтується на комбінованому використанні декількох методів і підходів та багатокритеріальному відбору. Також виявлена необхідність розробки автоматизованої інформаційної технології для підтримки нової методики.

Другий розділ присвячений питанням побудови методології комбінованого багатокритеріального експертного оцінювання альтернатив (КБЕОА). У цьому розділі на основі системного підходу представлена методологія формування експертної групи. Виконана декомпозиція, виділені підсистеми і зв'язки між ними. У системі виділені 4 модулі (організація експертизи, оцінка альтернатив, обробка інформації, формування групи експертів). Запропоновано організаційну структуру системи проведення експертиз.



Рис. 1. Логіко-функціональна схема проведення експертизи у соціологічних дослідженнях

Символьний запис системи формування експертної групи

=,

де - технічні засоби;

- діяльність людини;

- решта елементів в системі;

- зв'язки між людиною і технікою;

- функція системи.

Розроблена концепція системи багатокритеріального відбору для соціальної експертизи. Згідно з концепцією дослідження, запропоновані такі процедури: а) декомпозиція критеріїв на групи, які зручні для порівняння; б) ранжирування груп і критеріїв в межах груп за важливістю; в) вибір кількісних характеристик критеріїв; г) розробка методів оцінки; д) оцінка альтернатив; е) вибір методів агрегації; ж) остаточне рішення (вибір альтернатив).

За основу нової методології експертної оцінки пропонується використовувати поєднання прийомів і алгоритмів декількох базових методів, що наведені в розділі 1. Це обумовлено наявністю у кожного окремого базового методу недоліків і обмежень, які враховуються під час їх комплексного використання. Кожний з них використовується як інструмент додаткового контролю результатів, одержаних іншими методами. Таким чином, досягається максимальна можливість об'єктивізації оцінки, що характеризує даного експерта. Для побудови комбінованої методики використані 30 базових методів, 6 основних методик і 3 психологічні тести. В розробленій методиці для складної соціальної системи використовуються статистичні, евристичні, математичні методи.

Математична модель комбінованої методики складається з таких моделей: модель збору вхідних даних, модель визначення кількості експертів в групі, модель самооцінки, модель взаємооцінки, модель соціометричної оцінки, модель документальної оцінки, модель тестової оцінки, модель оцінки за об'єктивними показниками, модель агрегації результату, модель прийняття рішення.

Кожна модель використовує свій математичний апарат. Запропоновано схему процесу формування експертної групи для соціального дослідження (рис. 2).

Модель визначення кількості експертів N із заданою довірчою вірогідністю і погрішністю має вигляд

,

де - середнє квадратичне відхилення оцінки;

- аргумент, значення якого подано в статистичних таблицях.

На чисельність експертної групи можуть впливати такі чинники: припустима трудомісткість опитування (), можливість управління експертною групою (), спроможності організаторів експертизи ().

Отже, в загальному вигляді модель виглядає таким чином:

= (,,,,).

У роботі визначені показники, за якими виконується документальна експертна оцінка. Розроблена анкета експерта, яка містить 29 пунктів.



Рис. 2. Схема процесу формування експертної групи для соціального дослідження

За показниками розраховується коефіцієнт професійної перспективності за формулою

,

де - оцінка рівня освіти;

- стаж роботи за фахом;

- вік.

Документальні оцінки лише доповнюють інші групи оцінок якості експерта і не виконують самостійної ролі. Пов'язано це з тим, що частина чинників, що впливають на документальну оцінку, в тому або іншому ступені враховується при взаємооцінці.

Модель самооцінки і взаємооцінки. Згідно цій моделі, експерти за вербально-числовою шкалою оцінюють себе і колег за запропонованими критеріями. Одержавши дані про індивідуальну самооцінку, розрахуємо середню групову самооцінку

=; =,

де - середнє значення самооцінки за кожним критерієм;

- середнє значення самооцінки за всіма критеріями;

- кількість експертів;

- кількість критеріїв, i= (1, k).

Коефіцієнт значущості експерта при взаємооцінці обчислюємо за формулою

,

де - ваговий коефіцієнт - експерта;

- результати взаємооцінки - того експерта -им експертом.

Для отримання групової оцінки альтернатив скористуємося середнім значенням оцінки для кожної альтернативи

,

де - коефіцієнти ваги -го критерію.

Дев'ять варіантів відповідей шкали дозволяють виміряти ступінь інтенсивності критеріальної властивості, що має суб'єктивний характер. Потім визначається середня за всіма критеріями оцінка кожного експерта, з урахуванням ваги думки експерта, що робить оцінку.

Модель соціометричного опитування є найефективнішим способом групової оцінки кожного кандидата в експерти. Це своєрідний спосіб кількісної оцінки міжособистісних стосунків в групі. Позитивним є те, що соціометричне дослідження дає результати у формі кількісних індексів у сфері, що традиційно вважалася не здатною до формалізації. За підсумками соціометричного опитування складається матриця. Одержані дані дають достатню підставу вважати, що використання соціометричних методів в поєднанні з іншими методами істотно підвищить об'єктивність вибору експертів.

На основі результату соціометричного методу застосуємо ефективну методику оцінки компетентності експертів, засновану на відносних коефіцієнтах компетентності за наслідками опитування групи експертів.

У матриці змінна дорівнює

Використовуючи алгоритм задачі про лідера, відносний коефіцієнт компетентності - го порядку для кожного експерта розраховується за формулою

 ,

де - кількість експертів у групі;

- елементи матриці ;

- номер порядку коефіцієнта компетентності.

Модель тестової оцінки. Тестовий метод у соціології полягає в проведенні випробувань, в процесі яких оцінюються деякі психофізіологічні особливості, від яких залежить якість експерта. Тест дозволяє стандартизувати умови й результати діагностичного обстеження, забезпечує його надійність, оперативність, економічність, а також можливість комп'ютеризації. Для складання тестів використовуємо "Большую энциклопедию психологических тестов" А. Кареліна (Москва: Эксмо, 2006. 630 c.). Такий підхід спирається на вже апробовану вихідну структуру відомих тестів.

Модель формування оцінної системи. Сформована оцінна система складається з: 26 критеріїв, що характеризують альтернативи; шкали для оцінки порівняльної важливості критеріїв; шкали для оцінки порівняльної важливості 5-ти груп критеріїв; вербально-числової шкали для оцінки альтернатив за критеріями. Виконуючи декомпозицію і класифікацію критеріїв, сформували такі агреговані групи: професійної ознаки; творчої ознаки; емоційної ознаки; вольових ознак; евристичної ознаки.

Запропоноване і обґрунтоване використання шкал якісних ознак: порядкової шкали та шкали найменувань. Розроблені процедури визначення вагових коефіцієнтів критеріїв для відбору альтернатив. Використання ваги груп та критеріїв в групах дозволяє створити модель близьку до реальності. Для призначення коефіцієнтів вагомості застосовуємо експертні методи з груповим опитуванням. Коефіцієнти вагомості груп та критеріїв в групах сумуємо. Середній коефіцієнт ваги -го показника рівний

,

де - коефіцієнт ваги - го критерію, що дається -м експертом;

- вага -го експерта.

Якщо думки узгоджені, ранжуємо та обчислюємо середній ранг для кожного критерію

=,

де - ранг -го критерію, привласнений -им експертом;

- кількість експертів.

Для врахування переваг ЛПР можливе використання в багатокритеріальній соціальній експертизі підходу аналітичної ієрархії.

Модель визначення агрегованого результату. Запропоновано алгоритм обробки експертних оцінок з урахуванням ступеня узгодженості думок експертів, ваги критеріїв, ваги груп критеріїв, ваги думок експертів і обліку результатів усіх шести способів експертного оцінювання. Визначаємо середню оцінку кожного кандидата за кожним критерієм з урахуванням ваги експерта

, , ,

де - оцінка i - го кандидата, -им експертом за -м критерієм;

- вага - го експерта.

Аналізуючи 30 експертів за 26 критеріями шістьма методами, одержимо вхідні дані. Застосовуючи метод середніх арифметичних рангів визначаємо середній арифметичний ранг даного експерта за конкретним критерієм

=,

де - сума оцінок експертів за конкретним критерієм при оцінці однієї альтернативи;

- кількість експертів.

Згідно середнім рангам будуємо підсумкове ранжування за принципом: чим менший середній ранг, тим краща альтернатива. Далі застосовуємо метод медіан рангів. Якщо враховується компетентність експертів, то медіана і середнє ранжування визначаються за умов

,

де - коефіцієнти компетентності експертів.

Якщо ранжування об'єктів проводиться за декількома критеріями, то визначення медіани спочатку проводиться для кожного експерта за всіма критеріями, а потім обчислюється медіана за множиною експертів

; ,

де - коефіцієнти ваги показників, ().

Передбачається сумісне використовування методу середніх арифметичних рангів та методу медіан рангів.

Для побудови узагальненого ранжування використовуємо спосіб сум рангів. Після визначення узагальненого ранжування за кожним критерієм для всіх альтернатив з урахуванням думки всіх експертів необхідно виконати багатокритеріальний вибір альтернативи. Виконані розрахунки дозволяють запропонувати використати алгоритм, що є комбінацією трьох методів: TOPSIS, SAW, ELECTRE. Для кожної альтернативи визначається відстань від найкращого за -м критерієм рішення і відстань від найгіршого за j-м критерієм рішення

; .

Альтернатива з найменшим відношенням визнається найкращою. Результати відносин ранжуються, найменше значення одержує ранг 1 і т.д. Далі альтернативи ранжуються відповідно зростання сум оцінок альтернатив за критеріями, що зважені коефіцієнтами відносної важливості цих критеріїв

.

Найбільшій сумі привласнюється ранг 1. Застосовуючи третій метод, для кожної пари альтернатив обчислюється індекс незгоди та індекс згоди . Ранжуємо альтернативи. Найбільшому значенню присвоюємо ранг 1. Одержані вказаними методами ранги альтернатив складаємо і виконуємо ранжування результатів. Найменше значення суми має ранг 1. Краща альтернатива матиме ранг 1.

За допомогою комбінування методів SAW, ELECTRE і TOPSIS одержали вибір кращої і впорядкування решти альтернатив. Одержане ранжирування і визначення найкращої альтернативи не є однозначним рішенням, а лише допомагає з урахуванням решти етапів методу виконати правильний відбір експертів. Аналогічно враховуємо результати ранжування в інших моделях та обчислюємо середнє значення.

Модель перевірки узгодженості думок експертів. З огляду на те, що в соціальних дослідженнях велику вагу має визначення "об'єктивності" суб'єктивних оцінок експертів, необхідне вимірювання ступеня розбіжності окремих оцінок з середнім значенням. Пропонуємо використати для цього дисперсійний коефіцієнт конкордації.

У другому розділі розроблено методику комбінованого багатокритеріального експертного оцінювання альтернатив для складних соціальних систем.

Третій розділ присвячений застосуванню запропонованої методики для побудови інформаційної технології багатокритеріального експертного оцінювання альтернатив у соціальних дослідженнях. Подана інформація щодо розроблених програмних інструментальних засобів, які є частиною практичного результату дисертації.

У розділі наведено опис архітектури ІАС ФОРЕГ (Формування Експертної Групи), опис її функціональних можливостей. Обґрунтований вибір Object Pascal як мови програмування й середовища програмування - Borland Delphi 6.0.

ІАС ФОРЕГ вирішує такі задачі: введення початкових даних; розрахунок кількості експертів у групі; оцінка ваги критеріїв і груп критеріїв; ранжування критеріїв і їхніх груп; визначення підсумкової ваги критеріїв; документальна оцінка експертів і ранжування результатів; самооцінка й взаємооцінка експертів і ранжування результату оцінки; соціометричне опитування і оцінка; оцінка за об'єктивними показниками і ранжування результату оцінки; тестова оцінка психологічних характеристик; обробка результатів опитувань і розрахунок підсумкового значення. Розроблений комплекс має низку сервісних можливостей.

Основні задачі, що вирішуються за допомогою ФОРЕГ, визначають склад основних функціональних підсистем ІАС ФОРЕГ. Вихідними даними ІАС є документальні дані, експертні оцінки, алгоритми використаних методів. Як результат необхідно одержати список найкращих альтернатив.

ІАС ФОРЕГ характеризується такими показниками:

Організаційні показники: мета - виконання багатокритеріального експертного оцінювання альтернатив. Сфера застосування - пропонується використовувати для формування експертних груп при проведенні соціальної експертизи, а при підготовці спеціальних вхідних даних - у різних сферах діяльності людини для багатокритеріального оцінювання.

Інформаційні показники: використовується підхід об'єктного моделювання, середовище Delphi, СУБД Access. Вхідна інформація формується у БД і масиви. Структура бази даних реалізована у вигляді реляційних таблиць мовою SQL під управлінням СУБД Access.

Обчислювальні показники: система ФОРЕГ є комплексом програмних модулів, які забезпечують виконання всіх задач, поставлених перед нею. Інформаційний зв'язок модулів забезпечується за рахунок використання спільної бази даних і міжмодульної передачі даних через змінні обміну. ІАС містить таки функціональні модулі: введення вихідних даних і формування БД; розрахунок кількості експертів у групі; оцінка експертами критеріїв і їхніх груп; документальне опитування; самооцінка й взаємооцінка експертів за 26 критеріями; соціометричне опитування; тестове опитування; оцінка за об'єктивними показниками; формування БД результатів опитування; обробка результатів; експорт інформації в Excel. Надається зручний для користувача інтерфейс для кожного модуля.

У ІАС ФОРЕГ використовується діалоговий режим роботи програмного середовища. Розроблений сценарій діалогу, який представлений у вигляді меню. Діалог ініціюється програмою, пропонується вибір з фіксованого переліку пунктів ієрархічного меню. Діалоговий процес управляється згідно заданого сценарію, для якого визначені: точки початку діалогу, ініціатор діалогу, зміст діалогу, реакція програми на завершення діалогу.

Графічний інтерфейс користувача ІАС ФОРЕГ підтримує інформаційну технологію роботи користувача з програмами в середовищі Windows, задовольняє ергономічним вимогам.

Система відрізняється: гнучкістю - забезпечується здатність системи як до розвитку, так і до адаптації до різних предметних областей; модульністю - забезпечується можливість автономної роботи для окремих частин системи, які є взаємозв'язаними; інтеграцією - експорт у форматі XLS, експорт і імпорт в текстовому форматі дозволяє організувати взаємодію з іншими джерелами даних.

Четвертий розділ містить опис формування експертної групи за допомогою ІАС ФОРЕГ, опис розробки комплексної технології проведення експертизи й аналізу її результатів та перевірки правильності роботи інформаційної технології КМЕОА на базі ІАС ФОРЕГ.

У розділі наведені результати роботи ІАС ФОРЕГ. У результаті роботи ІАС отримано 31 матрицю розміром 3026, 1 матрицю розміром (3030), 30 матриць розміром (1130), 31 матрицю розміром (530). Після обробки цієї інформації сформована експертна група. Представлені таблиці демонструють проміжні та підсумкові результати опитувань шістьма методами.

Розроблено комплексну технологію проведення експертизи й аналізу її результатів. У комплексній технології вихідними даними є експертні оцінки. Як результат необхідно одержати статистичний аналіз думок респондентів та порівняльний аналіз думок експертів вибраних в групу і тих, хто не увійшов до неї. В технології в комплексі використовуються 5 експертних методів і 6 статистичних показників. В результаті опитування отримуємо матрицю 3050, де маємо 30 експертів та 50 питань. Таких матриць буде стільки, скільки турів в опитуванні. Для інформаційної підтримки технології розроблено програмний інформаційно-аналітичний комплекс "Тестування експертів".

Для апробації розробленої комплексної технології проведення експертизи й аналізу її результатів виконано соціолого-експертне дослідження проблем впровадження Болонської конвенції (БК) в Україні. Респондентами є відібрані у фахову групу експерти. 30 респондентів відповідали на 50 питань розробленої анкети. Опитування експертів проводилося за трьома блоками, що містять від 2 до 33 питань кожний. Робота виконана згідно проекту Центру соціальних експертиз Інституту соціології Національної академії наук України. Науковий керівник роботи - д.е.н., професор Ю.І. Саєнко.

У розділі наведено таблиці й результати розрахунків соціолого-експертного дослідження. Результати використані для перевірки правильності роботи запропонованої інформаційної технології КМЕОА на базі ІАС ФОРЕГ і як результат - перевірка релевантності формування експертної групи. Результати аналізу соціолого-експертного дослідження стану проблем впровадження Болонської конвенції в Україні показали, що вибрані експерти надали відповіді найбільш близькі до загальної ідеї всіх опитаних. Отже, їх можна використовувати як носіїв загальної думки запрошених експертів.

Щодо оцінки стану проблем впровадження Болонської конвенції в Україні експерти висловили такі думки: на підтримку ідей БК висловилися 3 експерти (10%), "проти" - висловилися 14 експертів (47%), 13 експертів (43%) вибрали - "важко сказати". Простежується така тенденція: викладачі висловлюються майже одноголосно проти впровадження ідей БК, студенти - сумніваються, працівники управлінського апарату - або підтримують БК, або сумніваються.

У заключному розділі також проведено аналіз економічної та соціальної ефективності використання результатів дисертаційної роботи. У результаті повномасштабного впровадження розробленої інформаційної технології і ІАС ФОРЕГ можна отримати для науково-технічної та інноваційної експертизи річну економію близько 8 500 000 грн., для соціальної експертизи - близько 110000 грн. на рік.

Додатки містять ілюстрований і пояснювальний матеріал до тексту дисертації. У них наведена довідкова інформація, результати практичних досліджень, а також представлені акти впровадження результатів дисертаційної роботи. Вони містять алгоритми, масиви, візуальне відображення даних, анкети, результати опитування, результати аналізу.

Висновки

У дисертації зроблено теоретичне узагальнення і подано нове рішення актуальної наукової задачі, що полягає в багатокритеріальному експертному оцінюванні альтернатив в процесі формування експертної групи для дослідження складних соціальних систем. В межах дисертаційної роботи виконано аналітично-експериментальне обґрунтування та запропоновано практичне розв'язання актуального науково-дослідного завдання з метою підвищення ефективності соціальної експертизи складних систем і ситуацій.

Основні наукові та практичні результати роботи:

1. Проаналізовано особливості та доведено актуальність проведення експертизи для дослідження соціальних систем. Запропоновано класифікацію форм експертного опитування, що вирізняється від традиційної комбінованими формами та використанням технічних засобів. Встановлено, що рівень використання інформаційних систем в соціологічних дослідженнях досить низький - 0,4% з трьохсот досліджених ІС.

2. Розроблено методологію формування експертних груп, що базується на багатокритеріальному експертному виборі альтернатив. Створено концепцію та математичну модель системи багатокритеріального експертного оцінювання альтернатив в складних соціальних системах. Для побудови комбінованої методології використано 30 базових методів, 6 основних методик та 3 психологічні тести.

3. Вперше розроблено і апробовано інформаційну технологію комбінованого багатокритеріального експертного оцінювання альтернатив і ІАС ФОРЕГ. Створено експертну групу для проведення соціального дослідження.

4. Вперше розроблено технологію проведення комплексного експертного опитування, обробки й аналізу отриманих результатів експертизи. Технологія використовує в комбінації 5 експертних методів і 6 статистичних показників. Для її реалізації створено програмний інформаційно-аналітичний комплекс "Тестування експертів".

5. Проведено аналіз результатів соціолого-експертного дослідження проблем впровадження Болонської конвенції в Україні, що виконано за розробленою інформаційною технологією. Аналіз показав, що запропонована методологія є ефективною та практично придатною для використання в процесі формування експертної групи для проведення соціальних досліджень.

6. Розраховано ефективність використання розробленої інформаційної технології. В результаті повномасштабного впровадження інформаційної технології і ІАС ФОРЕГ можна отримати для науково-технічної і інноваційної експертизи річну економію близько 8500000 грн., для соціальної експертизи - близько 110 000 грн.

7. Одержано 4 акти впровадження розробленої інформаційної технології і ІАС ФОРЕГ.

Для продовження наукової розробки даної проблеми, необхідно досліджувати такі питання:

для подальшого розвитку соціальної експертизи необхідне створення разом з банками даних експертів, напрямами експертизи, експертними групами, ще й банків стандартних методик для проведення експертизи й аналізу результатів, апробованих у низці методичних експериментів;

для ефективного формування експертної групи необхідно створити і підтримувати у моніторинговому режимі базу даних результатів роботи експертних груп; накопичувати результати оцінок і прогнозів, підтверджених або спростованих часом;

розробляти інтелектуальні інформаційні системи, насамперед для імітаційного моделювання соціальних процесів, які на цей час практично не розроблялися.

Список опублікованих праць за темою дисертації

1. Вдовиченко И.Н. Использование экспертных систем для анализа социальных ситуаций // Материалы научно-практической конференции "Информационные технологии и информационная безопасность в науке, технике и образовании" «Инфотекс2002». Севастополь, 2002. С. 6971.

2. Вдовиченко И.Н. Процедуры ранжирования в экспертной оценке // Математичні машини і системи. 2003. № 1. С. 106118.

3. Вдовиченко И.Н. Научное прогнозирование как инструмент принятия решений // Збірник наукових праць ІІІ Всеукраїнської конференції "Сучасні технології в науці та освіті". Кривий Ріг, 2003. Т. 3. С. 1315.

4. Вдовиченко И.Н. Необходимость и правомерность экспертных методов в социологии // Научно-технический сборник "Разработка рудных месторождений". Кривой Рог, 2003. - Вып. 82. - С. 99103.

5. Вдовиченко І.Н., Косолапов В.Л. Загальні тенденції розвитку експертних технологій для дослідження складних систем // Науково-практичний інформаційний журнал "Науково-технічна інформація". 2004. № 3. С. 1720.

6. Вдовиченко І.Н. Методи обробки інформації, отриманої в результаті експертної оцінки // НАН України. Физико-механічний інститут ім. Г.В. Карпенко. Міжвідомчий збірник наукових праць "Відбір і обробка інформації". - Львів, 2006. Вип. 24(100). С. 5658.

7. Вдовиченко И.Н. Построение информационных систем для оценки относительной компетенции экспертов при принятии групповых решений // Матеріали IX міжнародної науково-практичної конференції "Наука та освіта 2006". Дніпропетровськ, 2006. Т. 18. С. 7578.

8. Вдовиченко И.Н., Рева Ю.П. Применение комбинированного метода для мультикритериального выбора альтернатив // Збірник наукових праць VI Всеукраїнської конференції "Теорія та методика навчання фундаментальних дисциплін у вищій школі". Кривий Ріг, 2006. - С. 146148.

9. Вдовиченко И.Н. Алгоритмы и модели формирования экспертной группы // Научно-технический сборник "Разработка рудных месторождений". Кривой Рог, 2006. Вып. 1 (90). С. 197200.

10. Вдовиченко И.Н. Проблемы построения системы для многокритериального отбора в экспертную группу // Науковий вісник Кременчуцького університету "Нові технології". Кременчук, 2006. Вип. 1(11). С. 142146.

11. Вдовиченко И.Н. Проблемы выбора инструментальных средств разработки экспертных систем // Збірник наукових праць "Вісник Криворізького технічного університету". Кривий Ріг, 2006. Вип. 11. С. 5558.

12. Вдовиченко И.Н. Использование подхода аналитической иерархии в оценках многокритериальных альтернатив для анализа сложных социальных систем // Сборник научных трудов Донбасского государственного технического университета "Информационные технологии в научных исследованиях и учебном процессе". - Алчевск, 2006. С. 2329.

13. Вдовиченко И.Н. Анализ методов вычисления весовых коэффициентов важности критериев при мультикритериальном сравнении альтернатив // Науковий вісник Кременчуцького університету "Нові технології". - Кременчук, 2007. Вип. 12 (1516). С. 234236.

14. Вдовиченко И.Н., Косолапов В.Л. Проблемы формирования экспертных групп и технология получения экспертных оценок // Збірник доповідей третьої науково-практичної конференції з міжнародною участю "Системи підтримки прийняття рішень. Теорія і практика СППР 2007". Киев, 2007. С. 811.

Размещено на Allbest.ru

...