Исследование методов группового экспертного оценивания экспертами при работе в Интернет

В. Г. Тоценко, В. В. Цыганок, Н. В. Ивашкевич

Размещено на http://www.allbest.ru/

82

Експертні системи

та підтримка прийняття рішень

ISSN 1560-9189 Реєстрація, зберігання і обробка даних, 2004, Т. 6, № 2 81

УДК 519.816, 681.518.2

Институт проблем регистрации информации НАН Украины

Исследование методов группового экспертного оценивания экспертами при работе в INTERNET

В.Г. Тоценко

Общепринятая технология создания систем поддержки принятия решений (СППР) для конкретных приложений состоит в использовании стандартных программных оболочек и погружении в них баз знаний (БЗ) о конкретной области применения СППР. При использовании мультикритериальных СППР БЗ содержат иерархии формулировок критериев, подкритериев и значений их относительной важности [1]. Применение СППР с целевым оцениванием альтернатив [2, 3] требует внесения в БЗ информации о формулировках, типах и связях целей, их частных коэффициентах влияния и ряде абсолютных величин, характеризующих параметры элементов иерархии целей. Эта информация вносится в БЗ экспертами, использующими для повышения достоверности оценок методы группового экспертного оценивания с учетом компетентности экспертов [3-6]. Такого плана экспертизы могут проводиться в условиях, когда группа экспертов территориально распределена, а ее члены общаются с помощью Internet. При этом эксперты одновременно работают на разных рабочих местах, они могут не знать друг друга лично, могут даже не иметь единого для всех языка общения, а функции координации работы экспертов берут на себя администратор и серверное программное обеспечение.

При использовании такой технологии экспертного оценивания существует ряд особенностей, отличающих ее от технологии, при использовании которой эксперты могут непосредственно свободно общаться между собой, согласовывать свою позицию и последовательно, один за другим, вводить информацию о своих оценках.

Ввиду того, что в настоящее время разработано более двух десятков методов экспертного оценивания [3], с целью обоснованного выбора метода для конкретного применения целесообразно использовать способ [7], основанный на мультикритериальном оценивании методов экспертного оценивания, учитывающем такие показатели как погрешности оценивания, согласованность результатов, необходимое для получения оценок время, психологическую привлекательность методов и т.п. и предпочтения организатора экспертизы. Эти показатели могут быть определены только путем эксперимента, обеспечивающего статистическую состоятельность результатов.

Методика и результаты экспериментального исследования индивидуальных методов экспертного оценивания приведены в [8, 9]. При внедрении технологии экспертного оценивания, которая предусматривает, что эксперты, принимающие участие в групповой экспертизе, разнесены территориально, возникла настоятельная необходимость в проведении нового экспериментального исследования, которое бы дало ответ на ряд вопросов: как и насколько изменятся выше перечисленные показатели групповых методов экспертного оценивания при реализации их с помощью Internet по сравнению с показателями обычных (несетевых) групповых методов; следует ли предоставлять эксперту для просмотра оценки, данные другими экспертами, и как это может повлиять на показатели методов; следует ли предоставлять информацию о том, кто из экспертов персонально принимает участие в групповом экспертном оценивании.

Для того чтобы получить ответы на вышеупомянутые и, возможно, некоторые другие вопросы, была разработана система поддержки построения БЗ (СППБЗ), которая реализует все ранее предложенные методы группового экспертного оценивания, а также методику проведения экспериментального исследования. СППБЗ реализована на основе WEB-сервера, программное обеспечение которого написано на специализированном для разработки в сети Internet языке программирования «PhP» с использованием сервера баз данных «MySQL».

При проектировании СППБЗ прежде всего ставились задачи обеспечения удобства ее применения в процессе работы как экспертов, так и администратора. Среди наиболее значимых особенностей условий работы экспертов следует отметить полную изолированность экспертов друг от друга и независимость их индивидуальных графиков времени подключения к работе. Это позволяет экспертам работать одновременно, не ожидая завершения работы других членов группы, что, несомненно, повышает эффективность, а также нейтрализует психологическую напряженность в ходе работы. Вместе с тем, это вызывает сложности в ходе решения задач при имеющихся временных ограничениях. В этом случае требуются своевременность оповещения экспертов и слежение за непрерывностью процесса. база знание интернет погрешность

Реализация этих особенностей обеспечивается соответствующими технологиями интерактивной поддержки двухсторонней связи между администратором и экспертами и, в случае необходимости, приостановления конкретного этапа решения задачи или перемены условий проведения процесса. Большой акцент делается на обеспечении максимально удобного и интуитивно понятного интерфейса для экспертов и администратора, а также автоматизации многих этапов процесса экспертного оценивания, чтобы исключить лишние временные задержки и влияние человеческого фактора на возможные ошибки. Автоматизация обеспечивает устранение необходимости любых математических подсчетов «вручную», которые перекладываются на работу системы. Однако полностью переложить управление процессом на систему невозможно. Поэтому для стабильной работы необходима своевременная коррекция данных и поэтапное непосредственное подключение к работе администратора.

Методика проведения экспериментального группового оценивания с обратной связью с экспертами и учетом их компетентности для определения влияния условий работы в Internet заключается в следующем.

Используя разработанную СППБЗ, определяются показатели относительной весомости альтернатив (относительной степени заполненности квадратов), применяя групповые методы с обратной связью с экспертом:

1) метод непосредственной оценки;

2) метод «треугольник» мультипликативных парных сравнений с выражением дискретных значений весов в фундаментальной шкале, вербальным вводом данных, предварительным упорядочением и последовательным методом обработки;

3) метод «квадрат» мультипликативных парных сравнений с выражением дискретных значений преимуществ в фундаментальной шкале, вербальным вводом данных и параллельным методом обработки;

4) метод «линия».

В качестве моделей альтернатив принимается набор графических фигур, разной, но известной степени заполненности элементарными квадратами (рис. 1). Обоснование выбора объекта такого типа для экспертного оценивания предложено в [8].

Количество фигур для проведения эксперимента выбрано равное 7. Это обосновывается фактом, что человек по своим психофизиологическим ограничением может корректно оценить 7±2 объекта одновременно.

В качестве экспертов назначалась группа студентов с равными коэффициентами компетентности и администратор, в обязанности которого входило управление процессом обработки данных и действий экспертов на каждом шаге.

Эксперты распределялись по изолированным рабочим местам. Надо заметить, что для изучения значения живого общения между экспертами во время работы, при проведении эксперимента в сети Internet были созданы условия, при которых информация об оценках, которые дают эксперты, и участниках эксперимента оставалась закрытой для них.

Под удаленным руководством ЛПР бригада экспертов, используя групповые методы экспертного оценивания («непосредственное оценивание», «линия», «квадрат», «треугольник»), независимо друг от друга сравнивали степени заполненности фигур, используя специальную систему ввода данных (рис. 2).

Рис. 2

Алгоритмы получения и обработки экспертной информации этими методами описаны в [2]. Кратко их сущность состоит в следующем. При использовании мультипликативных методов эксперту предлагалось дать ответ на вопрос: «Во сколько раз, по Вашему мнению, степень заполнения первого квадрата превосходит степень заполнения второго?» относительно всех предъявляемых ему в соответствии с алгоритмом оценивания пар квадратов (альтернатив).

После этого результаты определения ненормированных весов альтернатив, выполненных членами бригады, объединялись в один массив. Для каждого метода, используя объединенный массив результатов, строились спектры весов каждой из альтернатив. Вычислялись коэффициенты согласованности спектров весов альтернатив, пороговые значения коэффициента согласованности и делался вывод относительно достаточности уровня согласованности результатов по каждому методу и каждой альтернативе [2]. В случае недостаточного значения коэффициента согласованности экспертных оценок веса некоторой альтернативы для всех экспертов вычислялась величина

,

где -- оценка, данная j-м экспертом; -- среднее арифметическое множества экспертных оценок веса альтернативы; -- коэффициент относительной компетентности j-го эксперта

Выбирался эксперт , для которого величина -- наибольшая, и ему предлагалось изменить данную им оценку в направлении сближения со средним значением. Если он соглашался, то экспертные оценки веса пересчитывались, если нет, то обращение с просьбой изменить свою точку зрения адресовалось следующему эксперту, оценка которого по отдаленности от среднего значения на втором месте, и т.д. Если все эксперты отказывались изменить оценки, группа экспертов менялась, а полученные данные признавались непригодными к использованию.

Описанная процедура выполнялась для каждой альтернативы до тех пор, пока значение коэффициента согласованности множества оценок ее веса не достигало порога применения [2], после чего по согласованным спектрам весов рассчитывались окончательные агрегированные оценки «альтернатив».

Для каждого метода экспертного оценивания по проведению экспертизы были определены такие количественные его характеристики как среднее значение относительной погрешности оценивания, коэффициент согласованности результатов, необходимое для получения оценок время.

Аналогичный эксперимент проводился в условиях внесетевой работы экспертов при последовательном, т.е. поочередном порядке ввода данных. Во втором случае эксперты работали, имея возможность живого общения друг с другом, и, следовательно, подвергались влиянию других экспертов.

Затем было проведено ранжирование по коэффициенту согласованности, среднему значению относительной ошибки и времени определения агрегированных согласованных оценок весов альтернатив, для обоих случаев -- сетевой и внесетевой работы экспертов.

Результаты эксперимента представлены в табл. 1.

Таблица 1

Анализ полученных результатов позволяет сделать следующие выводы.

1. Согласованность оценок, данных экспертами, которые работают в Internet, меньше по всем исследуемым методам, чем при работе вне сети. Возможно, это объясняется тем, что живой контакт дает возможность обсуждения и принятия общего решения уже в процессе оценивания. В пользу этой гипотезы говорит и большее количество повторных обращений к экспертам с просьбами о перемене мнения для достижения необходимого уровня коэффициента согласованности при использовании Internet (табл. 2).

Таблица 2

2. Точность агрегированных оценок, полученных всеми исследованными методами (за исключением метода «треугольник») при работе в Internet, выше, чем точность оценок, полученных аналогичными методами при внесетевой работе.

3. Продолжительность процесса получения согласованных оценок при использовании Internet оказалась меньше, чем при применении аналогичных методов в условиях внесетевой работы.

4. Использование Internet создает более комфортные условия для работы экспертов вследствие появляющейся возможности построить собственный график работы.

5. Использование сети Internet создает условия для привлечения к построению БЗ СППР более квалифицированных экспертов, которых организационно трудно собрать в одном месте и в одно время для внесетевой групповой работы.

Литература

1. Saaty T.L. The Analytic Network Process. -- Pittsburgh: RWS Publications, 1996. -- 370 p.

2. Тоценко В.Г. Оценка сравнительной эффективности проектов комплексных целевых программ методом моделирования иерархий целей // Электрон. моделирование. -- 1998. -- 20, № 3. -- С. 76-90 (Totsenko V.G. Estimation of Comparative Efficiency of Projects of Complex Target - oriented Programs Using the Simulation Method of Goal Hierarchy // Eng. Simulat. -- 1999. -- vol. 16. -- Р. 361-375).

3. Тоценко В.Г. Методы и системы поддержки принятия решений. Алгоритмический аспект. -- К.: Наук. думка, 2002. -- 382 с.

4. Zgurovsky M.Z., Totsenko V.G., Tsyganok V.V. Group Incomplete Paired Comparisons with Account of Expert Competence // Mathematical and Computer Modelling. -- 2004, Febr. -- Vol. 39, N 4-5. -- Р. 349-361.

5. Тоценко В.Г., Циганок В.В., Деєв А.А., Олійник І.Д. Побудова баз знань систем підтримки прийняття рішень групами розподілених експертів // Реєстрація, зберігання і оброб. даних. -- 2002. -- Т.4, № 4. -- С. 120-128.

6. Тоценко В.Г. Согласование и агрегация оценок экспертов с учетом их компетентности при групповом оценивании альтернатив для поддержки принятия решений // Проблемы управления и информатики. -- 2002. -- № 4. -- С. 128-141 (Totsenko V.G. Matching and Aggregation of Experts Estimates Taking into Account Experts' Competence while Group Estimation of Alternatives for Decision Making Support // J. Automation and Information Sciences. -- 2002. -- Vol. 34, N 8. -- P. 40-51).

7. Тоценко В.Г., Циганок В.В., Качанов П.Т. Підтримка прийняття рішення щодо вибору методу експертного оцінювання // Системные исследования и информационные технологии. -- 2002. -- № 4. -- С. 52-61.

8. Тоценко В.Г., Цыганок В.В., Качанов П.Т., Деев А.А., Качанова Е.В., Торба Л.Т. Экспериментальное исследование методов получения кардинальных экспертных оценок альтернатив. Ч. I. Методы без обратной связи с экспертом // Проблемы управления и информатики. -- 2003. -- № 1. -- С. 34-48.

9. Тоценко В.Г., Цыганок В.В., Качанов П.Т., Деев А.А., Качанова Е.В., Торба Л.Т. Экспериментальное исследование методов получения кардинальных экспертных оценок альтернатив. Ч.II. Методы с обратной связью с экспертом // Проблемы управления и информатики. -- 2003. -- № 2. -- С. 112-125.

Аннотация

Изложена методика и результаты сравнительного экспериментального исследования методов группового оценивания объектов, используемых при построении базы знаний системы поддержки принятия решений группами экспертов, которые взаимодействуют с помощью Internet, и экспертами, работающими вне сети. Оценены значения показателей погрешностей, согласованности оценок и временных затрат.

Ключевые слова: системы поддержки принятие решений, экспертное оценивание, Internet.

Размещено на Allbest.ru