Групповая многокритериальная ранжировка научных докладов

Дадим формальную постановку задачи упорядочения совокупности многопризнаковых объектов A={A₁,...,A_n}, которые оцениваются k экспертами по m критериям Q₁,…,Q_m. Каждый критерий Q_s имеет порядковую шкалу количественных или качественных оценок {}, e_s=1,…,h_s, s=1,…,m, которые упорядочены от лучшего значения к худшему q_s¹q_s²…. Предполагается, что разные критерии могут иметь различную относительную важность, но значения оценок, относящихся к одному и тому же критерию, равноценны. Будем также считать, что каждый объект оценивается всеми k экспертами по всем m критериям, и что экспертные оценки независимы. В таком случае можно выделить два объекта (возможно, гипотетических) - абсолютно лучший и абсолютно худший, которым все эксперты дали соответственно самые высокие и самые низкие оценки по всем критериям. Требуется, исходя из многокритериальных оценок объектов, упорядочить объекты от более к менее предпочтительным.

Упорядочение многопризнаковых объектов рассматривается в методе АРАМИС как задача ранжирования объектов, представленных мультимножествами, по отношению к лучшему и худшему объектам. Представим многопризнаковый объект A_i как мультимножество

A_i = {k_Ai(q₁¹)?q₁¹,…,k_Ai(q₁^h1)?q₁^h1,…, k_Ai(q_m¹)?q_m¹,…, k_Ai(q_m^hm)?q_m^hm}, (1)

над доменом G={Q₁,…,Q_m}, являющимся множеством критериальных оценок. Функция кратности k_Ai(q_s^es) мультимножества характеризует число экспертов, давших объекту A_i оценку q_s^es. Наилучшему и наихудшему объектам соответствуют мультимножества

A⁺={k?x₁¹,0,…,0, k?x₂¹,0,…,0,…, k?x_m¹,0,…,0}, (2)

A-={0,…,0,k?x₁^h1, 0,…,0,k?x₂^h2,…, 0,…,0,k?x_m^hm}, (3)

которые принято называть идеальным и антиидеальным ситуациями. Задача упорядочения многопризнаковых объектов сводится тем самым к упорядочению представляющих их мультимножеств.

Будем рассматривать многопризнаковые объекты как точки некоторого метрического пространства мультимножеств (A, d), например, с метрикой (типа Хемминга), которая задается следующей формулой [8, 9]:

d₁(A,B) =,

где w_s 0, _s w_s =1 - коэффициенты относительной важности критериев Q_s. В предлагаемом алгоритме допускается различная относительная важность критериев Q_s, выражаемая коэффициентами w_s 0. Проблема определения или вычисления важности критериев имеет самостоятельное значение [6, 9]. В случае, когда все критерии считаются одинаково важными, все коэффициенты w_s можно положить, например, равными 1.

Упорядочим все объекты по величине их расстояния d₁⁺(A_i)=d₁(A⁺,A_i) от наилучшего объекта A⁺. Если d₁⁺(A_i)d₁⁺(A_j), то объект A_i предпочтительнее объекта A_j (A_iA_j). Если для некоторых объектов d₁⁺(A_i)=d₁⁺(A_j), то объекты A_i и A_j будут или эквивалентными, или несравнимыми. Это значит, что полученное ранжирование объектов окажется нестрогим. Так как каждый объект A_i оценивается k экспертами по всем m критериям, то выражение для расстояния от идеального решения A⁺ до мультимножества A_i можно записать как:

d₁⁺(A_i) = 2[k k_Ai(q_s¹)].

Условие сравнения многопризнаковых объектов приобретает тогда следующую форму: объект A_i предпочтительнее объекта A_j (A_iA_j), если

k_Ai(q_s¹) k_Aj(q_s¹).

Таким образом, правило упорядочения многопризнаковых объектов сводится к сравнению взвешенных сумм S_Ai¹ =_s w_s k_Ai(q_s¹) первых (наилучших) оценок объектов по всем критериям Q_s. Лучшим будет тот объект A_i, у которого эта сумма S_Ai¹ будет больше. Если найдутся группы эквивалентных или несравнимых объектов A_i1,…,A_it, имеющих одинаковые суммы S_Ai¹, то нужно вычислить для каждого объекта A_ir, r=1,…t в соответствующей группе взвешенную сумму S_Air² =_s w_s k_Air(q_s²) всех вторых оценок по всем критериям Q_s и упорядочить объекты внутри каждой группы от лучшего к худшему по величинам S_Air² сумм вторых оценок. Если останутся подгруппы эквивалентных или несравнимых объектов A_iru,…,A_irv, имеющих одинаковые суммы S_Air², то вычислить для каждого объекта A_irp в соответствующей подгруппе взвешенную сумму S_Airp³ =_s w_s k_Airp(q_s³) всех третьих оценок по всем критериям Q_s и упорядочить объекты внутри каждой подгруппы от лучшего к худшему по величинам сумм S_Airp³ третьих оценок. Процедура продолжается до полного упорядочения всех объектов из совокупности A={A₁,...,A_n}. Если число h_s значений оценок q_s^es у некоторых критериев Q_s окажется меньше требуемого на данном b-ом шаге алгоритма, то следует считать k_Air…p(q_s^b)=0.

Аналогично можно построить процедуру упорядочения многопризнаковых объектов A_i по отношению к наихудшему объекту A-, заданному мультимножеством (2), считая, что объект A_i предпочтительнее объекта A_j (A_iA_j), если он находится дальше от объекта A-, то есть если выполняется условие d₁(A-,A_i)d₁(A-,A_j). Подчеркнем, однако, что упорядочение совокупности многопризнаковых объектов A={A₁,...,A_n} по отношению к антиидеальной ситуации может не совпадать с упорядочением по отношению к идеальной ситуации.

Многопризнаковые объекты можно упорядочить и иначе. Для каждого варианта A_i задается показатель его относительной близости к наилучшему варианту A⁺

l⁺(A_i)=d₁(A⁺,A_i)/[d₁(A⁺,A_i)+d₁(A-,A_i)] (4)

или показатель его относительной близости к наихудшему варианту A-

l-(A_i)=d₁(A-,A_i)/[d₁(A⁺,A_i)+d₁(A-,A_i)]

В этом случае упорядочение объектов по предпочтительности строится по возрастанию значения показателя l⁺(A_i) относительной близости объекта A_i к наилучшему варианту A⁺ или по убыванию значения показателя l-(A_i) относительной близости объекта A_i к наихудшему варианту A-. Заметим, что оба таких упорядочения многопризнаковых объектов совпадают.

Практический пример

На конференции РФФИ, посвященной подведению итогов выполнения проектов ориентированных фундаментальных исследований по одному из научных направлений, был проведен экспертный опрос для оценки докладов. На конференции было представлено 14 докладов, каждый из которых оценивался 5 или 6 участниками конференции, выступавшими в роли экспертов, по четырем указанным выше критериям. Всего было роздано 84 анкеты, получено 83 анкеты, пригодных для обработки (полностью заполненных) оказалось 79 анкет.

Экспертные оценки докладов были представлены как многопризнаковые объекты, описанные с помощью математического аппарата теории мультимножеств следующим образом:

A₁={0,4,2,0,0,2,3,1,0,2,3,1,1,3,1,1}; A₂={0,5,1,0,0,6,0,0,1,4,1,0,2,4,0,0};

A₃={0,6,0,0,0,5,1,0,0,5,1,0,1,4,1,0}; A₄={1,4,0,0,1,4,0,0,1,3,1,0,0,3,2,0};

A₅={1,5,0,0,2,4,0,0,0,5,1,0,3,3,0,0}; A₆={3,2,1,0,1,0,2,3,1,3,0,2,0,3,1,2};

A₇={1,4,0,0,0,5,0,0,1,2,2,0,3,2,0,0}; A₈={0,4,1,1,1,4,1,0,0,4,2,0,3,2,1,0};

A₉={4,2,0,0,4,2,0,0,1,4,1,0,6,0,0,0}; A₁₀={1,3,1,0,2,2,1,0,1,2,2,0,3,2,0,0};

A₁₁={1,4,1,0,0,3,2,1,0,4,2,0,1,3,1,1}; A₁₂={0,5,0,0,2,2,1,0,0,5,0,0,3,2,0,0};

A₁₃={1,4,0,0,1,4,0,0,0,4,1,0,3,2,0,0}; A₁₄={0,5,1,0,1,4,1,0,0,5,1,0,3,3,0,0}.

Гипотетически наилучший и наихудший доклады представляются соответственно следующими мультимножествами:

A⁺={6,0,0,0,6,0,0,0,6,0,0,0,6,0,0,0},

A-={0,0,0,6,0,0,0,6,0,0,0,6,0,0,0,6}.

Критерии Q_s оценки докладов считались равнозначными, а их коэффициенты относительной важности были приняты равными (w₁=w₂=w₃=w₄=1).

Расстояния между отдельными мультимножествами (докладами) A_i, наилучшим (идеальным) A_max и наихудшим (антиидеальным) мультимножествами A-, полученные после обработки результатов экспертного опроса, равны соответственно:

d₁⁺(A₁)=46, d₁⁺(A₂)=42, d₁⁺(A₃)=46, d₁⁺(A₄)=38, d₁⁺(A₅)=36, d₁⁺(A₆)=38, d₁⁺(A₇)=34,

d₁⁺(A₈)=40, d₁⁺(A₉)=18, d₁⁺(A₁₀)=30, d₁⁺(A₁₁)=44, d₁⁺(A₁₂)=34, d₁⁺(A₁₃)=34, d₁⁺(A₁₄)=40;

d₁-(A₁)=42, d₁-(A₂)=48, d₁-(A₃)=48, d₁-(A₄)=44, d₁-(A₅)=48, d₁-(A₆)=34, d₁-(A₇)=44,

d₁-(A₈)=46, d₁-(A₉)=48, d₁-(A₁₀)=44, d₁-(A₁₁)=44, d₁-(A₁₂)=44, d₁-(A₁₃)=44, d₁-(A₁₄)=48.

Значения показателя l⁺(A_i) относительной близости доклада A_i к наилучшему докладу A⁺ задаются величинами:

l⁺(A₁)=0,5227, l⁺(A₂)=0,4667, l⁺(A₃)=0,4894, l⁺(A₄)=0,4634, l⁺(A₅)=0,4286,

l⁺(A₆)=0,5278, l⁺(A₇)=0,4359, l⁺(A₈)=0,4651, l⁺(A₉)=0,2727, l⁺(A₁₀)=0,4054,

l⁺(A₁₁)=0,5, l⁺(A₁₂)=0,4359, l⁺(A₁₃)=0,4359, l⁺(A₁₄)=0,4545.

В соответствии с (4) упорядочение докладов по увеличению показателя относительной близости к наилучшему докладу A⁺ имеет вид:

A₉A₁₀A₅A₇A₁₂A₁₃A₁₄A₄A₈A₂A₃A₁₁A₁A₆.

Лучшие доклады образуют головную часть ранжировки и далее выбираются ЛПР. Анализ результатов показал, что в данном практическом примере конечные ранжировки объектов получались одинаковыми независимо от числа экспертов (5 или 6), оценивавших разные объекты. Это можно проверить, например, варьируя параметры наилучшего и наихудшего объектов.

Заключение

В работе предложен «прозрачный» подход к групповому многокритериальному ранжированию научных докладов. Доклады оценивались несколькими экспертами по многим вербальным критериям. Используя метод АРАМИС для группового упорядочения многопризнаковых объектов, основанный на теории метрических пространств мультимножеств, были построены ранжировки научных докладов и определены наиболее предпочтительные.

Предлагаемой подход позволяет проводить ретроспективный анализ качества выполнения ориентированных фундаментальных исследований путем сопоставления ранжировок проектов на стадии подачи заявок, на стадии промежуточного выполнения проектов, на стадии окончания проекта, и, наконец, оценивать качество научных докладов, которые базируются на результатах законченных проектов.

Применение аппарата теории мультимножеств позволяет обнаруживать, представлять и использовать доступную информацию, анализировать полученные результаты и их особенности, прежде всего для несогласованных многокритериальных оценок научных докладов и противоречивых предпочтений ЛПР. Предложенные инструменты были также апробированы при экспертизе проектов целевых фундаментальных исследований, поддержанных Российским фондом фундаментальных исследований, и продемонстрировали высокую эффективность и простоту применения [10, 11, 12].

Авторы выражают признательность к.ф.-м.н. Г.И. Шепелеву за участие в разработке анкеты экспертного опроса.

Список литературы

1. Кемени Дж., Снелл Дж. Кибернетическое моделирование. - М.: Советское радио, 1972.

2. Ларичев О.И., Мечитов А.И. Многофакторный анализ конференций Международного института прикладного системного анализа // Управление и научно-технический прогресс / Под ред. Б.З. Мильнера. - Достижения и перспективы. Выпуск 16, №3. - М.: Международный центр научно-технической информации, 1981. - С.53-58.

3. Ларичев О.И., Прохоров А.С., Петровский А.Б., Стернин М.Ю., Шепелев Г.И. Опыт планирования фундаментальных исследований на конкурсной основе // Вестник АН СССР. - 1989. - №7. - С.51-61.

4. Ларичев О.И. Вербальный анализ решений / Под ред. А.Б. Петровского. - М.: Наука, 2006. - 181 с.

5. Миркин Б.Г. Анализ качественных признаков и структур. - М.: Статистика, 1980. - 319 с.

6. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. - 2-е изд. - М.: Физматлит, 2005. - 176 с.

7. Петровский А.Б., Шепелев Г.И. Система поддержки принятия решений для конкурсного отбора научных проектов // Проблемы и методы принятия уникальных и повторяющихся решений. Сборник трудов / Под ред. С.В. Емельянова, О.И. Ларичева. №10. - М.: ВНИИСИ, 1990. - С.25-31.

8. Петровский А.Б. Пространства множеств и мультимножеств. - М.: Едиториал УРСС, 2003. - 248 с.

9. Петровский А.Б. Теория принятия решений. - М.: Издательский центр «Академия», 2009. - 400 с.

10. Петровский А.Б., Тихонов И.П. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности // Вестник РАН. - 2009. - Т.79, №11. - С.1006-1011.

11. Петровский А.Б., Ройзензон Г.В., Тихонов И.П., Балышев А.В. Многокритериальная оценка результативности научных проектов // Третья международная конференция “Системный анализ и информационные технологии”. Труды конференции. - М.: ПолиПринтСервис, 2009. - С.329-336.

12. Петровский А.Б., Ройзензон Г.В., Тихонов И.П., Балышев А.В. Групповое упорядочивание научных проектов по несогласованным многокритериальным оценкам // Двенадцатая национальная конференция по искусственному интеллекту с международным участием. Труды конференции. Т. 3. - М.: Физматлит, 2010. - С.201-207.

13. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. - 278 с.

14. Hwang C.L., Yoon K. Multiple Attribute Decision Making - Methods and Applications: A State of the Art Survey. - New York: Springer-Verlag, 1981.

15. Hwang C.L., Lin M.J. Group Decision Making under Multiple Criteria. - Berlin: Springer-Verlag, 1987. - 400 p.

16. Pawlak Z., Slowinski R. Rough Set Approach to Multi-Attribute Decision Analysis // European Journal of Operational Research. - 1994. - N72. - P.443-459.

17. Roy, B. Multicriteria Methodology for Decision Aiding. - Dordrecht: Kluwer Academic Publishers, 1996.

18. Zimmerman H.J., Zadeh L.A., Gaines B.R. Fuzzy Sets and Decision Analysis. - Amsterdam: North-Holland, 1984.

Размещено на Allbest.ru