Групповое упорядочивание научных проектов по несогласованным многокритериальным оценкам

Размещено на http://www.allbest.ru/

Групповое упорядочивание научных проектов по несогласованным многокритериальным оценкам

А.В. Балышев

А.Б. Петровский

Г.В. Ройзензон

И.П. Тихонов

Аннотация

количественный качественный результативность проект

На практике имеется большое количество задач принятия решений, где объекты упорядочиваются и классифицируются по своим свойствам. К таким проблемам относится оценка результативности научных проектов, которые оцениваются по большому числу количественных и/или качественных критериев и представлены несколькими экземплярами. Результативность проектов была рассчитана с использованием метода снижения размерности признакового пространства. Проекты были упорядочены по этим показателям с использованием метода АРАМИС для групповой сортировки многопризнаковых объектов.

Введение

Упорядочивание объектов по многим показателям является одной из типичных задач принятия решений. Ситуация осложняется, когда эти показатели оцениваются несколькими независимыми экспертами. В этих случаях один и тот же объект может существовать в нескольких версиях или копиях с разнообразными, несогласованными или противоречивыми значениями признаков, а свертывание числовых и/или вербальных оценок является или математически некорректным или невозможным.

Различные методы для упорядочивания многопризанковых объектов [Ларичев, 2006], [Саати, 1993], [Hwang et al., 1987], [Pawlak et al., 1994], [Roy, 1996], [Zimmerman et al., 1984] оперируют обычно с количественными, а реже - с качественными признаками. При наличии многих признаков и нескольких экспертов или лиц, принимающих решения (ЛПР), необходимо агрегировать индивидуальные ранжировки по отдельным признакам, которые, как правило, не совпадают. Чтобы построить обобщенную ранжировку, можно использовать некоторые процедуры голосования, такие как правило Борда или медиану Кемени [Кемени и др., 1972], [Миркин, 1980], [Петровский, 2009], [Hwang et al., 1981], которые однако не всегда применимы. Таким образом, необходима специальная процедура для упорядочивания многопризнаковых объектов.

В данной работе предложен подход к сравнению объектов по составным критериям, которые построены на основе использования многокритериальных оценок. Этот подход сочетает методы вербального анализа решений [Ларичев, 2006] и процедуру снижения размерности признакового пространства [Ройзензон, 2005], [Петровский и др., 2008] и оперирует с множеством числовых, символьных и вербальных признаков. Для групповой сортировки многопризнаковых объектов использован метод АРАМИС [Петровский, 2009], который не требует предварительного построения индивидуальных ранжировок. Многопризнаковые объекты были представлены как мультимножества [Петровский, 2003] и упорядочивались по показателю близости к «идеальной» точке в метрическом пространстве мультимножеств. Рассмотренный подход применен для сравнения результативности научных проектов, которые были поддержаны Российским фондом фундаментальных исследований [Петровский и др., 2009], [Петровский и др., 2010].

1. Многокритериальная экспертиза научных проектов

Российский фонд фундаментальных исследований (РФФИ) -- федеральное агентство, которое организовывает и финансирует научные проекты и дает оценку возможности их практического применения. Одним из важнейших направлений деятельности РФФИ является оценка результативности проектов целевых фундаментальных исследований, которые выполняются в интересах российских федеральных агентств и ведомств. Для отбора завершенных проектов с точки зрения возможности их практического использования в РФФИ применяется оригинальная процедура экспертизы, которая не имеет зарубежных аналогов.

Каждый проект оценивается несколькими независимыми экспертами без согласования их мнений. В качестве экспертов выступают хорошо известные специалисты, работающие в научно-исследовательских институтах, университетах и промышленных предприятиях. Для оценки содержания проектов и полученных результатов эксперты используют систему качественных критериев с развернутыми порядковыми вербальными описаниях шкал оценок. Кроме того, эксперты выражают свои предпочтения при оценке возможности поддержки проекта на стадии подачи заявки, на промежуточной стадии выполнения проекта, а также определяют фундаментальную и практическую ценность полученных итоговых результатов. Мнения экспертов, конечно, могут совпадать или различаться. На основе рекомендаций экспертов Экспертный совет РФФИ решает поддержать или отвергнуть новые проекты, продолжать или прервать выполнение проекта и оценивает результативность проекта.

Известны и широко используются в практической деятельности многочисленные отечественные и зарубежные разработки, предназначенные для экспертной оценки различных видов программ и проектов. Упомянем такие системы как «Программирование-Планирование-Бюджетирование», «Стоимость-Эффективность», «Peer review», «Система сбалансированных показателей» и другие. Подавляющее большинство применяемых методологий экспертной оценки объектов различной природы использует так называемый количественный подход, основанный на числовом измерении показателей. Однако, несмотря на кажущуюся простоту и очевидность, количественный подход малопригоден для работы с качественными характеристиками, которые применяются в РФФИ для оценки проектов.

Например, для оценки результативности проектов ориентированных фундаментальных исследований в РФФИ используется следующая система критериев:

K₁. Степень выполнения заявленных задач проекта (в т.ч. и за первые 12 месяцев) (q₁¹ - задачи выполнены полностью; q₁² - задачи выполнены частично, имеющееся отставание несущественно; q₁³ - задачи выполнены частично, имеется существенное отставание). K₂. Оценка научного уровня полученных результатов (отразить уровень и вклад в научную составляющую проекта) (q₂¹ - превосходит уровень имеющихся решений; q₂² - находится на уровне имеющихся решений; q₂³ - уступают уровню имеющихся решений). K₃. Патентоспособность полученных результатов (q₃¹ - получены охраноспособные результаты; q₃² - патентование нецелесообразно). K₄. Перспективы использования полученных результатов (q₄¹ - результаты работ уже используются; q₄² - идет подготовка к использованию и коммерциализации результатов; q₄³ - перспективы использования и коммерциализации результатов неясны). K₅. Ожидаемые результаты завершающего этапа выполнения проекта (q₅¹ - соответствуют заявленной цели проекта; q₅² - не соответствуют заявленной цели проекта). K₆. Решение задач, поставленных в завершающей части проекта (q₆¹ - реально; q₆² - не реально). K₇. Наличие трудностей в работе по проекту (q₇¹ - есть; q₇² - нет). K₈. Взаимодействие с организациями, в которых предполагается использовать результаты проекта (заполняется только для итогового отчета) (q₈¹ - имеются Договора о взаимодействии с организациями; q₈² - имеются Договора о взаимодействии, но деловые контакты развиты недостаточно; q₈³ - взаимоотношения документально не оформлены, взаимодействие слабое).

Для многоаспектного анализа содержания и оценки результативности проектов целевых фундаментальных исследований была использована методология вербального анализа решений и оригинальная интерактивная процедура снижения размерности признакового пространства.

2. Многокритериальная оценка результативности научных проектов

Ранее в работах [Петровский и др., 2009], [Петровский и др., 2010] для построения составного критерия оценки результативности проектов был предложен специальный подход иерархического агрегирования. Построение составного критерия рассматривалось как задача порядковой классификации со снижением размерности признакового пространства. В качестве классифицируемых объектов выступали комбинации многокритериальных оценок проектов в признаковом пространстве K₁…K₈. Упорядоченными классами результативности научных проектов выступали градации оценок на шкале составного критерия D «Результативность проекта»: d₁ - наивысшая, d₂ - высокая, d₃ - средняя, d₄ - низкая, d₅ - неудовлетворительная.

Градации шкалы составного критерия были сформированы с помощью следующих различных методов вербального анализа решений: M₁ - методом ОРКЛАСС (ОР) на всех уровнях иерархии; M₂ - методом стратификации кортежей (СК) на всех уровнях иерархии; M₃ - сначала (на нижнем уровне иерархии) методом стратификации кортежей, потом (на верхнем уровне иерархии) методом ОРКЛАСС (СК+ОР); M₄ - сначала (на нижнем уровне иерархии) методом ОРКЛАСС, потом (на верхнем уровне иерархии) методом стратификации кортежей (ОР+СК). Пример оценки результативности проектов, полученных разными методами по оценкам двух экспертов, приведен на рис. 1.

Рис. 1. Пример распределения альтернатив по классам решений

Для выбора лучших проектов был применен метод АРАМИС (Агрегирование и Ранжирование Альтернатив около Многопризнаковых Идеальных Ситуаций) [Петровский, 2009], который позволяет упорядочивать многопризнаковые объекты на основе противоречивых предпочтений нескольких ЛПР. В этом методе объекты описываются множеством повторяющихся количественных и/или качественных атрибутов Q₁,…,Q_m представленных в виде мультимножеств. Многопризнаковые объекты A₁,...,A_n рассматриваются как точки метрического пространства мультимножеств (A,d) с различными метриками d [Петровский, 2003], которые можно сравнивать и упорядочивать по показателю относительной близости к наилучшему (идеальному) объекту A_max или наихудшему (антиидеальному) A_min в этом пространстве. Наилучший и наихудший объекты (которые могут быть гипотетическими) имеют наилучшие и наихудшие оценки по всем критериям Q_s. Объекты упорядочиваются по показателю относительной близости к наилучшему объекту l(A_i)=d(A_max,A_i)/[d(A_max,A_i)+d(A_min,A_i)], где d(A_max,A_i) расстояние до наилучшего объекта A_max и d(A_min,A_i) расстояние до наихудшего объекта A_min.

Рассмотрим методы M₁, M₂, M₃, M₄, использованные экспертами для оценки результативности, как новые атрибуты, которые характеризуют проекты. Каждый атрибут M_j имеет оценки m_j¹, m_j², m_j³, m_j⁴, m_j⁵, соответствующие градациям d¹, d², d³, d⁴, d⁵ шкалы составного критерия D «Результативность проекта». Теперь каждый проект A_i можно представить как множество с повторяющимися элементами или мультимножество A_i, порожденное множеством методов X=M₁M₂M₃M₄:

A_i={k_Ai(m₁¹)?m₁¹,…,k_Ai(m₁⁵)?m₁⁵;…; k_Ai(m₄¹)?m₄¹,…,k_Ai(m₄⁵)?m₄⁵}.

Здесь k_Ai(m_j^hj), h_j=1,…,5, j=1,…,4 показатель кратности, соответствующий тому, сколько значений атрибута встречается в мультимножестве A_i, который показывает, сколько раз метод m_j^hj использован всеми экспертами во время формирования градаций результативности; знак ? обозначает сколько k_Ai(m_j^hj) раз атрибут m_j^hj встречается в описании объекта A_i.

Например, проекты A₁ и A₂ ,показанные на рис.1, представляются в виде следующих мультимножеств:

A₁={1?m₁¹, 0?m₁², 1?m₁³, 0?m₁⁴, 0?m₁⁵; 1?m₂¹, 1?m₂², 0?m₂³, 0?m₂⁴, 0?m₂⁵;

1?m₃¹, 0?m₃², 1?m₃³, 0?m₁⁴, 0?m₁⁵; 1?m₄¹, 1?m₄², 0?m₄³, 0?m₄⁴, 0?m₄⁵},

A₂={0?m₁¹, 1?m₁², 1?m₁³, 0?m₁⁴, 0?m₁⁵; 0?m₂¹, 2?m₂², 0?m₂³, 0?m₂⁴, 0?m₂⁵;

0?m₃¹, 1?m₃², 1?m₃³, 0?m₁⁴, 0?m₁⁵; 0?m₄¹, 2?m₄², 0?m₄³, 0?m₄⁴, 0?m₄⁵},

наилучший проект A_max и наихудший проект A_min представлены мультимножествами:

A_max={2?m₁¹,0,…,0; 2?m₂¹,0,…,0; 2?m₃¹,0,…,0; 2?m₄¹,0,…,0},

A_min={0,…,0, 2?m₁⁵; 0,…,0, 2?m₂⁵; 0,…,0, 2?m₃⁵; 0,…,0, 2?m₄⁵}.

Модельная база данных по результатам целевых ориентированных фундаментальных исследований включала экспертные оценки проектов, которые были завершены в 2007 году по областям знаний «Математика, механика и информатика» (всего 48 проектов), «Химия» (всего 54 проекта), «Информационные, вычислительные, телекоммуникационные ресурсы» (всего 21 проект). Так, окончательное упорядочивание проектов по области знания «Математика, механика и информатика» в соответствии с показателем l(A_i) выглядит следующим образом:

Ранг 1 (l=0,333) - проекты A₁, A₅, A₇, A₈, A₁₀, A₁₃, A₁₄, A₁₇, A₂₂, A₂₃, A₂₅, A₂₆, A₂₈, A₃₀, A₃₁, A₃₂, A₃₃, A₃₄, A₃₆, A₃₉, A₄₁, A₄₃, A₄₅;

Ранг 2 (l=0,429) - проект A₁₉;

Ранг 3 (l=0,500) - проекты A₂, A₃, A₄, A₆, A₉, A₁₁, A₁₂, A₁₅, A₁₆, A₁₈, A₂₀, A₂₁, A₂₄, A₂₇, A₂₉, A₃₅, A₃₇, A₃₈, A₄₀, A₄₂, A₄₄, A₄₆, A₄₇, A₄₈.

Проекты ранга 1 имеют наивысший показатель результативности, ранга 2 - больше, чем высокий показатель результативности, ранга 3 - высокий показатель результативности.

Заключение

В работе предложен «прозрачный» подход к оценке результативности научных проектов, которые оценены несколькими экспертами по многим числовым, символьным или вербальным критериям. Используя интерактивную процедуру снижения размерности признакового пространства, сконструирован составной показатель результативности научных проектов, и получена оценка результативности, рассчитанная разными способами. Используя метод АРАМИС для группового упорядочивания многопризнаковых объектов, основанный на теории метрических пространств мультимножеств, были построены ранжировки проектов и определены наиболее результативные. Подход теории мультимножеств позволяет обнаруживать, представлять и использовать доступную информацию, анализировать полученные результаты и их особенности, особенно для несогласованных многокритериальных оценок проектов и противоречивых предпочтений ЛПР. Представленные инструменты были апробированы на проектах целевых ориентированных фундаментальных исследований, поддержанных Российским фондом фундаментальных исследований, и продемонстрировали высокую эффективность и простоту применения.

Благодарности. Работа выполнена при финансовой поддержке программ фундаментальных исследований президиума РАН «Интеллектуальные информационные технологии, математическое моделирование, системный анализ и автоматизация» и ОНИТ РАН «Информационные технологии и методы анализа сложных систем», Российского фонда фундаментальных исследований (проекты 08-01-00247, 09-07-00009, 09-07-12111).