Многоэтапная технология ПАКС многокритериального выбора в признаковом пространстве сниженной размерности

Размещено на http://www.allbest.ru/

1

Многоэтапная технология ПАКС многокритериального выбора в признаковом пространстве сниженной размерности

Введение

шкала пакс выбор многокритериальный

В задачах принятия решений рассматриваемые варианты (объекты, системы) обычно характеризуются многими разнообразными признаками: техническими, эксплутационными, экономическими, политическими и иными. В такой ситуации выбор лучшего варианта, упорядочение или классификация альтернатив на основе предпочтений лица, принимающего решение (ЛПР), становится весьма трудоемкой процедурой, которая требует значительных временных затрат ЛПР и разработки специальных методов его опроса. Когда сравниваемых объектов мало (3-5), а их признаки многочисленны (десятки и сотни), такие объекты, как правило, оказываются формально не сравнимыми по значениям своих атрибутов. Кроме того, при решении задач большой размерности нередко применяются различные упрощенные стратегии, учитывающие только часть имеющейся информации, что отрицательно сказывается на итогах - упорядочении объектов, выработке решающих правил, построении границ классов решений - и затрудняет дальнейший анализ полученных результатов.

Эти обстоятельства диктуют необходимость создания способов обработки информации, обеспечивающих решение задач многокритериального выбора в пространствах большой размерности. Один из подходов к преодолению указанных трудностей при сравнении многокритериальных объектов состоит в сокращении размерности признакового пространства [1] и использовании психологически корректных операций получения информации от ЛПР и экспертов [3, 4]. Специальные исследования показали, что человек допускает меньше ошибок, оперируя с вербальными данными, нежели с числовыми. Человеку легче сравнивать объекты по небольшому числу показателей, результаты таких сравнений более надежны, их проще анализировать.

Независимо от способа получения информации от ЛПР известные нормативные методы принятия решений неудовлетворительно работают в большом признаковом пространстве. Из наиболее часто встречающихся проблем отметим, в частности, следующие:

большие трудозатраты ЛПР (например, при построении функции полезности, выявлении весов критериев, попарном сравнении альтернатив);

трудность объяснения полученных результатов (например, при свертке критериев нельзя восстановить исходные данные по агрегированным показателям);

необоснованность процедур перевода вербальных измерений в числовые оценки;

рост числа несравнимых вариантов (неполнота отношений) и появление циклов альтернатив (нарушение транзитивности).

Чтобы преодолеть отмеченные недостатки и упростить процедуры сравнения многопризнаковых объектов по их свойствам, нужен соответствующий инструментарий, который позволяет агрегировать большое число характеристик в небольшое число критериев, имеющих небольшие шкалы градаций оценок, отражающих предпочтения ЛПР. Изложим основные идеи нового методологического подхода к решению задач многокритериального выбора, который объединяет методы вербального анализа решений и процедуры снижения размерности признакового пространства и агрегирования критериев. Разработанная технология была применена для оценки результативности научных проектов, поддержанных Российским фондом фундаментальных исследований.

2. Многоэтапная технология ПАКС

Задача многокритериального выбора в самом общем виде формулируется следующим образом. Задана совокупность вариантов (альтернатив) A₁,…,A_p, оцененных по многим критериям K₁,…,K_m. Каждый критерий K_i имеет шкалу X_i={x_i¹,…,x_i^gi}, i=1,…,m, дискретные числовые или вербальные градации которой в ряде случаев упорядочены. Основываясь на предпочтениях ЛПР, требуется: (1) выделить один или несколько лучших вариантов; (2) упорядочить все варианты; (3) распределить исходную совокупность вариантов по классам (категориям) D₁,…,D_q.

Для решения задач многокритериального выбора разработана многоэтапная технология ПАКС (Последовательное Агрегирование Классифицируемых Состояний), в которой используется последовательное сокращение размерности признакового пространства с применением нескольких различных методов вербального анализа решений и/или их сочетаний [9].

Формально задача снижения размерности признакового пространства имеет следующий вид:

X₁…X_m Y₁…Y_n, n<m,

где X₁,…,X_m - исходный набор признаков, Y₁,…,Y_n - новый набор признаков, m - размерность исходного признакового пространства, n - размерность нового признакового пространства. Каждый из признаков имеет свою собственную шкалу X_i={x_i¹,…,x_i^gi}, i=1,…,m, Y_j={y_j¹,…,y_j^hj}, j=1,…,n с упорядоченной градацией качественных (символьных, вербальных) оценок.

Будем рассматривать задачу снижения размерности признакового пространства как задачу многокритериальной классификации, в которой различные комбинации исходных признаков (кортежи оценок) последовательно агрегируются в меньшие наборы новых признаков, имеющих для ЛПР вполне определенный смысл. Итогом является иерархическая система критериев, верхний уровень которой определяется содержанием практической проблемы.

Назовем составным критерием интегральный показатель, который характеризует выбранное ЛПР свойство вариантов, агрегирующее исходные характеристики. Каждая градация шкалы составного критерия является комбинацией оценок исходных показателей. Процедура агрегирования показателей является многоуровневой иерархической структурой со «слабыми» связями, в которой элемент нижележащего уровня (оценки исходных показателей) подчинен двум и более вершинам вышестоящего уровня (оценкам составных критериев). Переходя шаг за шагом на более высокий уровень иерархии, ЛПР может сконструировать приемлемые для него составные критерии вплоть до одного единственного.

Процедура решения задачи многокритериального выбора с использованием технологии ПАКС состоит из трех этапов. На первом этапе, основываясь на предпочтениях ЛПР, проводится снижение размерности признакового пространства путем построения иерархической системы составных критериев, в которой агрегируются исходные показатели. Система критериев строится с помощью метода ИСКРА (Иерархическая Свертка Критериев и Атрибутов) [11]. На втором этапе, используя различные методы вербального анализа решений [4, 6, 7], последовательно формируются шкалы всех составных критериев. Построение шкалы каждого составного критерия рассматривается как задача порядковой классификации, где в качестве классифицируемых объектов выступают комбинации градаций оценок исходных показателей, а классами решений являются градации оценок составного критерия. Тем самым каждая комбинация градаций оценок будет соответствовать некоторой градации оценок на шкале комплексного критерия [8]. На третьем этапе выполняется окончательное решение задачи выбора с использованием построенных составных критериев. Для сортировки многопризнаковых объектов использован метод АРАМИС (Агрегирование и Ранжирование Альтернатив около Многопризнаковых Идеальных Ситуаций), в котором объекты рассматриваются как мультимножества [6].

Блок-схема решения задачи многокритериального выбора с последовательным снижением размерности признакового пространства состоит из следующих шагов (рис. 1).

Шаг 1. Выбрать тип задачи T. Возможны следующие задачи: T₁ - выбрать лучший вариант; T₂ - упорядочить варианты; T₃ - разделить варианты на упорядоченные группы.

Шаг 2. Сформировать множество вариантов A₁,…,A_p, p2 в зависимости от типа задачи T.

Шаг 3. Сформировать множество базовых показателей (исходных признаков) X₁,...,X_m, m2.

Шаг 4. Сформировать порядковые шкалы X_i={x_i¹,…,x_i^gi}, i=1,…,m базовых показателей в зависимости от типа задачи T.

Шаг 5. Сформировать множество составных критериев Y₁,...,Y_n, n<m, т.е. интегральных показателей, которые определяют выбранное ЛПР свойство вариантов, агрегирующее базовые (исходные) характеристики X₁,...,X_m.

Шаг 6. Сформировать порядковые шкалы Y_j={y_j¹,…,y_j^hj}, j=1,…,n составных критериев. Каждая градация шкалы составного критерия является комбинацией градаций оценок базовых показателей.

Шаг 7. Выбрать способ W построения шкал составных критериев (агрегирования показателей) X₁…X_mY₁…Y_n, n<m. Возможны следующие способы: W₁ - стратификация кортежей; W₂ - многокритериальная порядковая классификация кортежей; W₃ - ранжирование кортежей.

Шаг 8. Построить шкалы составных критериев всех иерархических уровней, включая верхний уровень, используя несколько разных методов агрегирования показателей и/или комбинаций методов.

Шаг 9. Получить решение задачи T (по многим критериям выбрать лучший вариант, упорядочить варианты, построить порядковую классификацию вариантов). Если получен удовлетворительный результат решения, то алгоритм завершает работу, иначе переход к шагу 10.

Шаг 10. Если результат, полученный на шаге 9, не удовлетворяет ЛПР, то предлагается либо изменить способ построения шкалы составного критерия W (переход к шагу 7), либо изменить градации шкалы составного критерия (переход к шагу 6), либо сформировать новое множество составных критериев Y (переход к шагу 5).

Рис. 1. Блок-схема многоэтапной технологии ПАКС

Рассмотрим особенности применения технологии ПАКС. Агрегирование признаков базируется на предпочтениях ЛПР. Первоначально при участии ЛПР формируется базовый набор характеристик рассматриваемых вариантов. В зависимости от специфики задачи эти характеристики могут быть либо заданы заранее, либо сформированы в процессе анализа проблемы с помощью аналитика-консультанта или эксперта. Для каждого базового показателя строится шкала, которая может иметь числовые (точечные, интервальные) или вербальные градации оценок. Шкалы базовых показателей могут совпадать с обычно используемыми на практике, либо конструироваться специально.

Для задач выбора наилучшего варианта (T₁) и ранжирования вариантов (T₂) целесообразно рассматривать только те градации оценок базовых показателей, которые встречаются в описании вариантов A₁,…,A_p. Таким способом можно предварительно сократить размерность исходного признакового пространства. Если изначально не задан набор реальных альтернатив, необходимо рассматривать множество всех возможных кортежей оценок в признаковом пространстве, образованном декартовым произведением градаций оценок на шкалах критериев.

Далее, основываясь на опыте и интуиции ЛПР, строится иерархическая система критериев. ЛПР по своему усмотрению определяет число, состав и содержание критериев каждого уровня иерархии. В качестве критерия можно выбрать один из базовых показателей или несколько базовых характеристик, объединенных в составной критерий. ЛПР устанавливает, какие базовые показатели будут считаться самостоятельными критериями, а какие будут отнесены к тому или иному составному критерию. ЛПР определяет также смысловое содержание критериев и градаций шкал оценок. Критерии должны иметь такие шкалы оценок, которые, с одной стороны, будут отражать агрегированные свойства объектов, а с другой стороны, будут понятны ЛПР при окончательном выборе объекта или их классификации. Целесообразно строить шкалы критериев с небольшим (3-5) числом вербальных градаций.

Процедура агрегирования показателей носит последовательный характер, т.е. полученные группы критериев объединяются поочередно в новые группы следующего уровня иерархии и так далее вплоть до единственного интегрального критерия самого верхнего уровня, если это необходимо. Чтобы уменьшить влияние особенностей различных методов, используемых при конструировании шкал составных критериев, предлагается на разных этапах применять несколько различных методов и/или их сочетания. Например, шкалу одного из составных критериев формировать при помощи метода стратификации кортежей, а шкалу другого - при помощи метода многокритериальной порядковой классификации ОРКЛАСС. В общем случае для построения шкал составных критериев можно использовать практически любой метод ранжирования или классификации многокритериальных альтернатив, позволяющий представить каждую градацию шкалы составного критерия в виде комбинации градаций оценок базовых показателей. Такой подход позволяет при решении конкретной практической задачи выбрать как наиболее предпочтительный набор составных критериев, так и метод или совокупность методов их построения.

Использование многих разных способов конструирования шкал составных критериев и интегрального показателя превращает исходную задачу выбора в задачу коллективного выбора, в которой варианты описывают многими нечисловыми признаками. Поэтому для её решения должны применяться методы группового вербального анализа решений, например, АРАМИС.

Метод АРАМИС (Агрегирование и Ранжирование Альтернатив около Многопризнаковых Идеальных Ситуаций) [6] позволяет строить групповую ранжировку многопризнаковых объектов, описанных повторяющимися количественными и/или качественными атрибутами K₁,…,K_m. Многопризнаковые объекты A₁,...,A_p рассматриваются как точки метрического пространства мультимножеств с некоторой метрикой d [5], которые сравниваются и упорядочиваются по показателю относительной близости к наилучшему (идеальному) объекту A_max или наихудшему (антиидеальному) A_min в этом пространстве. Наилучший и наихудший объекты (которые могут быть и гипотетическими) имеют наилучшие и наихудшие оценки по всем критериям K_s. Все объекты упорядочиваются, например, по значению показателя относительной близости к наилучшему объекту l(A_i)=d(A_max,A_i)/[d(A_max,A_i)+d(A_min,A_i)], где d(A_max,A_i) расстояние до наилучшего объекта A_max и d(A_min,A_i) расстояние до наихудшего объекта A_min.

В зависимости от специфики задачи многокритериального выбора иерархическая система критериев может быть известна заранее (например, организационная структура предприятия), известна частично (например, только структура технических характеристик устройства) и неизвестна вообще, т.е. иерархию требуется разработать «с нуля» (например, характеристики научных исследований или результатов). При построении системы критериев в первом случае основное внимание должно быть уделено разработке шкал составных критериев. Особенностью разработки системы критериев во втором и в третьем случаях является возможность сформировать разные наборы составных критериев различными способами (например, последовательно объединяя критерии попарно или формируя группы критериев исходя из их некоторой смысловой общности). Это позволит ЛПР сравнивать полученные результаты для разных наборов составных критериев, сформированных с помощью различных подходов, с целью оценки качества решения исходной проблемы.

3. Построение шкал составных критериев

Представим процедуру построения шкал составных критериев в виде однотипных блоков. Блоки содержательно выделяются ЛПР в зависимости от специфики решаемой задачи. Каждый блок классификации i-го уровня иерархии состоит из некоторого набора признаков и одного составного критерия. В качестве объектов классификации выступают все градации оценок на шкалах признаков. Классами решений i-го уровня служат градации оценок на шкале составного критерия.

В блоке классификации (i+1)-го уровня иерархии составные критерии i-го уровня считаются признаками, множество градаций оценок которых представляет собой новые объекты классификации в сокращенном признаковом пространстве, а классами решений будут теперь градации оценок на шкале составного критерия (i+1)-го уровня. Процедура повторяется до тех пор, пока не останется единственный составной критерий верхнего уровня, являющийся искомым интегральным показателем, шкала оценок которого образует упорядоченные классы решений D₁,...,D_q. Тем самым устанавливается соответствие между классами решений D₁,...,D_q и совокупностью исходных показателей - множеством X₁,…,X_m всех возможных комбинаций градаций оценок на шкалах критериев X_i={x_i¹,…,x_i^gi}, i=1,…,m, и находятся границы классов, что позволяет легко построить классификацию реальных вариантов (альтернатив) A₁,...,A_p, оцененных по многим критериям K₁,...,K_m.

Каждый блок i-го уровня иерархии представляет собой связный двудольный граф G_i=U, E, где U - вершины графа, E - дуги (рис. 2). Множеством вершин U=XY являются множества значений исходных признаков X=X₁…X_m и градаций шкал составных критериев Y=Y₁…Y_n. Дуги E графически выражают наборы решающих правил, на основании которых выстраиваются кортежи оценок, формирующих градации шкал составных критериев (фактически - это одна из форм смысловой интерпретации предпочтений ЛПР).

Рис. 2. Структура типового блока построения шкалы составного критерия i-ого уровня иерархии

Между вершинами, относящимся к разным множествам, имеются кратные дуги, т.е. граф G_i является мультиграфом. Кратность дуг графа G_i дает возможность представить градацию y_j^fj (f_j=1,…,h_j, j=1,…,n) шкалы составного критерия Y_j как множество с повторяющимися элементами или мультимножество [5]:

A_fj ={k_Afj(x₁¹)x₁¹,…,k_Afj(x₁^g1)x₁^g1,…, k_Afj(x_m¹) x_m¹,…,k_Afj(x_m^gm)x_m^gm},

где k_Afj(x_i^ei) указывает сколько раз значение исходного признака x_i^ei (i=1,…,m, e_i=1,…,g_i) встречается в кортежах, которые формируют градацию шкалы составного критерия y_j^fj; знак обозначает кратность оценки x_i^ei. Использование понятий мультиграфа и мультимножества позволяет построить единую схему формализации понятия составного критерия и по-новому решать как известные задачи, в которых есть определенные сложности, например, задачи распознавания иерархических структур, так и новые виды задач.

Для формирования шкал оценок по составным критериям ЛПР может воспользоваться несколькими способами из арсенала средств вербального анализа решений. Наиболее простым и легко воспринимаемым ЛПР способом конструирования порядковой шкалы составного критерия является метод стратификации кортежей, в котором используются однотипные (например, с одинаковым числом градаций) наборы порядковых вербальных шкал исходных показателей. Аналогично методам векторной стратификации [2] метод стратификации кортежей основан на сечении многомерного дискретного признакового пространства параллельными гиперплоскостями. Каждый слой (страта) состоит из однотипных комбинаций градаций оценок на шкалах критериев X_i, а число таких сечений определяется ЛПР из содержательных соображений. Максимально возможное число слоев можно рассчитать по формуле s=1m+. Каждый слой образуется как комбинация кортежей градаций оценок, сумма номеров которых фиксирована. Число классов rs. В более сложных процедурах построения шкал критериев используются методы вербального анализа решений ЗАПРОС или ОРКЛАСС [4, 6], которые оперируют на множестве всех возможных кортежей оценок в признаковом пространстве, образованном декартовым произведением градаций оценок на шкалах критериев X₁?…?X_m. В этих случаях число возможных комбинаций оценок равно q=.

Рассмотрим небольшой иллюстративный пример. Пусть ЛПР необходимо построить шкалу составного критерия D из градаций оценок базовых показателей A, B и C. Допустим, что все критерии A, B, C и D имеют шкалы с тремя вербальными градациями порядковых оценок A={a⁰,a¹,a²}, B={b⁰,b¹,b²}, C={c⁰,c¹,c²} и D={d⁰,d¹,d²}, где e⁰ - отлично, e¹ - хорошо, e² - плохо.

Применяя для построения порядковой шкалы составного критерия метод стратификации кортежей, ЛПР может, к примеру, объединить градации оценок исходных критериев в обобщенные градации составного критерия по такому принципу: все лучшие оценки по базовым показателям образуют одну лучшую оценку по составному критерию, все средние оценки - одну среднюю оценку, все худшие оценки - одну худшую оценку (рис. 3).

Составной критерий D

Рис. 3. Конструирование шкалы составного критерия с помощью метода стратификации кортежей.

Воспользовавшись методом ЗАПРОС, ЛПР может сконструировать единую порядковую шкалу составного критерия, градации которой формируются из оценок по отдельным исходным показателям, и выделить на ней градации шкалы составного критерия (рис. 4).

a⁰b⁰c⁰a⁰b¹c⁰a¹b⁰c⁰a⁰b²c⁰a²b⁰c⁰;

a⁰b⁰c⁰a¹b⁰c⁰a⁰b⁰c¹a²b⁰c⁰a⁰b⁰c²;

a⁰b⁰c⁰a⁰b¹c⁰a⁰b⁰c¹a⁰b²c⁰a⁰b⁰c²;

Составной критерий D

Рис. 4. Конструирование шкалы составного критерия с помощью метода ЗАПРОС.

С помощью метода ОРКЛАСС строится полная непротиворечивая порядковая классификация многопризнаковых объектов, в качестве которых в рассматриваемом случае выступают наборы градаций оценок по исходным показателям, образующим составной критерий (рис. 5). Получаемые классы решений соответствуют градациям шкалы составного критерия.

Рис. 5. Конструирование шкалы составного критерия с помощью метода ОРКЛАСС.

Новый методологический подход к снижению размерности пространства качественных признаков обладает определенной универсальностью, так как в общем случае позволяет оперировать как с символьной (качественной), так и с числовой (количественной) информацией, представляя каждую градацию шкалы составного (агрегированного) критерия в виде комбинации оценок базовых показателей. Привлекательной особенностью предложенного подхода к снижению размерности признакового пространства является возможность его использования в сочетании с другими методами принятия решений и технологиями обработки информации.

Эффективность технологии ПАКС при решении задач многокритериального выбора и классификации может оцениваться по-разному в зависимости от типа задачи T. Например, применительно к задачам ранжирования под оценкой эффективности понимается соотношение числа несравнимых альтернатив до и после снижения размерности. В задачах классификации эффективность оценивается числом обращений к ЛПР, необходимых для построения полной непротиворечивой классификации. Соответственно можно сравнивать число обращений к ЛПР при решении задачи классификации на исходном и новом пространстве признаков. Однако для задач классификации большой размерности такой подход не всегда является приемлемым, т.к. построить полную непротиворечивую классификацию на исходном признаковом пространстве в ряде случаев просто не представляется возможным. Это связано с тем, что с ростом размерности признакового пространства растет как число объектов, предъявляемых ЛПР для классификации, так и их сложность.

4. Оценка результативности научных проектов

В качестве примера использования технологии ПАКС рассмотрим задачу многокритериальной оценки результативности проектов целевых фундаментальных исследований, поддержанных Российским фондом фундаментальных исследований (РФФИ) и выполняемых в интересах федеральных агентств и ведомств [10]. В РФФИ накоплен значительный опыт в организации и проведении экспертизы фундаментальных исследований и полученных результатов, представляющих интерес с точки зрения возможности их практического применения.

В соответствии с действующим в РФФИ порядком экспертиза проектов проводится в несколько этапов и сочетает в себе индивидуальную оценку независимых экспертов и последующее коллективное обсуждение заявок. Первоначально каждый проект рассматривается несколькими экспертами, которые дают письменные аргументированные заключения и многокритериальную оценку содержания заявки (при проведении конкурсного отбора) и полученных результатов (при завершении проекта). Содержание заявки и полученных результатов оцениваются по специальным экспертным анкетам, которые содержат критерии, имеющие словесные шкалы оценок с развернутыми формулировками градаций качества. По каждому критерию эксперт выбирает только одну из имеющихся градаций оценок.

В дальнейшем заявки и отчеты обсуждаются в экспертном совете РФФИ по соответствующей области знаний, который с учетом заключений экспертов принимает решение о принятии проекта, продолжении выполнения или отклонении проекта, объемах его финансирования. В разных видах конкурсов используются свои наборы критериев оценки, но во всех конкурсах шкалы критериев имеют вербальные (качественные) градации. Такой подход позволяет оперировать оценками, в определенной степени унифицированными для представителей разных областей знаний, и получить от экспертов более достоверную информацию.

Одним из важных направлений деятельности РФФИ в настоящее время является оценка возможностей практического применения результатов научных исследований в отраслях экономики. Для выявления наиболее результативных проектов целевых фундаментальных исследований необходимо было формализовать само понятие «результативность проекта». Результативность проектов может рассматриваться как с позиций непосредственного применения полученных результатов на практике, так и для формирования целевых программ. При формализации результативности целевых фундаментальных исследований за исходные (базовые) показатели были приняты критерии, содержащиеся в анкете РФФИ для экспертной оценки отчета о выполнении проекта, которые учитываются при формировании интегрального показателя результативности проекта.

Анкета экспертной оценки отчета состоит из двух разделов: оценка полученных результатов и ожидаемые результаты завершающей стадии проекта. Раздел «Оценка полученных результатов проекта» включает 4 критерия: K₁. Степень выполнения заявленных задач проекта; K₂. Оценка научного уровня полученных результатов; K₃. Патентоспособность полученных результатов; K₄. Перспективы использования полученных результатов. Раздел «Ожидаемые результаты завершающей стадии проекта» характеризует возможности практической реализации проекта и состоит из 4 критериев: K₅. Ожидаемые результаты завершающего этапа выполнения проекта; K₆. Решение задач, поставленных в завершающей части проекта; K₇. Наличие трудностей в работе по проекту; K₈. Взаимодействие с организациями, в которых предполагается использовать результаты проекта (заполняется только для итогового отчета).

Каждый критерий имеет порядковую или номинальную шкалу оценок с двумя или тремя развернутыми словесными формулировками градаций качества. Например, степень выполнения заявленных в проекте задач оценивается по критерию K₁ как 0 - задачи выполнены полностью, 1 - задачи выполнены частично, 2 - задачи не выполнены. Решение задач, поставленных в завершающей части проекта, оценивается по критерию K₆ как 0 - реально или 1 - нереально.

Итак, множество объектов (научных проектов) исходно описывается восемью показателями (критериями) K₁,…,K₈, которые имеют следующие шкалы: X₁={0,1,2}; X₂={0,1,2}; X₃={0,1}; X₄={0,1,2}; X₅={0,1}; X₆={0,1}; X₇={0,1}; X₈={0,1,2}, где 0 обозначает лучшую оценку, 1 - среднюю (или худшую), 2 - худшую. Таким образом, размерность исходного признакового пространства X₁…X₈ равна 1296. Критерием верхнего уровня является «Результативность проекта», градации оценок по шкале которого (наивысшая, высокая, средняя, низкая, неудовлетворительная) определяют упорядоченные классы решений D₁,…,D₅. Требуется разбить множество комбинаций градаций оценок на пять упорядоченных классов результативности D₁…D₅. Очевидно, что непосредственная классификация 1296 вариантов требует существенных трудозатрат ЛПР.

Построение интегрального показателя результативности научного проекта рассматривается как решение задачи многокритериальной порядковой классификации по иерархической системе критериев, которая строится с помощью технологии ПАКС путем снижения размерности признакового пространства. В качестве многопризнаковых объектов выступают комбинации градаций оценок проектов по критериям, агрегированные показатели играют роль классов решений. ЛПР имеет возможность различным образом формировать понятие «Результативность проекта» и сравнивать интегральные показатели, сконструированные различными способами. Было предложено два способа агрегирования множества комбинаций исходных градаций оценок по критериям в промежуточные составные критерии, градации оценок по которым, в свою очередь, агрегировались в интегрированный критерий верхнего уровня.

Первый способ формирования иерархической системы критериев воспроизводит структуру анкеты отчета. Разделам «Оценка полученных результатов» и «Ожидаемые результаты завершающей стадии проекта» сопоставляются два составных критерия BK₁ и BK₂. В таком случае исходные оценки по критериям K₁, K₂, K₃, K₄ попадают в составной критерий BK₁, а исходные оценки по критериям K₅, K₆, K₇, K₈ - в составной критерий BK₂. Критерии BK₁ и BK₂ имеют порядковые шкалы с четырьмя вербальными градациями: высокая, хорошая, средняя, низкая, которые выступают как классы решений первого уровня для исходных признаков (критериев).

Наборы всех градаций оценок по составным критериям считаются далее объектами классификации следующего уровня, где классами решений D₁,...,D₅ являются градации шкалы оценок составного критерия верхнего уровня иерархии Z={z₁, z₂, z₃, z₄, z₅}. Здесь z₁ - наивысшая результативность (класс D₁), z₂ - высокая результативность (класс D₂), z₃ - средняя результативность (класс D₃), z₄ - низкая результативность (класс D₄), z₅ - неудовлетворительная результативность (класс D₅).

Другой возможный способ формирования иерархической системы критериев состоит во введении трех иных составных критериев: AK₁. Уровень полученных результатов, AK₂. Уровень ожидаемых результатов завершающей стадии проекта и AK₃. Возможности использования результатов в программах федеральных агентств и ведомств. Составной критерий AK₁ объединяет исходные оценки по критериям K₁, K₂ и K₃; составной критерий AK₂ - оценки по критериям K₅, K₆ и K₇; составной критерий AK₃ - оценки по критериям K₄ и K₈.

Для составных критериев AK₁, AK₂, AK₃ заданы порядковые шкалы с тремя градациями: Y₁={0,1,2}, Y₂={0,1,2}, Y₃={0,1,2}, где значения 0,1,2 являются вербальными оценками (высокая, средняя, низкая), определяемыми содержанием соответствующих составных критериев, и выступают как классы решений первого иерархического уровня. Совокупности кортежей (x₁^e1,x₂^e2,x₃^e3), (x₅^e5,x₆^e6,x₇^e7), (x₄^e4,x₈^e8) выступают в качестве классифицируемых объектов первого уровня. Рассмотрим теперь наборы всех градаций оценок по составным критериям (y₁^e1,y₂^e2,y₃^e3) в пространстве Y₁Y₂Y₃ как новые классифицируемые объекты следующего иерархического уровня. Классами решений D₁,…,D₅ являются градации оценок шкалы Z={z¹,z²,z³,z⁴,z⁵} составного критерия верхнего уровня иерархии. Агрегируя градации оценок по критериям AK₁, AK₂, AK₃, получим соответствующие оценки для шкалы Z показателя результативности (рис. 6).

Рис. 6. Схема построения критериев и формирования шкал оценок

Шкалы составных критериев конструировались ЛПР с помощью методов стратификация кортежей и ОРКЛАСС. Градации шкал оценок для составных критериев AK₁, AK₂, AK₃, сформированные методом ОРКЛАСС, представлены соответственно на рис. 7а,б,в. К классу 0 «Высокий уровень полученных результатов» (градация y₁¹=0) относится следующая комбинация оценок: (000), (001), (010), (100); к классу 1 «Средний уровень полученных результатов» (градация y₁²=1) - комбинации оценок (011), (021), (101), (111), (201), (110), (200), (020), (210), (120); к классу 2 «Низкий уровень полученных результатов» (градация y₁³=2) - комбинация оценок (121), (211), (221), (220). Здесь и далее для простоты записи опущены запятые между компонентами векторов оценок.

Рис. 7. Схема формирования шкал оценок для составных критериев AK₁, AK₂ и AK₃.

Класс 0 «Высокий уровень ожидаемых результатов» (градация y₂¹=0) образует комбинация всех лучших оценок (000); класс 1 «Средний уровень ожидаемых результатов» (градация y₂²=1) - все остальные комбинации оценок (001), (011), (101), (100), (010), (110); класс 2 «Низкий уровень ожидаемых результатов» (градация y₂³=2) - комбинация всех худших оценок (111).

Класс 0 «Большие возможности использования результатов» (градация y₃¹=0) составляют все лучшие оценки (00); класс 1 «Средние возможности использования результатов» (градация y₃²=1) - комбинации оценок (01), (10), (02), (11), (20); класс 2 «Малые возможности использования результатов» (градация y₃³=2) - комбинации оценок (12), (21), (22).

Комбинации градаций оценок по составным критериям AK₁, AK₂, AK₃ агрегировались далее с помощью метода стратификации кортежей. С геометрической точки зрения эта процедура состоит в «нарезке» многомерного параллелепипеда (прямоугольника) в пространстве исходных признаков на группы признаков составного критерия. К примеру, класс D₁ «Наивысшая результативность» (градация z¹) состоит из всех лучших оценок (000); класс D₂ «Высокая результативность» (градация z²) - из комбинаций оценок (100), (010), (001), (002), (101), (011), (200), (110), (020); класс D₃ «Средняя результативность» (градация z³) - из комбинаций оценок (102), (012), (201), (111), (021), (210), (120); класс D₄ «Низкая результативность» (градация z⁴) - из комбинаций оценок (202), (112), (022), (211), (121), (220), (212), (122), (221); класс D₅ «Неудовлетворительная результативность» (градация z⁵) - из всех худших оценок (222). Градации оценок для шкалы Z критерия D приведены на рис. 8.

Рис. 8. Схема формирования шкалы оценок для интегрального критерия D.

Таким образом, реальные варианты, имеющие оценки по исходным критериям, непосредственно относятся при классификации к сформированным классам решений. При первом способе конструирования интегрального показателя результативности для построения конечных классов решений D₁,...,D₅ потребовалось получить от ЛПР ответы соответственно на 43 и 17 вопросов при формировании шкал составных критериев AK₁ и AK₂ и ответы на 12 вопросов при формировании шкалы Z агрегированного критерия. При втором способе конструирования интегрального показателя результативности для построения конечных классов решений D₁,…,D₅ ЛПР давал ответы при формировании шкал составных критериев AK₁, AK₂, AK₃ - соответственно на 16, 6 и 7 вопросов, шкалы Z агрегированного критерия - на 22 вопроса. Приведенные числа задаваемых ЛПР вопросов существенно меньше, чем при использовании других методов многокритериальной порядковой классификации.

Разработанный подход к анализу результативности целевых фундаментальных исследований был апробирован на массиве реальных экспертных оценок отчетов по проектам, законченным в 2007 году в областях знаний 01. Математика, информатика и механика (48 проектов), 03. Химия (54 проекта), 07. Информационные и телекоммуникационные ресурсы (21 проект). Каждый отчет оценивался двумя экспертами по восьми исходным критериям K₁ - K₈. Интегральный показатель верхнего уровня D. «Результативность проекта» конструировался двумя способами, описанными выше: агрегируя оценки по критериям K₁-K₄ и K₁-K₄ в два промежуточных составных критерия BK₁ и BK₂; объединяя критерии K₁-K₃, K₅-K₇, и K₄, K₈ в три промежуточных составных критерия AK₁, AK₂, AK₃.

Градации шкалы интегрального показателя (классы результативности проектов) были сформированы с использованием четырех комбинаций различных методов вербального анализа решений: M₁ - метод ОРКЛАСС на всех уровнях иерархии критериев (ОК); M₂ - метод стратификации кортежей на всех уровнях иерархии критериев (СК); M₃ - стратификация кортежей на нижнем уровне иерархии критериев и ОРКЛАСС на верхнем уровне иерархии критериев (СК+ОК); M₄ - ОРКЛАСС на нижнем уровне иерархии критериев и стратификация кортежей на верхнем уровне иерархии критериев (ОК+СК). Пример распределения проектов по классам результативности, основанный на многокритериальных оценках двух экспертов, дан на рис 9.

Рис. 9. Пример распределения проектов по классам результативности.

Анализ оценок результативности проектов показал следующее. Например, по области 03 наивысшую результативность имеют при первом способе конструирования интегрального показателя результативности 16 проектов, а при втором способе 6 проектов; высокую результативность - соответственно 75 и 40 проектов; среднюю результативность - 13 и 59 проектов; низкую результативность - 2 и 1 проект; неудовлетворительную результативность - 2 и 2 проекта. Таким образом, первый способ агрегирования оценок по критериям дает более высокое значение интегрального показателя результативности, чем второй способ.

В целом по оценкам двух экспертов значения интегрального показателя результативности совпадают в 74% и 48% случаях (по области 01); в 72% и 24% случаях (по области 03); в 76% и 62% случаях (по области 07). Первое число относится к оценкам первого эксперта, второе - второго. В остальных случаях значения интегрального показателя результативности отличались не более чем на одну градацию, что можно рассматривать как свидетельство достаточно высокой устойчивости итоговых результатов оценки результативности проектов по исходным данным и выбранным способам построения шкал составных критериев на всех уровнях иерархии.

Лучшие по результативности проектов определялись с использованием метода группового упорядочения многопризнаковых объектов АРАМИС [6]. Оценки результативности проекта, полученные с помощью одной из комбинаций методов M₁, M₂, M₃, M₄, будем считать теперь новыми признаками, характеризующими проект. Каждый такой признак M_j может принимать одно из значений m_j¹, m_j², m_j³, m_j⁴, m_j⁵, которые соответствуют классам D₁, D₂, D₃, D₄, D₅ результативности проекта. Тогда каждый проект A_i представляется как мультимножество

A_i={k_Ai(m₁¹)?m₁¹,…,k_Ai(m₁⁵)?m₁⁵;…; k_Ai(m₄¹)?m₄¹,…,k_Ai(m₄⁵)?m₄⁵}.

над множеством методов M=M₁M₂M₃M₄. Здесь кратность k_Ai(m_j^hj), h_j=1,…,5, j=1,…,4 каждого значения признака в мультимножестве A_i показывает, сколько раз метод m_j^hj использовался при формировании соответствующего класса результативности по оценкам всех экспертов; знак ? обозначает, что в описании проекта A_i имеется k_Ai(m_j^hj) копий признака m_j^hj.

К примеру, проекты 1 и 2, показанные на рис.9, представляются следующими мультимножествами:

A₁={1?m₁¹, 0?m₁², 1?m₁³, 0?m₁⁴, 0?m₁⁵; 1?m₂¹, 1?m₂², 0?m₂³, 0?m₂⁴, 0?m₂⁵;

1?m₃¹, 0?m₃², 1?m₃³, 0?m₁⁴, 0?m₁⁵; 1?m₄¹, 1?m₄², 0?m₄³, 0?m₄⁴, 0?m₄⁵},

A₂={0?m₁¹, 1?m₁², 1?m₁³, 0?m₁⁴, 0?m₁⁵; 0?m₂¹, 2?m₂², 0?m₂³, 0?m₂⁴, 0?m₂⁵;

0?m₃¹, 1?m₃², 1?m₃³, 0?m₁⁴, 0?m₁⁵; 0?m₄¹, 2?m₄², 0?m₄³, 0?m₄⁴, 0?m₄⁵};