Многокритериальный подход к оценке результативности научных проектов

5

Размещено на http://www.allbest.ru/

Многокритериальный подход к оценке результативности научных проектов

Постановка проблемы

Задачи инновационного и диверсифицированного развития отечественной экономики могут быть успешно решены при условии использования новых технологий, основанных в том числе и на научных разработках, имеющих фундаментальный характер. Для достижения этих целей необходимо отобрать научные разработки, представляющие интерес с точки зрения возможности их практического применения. Использование наиболее результативных проектов можно рассматривать как с точки зрения их непосредственного применения на практике (например, патентоспособность или взаимодействие с организациями, в которых предполагается использовать результаты проекта), так и для дальнейшей определенной доработки в случае формирования каких-либо целевых программ (например, программы по высокотемпературной сверхпроводимости [4], программы по нанотехнологиям и т.п.).

Фундаментальные научные исследования также можно трактовать с нескольких позиций. Первый аспект -- культурно-образовательный. Результативная реализация проектов позволяет поддерживать (а в ряде случаев и просто сохранять) научные школы, готовить новые профессиональные научные кадры, привлекать молодежь в науку. Второй аспект -- познавательный. Наиболее результативные проекты «генерируют» по-настоящему новые знания, без которых просто невозможно говорить о построении «экономики знаний». И, наконец, третий аспект -- экономический. В такой трактовке целесообразна оценка наиболее результативных проектов исходя из возможности получения максимальной отдачи от внедрения новых технологий (например, рост производительности труда или экономия материалов) [5].

Анализ литературы. Значительный опыт в организации и проведении экспертизы целевых фундаментальных исследований и полученных результатов, представляющих интерес с точки зрения возможности их практического применения в федеральных агентствах и ведомствах, накоплен в Российском фонде фундаментальных исследований (РФФИ). Отбор проектов на конкурсной основе с привлечением экспертов проводится в фонде, начиная с 1991 года. В качестве другого примера уместно привести активное развитие в последние годы в России системы венчурных фондов и создание различных технопарков. Проблемам планирования, экспертной оценки и отбора научных исследований посвящено достаточно много работ [3-5], [7], [8], [10].

Конкурсный отбор проектов относится к числу слабо структурируемых задач принятия решений. Для фундаментальных исследований вообще, и для проектов РФФИ в частности, характерна высокая степень неопределенности и риска, связанных с получением нового знания. Специфика задачи требует использования естественного языка описания проблемы на всех этапах отбора проектов, как при оценке экспертами, так и при получении объяснений принимаемых решений. Для эффективного использования результатов научных исследований необходимо формализовать понятие «результативность проекта» применительно к целевым фундаментальным исследованиям, выполняемым в интересах федеральных агентств и ведомств, на основе принятой в РФФИ системы критериев.

В соответствии с установленной в РФФИ методикой несколько экспертов оценивают завершающиеся проекты целевых фундаментальных исследований по восьми качественным критериям, имеющим порядковые шкалы оценок с вербальными описаниями, характеризуемыми небольшим числом градаций качества (2-5). Такой подход позволяет получить от экспертов более достоверную информацию и оперировать профессиональным языком с использованием терминологии, в определенной степени унифицированной для представителей разных областей знаний. Анкета оценки отчета о выполнении исследований состоит из двух больших разделов: оценка полученных результатов проекта и ожидаемые результаты завершающей стадии проекта. Эти аспекты играют существенную роль при формализации понятия «результативность проекта» и позволяет сформировать интегральный показатель результативности.

Существует несколько различных методологических подходов, которые позволяют конструировать интегральные показатели на основании агрегирования признаков, описывающих рассматриваемые объекты [1]. Однако, например, методы, использующие свертку многих критериев с применением весовых коэффициентов [2], не позволяют по агрегированным критериям восстановить исходные данные, т.е. получение объяснений принятых решений фактически невозможно. Кроме того, весьма затруднительно обосновать назначение весов критериев, особенно при наличии нескольких экспертов.

Во многих практических случаях разработку интегральных показателей целесообразно свести к задаче многокритериальной порядковой классификации. Интегральные показатели будут выступать в этом случае в качестве классов решений. Именно такой подход использован для формализации понятия «результативность проекта». Для разделения проектов на несколько упорядоченных классов (групп) можно воспользоваться одним из методов вербального анализа решений, ориентированного на построение классификации многопризнаковых объектов, например, методом ОРКЛАСС [6]. Вместе с тем при количестве критериев равном 8 и 2-5 оценках на шкалах критериев от эксперта потребуются достаточно большие временные затраты для построения полной непротиворечивой порядковой классификации.

Цель статьи -- для преодоления указанных трудностей разработан метод ПАКС (Последовательное Агрегирование Классифицируемых Состояний), основанный на последовательном снижении размерности признакового пространства, образованного дискретными качественными (вербальными) признаками [9]. Метод предоставляет в распоряжение лица, принимающего решение (ЛПР), инструментарий, дающий возможности агрегировать большое число исходных характеристик в небольшое число составных критериев, имеющих небольшие шкалы оценок, отражающих предпочтения ЛПР. При построении шкал составных критериев используются разные способы ранжирования и/или классификации многомерных альтернатив исходя из предпочтений ЛПР.

Метод многокритериальной классификации ПАКС

Изложим основные моменты метода ПАКС. Формальная постановка задачи снижения размерности признакового пространства имеет следующий вид:

X₁…X_m Y₁…Y_n, n<m,

где X₁,…,X_m - исходный набор признаков, Y₁,…,Y_n - новый набор признаков, m - размерность исходного признакового пространства, n - размерность нового признакового пространства. Каждый из признаков имеет свою собственную шкалу X_i={x_i¹,…,x_i^gi}, i=1,…,m, Y_j={y_j¹,…,y_j^hj}, j=1,…,n с упорядоченной градацией оценок.

Рассмотрим задачу снижения размерности признакового пространства как задачу многокритериальной классификации, в которой различные комбинации исходных признаков (кортежи оценок) последовательно агрегируются в меньшие наборы новых признаков, имеющих для ЛПР вполне определенный смысл. Итогом является иерархическая система критериев, верхний уровень которой определяется содержанием практической проблемы.

Назовем составным критерием интегральный показатель, который определяет выбранное ЛПР свойство вариантов, агрегирующее исходные характеристики. Каждая градация шкалы составного критерия является комбинацией оценок исходных показателей. Процедура агрегирования показателей является многоуровневой иерархической структурой со «слабыми» связями, в которой элемент нижележащего уровня (оценки исходных показателей) подчинен двум и более вершинам вышестоящего уровня (оценкам составных критериев). Переходя шаг за шагом на более высокий уровень иерархии, ЛПР может сконструировать приемлемые для него составные критерии вплоть до одного единственного.

Представим процедуру построения шкал составных критериев в виде однотипных блоков. Блоки содержательно выделяются ЛПР в зависимости от специфики решаемой задачи. Каждый блок классификации i-го уровня иерархии состоит из некоторого набора признаков и одного составного критерия. В качестве объектов классификации выступают все градации оценок на шкалах признаков. Классами решений i-го уровня служат градации оценок на шкале составного критерия.

В блоке классификации (i+1)-го уровня иерархии составные критерии i-го уровня считаются признаками, множество градаций оценок которых представляет собой новые объекты классификации в сокращенном признаковом пространстве, а классами решений будут теперь градации оценок на шкале составного критерия (i+1)-го уровня. Процедура повторяется до тех пор, пока не останется единственный составной критерий верхнего уровня, являющийся искомым интегральным показателем, шкала оценок которого образует упорядоченные классы решений D₁,...,D_q. Тем самым устанавливается соответствие между классами решений D₁,...,D_q и совокупностью исходных показателей - множеством X₁,…,X_m всех возможных комбинаций градаций оценок на шкалах критериев X_i={x_i¹,…,x_i^gi}, i=1,…,m, и находятся границы классов, что позволяет легко построить классификацию реальных альтернатив (вариантов) V₁,...,V_p, оцененных по многим критериям K₁,...,K_m.

Для формирования шкал оценок по составным критериям ЛПР может воспользоваться несколькими способами из арсенала средств вербального анализа решений. Наиболее простым и легко воспринимаемым ЛПР способом конструирования порядковой шкалы составного критерия является метод стратификации кортежей, в котором используются однотипные (например, с одинаковым числом градаций) наборы порядковых вербальных шкал исходных показателей. Идея метода стратификации кортежей основана на сечении многомерного дискретного признакового пространства параллельными гиперплоскостями. Каждый слой (страта) состоит из однотипных комбинаций оценок на шкалах критериев X_i, а число таких сечений (оценок) определяется ЛПР из содержательных соображений. Максимально возможное число слоев можно рассчитать по формуле L=1m+. Каждый слой образуется как комбинация кортежей оценок, сумма которых фиксирована. Число классов qL. Более сложные процедуры построения шкал критериев используют методы вербального анализа решений ЗАПРОС и ОРКЛАСС [6], в которых рассматривается множество всех возможных кортежей оценок в признаковом пространстве, образованном декартовым произведением значений оценок на шкалах критериев. В этих случаях число возможных комбинаций оценок (альтернатив) равно p=.

Новый методологический подход к снижению размерности пространства качественных признаков обладает определенной универсальностью, так как в общем случае можно оперировать как символьной (качественной), так числовой информацией. Важной особенностью предложенного подхода к снижению размерности признакового пространства является возможность его использования в сочетании с другими методами принятия решений и обработки информации, позволяя представить каждую градацию шкалы составного критерия в виде комбинации оценок базовых показателей.

Построение интегрального показателя результативности научных проектов. Разработанный метод формирования интегрального показателя результативности научных проектов был опробован в рамках используемой в РФФИ процедуры экспертной оценки выполненных проектов целевых фундаментальных исследований. Были исследованы возможные подходы, позволяющие различным образом формализовать понятие «результативность» проекта. Предложено два разных варианта агрегирования исходного множества комбинаций исходных экспертных оценок результатов, полученных по проектам, в промежуточные составные критерии, которые, в свою очередь, агрегировались в интегрированный критерий верхнего уровня. Шкалы критериев каждого уровня иерархии конструировались с помощью различных сочетаний методов, а именно: методом ОРКЛАСС (ОР); методом стратификации кортежей (СК); сначала (на нижнем уровне иерархии) методом стратификации кортежей, потом (на верхнем уровне иерархии) методом ОРКЛАСС (СК+ОР); сначала (на нижнем уровне иерархии) методом ОРКЛАСС, потом (на верхнем уровне иерархии) методом стратификации кортежей (ОР+СК).

Первый вариант формирования иерархической системы критериев опирается на структуру анкеты отчета, в которой выделены два основных раздела: Оценка полученных результатов проекта и Ожидаемые результаты завершающей стадии проекта. Этим разделам можно сопоставить два составных критерия AK₁ и AK₂, имеющие порядковые шкалы с четырьмя градациями: Y₁={0, 1, 2, 3} и Y₂={0, 1, 2, 3}, где значения 0 - высокая, 1 - хорошая, 2 - средняя, 3 - низкая являются вербальными оценками. Эти градации оценок выступают как классы решений первого уровня для исходных признаков (критериев). В этом случае исходные признаки K₁, K₂, K₃, K₄ попадают в составной критерий AK₁, а признаки K₅, K₆, K₇, K₈ - в составной критерий AK₂.

При формировании шкал составных критериев с помощью метода многокритериальной порядковой классификации ОРКЛАСС шкалы Y₁ и Y₂ имеют следующий вид.

Шкала Y₁ включает такие градации оценок (классы решений с границами): y₁¹=0 (высокая оценка научного уровня полученных результатов) - класс 0 (верхняя граница: 0000; нижняя граница: 1000,0010,0101); y₂¹=1 (хорошая оценка научного уровня полученных результатов) - класс 1 (верхняя граница: 2000,1100,1010,0110, 1001,0011,0002; нижняя граница: 0110,2001, 1101,1011,1002,0102,0012); y₃¹=2 (средняя оценка научного уровня полученных результатов) - класс 2 (верхняя граница: 2100,0200,2010,1110,0111,2002,1102, 1012; нижняя граница: 2200,2111,2102,2012,1112,0212); y₄¹=3 (низкая оценка научного уровня полученных результатов) - класс 3 (верхняя граница: 1210,1201,2112; нижняя граница: 2212).

Для шкалы составного критерия Y₂ получены такие градации оценок: y₁²=0 (высокий уровень ожидаемых результатов) - класс 0 (верхняя граница: 0000; нижняя граница: 0000); y₂²=1 (хороший уровень ожидаемых результатов) - класс 1 (верхняя граница: 1000,0100,0010,0001; нижняя граница: 1000,0100,0011,0002); y₃²=2 (средний уровень ожидаемых результатов) - класс 2 (верхняя граница: 1100,1010,0110,1001,0101,0012; нижняя граница: 1111,1012,0112); y₄²=3 (низкий уровень ожидаемых результатов) - класс 3 (верхняя граница: 1102; нижняя граница: 1112).

Рассмотрим теперь наборы всех оценок по составным критериям как объекты классификации следующего уровня, где классами решений D₁,...,D₅ являются градации оценок шкалы составного критерия верхнего уровня иерархии Z={z₁, z₂, z₃, z₄, z₅}. Аналогичным образом агрегируя показатели AK₁ и AK₂, имеем: z₁ (наивысший показатель результативности) - класс D₁ (верхняя граница: 00; нижняя граница: 00); z₂ (высокий показатель результативности) - класс D₂ (верхняя граница: 10,01; нижняя граница: 11); z₃ (средний показатель результативности) - класс D₃ (верхняя граница: 20,02; нижняя граница: 31,22,13); z₄ (низкий показатель результативности) - класс D₄ (верхняя граница: 32,23; нижняя граница: 32,23); z₅ (неудовлетворительный показатель результативности) - класс D₅ (верхняя граница: 33; нижняя граница: 33).

Реальные альтернативы, имеющие оценки по исходным критериям, непосредственно относятся при классификации к сформированным классам решений. Отметим, что для построения конечных классов решений D₁,...,D₅ потребовалось получить от ЛПР ответы соответственно на 43 и 17 вопросов при формировании шкал Y₁ и Y₂ составных критериев AK₁ и AK₂ и ответы на 12 вопросов при формировании шкалы Z агрегированного критерия, что существенно меньше, чем при использовании других методов многокритериальной порядковой классификации.

Другой возможный вариант формирования иерархической системы критериев состоит во введении трех составных критериев: AK₁. Оценка полученных результатов проекта, AK₂. Ожидаемые результаты завершающей стадии проекта и AK₃. Возможности использования результатов в программах федеральных агентств и ведомств. Составной критерий AK₁ объединяет исходные признаки K₁, K₂ и K₃; AK₂ - признаки K₅, K₆ и K₇; AK₃ - признаки K₄ и K₈.

Составные критерии AK₁, AK₂, AK₃ имеют порядковые шкалы с тремя градациями: Y₁={0,1,2}; Y₂={0,1,2}; Y₃={0,1,2}, где значения 0,1,2 являются вербальными оценками (высокая, средняя, низкая), определяемыми содержанием соответствующих составных критериев, и выступают как классы решений первого уровня. Для формирования шкал составных критериев использовались метод стратификации кортежей, метод ОРКЛАСС и их комбинации. С геометрической точки зрения метод стратификации кортежей состоит в «нарезке» многомерного параллелепипеда или прямоугольника на несколько групп наборов исходных признаков, число которых зависит от числа признаков, образующих составной критерий.

Рис. 1. Схема формирования шкал оценок для составных критериев AK₁, AK₂ и AK₃

Возможные градации оценок для шкалы критерия AK₁ представлены на рис. 1а. К классу 0 (оценка y₁¹=0) относится следующая комбинация оценок: (000),(001),(010),(100), к классу 2 (оценка y₁³=2) - комбинация оценок (121),(211),(221),(220), а к классу 1 (оценка y₁²=1) - все остальные комбинации оценок (011),(021),(101),(111),(201),(110),(200),(020),(210),(120).

Возможные градации оценок для шкалы критерия AK₂ представлены на рис. 1б. Класс 0 (оценка y₂¹=0) образует комбинация всех лучших оценок (000), класс 2 (оценка y₂³=2) - комбинация всех худших оценок (111) и класс 1 (оценка y₂²=1) - все остальные комбинации оценок (001),(011),(101),(100), (010),(110).

Возможные градации оценок для шкалы критерия AK₃ представлены на рис. 1в. Класс 0 (оценка y₃¹=0) составляют все лучшие оценки (00); класс 1 (оценка y₃²=1) - комбинации оценок (01),(10),(02),(11),(20); класс 2 (оценка y₃³=2) - комбинации оценок (12),(21),(22).

Аналогичным образом, агрегируя показатели AK₁, AK₂, AK₃, имеем: класс D₁ (оценка z¹) состоит из всех лучших оценок (000); класс D₂ (оценка z²) - из комбинаций оценок (100),(010),(001),(002),(101),(011),(200),(110),(020); класс D₃ (оценка z³) - из комбинаций оценок (102), (012),(201),(111),(021),(210), (120); класс D₄ (оценка z⁴) - из комбинаций оценок (202),(112), (022),(211),(121),(220),(212),(122),(221); класс D₅ (оценка z⁵) - из всех худших оценок (222). Градации оценок для шкалы критерия Z={z¹,z²,z³,z⁴,z⁵} составного критерия верхнего уровня иерархии представлены на рис. 2.

При формировании шкал составных критериев с помощью метода ОРКЛАСС для шкалы Y₁ были получены следующие градации оценок (классы решений с границами): y₁¹=0 - класс 0 (верхняя граница: 000; нижняя граница: 100,010,001); y₁²=1 - класс 1 (верхняя граница: 200,110,020,101,011; нижняя граница: 210,120,201,111, 021); y₁³=2 - класс 2 (верхняя граница: 220,211,121; нижняя граница: 221). Для шкал Y₂ и Y₃ составных критериев AK₂ и AK₃ получены такие градации оценок: y₂¹=0 - класс 0 (верхняя граница: 000; нижняя граница: 001); y₂²=1 - класс 1 (верхняя граница: 100,010; нижняя граница: 101,011); y₂³=2 - класс 2 (верхняя граница: 110; нижняя граница: 111); y₃¹=0 - класс 0 (верхняя граница: 00; нижняя граница: 00); y₃²=1 - класс 1 (верхняя граница: 10,01; нижняя граница: 20,11,02); y₃³=2 - класс 2 (верхняя граница: 21,12; нижняя граница: 22).

Рассматривая наборы всех оценок по составным критериям как объекты классификации следующего второго уровня, где классами решений D₁,…,D₅ являются градации оценок шкалы Z={z¹,z²,z³,z⁴,z⁵} составного критерия верхнего уровня иерархии и агрегируя показатели AK₁, AK₂, AK₃, получим для шкалы Z такие оценки: z¹ - класс D₁ (верхняя граница: 000; нижняя граница: 000); z² - класс D₂ (верхняя граница: 100,010,001; нижняя граница: 110,101); z³ - класс D₃ (верхняя граница: 200,020,011,002; нижняя граница: 211,121,202, 112,022); z⁴ - класс D₄ (верхняя граница: 220,212,122; нижняя граница: 221,212,122); z⁵ - класс D₅ (верхняя граница: 222; нижняя граница: 222).

Рис. 2. Схема формирования шкалы оценок для составного критерия верхнего уровня иерархии

Таким образом, реальные альтернативы, имеющие оценки по исходным критериям, непосредственно относятся при классификации к сформированным классам решений. Отметим, что для построения конечных классов решений D₁,…,D₅ потребовалось получить от ЛПР ответы на следующие числа вопросов: при формировании шкал Y₁, Y₂, Y₃ составных критериев AK₁, AK₂, AK₃ - соответственно на 16, 6 и 7 вопросов, при формировании шкалы Z агрегированного критерия - на 22 вопроса. Это существенно меньше, чем при использовании других методов многокритериальной порядковой классификации.

Апробация разработанной методики экспертного анализа результативности целевых фундаментальных исследований была проведена на массиве данных экспертных оценок отчетов по проектам, выполненным в интересах Федерального агентства по промышленности в 2005-2006 годах. Анализ результатов оценки результативности показал следующее: наивысший показатель получили соответственно по I варианту 5 проектов, а по II - 6 проектов; высокий показатель - 54 и 26 проектов; средний показатель - 9 и 46 проектов. Таким образом, I вариант агрегирования оценок по критериям дает более высокий интегральный показатель результативности, чем II вариант. В целом по двум вариантам интегральный показатель результативности совпадает в 25 случаях из 78 (39 проектов оценивались двумя экспертами). В остальных случаях интегральный показатель результативности отличался не более чем на одну градацию, что может рассматриваться как свидетельство достаточно высокой устойчивости результатов классификации альтернатив относительно исходных данных и выбранных способов построения шкал составных критериев на всех уровнях иерархии.

При построении интегрального показателя результативности проекта предпочтение целесообразно отдать предпочтение второму варианту формирования иерархической системы критериев. Это обусловлено несколькими аспектами. Во-первых, второй вариант при оценке результативности выполнения проектов РФФИ делает акцент на возможности их практического использования. Во-вторых, при агрегировании показателей с использованием метода многокритериальной порядковой классификации требуется задать меньшее число вопросов ЛПР и тем самым дополнительно сэкономить его время. При агрегировании показателей с использованием метода стратификации кортежей от ЛПР необходимо получить минимум информации. Фактически ЛПР должен задать число составных критериев и количество градаций на шкалах.

Выводы

Предложенный методологический подход многокритериальной оценки результативности научных проектов может быть успешно применен в различных областях, где необходимо получить интегральную оценку деятельности на основе исходной слабо структурируемой качественной информации. Практически невозможно априори назначить количественные шкалы оценок, сопоставив качественным факторам какие-либо числа так, чтобы они «правильно» выражали плохо формализуемые свойства объектов и одинаково понимались разными людьми. Тем более, числовые оценки неприменимы для измерения непорядковых показателей, таких, например, как участие в выполнении проекта молодых ученых или междисциплинарный характер проекта.

Важной особенностью разработанного подхода является возможность сформировать разные наборы промежуточных составных критериев и воспользоваться разными способами конструирования их шкал. Сопоставление получаемых результатов для разных вариантов классификации и иерархических систем критериев позволяет сравнить их между собой для выбора как наиболее предпочтительной системы, так и оценки качества сделанного выбора. Подход дает возможность обосновать принятое решение и получить ощутимую экономию времени и трудозатрат ЛПР.

Результаты апробации подтвердили эффективность предложенного подхода. Были выявлены проекты целевых фундаментальных исследований, имеющие высокую результативность, что обеспечивает расширение сферы практического применения результатов законченных работ. Подход, который может найти свое применение при оценке результативности инициативных и иных проектов (с учетом их специфики), выполняемых при поддержке РФФИ, а также других Федеральных агентств, ведомств, что позволит повысить эффективность использования результатов фундаментальных исследований.

Список литературы

научный многокритериальный классификация пакс

1. Прикладная статистика. Классификация и снижение размерности / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин; Под ред. С.А. Айвазяна. -- М.: Финансы и статистика, 1989. -- 607 с.

2. Кини Р. Л., Райфа Х. Принятие решений при многих критериях: предпочтения и замещения. -- М.: Радио и связь, 1981.-- 560 с.

3. Человеко-машинная процедура планирования научных исследований и разработок / О.И. Ларичев, Л.С. Гнеденко, Ю.А. Зуев, Ю. В.Чуев, И.П. Тихонов // Вопросы информационной технологии. Сборник трудов ВНИИСИ / Под ред. Д. С. Черешкина. -- № 6. М.: ВНИИСИ, 1983. -- С. 86-95.

4. Опыт планирования фундаментальных исследований на конкурсной основе / О.И. Ларичев, А.С. Прохоров, А.Б. Петровский, М.Ю. Стернин, Г.И. Шепелев // Вестник АН СССР. -- 1989. -- № 7. -- С. 51-61.

5. Российская фундаментальная наука в третьем тысячелетии / О.И. Ларичев, В.А. Минин, А.Б. Петровский, Г.И. Шепелев // Вестник Российской академии наук. -- 2001. -- Т. 71, № 1. -- С. 13-18.

6. Ларичев О.И. Вербальный анализ решений / Под ред. А.Б. Петровского. -- М.: Наука, 2006. -- 181 с.

7. Лопухин М.М. ПАТТЕРН -- метод планирования и прогнозирования научных работ.-- М.: Советское радио, 1971. -- 160 с.

8. Петровский А.Б., Шепелев Г.И. Система поддержки принятия решений для конкурсного отбора научных проектов // Проблемы и методы принятия уникальных и повторяющихся решений. Сборник трудов / Под ред. С.В. Емельянова, О.И. Ларичева. -- № 10. М.: ВНИИСИ, 1990. -- С. 25-31.

9. Петровский А.Б., Ройзензон Г.В. Интерактивная процедура снижения размерности признакового пространства в задачах многокритериальной классификации // Поддержка принятия решений: Труды Института системного анализа Российской академии наук / Под ред. А.Б. Петровского. -- М.: Едиториал УРСС, 2008. -- Т. 35. -- С. 43-53.

10. Филиппов В.А., Ларичев О.И. Проблемы выбора при перспективном планировании научных исследований и разработок // Труды III Всесоюзного симпозиума по планированию и управлению НИР / Под ред. К.Л. Горфана, Л.Э. Миндели. -- М.: ЦЭМИ, 1976.-- С. 36-42.

Размещено на Allbest.ru