8

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

МНОГОКРИТЕРИАЛЬНАЯ ЭКСПЕРТНАЯ ОЦЕНКА И АНАЛИЗ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ НАУЧНЫХ ОРГАНИЗАЦИЙ ^*

А.Б. Петровский¹, Г.В. Ройзензон¹,

А.В. Балышев¹, И.П. Тихонов², Э.Н. Яковлев²

¹Институт системного анализа РАН,

Москва, 117312, проспект 60-летия Октября, 9, pab@isa.ru, rgv@isa.ru, abalyshev@yandex.ru

²Экспертно-аналитический центр Министерства образования и науки Российской Федерации

Москва, 109316, ул. Талалихина, 33, igtikhonov@rambler.ru, yakovlev1941@maill.ru

Предложен новый методологический подход к многокритериальной экспертной оценке и анализу эффективности деятельности научных организаций, выполняющих фундаментальные исследования. Разработана методика проведения экспертизы и специальная система критериев экспертной оценки эффективности деятельности научной организации. С учетом специфики критериев модифицированы методы группового вербального анализа решений, основанные на теории мультимножеств, которые позволяют получить комплексную оценку эффективности деятельности организации. Проведена апробация модифицированных методов на сформированном модельном массиве экспертных оценок деятельности научных организаций.

Введение

групповой оценка научный организация

Одним из основных направлений деятельности Экспертно-аналитического центра Министерства образования и науки России является экспертиза и анализ научной и финансово-экономической деятельности федеральных государственных унитарных предприятий, выполняющих фундаментальные исследования. Очевидно, что «эффективность деятельности научной организации» представляет собой достаточно сложное понятие, которое можно характеризовать разнообразными количественными и/или качественными факторами различной природы. При этом требуемая информация о разных областях деятельности организации может быть получена, главным образом, по результатам экспертизы.

Анализ отечественного и зарубежного опыта оценки эффективности деятельности научных организаций, выполняющих фундаментальные исследования, показал малую практическую пригодность используемых методик [Камбаров и др., 2007]. Подавляющее большинство методик требует проведения громоздких и трудоемких вычислений сотен числовых показателей и/или весовых коэффициентов, оцененных многими экспертами. Часто подобная экспертная информация сворачивается в один или несколько числовых обобщенных показателей (индексов) эффективности по некоторой формуле без каких-либо обоснований или объяснений. Однако в случае качественных экспертных данных подобные операции невозможны. Поэтому необходимы новые подходы к оценке эффективности деятельности.

В работе представлен новый методологический подход к многокритериальной экспертной оценке и анализу эффективности деятельности научной организации. Оценка эффективности деятельности рассматривается как задача группового упорядочения многопризнаковых объектов. Предлагаемая методология основана на оригинальных методах вербального анализа решений [Ларичев, 2006], [Петровский, 2009], которые позволяют оперировать с качественной (вербальной) информацией без ее преобразования в числовую форму. Методы были модифицированы с учетом специфики системы критериев, разработанных для экспертной оценки эффективности научной и финансово-экономической деятельности научных организаций. Разработанный подход был использован в Экспертно-аналитическом центре для оценки эффективности научных организаций и выбора из них наиболее эффективных. Подход позволил также дать ясное понимание, что вкладывается в понятие «эффективность деятельности научной организации».

Методологический подход

Большинство известных методов коллективного упорядочения многопризнаковых объектов, таких как метод анализа иерархий [Саати, 1990], метод ТОПСИС [Hwang, Yoon, 1981] и ряд других, ориентированы на хорошо структурируемые задачи, где используется, в основном, количественная информация. Поэтому такие методы не применимы в случае качественных признаков, характерных для слабоструктурируемых задач. Типичным примером такой задачи как раз и является оценка эффективности деятельности научных организаций, выполняющих фундаментальные исследования. Главные трудности при решении задач групповой ранжировки многопризнаковых объектов связаны с учетом большого числа вербальных и числовых данных и обработкой этих данных, не прибегая к дополнительным преобразованиям типа усреднения, смешивания, взвешивания, которые могут привести к необоснованным и необратимым искажениям исходных данных. Кроме того, весьма затруднительно обосновать назначение весов критериев, особенно при наличии нескольких экспертов. Количественные методы, использующие свертку многих критериев с применением весовых коэффициентов, не позволяют восстанавливать исходные данные по агрегированным критериям, а значит, фактически невозможно дать объяснение полученных решений.

Для оценки эффективности деятельности научных организаций, выполняющих фундаментальные исследования, была разработана система качественных критериев с вербальными шкалами, градации оценок которых специфицируют различные аспекты научной и финансово-экономической деятельности научной организации. С использованием этих критериев, несколько экспертов дают оценку деятельности рассматриваемых научных организаций. Чтобы оперировать с вербальными данными и оценить эффективность деятельности научной организации, применена оригинальная методология вербального анализа решений, которая разрабатывается в течение ряда лет в Институте системного анализа РАН и успешно применялась при решении различных практических задач [Ларичев и др., 1983], [Ларичев и др., 1989], [Петровский и др., 1990], [Ларичев и др., 2001], [Петровский, Тихонов, 2008], [Петровский и др., 2010а], [Петровский и др., 2010б].

Вербальный анализ решений имеет дело со слабо структурированными проблемами, представленными на профессиональном языке [Ларичев, 2006]. В вербальном анализе решений свойства рассматриваемых вариантов и классы решений описываются с помощью качественных критериев, имеющих словесные формулировки градаций на шкалах оценок. Обычно вводится небольшое число таких градаций (3-5), чтобы обеспечить ясную различимость соседних оценок. Даже при небольшом числе градаций оценок на шкалах критериев оказывается возможным описать достаточно сложные свойства объектов. Численные коэффициенты важности критериев и ценности вариантов не рассчитываются и не применяются, а вербальные оценки признаков не преобразуются в какие-либо числовые показатели. Тем самым, используя только качественные измерения, на множестве кортежей многокритериальных оценок можно задать отношения превосходства и эквивалентности вариантов решения, с помощью которых осуществляется их порядковая классификация, частичное упорядочение или выделение лучшего варианта. Лицо, принимающее решение (ЛПР), активно участвует в постановке, анализе и решении стоящей проблемы. ЛПР может разносторонне и достаточно подробно выражать свои предпочтения, уточнять и корректировать их в ходе решения задачи, генерировать и обосновывать новые варианты решения, а также получать объяснение промежуточных и итоговых результатов.

Групповой вербальный анализ решений расширяет методологию на коллективные решения [Петровский, 2003], [Петровский, 2009]. При групповом выборе предпочтения нескольких ЛПР могут быть несовпадающими, а варианты решения могут существовать в нескольких экземплярах, которые характеризуются повторяющимися количественными и/или качественными признаками в виде мультимножеств. Методы группового вербального анализа решений позволяют работать с противоречивой информацией и обеспечивают нахождение рационального решения. В целом вербальные методы более “прозрачны”, мало чувствительны к ошибкам измерения и менее трудоемки для человека. С методологической точки зрения именно вербальный анализ решений наиболее пригоден для оценки эффективности деятельности научных организаций, выполняющих фундаментальные исследования.

Для сортировки научных организаций на основе экспертных оценок эффективности их деятельности, данных несколькими экспертами, использован метод группового упорядочения многопризнаковых объектов АРАМИС (Агрегирование и Ранжирование Альтернатив около Многопризнаковых Идеальных Ситуаций) [Петровский, 2009]. В методе АРАМИС многопризнаковые объекты представляются как мультимножества и упорядочиваются по относительной близости к гипотетически наилучшему объекту или удаленности от наихудшего объекта (идеальная и антиидеальная ситуации) в метрическом пространстве мультимножеств.

Метод АРАМИС

Дадим формальную постановку задачи упорядочения совокупности научных организаций, представленных как многопризнаковые объекты A={A₁,...,A_n}, которые оцениваются k экспертами по m критериям Q₁,…,Q_m. Каждый критерий Q_s имеет порядковую шкалу количественных или качественных оценок {q_s^es}, e_s=1,…,h_s, s=1,…,m, которые упорядочены от лучшего значения к худшему q_s¹q_s²…q_s^hs. Предполагается, что разные критерии могут иметь различную относительную важность, но значения оценок, относящихся к одному и тому же критерию, равноценны. Будем также считать, что каждый объект оценивается всеми k экспертами по всем m критериям, и что экспертные оценки независимы. В таком случае можно выделить два объекта (возможно, гипотетических) - абсолютно лучший и абсолютно худший, которым все эксперты дали соответственно самые лучшие и самые худшие оценки по всем критериям. Требуется, исходя из многокритериальных оценок объектов, упорядочить объекты от лучшего к худшему.

Запишем каждый многопризнаковый объект, используя математический аппарат теории мультимножеств, в виде следующего мультимножества повторяющихся признаков

A_i={k_Ai(q₁¹)?q₁¹,…,k_Ai(q₁^h1)?q₁^h1;…; k_Ai(q_m¹)?q_m¹,…,k_Ai(q_m^hm)?q_m^hm}, i=1,…,n.

Здесь k_A: XZ₊={0,1,2,…} - функция кратности мультимножества, порождающее множество (домен) X=Q₁...Q_m состоит из m шкал признаков (критериев) Q_s={q_s^es}, s=1,…,m. Величина k_Ai(q_s^es) равна числу экспертов, давших объекту A_i критериальную оценку q_s^esQ_s. Знак ? обозначает, что в описании объекта A_i имеется k_Ai(q_s^es) копий признака q_s^es.

Наилучшему и наихудшему объектам соответствуют мультимножества

A⁺={k?q₁¹,0,…,0; k?q₂¹,0,…,0;…, k?q_m¹,0,…,0},

A-={0,…,0,k?q₁^h1; 0,…,0, k?q₂^h2;…, 0,…,0, k?q_m^hm}.

Задача упорядочения многопризнаковых объектов сводится, таким образом, к упорядочению мультимножеств по отношению к идеальному и антиидеальному решения.

Будем считать многопризнаковые объекты точками некоторого метрического пространства мультимножеств (A, d), например, с метрикой типа Хемминга, которая задается формулой

d(A,B) =,

где w_s 0 - коэффициенты относительной важности критериев Q_s.

Сортировку объектов можно проводить, например, по показателю относительной близости объекта к гипотетически наилучшему объекту в метрическом пространстве мультимножеств

l(A_i)=d⁺(A_i)/[d⁺(A_i)+d-(A_i)],

где d⁺(A_i)=d(A⁺,A_i), d-(A_i)=d(A-,A_i).

Лучший объект определяется минимальным значением показателя близости к гипотетически наилучшему объекту. Такое упорядочивание объектов дает возможность получать как строгое, так и нестрогое ранжирование объектов при равнозначных или различных по важности критериях.

Предлагаемая методология была использована при разработке методики анализа и оценки деятельности научных организаций, выполняющих фундаментальные исследования, на основе многокритериальных оценок нескольких экспертов.

Многокритериальная экспертиза научных организаций

Для оценки эффективности деятельности научных организаций, выполняющих фундаментальные исследования, сотрудниками Экспертно-аналитического центра совместно с ИСА РАН была разработана система критериев, которая содержит 11 качественных критериев, объединенных в две группы: оценка научной деятельности и оценка финансово-хозяйственной деятельности. Каждый критерий имеет порядковую или номинальную шкалу оценок с развернутыми словесными формулировками градаций качества.

Группа «Оценка научной деятельности научной организации» включает 5 критериев.

Q₁₁. Уровень научных результатов:

q₁₁¹- выше зарубежных достижений;

q₁₁² - на уровне мировых достижений;

q₁₁³ - ниже мировых достижений.

Q₁₂. Признание научных результатов:

q₁₂¹ - получено научное открытие или международная премия;

q₁₂² - получена государственная премия; научный руководитель награжден государственной или ведомственной наградой;

q₁₂³ - результаты исследований не отмечены признанием научной общественности.

Q₁₃. Квалификация научных кадров:

q₁₃¹ - более 60% научных работников имеют ученые степени, при этом доктора наук составляют не менее 30% от всех научных работников, имеющих ученые степени;

q₁₃² - 40-60% научных работников имеют ученые степени, при этом доктора наук составляют не менее 30% от всех научных работников, имеющих ученые степени;

q₁₃³ - менее 40% научных работников имеют ученые степени, при этом доктора наук составляют менее 30% от всех научных работников, имеющих ученые степени.

Q₁₄. Возраст научных работников:

q₁₄¹ - средний возраст научных работников меньше 35 лет;

q₁₄² - средний возраст научных работников от 35 до 45лет;

q₁₄³ - средний возраст научных работников старше 45 лет.

Q₁₅. Степень обновления научного оборудования:

q₁₅¹ - средний возраст основного научного оборудования меньше 5 лет;

q₁₅² - средний возраст основного научного оборудования 5-10 лет;

q₁₅³ - средний возраст основного научного оборудования свыше 10 лет.

Группа «Оценка финансово-хозяйственной деятельности научной организации» состоит из 6 критериев.

Q₂₁. Достоверность баланса организации, связанная с имущественным комплексом и соответствие его уставным и учредительным документам:

q₂₁¹ - все имущество организации (земельные участки, здания, оборудование) имеет государственную регистрацию (или арендный договор, если арендуется); не оспорено и не оспаривается в судебном порядке; нет никаких решений органов исполнительной и судебной власти по поводу передачи, раздела имущества; инвентаризация, аудиторские проверки и проверки учреждениями государственного финансового контроля и государственного имущества подтверждают соответствие правоустанавливающих документов уставным и учредительным документам;

q₂₁² - все имущество организации по стоимости (земельные участки, здания, оборудование) имеет государственную регистрацию (или арендный договор, если арендуется); не оспорено и не оспаривается в судебном порядке; нет никаких решений органов исполнительной и судебной власти по поводу передачи, раздела имущества; документы по инвентаризации, аудиторские проверки и проверки учреждениями государственного финансового контроля и государственного имущества подтверждают соответствие правоустанавливающих документов уставным и учредительным документам; все изменения отражены в бухгалтерской отчетности.

q₂₁³ - все имущество организации или его существенная часть не имеет государственной регистрации; оспорено или оспаривается в судебном порядке; есть решения органов исполнительной или судебной власти о передаче, разделе имущества, в бухгалтерскую отчетность внесено все не принадлежащее предприятию имущество.

Q₂₂. Общие показатели баланса:

q₂₂¹ - тенденция к увеличению активов организации, снижению дебиторской и кредиторской задолженности; коэффициент доли денежных средств в выручке равен 1; заемный капитал в стоимости источников имущества научной организации занимает не более 10% (только для коммерческих предприятий);

q₂₂² - показатели стоимости имущества организации, дебиторской и кредиторской задолженности стабильные, коэффициент доли денежных средств в выручке не менее 0,9; заемный капитал в стоимости источников имущества организации занимает не более 25% (только для коммерческих предприятий);

q₂₂³ - тенденция к уменьшению активов организации, увеличению дебиторской и кредиторской задолженности; коэффициент доли денежных средств в выручке менее 0,9; заемный капитал в стоимости источников имущества научной организации занимает более 25% (только для коммерческих предприятий).

Q₂₃. Показатели платежеспособности и финансовой устойчивости:

q₂₃¹ - научная организация платежеспособна и финансово устойчива;

q₂₃² - научная организация неплатежеспособна и финансово неустойчива.

Q₂₄. Показатели эффективности использования оборотного капитала (деловой активности), доходности и финансового результата (рентабельности):

q₂₄¹ - оборотный капитал организации используется эффективно;

q₂₄² - оборотный капитал организации используется неэффективно.

Q₂₅. Показатели эффективности использования внеоборотного капитала и инвестиционной активности организации:

q₂₅¹ - эффективное использование внеоборотного капитала и высокая инвестиционная активность организации;

q₂₅² - неэффективное использование внеоборотного капитала и низкая инвестиционная активность организации.

Q₂₆. Качество плана развития научной организации:

q₂₆¹ - план развития (бизнес-план) включает все подтвержденные документы, обосновывающие улучшение финансового состояния организации;

q₂₆² - план развития (бизнес-план) не подтвержден документами, обосновывающими улучшение финансового состояния организации;

q₂₆³ - план развития (бизнес-план) организации не разработан.

Перечисленные критерии были включены в специальную анкету опроса экспертов, принимавших участие в оценке эффективности деятельности научных организаций.

Иллюстративный пример

Экспертами Экспертно-аналитического центра с помощью разработанной методики был проведен мониторинг деятельности десяти федеральных государственных унитарных предприятий, выполняющих фундаментальные исследования. Экспертные оценки научных организаций, полученные по результатам обработки анкет трех экспертов, были представлены как следующие мультимножества:

A₁ ={2,1,0; 3,0,0; 3,0,0; 1,1,1; 1,2,0; 2,1,0; 3,0,0; 2,1; 3,0; 3,0; 3,0,0};

A₂ ={3,0,0; 2,1,0; 2,1,0; 1,2,0; 2,1,0; 3,0,0; 2,1,0; 3,0; 2,1; 2,1; 3,0,0};

A₃ ={2,1,0; 2,1,0; 2,1,0; 2,1,0; 3,0,0; 2,1,0; 2,0,1; 3,0; 3,0; 3,0; 2,1,0};

A₄ ={2,1,0; 1,2,0; 2,1,0; 1,2,0; 2,1,0; 2,1,0; 2,1,0; 1,2; 3,0; 3,0; 2,1,0};

A₅ ={2,1,0; 2,1,0; 3,0,0; 2,1,0; 2,0,1; 2,0,1; 2,1,0; 3,0; 2,1; 3,0; 3,0,0};

A₆ ={2,1,0; 1,2,0; 2,1,0; 0,3,0; 1,2,0; 3,0,0; 2,1,0; 3,0; 3,0; 2,1; 2,1,0};

A₇ ={2,1,0; 2,1,0; 2,1,0; 2,1,0; 2,1,0; 1,1,1; 2,1,0; 1,2; 2,1; 1,2; 2,0,1};

A₈ ={3,0,0; 3,0,0; 2,1,0; 1,1,1; 1,0,2; 3,0,0; 3,0,0; 1,2; 3,0; 3,0; 2,1,0};

A₉ ={2,1,0; 2,1,0; 1,1,1; 0,2,1; 0,2,1; 2,0,1; 1,1,1; 1,2; 2,1; 2,1; 1,1,1};

A₁₀={1,2,0; 1,1,1; 2,0,1; 2,0,1; 2,1,0; 2,0,1; 2,0,1; 2,1; 2,1; 2,1; 2,0,1}.

Гипотетически наилучшей и наихудшей научным организациям соответствуют мультимножества:

A⁺={3,0,0; 3,0,0; 3,0,0; 3,0,0; 3,0,0; 3,0,0; 3,0,0; 3,0; 3,0; 3,0; 3,0,0};

A-={0,0,3; 0,0,3; 0,0,3; 0,0,3; 0,0,3; 0,0,3; 0,0,3; 0,3; 0,3; 0,3; 0,0,3}.

Номера, входящие в представленные выше мультимножества, характеризуют только значения функций кратности элементов мультимножества, а сами элементы, которые являются градациями шкал критериев Q₁₁ - Q₁₅; Q₂₁ - Q₂₆ в записи мультимножества для краткости опущены.

Предполагая все критерии одинаково важными, были вычислены расстояния d⁺(A_i) и d-(A_i) между отдельной научной организацией A_i и гипотетически наилучшей (идеальной) A⁺ и наихудшей (антиидеальной) A- организациями в метрическом пространстве мультимножеств, а также показатель относительной близости l(A_i)=d⁺(A_i)/[d⁺(A_i)+d-(A_i)] объекта A_i к гипотетически наилучшему объекту A⁺. Эти характеристики равны соответственно

A₁ A₂ A₃ A₄ A₅ A₆ A₇ A₈ A₉ A₁₀

d⁺(A_i) 15 17 14 26 14 25 29 16 37 24;

d-(A_i) 61 60 63 59 60 61 50 55 46 50;

l(A_i) 0,197 0,221 0,182 0,306 0,189 0,291 0,367 0,225 0,446 0,324.

Итоговое упорядочение научных организаций по увеличению показателя относительной близости l(A_i) к гипотетически наилучшей организации A⁺ имеет вид:

A₃A₅A₁A₂A₈A₆A₄A₁₀A₇A₉.

Следует отметить, что использование в методе АРАМИС разных метрик может привести к различным итоговым упорядочениям организаций.

Результаты апробации подтвердили эффективность предложенного подхода. Были выявлены научные организации, имеющие разную эффективность, что позволяет более обоснованно принимать решения на предоставление тому или иному государственному предприятию кредита или иной формы поддержки.

Заключение

В работе предложен новый методологический подход к оценке эффективности деятельности научных организаций, выполняющих фундаментальные исследования. Каждая организация, оценивалась несколькими экспертами по многим числовым, символьным или вербальным критериям. Используя метод АРАМИС для группового упорядочивания многопризнаковых объектов, основанный на теории метрических пространств мультимножеств, были построены ранжировки научных организаций и выделены наиболее эффективные. Разработанный подход позволяет обнаруживать, представлять и использовать доступную информацию, анализировать полученные результаты и их особенности, в том числе для несогласованных многокритериальных оценок научных организаций и противоречивых предпочтений ЛПР.

С помощью разработанной методики проведен мониторинг деятельности федеральных государственных унитарных предприятий, выполняющих фундаментальные исследования. Были выработаны рекомендации по модификации системы критериев для оценки эффективности деятельности научных организаций и совершенствованию процедуры проведения экспертизы.

Разработанная методология многокритериальной оценки эффективности деятельности научных организаций может быть успешно применена в различных областях, где необходимо получить обобщенную оценку деятельности на основе исходной слабоструктурированной качественной информации.

Литература

[Камбаров и др., 2007] А.О. Камбаров, А.В. Кулаков, Э.Н. Яковлев. Разработка методических основ оценки качества научных работ при проведении мониторинга в организациях, подведомственных Роснауке. Научный отчёт. - М.: Экспертно-аналитический центр, 2007.

[Ларичев и др., 1983] Человеко-машинная процедура планирования научных исследований и разработок / О.И. Ларичев, Л.С. Гнеденко, Ю.А. Зуев, Ю.В. Чуев, И.П. Тихонов // Вопросы информационной технологии. Сборник трудов ВНИИСИ / Под ред. Д.С.Черешкина. № 6. - М.: ВНИИСИ, 1983. - С. 86-95.

[Ларичев и др., 1989] Опыт планирования фундаментальных исследований на конкурсной основе / О.И. Ларичев, А.С. Прохоров, А.Б. Петровский, М.Ю. Стернин, Г.И. Шепелев // Вестник АН СССР. - 1989. - № 7. - С. 51-61.

[Ларичев и др., 2001] Российская фундаментальная наука в третьем тысячелетии / О.И. Ларичев, В.А. Минин, А.Б. Петровский, Г.И. Шепелев // Вестник Российской академии наук. - 2001. - Т. 71, № 1. - С. 13-18.

[Ларичев, 2006] Ларичев О.И. Вербальный анализ решений / Под ред. А.Б. Петровского. - М.: Наука, 2006. - 181 с.

[Петровский, 2003] Петровский А.Б. Пространства множеств и мультимножеств. - М: Едиториал УРСС, 2003.

[Петровский, 2009] Петровский А.Б. Теория принятия решений. - М.: Издательский центр «Академия», 2009.

[Петровский, Тихонов, 2008] Петровский А.Б., Тихонов И.П. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности. // Вестник Российской академии наук. - 2009. - Т. 79, № 11. - С. 1006-1011.

[Петровский и др., 1990] Петровский А.Б., Шепелев Г.И. Система поддержки принятия решений для конкурсного отбора научных проектов // Проблемы и методы принятия уникальных и повторяющихся решений. Сборник трудов / Под ред. С.В. Емельянова, О.И. Ларичева. № 10. -М.: ВНИИСИ, 1990. - С. 25-31.

[Петровский и др., 2010а] Групповое упорядочивание научных проектов по несогласованным многокритериальным оценкам / А.Б. Петровский, Г.В. Ройзензон, И.П. Тихонов, А.В. Балышев // Двенадцатая национальная конференция по искусственному интеллекту с международным участием (КИИ-2010). Труды конференции. Т. 3. - М.: Физматлит, 2010. - С. 201-207.

[Петровский и др., 2010б] Групповая многокритериальная ранжировка научных докладов / А.Б. Петровский, Г.В. Ройзензон, И.П. Тихонов, А.В. Балышев // Прикладные проблемы управления макросистемами. Труды Института системного анализа РАН / Под ред. Ю.С. Попкова, В.А. Путилова. Т.59. -М.: Издательство КРАСАНД, 2010. - С. 68-77.

[Саати, 1993] Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. - 278 с.

[Hwang, Yoon, 1981] Hwang C., Yoon K. Multiple Attribute Decision Making- Methods and Applications: A State of the Art Survey. - New York, Springer-Verlag, 1981.

Размещено на Allbest.ru