Анализ экспертных упорядочений

Размещено на http://www.allbest.ru/

1

Научный журнал КубГАУ, №112(08), 2015 года

Анализ экспертных упорядочений

Введение

кластеризованный ранжировка экспертный

В различных прикладных областях возникает необходимость анализа нескольких кластеризованных ранжировок объектов.

К таким областям относятся технические исследования, экология, менеджмент, экономика, социология, прогнозирование и т.д., особенно те их разделы, что связаны с экспертными оценками (см., например, [1, 2]). В качестве объектов могут выступать образцы продукции, технологии, математические модели, проекты, кандидаты на должность и др. Получены кластеризованные ранжировки могут быть как с помощью экспертов, так и объективным путем, например, при сопоставлении математических моделей с экспериментальными данными с помощью того или иного критерия качества. Мы разработали описанный в настоящей статье метод в связи с проблемами химической безопасности биосферы [3, 4] и экологического страхования [5, 6].

Предлагается новый метод построения кластеризованной ранжировки, согласованной (в раскрытом ниже смысле) со всеми рассматриваемыми кластеризованными ранжировками. При этом, противоречия между отдельными исходными ранжировками оказываются заключенными внутри кластеров согласованной ранжировки. В результате упорядоченность кластеров отражает общее мнение экспертов, точнее, то общее, что содержится одновременно во всех исходных ранжировках. Вновь построенная кластеризованная ранжировка часто называется согласующей по отношению к исходным кластеризованным ранжировкам.

В кластеры заключены объекты, по поводу которых некоторые из исходных ранжировок противоречат друг другу. Для их упорядочения необходимо провести новые исследования. Эти исследования могут быть как формально-математическими (вычисление медианы Кемени, упорядочения по средним арифметическим рангов или по медианам рангов и т.п. [1, 2]), так и требовать привлечения новой информации из соответствующей прикладной области, возможно, проведения дополнительных научно-исследовательских работ.

Введем необходимые понятия, затем впервые сформулируем алгоритм согласования в общем виде и рассмотрим его свойства.

1. Определение кластеризованной ранжировки

Пусть имеется конечное множество объектов, которые мы для простоты изложения будем изображать натуральными числами 1, 2, 3, ..., k и называть носителем. Под кластеризованной ранжировкой, определенной на заданном носителе, понимаем следующую математическую конструкцию. Пусть объекты разбиты на группы, которые будем называть кластерами. В кластере может быть и один элемент. Входящие в один кластер объекты будем заключать в фигурные скобки. Например, объекты 1, 2, 3, ..., 10 могут быть разбиты на 7 кластеров: {1}, {2, 3}, {4}, {5, 6, 7}, {8}, {9}, {10}. Кластеры не имеют общих элементов, а объединение их (как множеств) есть все рассматриваемое множество объектов.

Вторая составляющая кластеризованной ранжировки - это строгий линейный порядок между кластерами. Задано, какой из них первый, какой второй, и т.д. Будем изображать упорядоченность с помощью знака < . При этом кластеры, состоящие из одного элемента, будем для простоты изображать без фигурных скобок. Тогда кластеризованную ранжировку на основе введенных выше кластеров можно изобразить так:

А = [ 1 < {2, 3} < 4 < {5, 6, 7} < 8 < 9 < 10 ] .

Конкретные кластеризованные ранжировки будем заключать в квадратные скобки. Если для простоты речи термин "кластер" применять только к кластеру не менее чем из 2-х элементов, то можно сказать, что в кластеризованную ранжировку А входят два кластера {2, 3} и {5, 6, 7} и 5 отдельных элементов.

Введенная описанным образом кластеризованная ранжировка является бинарным отношением на множестве {1, 2, 3, ..., 10}. Его структура такова. Задано отношение эквивалентности с 7-ю классами эквивалентности, а именно, {2, 3}, {5, 6, 7}, а остальные состоят из оставшихся 5-и отдельных элементов. Затем введен строгий линейный порядок между классами эквивалентности.

Введенный математический объект известен в математической статистике как "ранжировка со связями" (см., например, [7, с.48 и др.]). Дж. Кемени и Дж. Снелл используют термин "упорядочение" [8, с.20], Б.Г. Миркин - "квазисерия" [9, с.37], Ю.А. Шрейдер - "совершенный квазипорядок" [10, с.127, 130]. Учитывая разнобой в терминологии, мы сочли полезным ввести новый собственный термин "кластеризованная ранжировка", поскольку в нем явным образом названы основные элементы изучаемого математического объекта - кластеры, рассматриваемые на этапе согласования ранжировок как классы эквивалентности, и ранжировка - строгий совершенный порядок между ними ( в терминологии [10, гл. IV] ).

2. Определение сильной противоречивости

Следующее важное понятие - противоречивость. Оно определяется для четверки - двух кластеризованных ранжировок на одном и том же носителе и двух различных объектов - элементов того же носителя. Мы будем рассматривать два вида противоречивости - сильную и слабую. Два элемента из одного кластера будем связывать символом равенства = , как эквивалентные.

Пусть А и В - две кластеризованные ранжировки на одном и том же носителе. Пару объектов (a, b) - элементов того же носителя - назовем сильно противоречивой относительно А и В, если эти два элемента по-разному упорядочены в А и В, т.е. либо a < b в А и a > b в В, либо a > b в А и a < b в В. Отметим, что в соответствии с этим определением пара объектов (a, b), эквивалентная хотя бы в одной кластеризованной ранжировке, не может быть сильно противоречивой: эквивалентность a = b в первой ранжировке не образует "сильного противоречия" ни с a < b, ни с a > b во второй ранжировке.

В качестве примеров, кроме ранее введенной кластеризованной ранжировки А, рассмотрим еще две кластеризованные ранжировки

В = [ {1, 2} < { 3, 4, 5} < 6 < 7 < 9 < {8, 10}],

C = [ 3 < {1, 4} < 2 < 6 < {5, 7, 8} < {9, 10} ].

Совокупность строго противоречивых пар объектов для двух кластеризованных ранжировок А и В назовем ядром сильных противоречий и обозначим S(A, B). Для рассмотренных выше в качестве примеров трех кластеризованных ранжировок А, В и С, определенных на одном и том же носителе {1, 2, 3,..., 10}, имеем

S(A, B) = [ (8, 9)], S(A, C) = [ (1, 3), (2, 4) ] ,

S(B, C) = [ (1, 3), (2, 3), (2, 4), (5, 6), (8,9) ] .

Как при ручном, так и при программном нахождении ядра можно в поисках сильно и слабо (см. ниже) противоречивых пар просматривать пары (1, 2), (1, 3), (1, 4), ...., (1, k), затем (2, 3), (2, 4), ..., (2, k), потом (3, 4), ..., (3, k), и т.д., вплоть до (k - 1, k).

Ядро сильных противоречий можно изобразить графом с вершинами в точках носителя. При этом сильно противоречивые пары задают ребра этого графа. Граф для S(A, B) имеет только одно ребро (одна связная компонента более чем из одной точки), для S(A, C) - 2 ребра (две связные компоненты более чем из одной точки), для S(B, C) - 5 ребер (три связные компоненты более чем из одной точки, а именно, {1, 2 , 3, 4}, {5, 6} и {8, 9}).

Каждую кластеризованную ранжировку, как и любое бинарное отношение, можно задать матрицей || x(a, b) || из 0 и 1 порядка k k. При этом x(a, b) = 1 тогда и только тогда, когда a < b либо a = b. В первом случае x(b, a) = 0, а во втором x(b, a) = 1. При этом хотя бы одно из чисел x(a, b) и x(b, a) равно 1. Из определения сильной противоречивости пары (a, b) вытекает, что для нахождения всех таких пар достаточно поэлементно перемножить две матрицы || x(a, b) || и || y(a, b) ||, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых x(a, b) y(a, b) = x(b, a) y(b, a) = 0, т.е. выделить в произведении матриц все пары равных 0 элементов, симметричных относительно главной диагонали.

3. Определение слабой противоречивости

Пусть А и В - две кластеризованные ранжировки. Пару объектов (a, b) назовем слабо противоречивой относительно А и В, если упорядоченность этих двух элементов в А и В различается, т.е. либо 1) a < b в А и a > b или a = b в В, либо 2) a > b в А и a < b или a = b в В, либо 3) a = b в А и a < b или a > b в В. Отметим, что в соответствии с этим определением пара объектов (a, b) гораздо чаще оказывается (слабо) противоречивой, чем в случае сильной противоречивости. Так, эквивалентность a = b в одной кластеризованной ранжировке образует "слабое противоречие" и с a < b, и с a > b в другой, и "слабого противоречия" нет тогда и только тогда, когда и во второй кластеризованной ранжировке справедлива эквивалентность a = b.

Итак, понятия "сильного" и "слабого" противоречия различаются трактовкой эквивалентности a = b. В первом случае она считается совместимой с любым неравенством между объектами и потому исключает противоречие. Следовательно, "сильное противоречие" - это, так сказать, весьма серьезное противоречие, с которым нельзя справиться, нарушая эквивалентность a = b в ту или иную сторону. Во втором случае любое различие мнений относительно рассматриваемых объектов считается противоречием, и эквивалентность a = b в одной кластеризованной ранжировке не противоречит лишь такой же эквивалентности во второй.

Совокупность слабо противоречивых пар объектов для двух кластеризованных ранжировок А и В назовем ядром слабых противоречий и обозначим Q(A, B). Для рассмотренных выше в качестве примеров трех кластеризованных ранжировок А, В и С имеем

Q(A, B) = [{1, 2}, {1, 3}, {2, 3}, {3, 4}, {3, 5}, {4, 5}, {5, 6], {5, 7},

{6, 7}, (8, 9), {8, 10}] ,

Q(A, C) = [(1, 3), {1, 4}, {2, 3}, (2, 4), {5, 6}, {5, 8}, {6, 7}, {7, 8}, {9, 10}] ,

Q(B, C) = [{1, 2}, (1, 3), (2, 3), (2, 4), {3, 4}, {3, 5}, {4, 5},

(5, 6), {5, 7}, {5, 8}, {7, 8}, (8,9), {8. 10}, {9, 10} ] .

Каждое ядро слабых противоречий содержит соответствующее ядро сильных противоречит. Количество пар, находящихся в отношении слабого противоречия, как и следовало ожидать, существенно больше количества пар, находящихся в отношении сильного противоречия.

Ядро слабых противоречий также можно изобразить графом с вершинами в точках носителя. При этом слабо противоречивые пары задают ребра этого графа, которых оказывается много больше, чем в случае изучения сильных противоречий. Граф для Q(A, B) имеет 11 ребер (две связные компоненты, а именно, {1, 2, 3, 4, 5, 6, 7} и {8, 9, 10} ), для Q(A, C) - 9 ребер (три связные компоненты, а именно, {1, 2, 3, 4}, {5, 6, 7, 8} и {9, 10} ), для Q(B, C) - 14 ребер (одна связная компонента включает все 10 объектов, образующих носитель).

Рассмотрим введенные выше матрицы || x(a, b) || и || y(a, b) ||, соответствующие двум кластеризованным ранжировкам. Пара (a, b) не является слабо противоречивой тогда и только тогда, когда x(a, b) = y(a, b) и x(b, a) = y(b, a). Поэтому для выделения слабо противоречивых пар достаточно сложить по модулю 2 матрицы || x(a, b) || и || y(a, b) ||. Каждая имеющаяся в сумме || x(a, b) || + || y(a, b) || единица указывает на слабо противоречивую пару.

4. Алгоритмы согласования

Предлагаемые алгоритмы согласования некоторого числа кластеризованных ранжировок (т.е. построения согласующей кластеризованной ранжировки) состоят из трех этапов.

Этап 1. Выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок. Поскольку выше рассмотрены два вида противоречий - сильное и слабое, то алгоритмов согласования также два - сильный и слабый.

Этап 2. Выделяются кластеры итоговой кластеризованной ранжировки (классы эквивалентности - связные компоненты графов, соответствующих объединению попарных ядер противоречий).

Этап 3. Эти кластеры (классы эквивалентности) упорядочиваются. Для установления порядка между кластерами произвольно выбирается один объект из первого кластера и второй - из второго, порядок между кластерами устанавливается такой же, какой имеет быть между выбранными объектами в любой из рассматриваемых кластеризованных ранжировок. (Корректность подобного упорядочивания, т.е. его независимость от выбора той или иной пары объектов, вытекает из доказанных нами теорем, примеры соответствующей математической техники приведены ниже). В случае слабого согласования никакие два объекта из разных кластеров не могут быть равны, поэтому описанная выше процедура не встречает препятствий. В случае сильного согласования это не так - два объекта из разных кластеров согласующей кластеризованной ранжировки могут оказаться эквивалентными в одной из исходных кластеризованных ранжировок (т.е. находиться в одном кластере). В таком случае надо рассмотреть упорядоченность этих объектов в другой из исходных кластеризованных ранжировок. Если же во всех исходных кластеризованных ранжировках два рассматриваемых объекта находились в одном кластере, то естественно считать (и это является уточнением к этапу 3 алгоритма), что они находятся в одном кластере и в согласующей кластеризованной ранжировке.

Результат сильного согласования кластеризованных ранжировок А, В, С,... обозначим f(А, В, С,...), результат их слабого согласования - F(А, В, С,...). Тогда, как нетрудно получить на основе проведенных выше рассуждений о ядрах сильных и слабых противоречий,

f(А, В) = [ 1 < 2 < 3 < 4 < 5 < 6 < 7 < {8, 9} < 10 ] ,

f(А, С) = [ {1, 3} < {2, 4} < 6 < {5, 7} < 8 < 9 < 10 ] ,

f(В, С) = [ {1, 2, 3, 4 } < {5, 6} < 7 < {8, 9} < 10 ] ,

f(А, В, С) = f(В, С) = [ {1, 2, 3, 4 } < {5, 6} < 7 < {8, 9} < 10 ] ,

F(А, В) = [ {1, 2, 3, 4, 5, 6,7}, {8, 9, 10} ] ,

F(А, С) = [ {1, 2, 3, 4} , {5, 6,7, 8}, {9, 10} ] ,

F(В, С) = [ {1, 2, 3, 4, 5, 6,7, 8, 9, 10} ] ,

F(А, В, С) = F(В, С) = [ {1, 2, 3, 4, 5, 6,7, 8, 9, 10} ] .

В f(А, С) кластер {5, 7} возник не в результате того, что (5, 7) - противоречивая пара, а по другой причине - и в А, и в С элементы 5 и 7 входят в один кластер, т.е. не различаются, 5 = 7.

Полученные результаты показывают весь спектр согласующих кластеризованных ранжировок - от f(А, В), в которой только два элемента объединены в кластер, до F(В, С), в которой все элементы составляют один кластер. В случае f(А, В) дополнительного изучения с целью упорядочения требуют только объекты 8 и 9. В случае F(В, С) все объекты объединились в один кластер, т.е. кластеризованные ранжировки оказались настолько противоречивыми, что процедура согласования не позволила провести декомпозицию задачи нахождения итогового мнения экспертов, т.е. разбить объекты на группы, каждую из которых можно анализировать отдельно.

5. Свойства алгоритмов согласования

Пусть D = f(А, В, C, ...). Если a < b в сильно согласующей кластеризованной ранжировке D, то a < b или a = b в каждой из исходных кластеризованных ранжировок А, В, C, ...

Пусть D = F(А, В, C, ...). Если a < b в слабо согласующей кластеризованной ранжировке D, то a < b в каждой из исходных кластеризованных ранжировок А, В, C, ...

Построение согласующих кластеризованных ранжировок может осуществляться поэтапно. В частности,

f(A, B, C) = f(f(A, B), f(A, C), f(B, C)) .

Это связано с тем, что ядра сильных и слабых противоречий для нескольких кластеризованных ранжировок является объединением таких ядер для всех пар рассматриваемых кластеризованных ранжировок.

6.4. Построение согласующих кластеризованных ранжировок нацелено на выделение общего упорядочения в исходных кластеризованных ранжировках. Однако при этом некоторые общие свойства исходных кластеризованных ранжировок могут теряться. Так, при сильном согласовании кластеризованных ранжировок В и С, рассмотренных выше в качестве примеров, противоречия в упорядочении элементов 1 и 2 не было - в кластеризованной ранжировке В эти объекты входили в один кластер: 1 = 2, в то время как в кластеризованной ранжировке С имелось неравенство 1 < 2. Следовательно, при отдельном рассмотрении этих элементов можно было принять упорядочение 1 < 2. Однако в f(В, C) они попали в один кластер, т.е. возможность их упорядочения исчезла. Это связано с поведением объекта 3, который "перескочил" в С на первое место и "увлек с собой в противоречие" пару (1, 2), образовав противоречивые пары и с 1, и с 2. Другими словами, связная компонента графа, соответствующего ядру противоречий, сама по себе не всегда является полным графом. Недостающие ребра при этом соответствуют парам типа (1, 2), которые сами по себе не являются противоречивыми, но "увлекаются в противоречие" другими парами.

В наших исследованиях необходимость согласования кластеризованных ранжировок возникла при разработке методики применения экспертных оценок в задачах экологического страхования и химической безопасности биосферы [3 - 6]. Популярным является метод упорядочения по средним арифметическим рангов элементов, в котором итоговая ранжировка строится на основе средних арифметических рангов, выставленных отдельными экспертами [1, 2]. Однако из теории измерений известно [11, гл.3], что более обоснованным является использование не средних арифметических, а медиан, т.е. использование в качестве коллективного мнения комиссии экспертов кластеризованной ранжировки, полученной путем упорядочения медиан рангов, выставленных элементам носителя отдельными экспертами. Вместе с тем метод средних арифметических рангов весьма известен и широко применяется, так что просто отбросить его нецелесообразно. Поэтому нами было принято решение об одновременном применении обеих методов. Реализация этого решения потребовала разработки методики согласования двух указанных кластеризованных ранжировок.

Область применения рассматриваемого в настоящей статье метода не ограничивается экспертными оценками. Например, он был с успехом применен для сравнения качества математических моделей процесса испарения жидкости. Имелись данные экспериментов и результаты расчетов по 8 математическим моделям. Сравнивать модели можно по различным критериям качества. Например, по сумме модулей относительных отклонений расчетных и экспериментальных значений. Можно в каждой экспериментальной точке упорядочить модели по качеству, а потом получать единую оценку методами средних арифметических рангов и медиан рангов. Использовались и иные методы. Затем применялись методы согласования полученных кластеризованных ранжировок. В результате оказалось возможным упорядочить модели по качеству и использовать это упорядочение при разработке банка математических моделей, используемого в задачах химической безопасности биосферы.

6. Некоторые математические результаты

Рассмотрим процедуру слабого согласования. С точки зрения теории бинарных отношений ядро слабых противоречий для двух кластеризованных ранжировок можно назвать "квазитолерантностью расхождений (КТР)" .

Действительно, отношение КТР является симметричным (если пара (a, b) входит в него, то входит и пара (b, a)) и антирефлексивным (ни одна пара (a, a) не входит в КТР). Свойством транзитивности это бинарное отношение, вообще говоря, не обладает (если пары (a, b) и (b, c) входят в него, то пара (a, c) может входить в КТР, а может и не входить).

Формально присоединим к КТР все пары вида (a, a). Получим рефлексивное симметричное отношение, т.е. толерантность [10]. Будем называть ее "толерантностью расхождений (ТР)".

Построим новое бинарное отношение Зам(ТР) путем транзитивного замыкания (в смысле теории бинарных отношений [10, с.27]) "толерантности расхождений". Это означает, что подмножество пар объектов, входящих в толерантность ТР, пополняется некоторыми новыми парами. А именно, если a, b и c - три объекта такие, что пара (a, b) и пара (b, c) входят в "толерантность расхождений", то пару (a, c) включаем в замыкание этой толерантности. Для полученного множества пар повторяем описанную операцию. Продолжаем так до тех пор, пока новые пары не перестанут добавляться (процесс не может продолжаться бесконечно, поскольку общее число пар конечно).

Бинарное отношение Зам(ТР) можно описать и по-другому, следующим образом: пара (a, b) входит в Зам(ТР) тогда и только тогда, когда либо она входит в ТР, либо существует конечная последовательность объектов c, d, e, ..., q такая, что пары объектов (a, c), (c, d), (d, e), ..., (q, b) входят в ТР, т.е. от a к b можно пройти за несколько шагов, каждый из которых - переход от первого элемента пары, входящей в ТР, ко второму.

Последнее замечание подсказывает наглядную геометрическую интерпретацию операции замыкания. Представим себе объекты точками на плоскости. Пара (a, b) входит в ТР тогда и только тогда, когда от a до b можно добраться по дороге (по ребрам соответствующего графа). Тогда ясно, что пара (a, c) входит в Зам(ТР) в том и только в том случае, когда от a до c можно добраться по дороге, возможно, через несколько промежуточных пунктов (объектов).

Описание структуры Зам(ТР) дает следующая теорема.

Теорема о структуре замыкания. Замыкание "толерантности расхождений" - отношение эквивалентности (рефлексивное симметричное транзитивное отношение), задающее разбиение объектов на кластеры (группы эквивалентных в рассматриваемом смысле объектов). Кластеры между собой упорядочены: все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера одновременно по двум упорядочениям, соответствующим обеим рассматриваемым кластеризованным ранжировкам. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одной кластеризованной ранжировке противоречит упорядочению по другой кластеризованной ранжировке.

Доказательство. Рефлексивность Зам(ТР) вытекает из рефлексивности ТР - поскольку любая пара (a, a) входит в ТР, то она входит и в Зам(ТР). Симметричность вытекает из симметричности ТР: если из a в b можно добраться по цепочке c, d, e, ..., q, то из b в a - по обратной цепочке q, ..., e, d, c, каждые два соседних элемента которой образуют пару, входящую в ТР наряду с "симметричной" парой из прямой цепочки. Транзитивность вытекает из процедуры построения Зам(ТР). В теории бинарных отношений рефлексивное симметричное и транзитивное отношение называется эквивалентностью [10, с.54].

Известно (теорема 2.1 [10, с.55-56]), что отношение эквивалентности задает разбиение множества объектов на кластеры (классы, группы, подмножества) такое, что пара (a, b) входит в Зам(ТР) тогда и только тогда, когда объекты a и b включены в один и тот же кластер.

Теперь введем упорядоченность кластеров.

Лемма. Пусть X = {a, b,...} и Y = {c, d,...} - два кластера. Пусть a меньше c при использовании одной из двух рассматриваемых кластеризованных ранжировок. Тогда a меньше c и при сравнении по второй кластеризованной ранжировке. Более того, любой объект из первого кластера меньше любого объекта из второго кластера в смысле любой из двух кластеризованных ранжировок.

Докажем лемму. Если бы a было больше или равно c по второй кластеризованной ранжировке, то пара (a, c) входила бы в КТР и ТР, а потому объекты a и c входили бы в один класс разбиения, соответствующего Зам(ТР), что противоречит исходному предположению. Это рассуждение показывает также, что для любых двух объектов b и d из разных кластеров упорядоченности по двум кластеризованным ранжировкам. совпадают.

Однако совпадает ли упорядоченность b и d (или даже b и c) с упорядоченностью a и c ?

Одну из упорядоченностей, задаваемых кластеризованными ранжировками, обозначим знаком < (т.е. "меньше"; знак > означает здесь "больше или равно"). Может ли быть так, что a < c, но b > c ? Тогда имеем a < c < b. Вторую упорядоченность обозначим знаком //. Тогда в соответствии с рассуждениями предыдущего абзаца a // c // b, следовательно, пара (a, b) не может входить в КТР, а потому и в ТР.

Поскольку a и b лежат в одном кластере, то существует цепочка a(1) = a, a(2), a(3), ..., a(t) = b такая, что пары (a(p), a(p + 1)) входят в КТР, p = 1, 2, 3, ..., t - 1. Рассмотрим минимальное m такое, что a(m) < c, a(m + 1) > c (такое m существует, поскольку a(1) < c, в то время как a(t) > c). Тогда в рассуждениях предыдущего абзаца можно положить a = a(m), b = a(m + 1). Получаем, что пара (a(m), a(m + 1)) не входит в КТР, что противоречит определению Зам(ТР).

Итак, доказано, что из a < c вытекает b < c для любого b из кластера, включающего a. Аналогичным образом устанавливается, что b < d для любого d из кластера, включающего c. Лемма доказана.

Каждый из кластеров, порожденных Зам(ТР), может состоять из одного или нескольких элементов. Внутри кластера из одного элемента противоречий быть не может. Если в кластере несколько элементов, то хотя бы одна пара объектов из этого кластера входит в КТР. Однако некоторые пары могут и не содержать противоречий. Например, если упорядочения имеют вид a < b < c и c // a // b, то пары (b, c) и (a, c) входят в КТР, а пара (a, b) - нет. Если же второе упорядочение имеет вид c // b // a, то все три пары входят в квазитолерантность расхождений.

Теорема о структуре замыкания доказана.

Другие математические утверждения, содержащиеся в предыдущих разделах статьи, в частности, касающиеся сильного согласования, более чем двух кластеризованных ранжировок и др., могут быть доказаны аналогичным образом. Поскольку доказательства не встречают принципиальных трудностей, но довольно обширны, мы сочли возможным их опустить.

7. Анализ экспертных упорядочений при сравнении проектов

Как на основе экспертных упорядочений находить коллективное мнение комиссии экспертов? В теории экспертных оценок [1, 12, 13] известна рекомендация по использованию медианы Кемени [14, 15]. Есть и другие подходы. Продолжим обсуждение метода средних арифметических рангов, метода медианных рангов и метода согласования ранжировок (упорядочений).

Современная теория измерений и экспертные оценки. Для более углубленного рассмотрения проблем экспертных оценок понадобятся некоторые понятия теории измерений (см.. например, [11, гл. 3], [16]), служащей основой теории экспертных оценок, прежде всего той ее части, которая связана с анализом заключений экспертов, выраженных в качественном (а не в количественном) виде. Теория измерений интересует нас, в частности, в связи с агрегированием мнений экспертов, построением обобщенных показателей (их называют также рейтингами [17]).

Получаемые от экспертов мнения часто выражены в порядковой шкале, т.е. эксперт может сказать (и обосновать): что определенный тип продукции будет более привлекателен для потребителей, чем иные; что один показатель качества продукции важнее, чем другой; первый технологический объект опаснее, чем второй, и т.д. Но он не в состоянии сказать, во сколько раз или на сколько более важен, соответственно, более опасен. Поэтому экспертов часто просят дать ранжировку (упорядочение) объектов экспертизы, т.е. расположить их в порядке возрастания (или, точнее, неубывания) интенсивности интересующей организаторов экспертизы характеристики.

Ранжировки определяются и изучаются с помощью рангов. Ранг - это номер (объекта экспертизы) в упорядоченном ряду. Формально ранги выражаются числами 1, 2, 3, ..., но весьма важно то, что с этими числами нельзя делать привычные арифметические операции. Например, хотя 1 + 2 = 3, но нельзя утверждать, что для объекта, стоящем на третьем месте в упорядочении (в другой терминологии - ранжировке), интенсивность изучаемой характеристики равна сумме интенсивностей объектов с рангами 1 и 2. Так, один из видов экспертного оценивания - оценки достижений спортсменов. Разве можно сказать, что спортсмен, занявший третье место, достиг того же, что и спортсмены, занявшие первое и второе места, вместе взятые? Поэтому очевидно, что для анализа подобного рода качественных данных необходима не обычная арифметика, а другая теория, дающая базу для разработки, изучения и применения конкретных методов расчета. Эта другая теория и есть теория измерений (ТИ).

Рассмотрим в качестве примера применения результатов ТИ, касающихся средних величин в порядковой шкале, один сюжет, связанный с ранжировками и рейтингами.

Сравнение на основе средних баллов. В настоящее время распространены экспертные, маркетинговые, квалиметрические, социологические и иные опросы, в которых используются балльные оценки. В таких исследованиях опрашиваемых просят выставить баллы объектам, изделиям, технологическим процессам, предприятиям, проектам. Или же заявкам на выполнение научно-исследовательских работ, идеям, проблемам, программам, политикам и т.п. Затем рассчитывают средние баллы и рассматривают их как интегральные (т.е. обобщенные, итоговые) оценки, выставленные объектам экспертизы коллективом опрошенных экспертов. Какими формулами пользоваться для вычисления средних величин? Ведь средних величин существует весьма много разных видов [11, 14].

По традиции обычно применяют среднее арифметическое. Специалисты по теории измерений уже более 40 лет знают (см., например, [18]), что такой способ некорректен, поскольку баллы обычно измерены в порядковой шкале. Обоснованным является использование медиан в качестве средних баллов. Однако полностью игнорировать средние арифметические нецелесообразно из-за их привычности и распространенности. Поэтому представляется рациональным использовать одновременно оба метода - и метод средних арифметических баллов, и методов медиан баллов. Такая рекомендация находится в согласии с общенаучной концепцией устойчивости [11, 19 - 21], рекомендующей применять различные методы для обработки одних и тех же данных с целью выделить выводы, получаемые одновременно при всех методах. Такие выводы, видимо, соответствуют реальной действительности, в то время как заключения, меняющиеся от метода к методу, зависят от субъективизма исследователя, выбирающего метод обработки исходных экспертных оценок.

Пример сравнения восьми проектов. Рассмотрим конкретный пример применения только что сформулированного подхода. В качестве баллов будем использовать ранги, присвоенные проектам в соответствии с их упорядочениями, полученными в результате работы экспертов.

В рассматриваемом далее примере по заданию руководства фирмы анализировались восемь проектов, предлагаемых для включения в план стратегического развития фирмы. Они обозначены: Д, Л, М-К, Б, Г-Б, Сол, Стеф, К (по фамилиям менеджеров, предложивших их для рассмотрения). Все проекты были направлены 12 экспертам, включенным в экспертную комиссию, организованную по решению Правления фирмы. В приведенной ниже табл. 1 приведены ранги восьми проектов, присвоенные им каждым из 12 экспертов.

Таблица 1. Ранги 8 проектов по степени привлекательности для включения в план стратегического развития фирмы

№ эксперта	Д	Л	М-К	Б	Г-Б	Сол	Стеф	К
1	5	3	1	2	8	4	6	7
2	5	4	3	1	8	2	6	7
3	1	7	5	4	8	2	3	6
4	6	4	2,5	2,5	8	1	7	5
5	8	2	4	6	3	5	1	7
6	5	6	4	3	2	1	7	8
7	6	1	2	3	5	4	8	7
8	5	1	3	2	7	4	6	8
9	6	1	3	2	5	4	7	8
10	5	3	2	1	8	4	6	7
11	7	1	3	2	6	4	5	8
12	1	6	5	3	8	4	2	7

Примечание. Эксперт № 4 считает, что проекты М-К и Б равноценны, но уступают лишь одному проекту - проекту Сол. Поэтому проекты М-К и Б должны были бы стоять на втором и третьем местах и получить ранги 2 и 3. Поскольку они равноценны, то получают одинаковый связанный ранг - средний арифметический ранг занимаемых ими мест (2+3)/ 2 = 5/ 2 = 2,5.

Ранги присваивались в соответствии с представлениями экспертов о целесообразности включения проектов в стратегический план фирмы. Эксперт присваивает ранг 1 самому лучшему проекту, который обязательно надо реализовать. Ранг 2 получает от эксперта второй по привлекательности проект, ... , наконец, ранг 8 - наиболее сомнительный проект, который реализовывать стоит лишь в последнюю очередь.

Анализируя результаты работы экспертов (т.е. упомянутую таблицу), члены аналитического подразделения Рабочей группы, анализировавшие ответы экспертов по заданию Правления фирмы, вынуждены констатировать, что полного согласия между экспертами нет, а потому данные, приведенные в табл. 1, следует подвергнуть более тщательному математическому анализу.

Метод средних арифметических рангов. Сначала для получения группового мнения экспертов был применен метод средних арифметических рангов. Для этого подсчитана сумма рангов, присвоенных проектам (см. табл. 2). Затем эта сумма разделена на число экспертов, в результате рассчитан средний арифметический ранг (именно эта операция дала название методу). По средним рангам строится итоговая ранжировка (в другой терминологии - упорядочение), исходя из принципа - чем меньше средний ранг, тем лучше проект. Наименьший средний ранг, равный 2,625, у проекта Б, - следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величине сумма, равная 3,125, у проекта М-К, - и он получает итоговый ранг 2. Проекты Л и Сол имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов они равноценны (при рассматриваемом способе сведения вместе мнений экспертов), а потому они должны бы стоять на 3 и 4 местах и получают средний балл (3+4) /2 = 3,5. Дальнейшие результаты приведены в табл. 2 .

Итак, кластеризованная ранжировка по суммам рангов (или, что то же самое, по средним арифметическим рангов) имеет вид:

Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К . (1)

Здесь запись типа «А < Б» означает: проект А предшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку проекты Л и Сол получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалентны, а потому объединены в группу, выделенную фигурными скобками (т.е. в кластер). В терминологии математической статистики ранжировка (1) имеет одну связь.

Таблица 2. Результаты расчетов по методу средних арифметических и методу медиан для рангов, приведенных в таблице 1

	Д	Л	М-К	Б	Г-Б	Сол	Стеф	К
Сумма рангов	60	39	37,5	31.5	76	39	64	85
Среднее арифметическое рангов	5	3,25	3,125	2,625	6,333	3,25	5,333	7,083
Итоговый ранг по среднему арифметическому	5	3,5	2	1	7	3,5	6	8
Медианы рангов	5	3	3	2,25	7,5	4	6	7
Итоговый ранг по медианам	5	2,5	2,5	1	8	4	6	7

В рассматриваемой постановке упорядочение по суммам рангов -это то же самое, что и упорядочение по средним арифметическим рангов. Однако в более сложных экспертных процедурах [12, 13], число экспертов, оценивающих те или иные объекты экспертизы, может меняться (например, при проведении конкурса бальных танцев), поэтому в качестве коллективной оценки естественно брать среднюю величину, рассчитанную по оценкам, выставленным экспертами.

Метод медиан рангов. Ответы экспертов измерены в порядковой шкале, а потому для них неправомерно проводить усреднение методом средних арифметических. Надо использовать метод медиан рангов, соответствующий корректному усреднению в порядковой шкале.

Поясним алгоритм метода медиан рангов. Надо взять ответы экспертов, соответствующие одному из проектов, например, проекту Д. Это ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Затем их надо расположить в порядке неубывания (проще было бы сказать - «в порядке возрастания», но поскольку некоторые ответы совпадают, приходится использовать несколько непривычный термин «неубывание»). Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, медиана равна их среднему арифметическому, т.е. 5.

Медианы совокупностей из 12 рангов, соответствующих определенным проектам, приведены в предпоследней строке табл. 2. (При этом медианы вычислены по обычным правилам статистики - как среднее арифметическое центральных членов вариационного ряда. Если бы число экспертов было нечетным, в качестве медианы надо было бы взять центральный член вариационного ряда.) Итоговое упорядочение комиссии экспертов по методу медиан приведено в последней строке табл. 2. Кластеризованная ранжировка (т.е. упорядочение - итоговое мнение комиссии экспертов) по медианам имеет вид:

Б < {М-К, Л} < Сол < Д < Стеф < К <Г-Б . (2)

Поскольку проекты Л и М-К имеют одинаковые медианы баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер), т.е. с точки зрения математической статистики ранжировка (2) имеет одну связь.

Сравнение ранжировок по методу средних арифметических и методу медиан. Сравнение ранжировок (1) и (2) показывает их близость (похожесть). Можно принять, что проекты М-К, Л, Сол упорядочены как М-К < Л < Сол, но из-за погрешностей экспертных оценок в одном методе признаны равноценными проекты Л и Сол (ранжировка (1)), а в другом - проекты М-К и Л (ранжировка (2)). Существенным является только расхождение, касающееся упорядочения проектов К и Г-Б: в ранжировке (1) Г-Б < К, а в ранжировке (2), наоборот, К < Г-Б. Однако эти проекты - наименее привлекательные из восьми рассматриваемых, и при выборе наиболее привлекательных проектов для дальнейшего обсуждения и использования на указанное расхождение можно не обращать внимания.

Итак, из содержательных соображений следует, что итоговая ранжировка имеет вид

Б < М-К < Л < Сол < Д < Стеф < К <Г-Б . (3)

Таков же результат формального применения введенного выше алгоритма сильного согласования кластеризованных ранжировок (1) и (2).

8. Пример анализа экспертных упорядочений

В табл.1 были приведены ранги, выставленные экспертами. А как анализировать упорядочения (кластеризованные ранжировки), полученные непосредственно от экспертов? Покажем на примере табл.3.

Таблица 3. Упорядочения проектов экспертами

Эксперты	Упорядочения
1	1 < {2, 3} < 4 < 5 < {6, 7}
2	{1, 3} < 4 < 2< 5< 7 < 6
3	1 < 4 < 2 < 3 < 6 < 5 < 7
4	1 < {2, 4} < 3 < 5 < 7 <6
5	2 < 3 < 4 < 5 <1 <6 <7
6	1 < 3 < 2 < 5 < 6 < 7 < 4
7	1 < 5 < 3 < 4 < 2 < 6 < 7

Найдем по данным табл.3:

а) итоговое упорядочение по средним арифметическим рангов;

б) итоговое упорядочение по медианам рангов;

в) кластеризованную ранжировку, согласующую эти два упорядочения.

Начать необходимо с построения вспомогательной таблицы, которую в учебном процессе называем "таблицей рангов". В ней указаны ранги объектов экспертизы, соответствующие экспертным упорядочениям.

Таблица 4. Таблица рангов для экспертных упорядочений (табл. 3)

Эксперты и итоги расчетов	Объекты экспертизы
	1	2	3	4	5	6	7
1	1	2,5	2,5	4	5	6,5	6,5
2	1,5	4	1,5	3	5	7	6
3	1	3	4	2	6	5	7
4	1	2,5	4	2,5	5	7	6
5	5	1	2	3	4	6	7
6	1	3	2	7	4	5	6
7	1	5	3	4	2	6	7
Сумма рангов	11,5	21	19	25,5	31	42,5	45,5
Итоговый ранг по сумме рангов	1	3	2	4	5	6	7
Медианы рангов	1	3	2,5	3	5	6	6,5
Итоговый ранг по медианам	1	3,5	2	3,5	5	6	7

Поясним построение таблицы рангов. Рассмотрим кластеризованную ранжировку {1, 3} < 4 < 2< 5< 7 < 6 (эксперт 2). Объекты 1 и 3 занимают места 1 и 2 в упорядоченном ряду, поэтому получают связанные ранги 1,5 (см. примечание к табл.1). Объект 4 стоит на 3-м месте и получает ранг 3. Объект 2 - на 4-м месте (ранг 4) и т.д.

Дальнейшие расчеты аналогичны проведенным при построении табл.2. Итоговая кластеризованная ранжировка по суммам рангов (или, что то же самое, по средним арифметическим рангов) имеет вид:

1 < 3 < 2 < 4 < 5 < 6 < 7.(4)

При объеме выборки 7 медианой является 4-й член вариационного ряда. Кластеризованная ранжировка по медианам рангов такова:

1 < 3 < {2, 4} < 5 < 6 < 7.(5)

Для ранжировок (4) и (5) согласующей ранжировкой является (4) (согласно алгоритму сильного согласования). Противоречивых пар нет. Подобная ситуация достаточно часто встречается при анализе реальных данных. Совпадение результатов, полученных разными методами, согласно теории устойчивости [11, 19 - 21] повышает достоверность выводов.

Заключительные замечания

На рубеже XXI века разработан новый метод статистики объектов нечисловой природы [16, 22] - метод согласования кластеризованных ранжировок. Он является также принципиально новым методом экспертных оценок [12, 13]. Метод подробно рассмотрен в базовой статье по этой тематике [23], доложен на конференциях [24, 25]. Метод согласования кластеризованных ранжировок включен практически во все монографии и учебники А.И. Орлова, начиная с учебного пособия [26] 2002 г. Настоящая статья развивает это направление исследований.

Экспертные модели и методы, предназначенные для оценки (в том числе стоимостной), анализа и управления риском, разрабатывались нами прежде всего в области экологического страхования и обеспечения химической безопасности [3 - 6, 27 - 30].

На различных этапах маркетинговых исследований активно применяются различные виды экспертных оценок, в том числе анализ экспертных упорядочений. Например, в ходе разработки проекта развития инновационных технологий космического приборостроения на примере системы ГЛОНАСС результаты, приведенные в настоящей статье, применены для выявления направлений развития навигационных приборов в области автомобильного транспорта с целью улучшения технических характеристик [12, разд. 12.1]. Объект исследования - прогнозирование предпочтений потребителей в области технико-функциональных характеристик навигационного прибора. Установлено, что к наиболее важным характеристикам навигационного прибора следует отнести следующие характеристики: точность определения навигационных параметров; надежность и прочность в эксплуатации; простота в обращении; сохранение точностных характеристик в различных условиях. Следовательно, при разработке навигационного прибора в первую очередь необходимо обеспечить выполнение данных требований. Для этого научно-исследовательские и опытно-конструкторские работы должны быть направлены на создание универсальных микросхем, печатных плат, обеспечивающих получение качественных сигналов приема-передачи со спутников, на разработку программного обеспечения. Задача дизайнеров заключается в разработке эргономичного, удобного в использовании прибора. Необходимо обеспечить конструктивное исполнение корпуса прибора, позволяющее сохранять точностные характеристики в различных условиях. Для получения требуемого объема памяти, обеспечения работы аккумуляторной батареи целесообразно использовать покупные комплектующие изделия, исходя из целевого использования прибора, решаемых с его помощью задач. Габариты, вес, современный дизайн отнесены экспертами к менее значимым характеристикам. Они не несут основной технико-функциональной нагрузки, однако при разработке прибора их следует учесть, чтобы обеспечить эстетичность и гармоничное сочетание с салоном автомобиля и другими устройствами.

Литература

кластеризованный ранжировка экспертный

1. Орлов А.И. Экспертные оценки // Заводская лаборатория. Диагностика материалов. 1996. Т.62. № 1. С.54-60.

2. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996. - 272 с.

3. Горский В.Г., Курочкин В.К., Орлов А.И., Швецова-Шиловская Т.Н. О научно-методологическом обеспечении безопасности больших химических систем // Управление большими системами. Материалы Международной научно-практической конференция (22-26 сентября 1997 г., ИПУ РАН, Москва, Россия). - М.: СИНТЕГ, 1997. С.164-164.

4. Горский В.Г., Орлов А.И., Курочкин В.К., Гриценко А.А. К проблеме классификации сложных опасных систем // Управление большими системами. Материалы Международной научно-практической конференция (22-26 сентября 1997 г., ИПУ РАН, Москва, Россия). - М.: СИНТЕГ, 1997. С.211-211.

5. Горский В.Г., Курочкин В.К., Моткин Г.А., Орлов А.И., Арбузов Г.М., Швыряев Б.В., Швецова-Шиловская Т.Н. Методологические основы ранжирования и классификации промышленных объектов, подлежащих экологическому страхованию // Труды Второй Всероссийской конференции "Теория и практика экологического страхования". - М.: Ин-т проблем рынка РАН, 1996. С.7-12.

6. Орлов А.И., Горский В. Г., Жихарев В. Н., Цупин В. А., Степочкин А.Н., Васюкевич В. А. Экспертные оценки: современное состояние и перспективы использования в задачах экологического страхования // Труды Второй Всероссийской конференции "Теория и практика экологического страхования". - М.: Ин-т проблем рынка РАН, 1996. С.20-23.

7. Холлендер М., Вулф Д. Непараметрические методы статистики. - М.: Финансы и статистика, 1983. - 518 с.

8. Кемени Дж., Снелл Дж. Кибернетическое моделирование. Некоторые приложения. - М.: Советское радио, 1972. - 192 с.

9. Миркин Б.Г. Проблема группового выбора. - М.: Наука, 1974. - 256 с.

10. Шрейдер Ю.А. Равенство, сходство, порядок. - М.: Наука, 1971. - 256 с.

11. Орлов А.И. Устойчивость в социально-экономических исследованиях. - М.: Наука, 1979. - 296 с.

12. Орлов А.И. Организационно-экономическое моделирование: учеб. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.

Размещено на Allbest.ru

...