Расстояния в пространствах статистических данных

Размещено на http://www.allbest.ru/

1

Научный журнал КубГАУ, №101(07), 2014 года

УДК 519.2

UDC 519.2

Московский государственный технический университет им. Н.Э. Баумана, Россия

РАССТОЯНИЯ В ПРОСТРАНСТВАХ СТАТИСТИЧЕСКИХ ДАННЫХ

DISTANCES IN THE SPACES OF STATISTICAL DATA

Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор

Аннотация

Ядром прикладной статистики является статистика в пространствах произвольной природы, основанная на использовании расстояний и задач оптимизации. В настоящей статье обсуждаются расстояния в различных пространствах статистических данных, в частности, их вывод на основе соответствующих систем аксиом. Формулировки и доказательства теорем впервые публикуются в научной периодике

Ключевые слова: СТАТИСТИЧЕСКИЕ МЕТОДЫ, МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, ПРИКЛАДНАЯ СТАТИСТИКА, НЕЧИСЛОВАЯ СТАТИСТИКА, ПРОСТРАНСТВА ПРОИЗВОЛЬНОЙ ПРИРОДЫ, РАССТОЯНИЯ, АКСИОМАТИЧЕСКИЙ ПОДХОД, ТОЛЕРАНТНОСТИ, МНОЖЕСТВА, ПРОСТРАНСТВО СУММИРУЕМЫХ ФУНКЦИЙ

The core of applied statistics is statistics in spaces of arbitrary nature, based on the use of distances and optimization problems. This article discusses the various distances in spaces of statistical data, in particular, their conclusions on the basis of appropriate systems of axioms. The conditions and proofs of theorems first published in scientific periodicals

Keywords: STATISTICAL METHODS, MATHEMATICAL STATISTICS, APPLIED STATISTICS, NON-NUMERIC STATISTICS, SPACE OF AN ARBITRARY NATURE, DISTANCES, AXIOMATIC APPROACH, TOLERANCES, SETS, SPACE OF INTEGRABLE FUNCTIONS

Введение

Согласно новой парадигме математической статистики [1], системной нечеткой интервальной математике [2, 3] и статистике объектов нечисловой природы (статистике нечисловых данных, нечисловой статистике) [4, 5], исходные статистические данные могут иметь разнообразную математическую природу, являться элементами различных пространств - конечномерных, функциональных, бинарных отношений, множеств, нечетких множеств и т.д. Следовательно, центральной частью нечисловой статистики (и прикладной статистики в целом) является статистика в пространствах произвольной природы. Эта область прикладной статистики сама по себе не используется при анализе конкретных данных. Это очевидно, поскольку конкретные данные всегда имеют вполне определенную природу. Однако общие подходы, методы, результаты (теоремы) статистики в пространствах произвольной природы представляют собой научный инструментарий, готовый для применения в каждой конкретной области.

Статистика в пространствах произвольной природы основана на использовании расстояний и задач оптимизации, как это продемонстрировано, например, при введении средних величин и доказательстве законов больших чисел [6]. В настоящей статье обсудим расстояния (метрики, показатели различия) в различных пространствах статистических данных, в частности, их получение на основе соответствующих систем аксиом. Формулировки и доказательства теорем впервые публикуются в научной периодике.

1. Статистика в пространствах произвольной природы

Много ли общего у статистических методов анализа данных различной природы? На этот естественный вопрос можно сразу же однозначно ответить - да, очень много. Такой ответ постоянно подтверждается и конкретизируется на всем протяжении учебников по прикладной [7] и нечисловой [5] статистике. Несколько примеров приведем здесь.

Прежде всего, отметим, что понятия случайного события, вероятности, независимости событий и случайных величин являются общими для любых конечных вероятностных пространств и любых конечных областей значений случайных величин (см., например, [8]). Поскольку все реальные явления и процессы можно описывать с помощью математических объектов, являющихся элементами конечных множеств, сказанное выше означает, что конечных вероятностных пространств и дискретных случайных величин (точнее, величин, принимающих значения в конечном множестве) вполне достаточно для всех практических применений. Переход к непрерывным моделям реальных явлений и процессов оправдан только тогда, когда этот переход облегчает проведение рассуждений и выкладок. Например, находить определенные интегралы зачастую проще, чем вычислять значения сумм. Не могу не отметить, что приведенные соображения о взаимном соотнесении дискретных и непрерывных математических моделей автор услышал более 40 лет назад от академика А.Н. Колмогорова (ясно, что за конкретную формулировку несет ответственность автор настоящей статьи).

Основные проблемы прикладной статистики - описание данных, оценивание, проверка гипотез - также в своей существенной части могут быть рассмотрены в рамках статистики в пространствах произвольной природы. Например, для описания данных могут быть использованы эмпирические и теоретические средние [6], плотности вероятностей и их непараметрические оценки [9], регрессионные зависимости. Правда, для этого пространства произвольной природы должны быть снабжены соответствующим математическим инструментарием - расстояниями (метриками, показателями близости, мерами различия) между элементами рассматриваемых пространств.

Популярный в настоящее время метод оценивания параметров распределений - метод максимального правдоподобия - не накладывает каких-либо ограничений на конкретный вид элементов выборки. Они могут лежать в пространстве произвольной природы. Математические условия касаются только свойств плотностей вероятности и их производных по параметрам. Аналогично положение с методом одношаговых оценок, идущим на смену методу максимального правдоподобия [7]. Асимптотику решений экстремальных статистических задач достаточно изучить для пространств произвольной природы, а затем применять в каждом конкретном случае [10], когда задачу прикладной статистики удается представить в оптимизационном виде. Общая теория проверки статистических гипотез также не требует конкретизации математической природы рассматриваемых элементов выборок. Это относится, например, к лемме Неймана-Пирсона или теории статистических решений. Более того, естественная область построения теории статистик интегрального типа - это пространства произвольной природы [11].

Совершенно ясно, что в конкретных областях прикладной статистики накоплено большое число результатов, относящихся именно к этим конкретным областям. Особенно это касается областей, исследования в которых ведутся сотни лет, в частности, статистики случайных величин (одномерной статистики). Однако принципиально важно указать на «ядро» прикладной статистики - статистику в пространствах произвольной природы. Если постоянно «держать в уме» это ядро, то становится ясно, что, например, многие методы непараметрической оценки плотности распределения вероятностей или кластер-анализа, использующие только расстояния между объектами и элементами выборки, относятся именно к статистике объектов произвольной природы, а не к статистике случайных величин или многомерному статистическому анализу. Следовательно, и применяться они могут во всех областях прикладной статистики, а не только в тех, в которых «родились».

2. Расстояния (метрики)

В пространствах произвольной природы нет операции сложения, следовательно, статистические процедуры не могут быть основаны на использовании сумм. Поэтому используется другой математический инструментарий, использующий понятия типа расстояния.

Как известно, расстоянием в пространстве Х называется числовая функция двух переменных d(x,y), x є X, y є X, определенная на этом пространстве, т.е. в стандартных обозначениях d: X² > R¹, где R¹ - прямая, т.е. множество всех действительных чисел. Эта функция должна удовлетворять трем условиям (иногда их называют аксиомами):

1) неотрицательности: d(x,y) > 0, причем d(x,x) = 0, для любых значений x є X, y є X;

2) симметричности: d(x,y) = d(y,x) для любых x є X, y є X;

3) неравенства треугольника: d(x,y) + d(y,z) > d(x,z) для любых значений x є X, y є X, z є X.

К условию 1 во многих литературных источниках добавляют условие

4) d(x,y) = 0 тогда и только тогда, когда x = y.

Для термина «расстояние» часто используется синоним - «метрика». Иногда вводят термины «псевдометрика» (для обозначения функций, удовлетворяющих условиям 1), 2), 3)), «симметрика» и т.п. Здесь обсуждение этих терминов излишне.

Пример 1. Если d(x,x) = 0 и d(x,y) = 1 при x?y для любых значений x є X, y є X, то, как легко проверить, функция d(x,y) - расстояние (метрика). Такое расстояние естественно использовать в пространстве Х значений номинального признака: если два значения (например, названные двумя экспертами) совпадают, то расстояние равно 0, а если различны - то 1. Пример 2. Расстояние, используемое в геометрии, очевидно, удовлетворяет трем приведенным выше аксиомам. Если Х - это плоскость, а х(1) и х(2) - координаты точки x є X в некоторой прямоугольной системе координат, то эту точку естественно отождествить с двумерным вектором (х(1), х(2)). Тогда расстояние между точками х = (х(1), х(2)) и у = (у(1), у(2)) согласно известной формуле аналитической геометрии равно

Пример 3. Евклидовым расстоянием в пространстве R^k векторов вида x = (x(1), x(2), …, x(k)) и y = (y(1), y(2), …, y(k)) размерности k называется

В примере 2 рассмотрен частный случай примера 3 с k = 2.

Пример 4. В пространстве R^k векторов размерности k используют также так называемое «блочное расстояние», имеющее вид

Блочное расстояние соответствует передвижению по городу, разбитому на кварталы горизонтальными и вертикальными улицами. В результате можно передвигаться только параллельно одной из осей координат.

Пример 5. В пространстве функций, элементами которого являются функции х = x(t), у = y(t), 0< t < 1, часто используют расстояние Колмогорова



Пример 6. Пространство функций, элементами которого являются функции х = x(t), у = y(t), 0< t < 1, превращают в метрическое пространство (т.е. в пространство с метрикой), вводя расстояние

Это пространство обычно обозначают , где параметр p>1 (при p< 1 не выполняются аксиомы метрического пространства, в частности, аксиома треугольника).

Пример 7. Рассмотрим пространство квадратных матриц порядка k. Как ввести расстояние между матрицами А = ||a(i,j)|| и B = ||b(i,j)||? Можно сложить расстояния между соответствующими элементами матриц:

Пример 8. Предыдущий пример наводит на мысль о следующем полезном свойстве расстояний. Если на некотором пространстве определены два или больше расстояний, то их сумма - также расстояние.

Пример 9. Пусть А и В - множества. Расстояние между множествами можно определить формулой

Здесь м - мера на рассматриваемом пространстве множеств, Д - символ симметрической разности множеств,



Если мера - так называемая считающая, т.е. приписывающая единичный вес каждому элементу множества, то введенное расстояние есть число несовпадающих элементов в множествах А и В.

Пример 10. Между множествами можно ввести и другое расстояние:

В ряде задач прикладной статистики используются функции двух переменных, для которых выполнены не все три аксиомы расстояния, а только некоторые. Их обычно называют показателями различия, поскольку, чем больше различаются объекты, тем больше значение функции. Иногда в том же смысле используют термин «мера близости». Он менее удачен, поскольку большее значение функции соответствует меньшей близости.

Чаще всего отказываются от аксиомы, требующей выполнения неравенства треугольника, поскольку это требование не всегда находит обоснование в конкретной прикладной ситуации.

Пример 11. В конечномерном векторном пространстве показателем различия является

Показателями различия, но не расстояниями являются такие популярные в прикладной статистике показатели, как дисперсия или средний квадрат ошибки при оценивании. Иногда отказываются также и от аксиомы симметричности. Пример 12. Показателем различия чисел х и у является



Такой показатель различия используют в ряде процедур экспертного оценивания.

Что же касается первой аксиомы расстояния, то в различных постановках прикладной статистики ее обычно принимают. Вполне естественно, что наименьший показатель различия должен достигаться, причем именно на совпадающих объектах. Имеет ли смысл это наименьшее значение делать отличным от 0? Вряд ли, поскольку всегда можно добавить одну и ту же константу ко всем значениям показателя различия и тем самым добиться выполнения первой аксиомы.

В прикладной статистике используются самые разные расстояния и показатели различия.

3. Аксиоматическое введение расстояний

В нечисловой статистике (и в прикладной статистике в целом) используют большое количество метрик и показателей различия (см. примеры в предыдущем разделе). Как обоснованно выбрать то или иное расстояние для использования в конкретной задаче? В 1959 г. американский статистик Джон Кемени предложил использовать аксиоматический подход, согласно которому следует сформулировать естественные для конкретной задачи аксиомы и вывести из них вид метрики. Этот подход получил большую популярность в нашей стране после выхода в 1972 г. перевода на русский язык книги Дж. Кемени и Дж. Снелла [12], в которой дана система аксиом для расстояния Кемени между упорядочениями. (Упорядочения, как и иные бинарные отношения, естественно представить в виде квадратных матриц из 0 и 1; тогда расстояние Кемени - это расстояние из примера 7 предыдущего раздела). Последовала большая серия работ, в которых из тех или иных систем аксиом выводился вил метрики или показателя различия для различных видов данных, прежде всего для объектов нечисловой природы. Многие полученные результаты описаны в обзоре [13], содержащем 161 ссылку на литературные источники, в том числе 69 на русском языке. Рассмотрим некоторые задачи аксиоматического введения расстояний.

4. Аксиоматическое введение расстояния между толерантностями

Толерантность - это бинарное отношение, являющееся рефлексивным и симметричным. Его обычно используют для описания отношения сходства между реальными объектами, отношений знакомства или дружбы между людьми. От отношения эквивалентности отличается тем, что свойство транзитивности не предполагается обязательно выполненным. Действительно, Иванов может быть знаком с Петровым, Петров - с Сидоровым, но при этом ничего необычного нет в том, что Иванов и Сидоров не знакомы.

Пусть множество Х, на котором определено отношение толерантности, состоит из конечного числа элементов: X = {x₁, x₂,…, x_k}. Тогда толерантность описывается квадратной матрицей A = ||a(i,j)||, i,j = 1, 2,…, k, такой, что a(i,j) = 1, если x_i и x_j связаны отношением толерантности, и a(i,j) = 0 в противном случае. Матрица A симметрична: a(i,j) = a(j,i), на главной диагонали стоят единицы: a(i,i) = 1. Любая матрица, удовлетворяющая приведенным в предыдущей фразе условиям, является матрицей, соответствующей некоторому отношению толерантности. Матрице А можно сопоставить неориентированный граф с вершинами в точках Х: вершины x_i и x_j соединены ребром тогда и только тогда, когда a(i,j) = 1. Толерантности используются, в частности, при проведении экспертных исследований [14, 15]. Будем говорить, что толерантность А₃ лежит между толерантностями А₁ и А₂, если при всех i, j число a₃(i,j) лежит между числами a₁(i,j) и a₂(i,j), т.е. выполнены либо неравенства a₁(i,j) <a₃(i,j) < a₂(i,j), либо неравенства a₁(i,j) > a₃(i,j) > a₂(i,j).

Теорема 1. Пусть

(I) d(A₁, A₂) - метрика в пространстве толерантностей, определенных на конечном множестве X = {x₁, x₂,…, x_k};

(II) d(A₁, A₃) + d(A₃, A₂) = d(A₁, A₂) тогда и только тогда, когда A₃ лежит между A₁ и A₂;

(III) если отношения толерантности A₁ и A₂ отличаются только на одной паре элементов, т.е. a₁(i,j) = a₂(i,j) при (i,j) ? (i₀,j₀), i<j, i₀ < j₀, и a₁(i₀, j₀) ? a₂(i₀, j₀), то d(A₁, A₂) = 1.

Тогда

Таким образом, расстояние d(A₁, A₂) только постоянным множителем Ѕ отличается от расстояния Кемени, введенного в пространстве всех бинарных отношений как расстояние Хемминга между описывающими отношения матрицами из 0 и 1 (см. пример 7 раздела 3 выше). Теорема 1 дает аксиоматическое введение расстояния в пространстве толерантностей [16]. Оказалось, что оно является сужением расстояния Кемени на это пространство. Сам Дж. Кемени дал аналогичную систему аксиом для сужения на пространство упорядочений. Доказательство теоремы 1 вытекает из рассмотрений, связанных с аксиоматическим введением расстояний между множествами, и приводится ниже.

5. Мера симметрической разности как расстояние между множествами

Как известно, бинарное отношение можно рассматривать как подмножество декартова квадрата Х² того множества Х, на котором оно определено. Поэтому теорему 1 можно рассматривать как аксиоматическое введение расстояния между множествами специального вида. Укажем систему аксиом для расстояния между множествами общего вида, описанного в примере 9 раздела 3 выше.

Определение 1. Множество В находится между множествами А и С, если

С помощью определения 1 в совокупности множеств вводятся геометрические соотношения, использование которых полезно для восприятия рассматриваемых ситуаций.

Расстояние между двумя точками в евклидовом пространстве не изменится, если обе точки сдвинуть на один и тот же вектор. Аналогичное свойство расстояния между множествами сформулируем в виде аксиомы 1. Оно соответствует аксиоме 3 Кемени и Снелла [12, с. 22] для расстояний между упорядочениями.

Аксиома 1. Если то

Определение 2. Непустая система множеств называется кольцом, если для любых двух входящих в нее множеств в эту систему входят их объединение, пересечение и разность. Множество Х называется единицей системы множеств, если оно входит в эту систему, а все остальные множества системы являются подмножествами Х. Кольцо множеств, содержащее единицу, называется алгеброй множеств [17, с. 38].

Теорема 2. Пусть W - алгебра множеств, d: W² > R¹. Тогда аксиома 1 эквивалентна следующему условию: d(A,B) = d(A\B, B\A) для любых A, B є W.

Доказательство. Поскольку

то равенство d(A,B) = d(A\B, B\A) следует из аксиомы 1. Обратное утверждение вытекает из того, что в условиях аксиомы 1

Теорема 2 доказана.

С целью внести в алгебру множеств W отношение «находиться между», аналогичное используемому при аксиоматическом введении расстояний в пространствах бинарных отношений (см. условие (II) в теореме 1), примем следующую аксиому.

Аксиома 2. Если В лежит между А и С, то d(A,B)+d(B,C)= d(A,C).

Определение 3. Неотрицательная функция м, определенная на алгебре множеств W, называется мерой, если для любых двух непересекающихся множеств А и В из W справедливо соотношение

Понятие меры - это обобщение понятий длины линии, площади фигуры, объема тела.

Теорема 3. Пусть W - алгебра множеств, аксиомы 1 и 2 выполнены для функции d: W² > [0; +?]. Функция d симметрична: d(A,B) = d(B,A) для любых А и В из W. Тогда существует, и притом единственная, мера м на W такая, что

(1)

при всех А и В из W, где АДВ - симметрическая разность множеств А и В, т.е.

Доказательство. Положим

 (2)

Покажем, что определенная формулой (2) функция множества м является мерой. Неотрицательность м следует из неотрицательности d. Остается доказать аддитивность, т.е. что из следует, что

(3)

Поскольку А всегда лежит между и , то по аксиоме 2

(4)

Если А?В=, то по аксиоме 1 , откуда с учетом (4) и следует (3).

Докажем соотношение (1). Поскольку А\B и B\A имеют пустое пересечение, то согласно определению 1 пустое множество лежит между А\B и B\A. Поэтому по аксиоме 2

Из симметричности и соотношения (2) следует, что

откуда d(A\B, B\A)= м(A\B) + м(B\A). Из соотношения (3) следует, что м(A\B) + м(B\A) = м(AДB). С другой стороны, по аксиоме 1

Из трех последних равенств вытекает справедливость равенства (1).

Остается доказать единственность меры м в соотношении (1). Поскольку АДВ = В при А = , то из (1) следует (2), т.е. однозначность определения меры м = м(d) по расстоянию d. Теорема 3 доказана.

Теорема 4 (обратная). Пусть м - мера, определенная на алгебре множеств W. Тогда функция d(A,B) = м(AДB) является псевдометрикой, для нее выполнены аксиомы 1 и 2.

Доказательство. То, что функция d(A,B) из (1) задает псевдометрику, хорошо известно (см., например, [18, с. 79]). Доказательство аксиомы 2 содержится в [19, c. 181-183]. Аксиома 1 следует из того, что условия обеспечивают справедливость соотношений

Замечание. Полагая в аксиоме 2 А = В = С, получаем, что d(A,А) + d(A,А) = d(A,А), т.е. d(A,А) = 0. Согласно теоремам 3 и 4, из условий теоремы 3 следует неравенство треугольника. Таким образом, в теореме 3 действительно приведена система аксиом, определяющая семейство псевдометрик в пространстве множеств.

Обсудим независимость (друг от друга) условий теоремы 3. Отбрасывание неотрицательности функции d приводит к тому, что слово «мера» в теоремах 3 и 4 необходимо заменить на «заряд» [17, с. 328]. Этот термин обозначает аддитивную функцию множеств, не обязательно обладающую свойством неотрицательности. Заряд можно представить как разность двух мер.

Функция является псевдометрикой, для нее выполнена аксиома 1, но не выполнена аксиома 2, следовательно, ее нельзя представить в виде (1). Приведем пример системы множеств W и метрики в ней, для которых верна аксиома 2, но не верна аксиома 1, а потому эту метрику нельзя представить в виде (1). Пусть W состоит из множеств причем А?В = , а расстояния таковы:

Если единица Х алгебры множеств W конечна, т.е. X = {x₁, x₂,…, x_k}, то расстояние (1) принимает вид

(5)

где ч_С - индикатор (индикаторная функция) множества С, т.е. ч_С(х) = 1, если х є С, и ч_С(х) = 0 в противном случае. Как следует из теоремы 3, неотрицательный коэффициент м_i - это мера одноэлементного множества {x_i}, а также расстояние этого множества от пустого множества, т.е.

Если все коэффициенты м_i положительны, то формула (5) определяет метрику, если хотя бы один равен 0, то - псевдометрику, поскольку в таком случае найдутся два различающиеся между собой множества А и В такие, что d(A,B) = 0.

Расстояние определяется однозначно, если априори известны коэффициенты м_i. В частности, равноправность объектов (элементов единицы алгебры множеств Х) приводит к м_i ? 1. Требование равноправности содержится в аксиомах 2 и 4 Кемени [12, с. 21-22].

Применим полученные результаты к толерантностям и докажем теорему 1. Совокупность всех толерантностей, определенных на конечном множестве У, естественным образом ассоциируется с совокупностью всех подмножеств множества Х = {(y_i, y_j), 1 < i < j < k}. Именно, пара (y_i, y_j) входит в подмножество тогда и только тогда, когда y_i и y_j связаны отношением толерантности. Указанная совокупность подмножеств является алгеброй множеств с единицей Х. Определение 1 понятия «находиться между» для множеств полностью соответствует ранее данному определению понятия «находиться между» для толерантностей.

Теорема 5. Пусть выполнены условия (I) и (II) теоремы 1 и аксиома 1. Тогда существуют числа м_ij > 0 такие, что

(6)

Для доказательства достаточно сослаться на теорему 3. Поскольку в условии (I) требуется, чтобы функция d(A,B) являлась метрикой, то необходимо м_ij > 0. Теорема 6. Пусть выполнены условия теоремы 1 и, кроме того, аксиома 1. Тогда верно заключение теоремы 1.

Доказательство. Рассмотрим толерантность А, для которой a(i,j) = 1 при (i,j) = (i₀,j₀) и a(i,j) = 0 в противном случае. Согласно условию (III) теоремы 1 , а согласно (6) имеем . Следовательно, коэффициент = 1, что и требовалось доказать.

Для окончательного доказательства теоремы 1 осталось избавиться от требования справедливости аксиомы 1.

Доказательство теоремы 1. Рассмотрим две толерантности А и В такие, что при представлении их в виде множеств . Это означает, что a(i, j) < b(i, j) при всех i, j. Поскольку Х - конечное множество, то существует конечная последовательность толерантностей A₁, A₂, …, A_m, …, A_t такая, что А₁ = А, A_t = B, A₁ A₂ … A_m … A_t, причем A_m+1 получается из A_m заменой ровно одного значения a_m(i_m, j_m) = 0 на a_m+1(i_m, j_m) = 1, для (i, j) ? (i_m, j_m) при этом a_m (i, j) = a_m+1(i, j). Тогда A_m находится между A_m-1 и A_m+1, следовательно, по условию (II)



По условию (III) = 1 при всех m, а потому заключение теоремы 1 верно для любых А и В таких, что .

Поскольку А?В лежит между А и В, то по условию (II)

d(A, B) = d(А?В, A) + d(А?В, B).

При этом А?В А и А?В В. Применяя результат предыдущего абзаца, получаем, заключение теоремы 1 верно всегда.

Замечание 1. Таким образом, условие (III) не только дает нормировку, но и заменяет аксиому 1. Замечание 2. Условие (I) теоремы 1 не использовалось в доказательстве, но было приведено в первоначальной публикации [20], чтобы подчеркнуть цель рассуждения. По той же причине оно сохранено в формулировке теоремы 1, хотя в доказательстве удалось без него обойтись. Понадобилась только симметричность функции d.

6. Аксиоматическое введение метрики в пространстве неотрицательных суммируемых функций

статистика метрика расстояние множество

Рассмотрим пространство L(E, м) неотрицательных суммируемых функций на множестве E с мерой м. Далее в настоящем разделе будем рассматривать только функции из пространства L(E, м). Интегрирование всюду проводится по множеству (пространству) Е и по мере м. Будем писать g = h или g < h, если указанные соотношения справедливы почти всюду по м на Е (т.е. могут нарушаться лишь на множестве нулевой меры).

Аксиоматически введем расстояние в пространстве L(E, м), развивая подход работы [21]). Обозначим M (g, h) = max (g , h) и m(g, h) = min (g, h). Пусть функция D: L(E, м) L(E, м) > R¹ - тот основной объект изучения, аксиомы для которого будут сейчас сформулированы.

Аксиома 1. Если gh = 0, g + h ? 0, то D(g, h) = 1.

Аксиома 2. Если h < g, то D(g, h) = C ? (g - h) dм, где множитель С не зависит от h, т.е. C = C(g).

Лемма. Из аксиом 1,2 следует, что для h < g ? 0

Для доказательства заметим, что по аксиоме 1 D(g, 0) =1, а по аксиоме 2 D(g, 0) = С?gdм, откуда С = (?gdм)^-1. Подставляя это соотношение в аксиому 2, получаем заключение леммы.

Требование согласованности расстояния в пространстве L(E, м) с отношением «находиться между» приводит, как и ранее для расстояния d(A, B), к следующей аксиоме.

Аксиома 3. Для любых g и h справедливо равенство D(g, h) = D(M(g, h), g) + D(M(g, h), h).

Замечание. В ряде реальных ситуаций естественно считать, что наибольшее расстояние между элементами пространства множеств (которое без ограничения общности можно положить равным 1), т.е. наибольшее несходство, соответствует множествам, не имеющим общих элементов. Расстояние, введенное в теореме 3 (формула (1)), этому условию не удовлетворяет. Поэтому в пространстве множеств была аксиоматически введена (подробности см. в [13]) так называемая D-метрика (от dissimilarity (англ.) - несходство), для которого это условие выполнено. Она имеет вид:

(7)

Приведенные выше аксиомы являются обобщениями соответствующих аксиом для D-метрики в пространстве множеств.

Теорема 7. Из аксиом 1-3 следует, что

(8)

Доказательство. Поскольку

(M(g, h) - g) + (M(g, h) - h) = |g - h|,

то заключение теоремы 7 при g + h ? 0 вытекает из леммы и аксиомы 3. Из аксиомы 2 при g = 0 следует, что D(0, 0) = 0. Легко видеть, что функция D, заданная формулой (8), удовлетворяет аксиомам 1-3 и, кроме того, D(g, h) < 1 при любых g и h.

Замечание. Если g и h - индикаторные функции множеств, то формула (8) переходит в формулу (7). Если g и h - функции принадлежности нечетких множеств, то формула (8) задает метрику в пространстве нечетких множеств, а именно, D-метрику в этом пространстве [13].

Теорема 8. Функция D(g,h), определенная формулой (8), является метрикой в L(E, м) (при отождествлении функций, отличающихся лишь на множестве нулевой меры), причем D(g, f) + D(f, h) = D(g, h) тогда и только тогда, когда f = g, f = h или f = M(g, h).

Доказательство. Обратимся к определению метрики. Для рассматриваемой функции непосредственно очевидна справедливость условий неотрицательности и симметричности. Очевидна и эквивалентность условия D(g, h) = 0 равенству g = h.

Остается доказать неравенство треугольника и установить, когда оно обращается в равенство. Без ограничения общности можно считать, что рассматриваемые расстояния задаются верхней строкой формулы (8) и, кроме того,

R = ? M(g, f) dм - ? M(f, h) dм > 0

(частные случаи с использованием нижней строки формулы (8) рассматриваются элементарно, а справедливости последнего неравенства можно добиться заменой обозначений функций - элементов пространства L(E, м)). Тогда

(9)

причем равенство имеет место тогда и только тогда, когда R = 0 или f = h. Положим

P = ? (|g - f| + |f - h| - |g - h|) dм, Q = ? (M(g, f) - M(g, h)) dм.

Ясно, что P > 0 и

(10)

Если Q < 0, то, очевидно, неравенство треугольника выполнено, причем неравенство является строгим. Рассмотрим случай Q > 0.

Воспользуемся следующим элементарным фактом: если y > x, y > 0, P >Q > 0, то

 (11)

Из соотношений (10) и (11) вытекает, что для доказательства неравенства треугольника достаточно показать, что P - Q > 0.

Рассмотрим

k = {|g - f| + |f - h| - |g - h|} - M(g, f) + M(g, h).

Применяя равенство (M(g, h) - g) + (M(g, h) - h) = |g - h| к слагаемым, заключенным в фигурные скобки, получаем, что

k = M(f, h) + [M(g, f) + M(f, h) - M(g, h) - 2f].

Применяя соотношение

M(g, h) = g + h - m(g, h) (12)

К слагаемым, заключенным в квадратные скобки, получаем, что

k = M(f, h) - m(f, h) - m(g, f) + m(g, h).

Так как M(f, h) - m(f, h) = |f - h|, то

k = |f - h| - (m(g, f) - m(g, h)) > (f - h) - (m(g, f) - m(g, h)). (13)

В соответствии с (12) правая часть (13) есть M(g, f) - M(g, h), а потому P - Q = ? k dм > Q > 0, что завершает доказательство для случая Q > 0. При этом неравенство треугольника является строгим. Осталось рассмотреть случай Q = 0. В силу соотношений (9) и (10) неравенство треугольника выполнено. Когда оно обращается в равенство? Тривиальные случаи: f = g или f = h. Если же f отлично от g и h, то необходимо, чтобы R = 0 и P = 0. Как легко проверить, последнее условие эквивалентно неравенствам

m(g, h) < f < M(g, h). (14)

Из правого неравенства в (14) следует, что M(g, f) < M(g, M(g, h)) = M(g, h). Так как Q = 0, то M(g, f) = M(g, h). Аналогичным образом из соотношений

M(h, f) < M(h, M(g, h)) = M(g, h) = M(g, f)

и R = 0 следует, что M(f, h) = M(g, h).

Рассмотрим измеримое множество X = {x є E: h(x) < g(x)}. Тогда M(g, h) (x) = M(f, h) (x) = g(x) > h(x), т.е. h(x) < f(x) = M(g, h) (x) для почти всех x є X. Для почти всех y є {x є E: h(x) > g(x)} точно так же получаем f(y) = M(g, h) (y). Для почти всех z є {x є E: h(x) = g(x)} в силу (14) f(z) = M(g, h) (z), что и завершает доказательство теоремы.

Замечание. Назовем функции g и h подобными, если существует число b > 0 такое, что g = bh. Тогда при 0 < b < 1 имеем D(g, h) = 1 - b, т.е. расстояние между подобными функциями линейно зависит от коэффициента подобия. Далее, пусть a > 0, тогда D(ag, ah) = D(g, h). Таким образом, метрика (8) инвариантна по отношению к преобразованиям подобия, которые образуют группу допустимых преобразований в шкале отношений. Это дает основания именовать метрику (8) метрикой подобия [21].

Заключение

Обсудим развитие подходов к выбору расстояния (показателя различия) между объектами (или признаками) при анализе статистических данных.

Первый этап - используют наиболее известное расстояние - евклидово (а при измерении расстояния между признаками - коэффициент линейной парной корреляции Пирсона). Этот подход и в настоящее время широко используется теми, кто не интересуется проблемой выбора расстояний.

Второй этап характеризуется присутствием в сознании исследователей информации о наличии ряда различных расстояний при неясности оснований для выбора того или иного расстояния. Общая рекомендация дается теорией устойчивости [16, 22] - целесообразно одни и те же данные обрабатывать различными способами, с использованием тех или иных расстояний; если выводы совпадают, то они, скорее всего, соответствуют реальности; если же выводы различны, то очевидна их субъективность, определяемая выбором исследователем метода анализа данных.

Третий этап - снятие неясности оснований для выбора того или иного расстояния. Осознанная специалистами необходимость такого снятия объясняет энтузиазм, с которым был встречен в нашей стране аксиоматический подход Кемени [12] (см. подробности в статье [23]).

На четвертом этапе аксиоматический подход применялся для получения расстояний в различных пространствах. Были получены десятки (возможно, и сотни) аксиоматических выводов расстояний, многие из которых отражены в обзоре [13]. Подвести итог этому направлению исследований можно так: для любого используемого при анализе реальных данных расстояния можно указать систему аксиом, из которых это расстояние выводится.

Можно утверждать, что произошел возврат к состоянию неопределенности второго этапа. Однако в настоящее время, на пятом этапе, мы знаем о расстояниях гораздо больше, чем знали на втором этапе, а именно, знаем их свойства, выраженные в соответствующих системах аксиом. Это позволяет осуществлять выбор расстояний, не только исходя из свойств самих расстояний, но и опираясь на сравнение систем аксиом, из которых эти расстояния вытекают.

Литература

1. Орлов А.И. Основные черты новой парадигмы математической статистики / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №06(090). С. 187 - 213. - IDA [article ID]: 0901306013. - Режим доступа: http://ej.kubagro.ru/2013/06/pdf/13.pdf

2. Орлов А.И. Системная нечеткая интервальная математика (СНИМ) - перспективное направление теоретической и вычислительной математики / А.И. Орлов, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №07(091). С. 255 - 308. - IDA [article ID]: 0911307015. - Режим доступа: http://ej.kubagro.ru/2013/07/pdf/15.pdf

3. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с.

4. Орлов А.И. О развитии статистики объектов нечисловой природы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №09(093). С. 273 - 309. - IDA [article ID]: 0931309019. - Режим доступа: http://ej.kubagro.ru/2013/09/pdf/19.pdf

5. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. - 2009. - 541 с.

6. Орлов А.И. Средние величины и законы больших чисел в пространствах произвольной природы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №05(089). С. 556 - 586. - IDA [article ID]: 0891305038. - Режим доступа: http://ej.kubagro.ru/2013/05/pdf/38.pdf

7. Орлов А.И. Прикладная статистика. Учебник. - М.: Экзамен, 2006. - 672 с.

8. Орлов А.И. Вероятность и прикладная статистика: основные факты: справочник. - М.: КноРус, 2010. - 192 с.

9. Орлов А.И. Оценки плотности распределения вероятностей в пространствах произвольной природы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №05(099). С. 33 - 49. - IDA [article ID]: 0991405003. - Режим доступа: http://ej.kubagro.ru/2014/05/pdf/03.pdf

10. Орлов А.И. Асимптотика решений экстремальных статистических задач. - В сб.: Анализ нечисловых данных в системных исследованиях. Сборник трудов. Вып.10. - М.: Всесоюзный научно-исследовательский институт системных исследований, 1982. С. 4-12.

11. Орлов А.И. Предельная теория непараметрических статистик / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 226 - 244. - IDA [article ID]: 1001406011. - Режим доступа: http://ej.kubagro.ru/2014/06/pdf/11.pdf

12. Кемени Дж., Снелл Дж. Кибернетическое моделирование. Некоторые приложения. - М.: Советское радио, 1972. - 192 с.

13. Раушенбах Г.В. Меры близости и сходства // Анализ нечисловой информации в социологических исследованиях. - М.; Наука, 1986. - С.169-203.

14. Орлов А.И. Организационно-экономическое моделирование: учеб. Ч.2. Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. 486 с.

15. Орлов А.И. Теория экспертных оценок в нашей стране / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №09(093). С. 1652 - 1683. - IDA [article ID]: 0931309114. - Режим доступа: http://ej.kubagro.ru/2013/09/pdf/114.pdf

16. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.

17. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. - М.: Наука, 1972. - 496 с.

18. Окстоби Дж. Мера и категория. - М.: Мир, 1974. - 158 с.

19. Льюс Р., Галантер Е. Психофизические шкалы // Психологические измерения. - М.: Мир, 1967. - С.111-195.

20. Орлов А.И. Связь между нечеткими и случайными множествами: Нечеткие толерантности // Исследования по вероятностно-статистическому моделированию реальных систем. - М.: ЦЭМИ АН СССР, 1977. - С.140-148.

21. Орлов А.И., Раушенбах Г.В. Метрика подобия: аксиоматическое введение, асимптотическая нормальность // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Изд-во Пермского государственного университета, 1986, с.148-157.

22. Орлов А.И. Новый подход к изучению устойчивости выводов в математических моделях / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 1 - 30. - IDA [article ID]: 1001406001. - Режим доступа: http://ej.kubagro.ru/2014/06/pdf/01.pdf

23. Орлов А. И. О средних величинах // Управление большими системами. Выпуск 46. М.: ИПУ РАН, 2013. С.88-117.

1.Orlov A.I. Osnovnye cherty novoj paradigmy matematicheskoj statistiki / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №06(090). S. 187 - 213. - IDA [article ID]: 0901306013. - Rezhim dostupa: http://ej.kubagro.ru/2013/06/pdf/13.pdf

2.Orlov A.I. Sistemnaja nechetkaja interval'naja matematika (SNIM) - perspektivnoe napravlenie teoreticheskoj i vychislitel'noj matematiki / A.I. Orlov, E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №07(091). S. 255 - 308. - IDA [article ID]: 0911307015. - Rezhim dostupa: http://ej.kubagro.ru/2013/07/pdf/15.pdf

3.Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika. Monografija (nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - 600 s.

4.Orlov A.I. O razvitii statistiki ob#ektov nechislovoj prirody / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №09(093). S. 273 - 309. - IDA [article ID]: 0931309019. - Rezhim dostupa: http://ej.kubagro.ru/2013/09/pdf/19.pdf

5.Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie: uchebnik : v 3 ch. Chast' 1: Nechislovaja statistika. - M.: Izd-vo MGTU im. N.Je. Baumana. - 2009. - 541 s.

6.Orlov A.I. Srednie velichiny i zakony bol'shih chisel v prostranstvah proizvol'noj prirody / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №05(089). S. 556 - 586. - IDA [article ID]: 0891305038. - Rezhim dostupa: http://ej.kubagro.ru/2013/05/pdf/38.pdf

7.Orlov A.I. Prikladnaja statistika. Uchebnik. - M.: Jekzamen, 2006. - 672 s.

8.Orlov A.I. Verojatnost' i prikladnaja statistika: osnovnye fakty: spravochnik. - M.: KnoRus, 2010. - 192 s.

9.Orlov A.I. Ocenki plotnosti raspredelenija verojatnostej v prostranstvah proizvol'noj prirody / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №05(099). S. 33 - 49. - IDA [article ID]: 0991405003. - Rezhim dostupa: http://ej.kubagro.ru/2014/05/pdf/03.pdf

10.Orlov A.I. Asimptotika reshenij jekstremal'nyh statisticheskih zadach. - V sb.: Analiz nechislovyh dannyh v sistemnyh issledovanijah. Sbornik trudov. Vyp.10. - M.: Vsesojuznyj nauchno-issledovatel'skij institut sistemnyh issledovanij, 1982. S. 4-12.

11.Orlov A.I. Predel'naja teorija neparametricheskih statistik / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №06(100). S. 226 - 244. - IDA [article ID]: 1001406011. - Rezhim dostupa: http://ej.kubagro.ru/2014/06/pdf/11.pdf

12.Kemeni Dzh., Snell Dzh. Kiberneticheskoe modelirovanie. Nekotorye prilozhenija. - M.: Sovetskoe radio, 1972. - 192 s.

13.Raushenbah G.V. Mery blizosti i shodstva // Analiz nechislovoj informacii v sociologicheskih issledovanijah. - M.; Nauka, 1986. - S.169-203.

14.Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie: ucheb. Ch.2. Jekspertnye ocenki. M.: Izd-vo MGTU im. N.Je. Baumana, 2011. 486 s.

15.Orlov A.I. Teorija jekspertnyh ocenok v nashej strane / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №09(093). S. 1652 - 1683. - IDA [article ID]: 0931309114. - Rezhim dostupa: http://ej.kubagro.ru/2013/09/pdf/114.pdf

16.Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. - M.: Nauka, 1979. - 296 s.

17.Kolmogorov A.N., Fomin S.V. Jelementy teorii funkcij i funkcional'nogo analiza. - M.: Nauka, 1972. - 496 s.

18.Okstobi Dzh. Mera i kategorija. - M.: Mir, 1974. - 158 s.

19.L'jus R., Galanter E. Psihofizicheskie shkaly // Psihologicheskie izmerenija. - M.: Mir, 1967. - S.111-195.

20.Orlov A.I. Svjaz' mezhdu nechetkimi i sluchajnymi mnozhestvami: Nechetkie tolerantnosti // Issledovanija po verojatnostno-statisticheskomu modelirovaniju real'nyh sistem. - M.: CJeMI AN SSSR, 1977. - S.140-148.

21.Orlov A.I., Raushenbah G.V. Metrika podobija: aksiomaticheskoe vvedenie, asimptoticheskaja normal'nost' // Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbornik nauchnyh trudov. - Perm': Izd-vo Permskogo gosudarstvennogo universiteta, 1986, s.148-157.

22.Orlov A.I. Novyj podhod k izucheniju ustojchivosti vyvodov v matematicheskih modeljah / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №06(100). S. 1 - 30. - IDA [article ID]: 1001406001. - Rezhim dostupa: http://ej.kubagro.ru/2014/06/pdf/01.pdf

23.Orlov A.I. O srednih velichinah // Upravlenie bol'shimi sistemami. Vypusk 46. M.: IPU RAN, 2013. S.88-117.

Размещено на Allbest.ru

...