Основные понятия теории нечетких множеств (fuzzy sets) хорошо известны (см., например, [1, 2]). В настоящей статье обсудим некоторые вопросы статистического анализа нечетких данных.

Нечеткие множества - частный вид объектов нечисловой природы. Поэтому при обработке выборки, элементами которой являются нечеткие множества, могут быть использованы различные методы анализа статистических данных произвольной природы - расчет средних, непараметрических оценок плотности, построение диагностических правил и т.д. [3 - 6].

Расскажем о развитии наших работ по теории нечеткости, а затем обсудим ряд вопросов статистической теории анализа нечетких данных.

2. Развитие работ по теории нечеткости

В первой нашей работе по нечетким множествам теория случайных множеств рассматривается как обобщение теории нечетких множеств. В частности, найдены необходимые и достаточные условия, при которых проекция пересечения случайных множеств дает произведение либо пересечение нечетких множеств [7]. В следующей работе, вышедшей через два года, полностью развернуто сведение теории нечеткости к теории случайных множеств [8]. Подробное изложение сведения теории нечеткости к теории случайных множеств дано в статье [9]. Присущая мышлению человека нечеткость рассматривалась на примере древнегреческой апории "Куча" в научно-популярной публикации [10]. Итоги первого этапа наших работ по теории нечеткости были подведены в монографии [11].

Эти исследования вызвали интерес у научной общественности. Так, связь между нечеткими и случайными множествами рассмотрена в статье, написанной по заказу специалистов по математическому моделированию в психологии [12]. Несмотря на свой солидный статус, эту статью следует рассматривать как научно-популярную, поскольку новых результатов по сравнению с более ранними нашими публикациями на рассматриваемую тему в ней нет.

В научно-популярной серии "Математика. Кибернетика" издательства "Знание" в 1980 г. вышла первая книга советского автора по нечетким множествам - наша брошюра [13]. Эта книга представляет собой в основном "выжимку" наших исследований 70-х годов, т.е. работ по теории устойчивости и в особенности по статистике объектов нечисловой природы, с уклоном в методологию. Книга включает в себя основные результаты по теории нечеткости и ее сведению к теории случайных множеств, а также новые результаты (первая публикация!) по статистике нечетких множеств.

Название книги "унаследовано" у отвергнутого издательством неизвестного мне предшественника (у него было "Задачи оптимизации с нечеткими переменными"). У меня задачи оптимизации увязывались с медианой Кемени, эмпирическими и теоретическими средними в пространствах произвольной природы (ср. [3 - 6]). Получилось, мне кажется, хорошо. Именно с этой небольшой книги можно посоветовать начинать знакомство с нашим научным направлением. Хорошо бы ее переиздать. Она практически полностью соответствует современному научному уровню, целесообразно только добавить ссылки на последние книги и убрать устаревшую информацию о научных семинарах.

Книга получила вторую премию на всесоюзном конкурсе научно-популярных изданий. Однако ее обманный научно-популярный статус сыграл с ней злую шутку. Несмотря на внушительный тираж (40 тыс. экземпляров - на порядок больше изданий научных книг) и первенство во времени (она была первой книгой советского автора по нечетким множествам, до этого были лишь переводы), в отечественной литературе по нечетким множествам цитируют чаще всего вышедшие позже издания, авторы которых находились в центре тех численно небольших групп (несколько десятков человек), которые специализировались на развитии теорию нечеткости в нашей стране. Такие сплоченные неформальные группы активно поддерживают своих и не менее активно отвергают (в лучшем случае игнорируют) чужих. Я сталкивался еще с двумя подобными сектами, к тому же с заметно более выраженной мафиозностью, - в области классификации ("классификационное движение" 80-х годов) и в области интервальной математики. Находясь снаружи и двигаясь в своем научном направлении, я не мог изменить установки этих групп, прежде всего из-за недостатка времени и душевных сил на контакты.

Полученные результаты были представлены специалистам на всесоюзном семинаре в Перми [14]. С удовлетворением констатирую, что результаты были осознаны специалистами по нечеткости и рассматривались ими (В.Б. Кузьминым, А.Н. Аверкиным и др.) в публикациях.

После выхода рассмотренной выше брошюры в обществе "Знание" я получил приглашение написать статью для основного советского научно-популярного журнала "Наука и жизнь" с двухмиллионным тиражом [15]. Несмотря на формальный статус статьи как научно-популярной, в ней впервые были нами рассмотрены основные методологические проблемы развития и применения теории нечеткости.

Однако в дальнейшем мы занимались в основном разработкой статистики нечисловых данных, организацией Всесоюзного центра статистических методов и информатики Центрального правления Всесоюзного экономического общества и Всесоюзной статистической ассоциации. Работы по нечетким множествам были приостановлены. Исключением был доклад [16] на международной конференции 1988 г., посвященный связи между нечеткими и случайными множествами.

В последние десятилетия проявился интерес со стороны экономистов к теории нечеткости как математическому аппарату анализа неопределенностей, что отражено в статьях [17, 18], монографии [19], учебнике [20]. Можно ожидать, что теория нечеткости будет всё активнее применяться при организационно-экономическом моделировании процессов управления промышленными предприятиями.

В 2013 г. было сочтено полезным опубликовать основные результаты о сведении теории нечетких множеств к теории случайных множеств в виде развернутой журнальной статьи [1]. Эта тематика отражена в недавних монографиях [21, 22].

Перейдем к обсуждению избранных вопросов статистики нечетких данных.

3. Среднее значение нечеткого множества

Как уже отмечалось, при обработке выборки, элементами которой являются нечеткие множества, могут быть использованы различные методы анализа статистических данных произвольной природы. Однако иногда используются методы, учитывающие специфику нечетких множеств.

Например, пусть универсальным множеством для рассматриваемого нечеткого множества является конечная совокупность действительных чисел {x₁, x₂,., x_n}. Тогда под средним значением нечеткого множества иногда понимают число. А именно, среднее значение нечеткого множества определяют по формуле:

,

где - функция принадлежности нечеткого множества A. Если знаменатель равен 1, то эта формула определяет математическое ожидание случайной величины, для которой вероятность попасть в точку x_i равна . Такое определение наиболее естественно, когда нечеткое множество A интерпретируется как нечеткое число.

Очевидно, наряду с М (А) может оказаться полезным использование эмпирических средних, определяемых (согласно статистике в пространствах произвольной природы [3 - 6]) путем решения соответствующих оптимизационных задач. Для конкретных расчетов необходимо ввести то или иное расстояние между нечеткими множествами.

4. Расстояния в пространствах нечетких множеств

Как известно, многие методы статистики нечисловых данных базируются на использовании расстояний (или показателей различия) в соответствующих пространствах нечисловой природы. Расстояние между нечеткими подмножествами А и В множества Х = {x₁, x₂, …, x_k} можно определить как

где - функция принадлежности нечеткого множества A, а - функция принадлежности нечеткого множества B. Может использоваться и другое расстояние:

(Примем это расстояние равным 0, если функции принадлежности тождественно равны 0.)

В соответствии с аксиоматическим подходом к выбору расстояний (метрик) в пространствах нечисловой природы разработан обширный набор систем аксиом, из которых выводится тот или иной вид расстояний (метрик) в конкретных пространствах, в том числе в пространствах нечетких множеств [23]. При использовании вероятностных моделей расстояние между случайными нечеткими множествами (т.е. между случайными элементами со значениями в пространстве нечетких множеств) само является случайной величиной, имеющей в ряде постановок асимптотически нормальное распределение [24].

5. Проверка гипотез о нечетких множествах

Пусть ответ эксперта - нечеткое множество. Естественно считать, что его ответ, как показание любого средства измерения, содержит погрешности. Если есть несколько экспертов, то в качестве единой оценки (группового мнения) естественно взять эмпирическое среднее их ответов. Но возникает естественный вопрос: действительно ли все эксперты измеряют одно и то же? Может быть, глядя на реальный объект, они оценивают его с разных сторон? Например, на научную статью можно смотреть как с теоретической точки зрения, как и с прикладной, и соответствующие оценки будут, скорее всего, различны (если они совпадают, то работа либо никуда не годится, либо является выдающейся).

Итак, возник вопрос: как проверить согласованность мнений экспертов (в рамках теории проверки статистических гипотез, принятой в математической статистике)? Надо сначала определить понятие согласованности. Пусть А - нечеткий ответ эксперта. Будем считать, что соответствующая функция принадлежности есть сумма двух слагаемых:

,

где N (A) - "истинное" нечеткое множество, а о_A (u) - "погрешность" эксперта как прибора. Естественно рассмотреть две постановки.

Первая постановка. Мнения экспертов А (1), А (2), …, А (m) будем считать согласованными, если

N (А (1)) = N (А (2)) = …, N (А (m)).

Вторая постановка. Рассмотрим две группы экспертов. В первой у всех "истинное" мнение N (A), а во второй у всех - N (В). Две группы будем считать согласованными по мнениям, если

N (A) = N (В).

Согласованность определена. Как же ее проверить? Если экспертов достаточно много, то эти гипотезы можно проверять отдельно для каждого элемента множества - общего носителя нечетких ответов. Проверка последней гипотезы переходит в проверку однородности двух независимых выборок [3, гл.8; 25, гл.4]. Здесь ограничимся приведенными выше постановками основных гипотез (ср. с аналогичными гипотезами, рассмотренными для люсианов в [26]).

6. Восстановление зависимости между нечеткими переменными

Рассмотрим две нечеткие переменные А и В. Пусть каждый из n испытуемых выдает в ответ на вопрос два нечетких множества A_i и B_i, i = 1, 2, …, n. Необходимо восстановить зависимость В от А, другими словами, наилучшим образом приблизить В с помощью А.

Для иллюстрации основной идеи ограничимся парной линейной регрессией нечетких множеств. Нечеткое множество С назовем линейной функцией от нечеткого множества А, если для любого х из носителя А функции принадлежности множеств А и С таковы, что µ_С (х) = µ_А (у) при х = бу + в. Другими словами,

µ_С (х) = µ_А ( (х - в) /б)

для любого х из носителя А. В таком случае естественно писать

С = бА +в.

Однако нечеткие переменные, как и привычные для статистиков числовые переменные, обычно несколько отклоняются от линейной связи. Наилучшее линейное приближение нечеткой переменной В с помощью линейной функции от нечеткой переменной А естественно искать, решая задачу минимизации по б, в расстояния от В до С. Пусть

с (В, б₀А + в₀) = min с (B, бA + в),

где с - некоторое расстояние между нечеткими множествами, а минимизация проводится по всем возможным значениям б и в. Тогда наилучшей линейной аппроксимацией В является б₀А + в₀. Если рассматриваемый минимум равен 0, то имеет место точная линейная зависимость.

Для восстановления зависимости по выборочным парам нечетких переменных естественно воспользоваться подходом, развитым в статистике в пространствах произвольной природы для параметрической регрессии.

В соответствии с методами статистики нечисловых данных [3 - 6] в качестве наилучших оценок параметров линейной зависимости следует рассматривать

нечеткое множество обработка выборка

.

Тогда наилучшим линейным приближением В является С* = б*А + в*.

Вероятностно-статистическая теория регрессионного анализа нечетких переменных [13] строится как частный случай аналогичной теории для переменных произвольной природы [3 - 6]. В частности, при обычных предположениях оценки б*, в* являются состоятельными, т.е. б* > б₀ и в* > в₀ при n > ?.

7. Кластер-анализ нечетких данных и переменных

Строить группы сходных между собой нечетких данных и переменных (кластеры объектов и кластеры признаков) можно многими способами (см. предложения Л. Заде с соавторами в [27]). Опишем два семейства алгоритмов.

Пусть на пространстве, в котором лежат результаты наблюдений, т.е. на пространстве нечетких множеств, заданы две меры близости с и ф (например, это могут быть введенные выше расстояния d и D). Берется один из результатов наблюдений (нечеткое множество) и вокруг него описывается шар радиуса R, определяемый мерой близости с. (Напомним, что шаром с центром в х относительно с называется множество всех элементов у рассматриваемого пространства таких, что с (х, у) < R.) Берутся результаты наблюдений (элементы выборки), попавшие в этот шар, и находится их эмпирическое среднее относительно второй меры близости ф. Оно берется за новый центр, вокруг которого снова описывается шар радиуса R относительно с, и процедура повторяется. (Чтобы алгоритм был полностью определен, необходимо сформулировать правило выбора элемента эмпирического среднего в качестве нового центра, если эмпирическое среднее состоит более чем из одного элемента.)

Когда центр шара зафиксируется (перестанет меняться), попавшие в этот шар элементы объявляются первым кластером и исключаются из дальнейшего рассмотрения. Алгоритм применяется к совокупности оставшихся результатов наблюдений, выделяет из нее второй кластер и т.д.

Всегда ли центр шара остановится? При реальных расчетах в течение многих лет так было всегда. Соответствующая теория построена лишь в 1978 г. [28]. Доказано, что описанный выше процесс всегда остановится через конечное число шагов. Причем число шагов до остановки оценивается через максимально возможное число результатов наблюдений в шаре радиуса R относительно с.

Обширное семейство образуют алгоритмы кластер-анализа типа "Дендрограмма", известные также под названием "агломеративные иерархические алгоритмы средней связи". На первом шаге алгоритма из этого семейства каждый результат наблюдения рассматривается как отдельный кластер. Далее на каждом шагу происходит объединение двух самых близких кластеров. Название "Дендрограмма" объясняется тем, что результат работы алгоритма обычно представляется в виде дерева. Каждая его ветвь соответствует кластеру, появляющемуся на каком-либо шагу работы алгоритма. Слияние ветвей соответствует объединению кластеров, а ствол - заключительному шагу, когда все наблюдения оказываются объединенными в один кластер.

Для работы алгоритмов кластер-анализа типа "Дендрограмма" необходимо определить расстояние между кластерами. Естественно использовать ассоциативные средние, которыми, как известно, являются средние по Колмогорову всевозможных попарных расстояний между элементами двух рассматриваемых кластеров. Итак, расстояние между кластерами K и L, состоящими из n₁ и n₂ элементов соответственно, определяется по формуле:

,

где с - некоторое расстояние между нечеткими множествами; F - строго монотонная функция (строго возрастающая или строго убывающая).

Соображения теории измерений позволяют ограничить круг возможных алгоритмов типа "Дендрограмма". Естественно принять, что единица измерения расстояния выбрана произвольно. Тогда измерения проводятся в шкале отношений, и согласно результатам теории измерений (см., например, [29, разд.3.4]) из всех средних по Колмогорову годятся только степенные средние, т.е.

F (z) = z^л при л ? 0 или F (z) = ln (z).

Чтобы получить разбиение на кластеры, надо "разрезать" дерево на определенной высоте, т.е. объединять кластеры лишь до тех пор, пока расстояние между ними меньше заранее выбранной константы. При альтернативном подходе заранее фиксируется число кластеров. Рассматривают и двухкритериальную постановку, когда минимизируют сумму (или максимум) внутрикластерных разбросов и число кластеров. Для решения задачи двухкритериальной минимизации либо один из критериев заменяют ограничением, либо два критерия "свертывают" в один, либо применяют иные подходы (последовательная оптимизация, построение поверхности Парето и др.).

При классификации нечетких множеств полезны многие подходы, рассмотренные в [3, гл.9; 25, гл.5], а именно, все подходы, основанные только на использовании расстояний.

8. Сбор и описание нечетких данных