Методика применения кластерного анализа при выполнении выпускных квалификационных работ слушателями Санкт-Петербургского университета МВД России

Размещено на http://www.allbest.ru/

Методика применения кластерного анализа при выполнении выпускных квалификационных работ слушателями Санкт-Петербургского университета МВД России

А.Н. Литвиненко

доктор экономических наук, профессор Санкт-Петербургский университет МВД России Российская Федерация, Санкт-Петербург,

Л.В. Большакова

кандидат физико-математических наук, доцент Санкт-Петербургский университет МВД России Российская Федерация, Санкт-Петербург

Аннотация

Актуальность темы определяется необходимостью обеспечения качества выпускных квалификационных работ слушателями университета. Данная цель достигается в том числе и с применением методов математико-статистического анализа. В статье рассматривается вопрос практического применения методики кластерного анализа слушателями университета при выполнении выпускной квалификационной работы. Авторами проанализированы достоинства и недостатки данного метода и определены границы его использования. С методической точки зрения представляет интерес обоснование границ применения метода кластерного анализа. Обращается внимание на постановку частных задач, решение которых предполагает достижение цели кластерного анализа. Авторы описывают этапы кластеризации, выделенные при использовании восходящего иерархического метода. В работе описаны основные правила и последовательность применения пакета «Statistica» с англоязычной версией для решения конкретной задачи кластеризации большого числа объектов. В качестве примера приведена задача кластеризации одиннадцати субъектов Северо-Западного федерального округа на предмет выявления схожих черт их инновационного развития. Авторы подчёркивают важность использования метода с точки зрения выявления общих свойств объектов в выделяемых кластерах. Содержательными являются и закономерности, которыми описываются взаимоотношения отдельных групп объектов.

Ключевые слова: группировка, кластерный анализ, метод анализа, параметры, свойств объектов, этапы кластеризации.

кластеризация математика статистический стандартизация

Annotation

Alexander N. Litvinenko

Dr. Sci. (Econ.), Professor Saint-Petersburg University of the MIA of Russia Saint-Petersburg, Russian Federation

lyudmila V. Bolshakova

Cand. Sci. (Phys.-Math.), Docent Saint-Petersburg University of the MIA of Russia Saint-Petersburg, Russian Federation

The technique of applying cluster analysis when Performing graduate qualification work by students St. Petersburg University of the Ministry of Internal Affairs of Russia

The relevance of the topic have determined by needs of ensuring the quality of graduation qualifications by university students. This aim have to achieved, inter alia, using methods of mathematical and statistical analysis. The article discusses the practical application of the cluster analysis methodology by university students in the Graduation qualification work. The authors have analysed advantages and disadvantages of this method and determined the boundaries of its use. From a methodological point of view, it have interested to justify the boundaries of the Cluster analysis method application. Attention is to drawn the particular problems formulation the solution of which involves achieving the aim of cluster analysis.

The authors describe the stages of clustering have identified with using the ascending hierarchical method. The article describes the basic rules and the sequence of using the STATISTICA package with the English version to solve the specific problem of clustering a large number of objects. As an example, the task of clustering eleven subjects of the Northwestern Subject of Russia in order to identify similar features of their innovative development. The authors emphasize the importance of using the method in terms of identifying the general properties of objects in allocated clusters. The regularities that describe the relationship of individual groups of objects are also substantial.

Keywords: grouping, cluster analysis, analysis method, parameters, properties of objects, clustering stages.

Введение

Различные процессы и явления, представляющие предмет научных исследований по разным направлениям, в том числе педагогическим, психологическим, экономическим, достаточно часто зависят от большого числа параметров-факторов, их характеризующих. В связи с этим применение в таких исследованиях, в том числе в выпускных квалификационных работах, математико-статистического анализа для получения определённых выводов, а также для подтверждения или опровержения конкретных результатов, значительно увеличивает научную ценность и достоверность этих работ.

К сожалению, использование этих методов в научных работах, особенно гуманитарного направления, крайне редко и не всегда правильно. Одной из причин является достаточно частое отсутствие понятного и методически верного изложения этих методов в процессе обучения.

Целью данной статьи является рассмотрение возможностей применения многомерного математико-статистического анализа - кластерного анализа - при выполнении выпускных квалификационных работ, а также при проведении слушателями научных исследований. В Санкт- Петербургском университете кластерный анализ рассматривается при изучении нескольких учебных дисциплин, в том числе «Математические методы в психолого-педагогических исследованиях», «Эконометрика», «Математические основы обработки информации» при подготовке специалистов разного профиля. Владение методами математической статистики необходимо как для многих специалистов, так и при проведении научных исследований, в том числе при написании выпускных квалификационных работ разного уровня сложности, где приходится иметь дело с обработкой эмпирических данных.

Для правильного применения любого метода, для получения результатов, адекватных действительности, обучающийся должен чётко представлять себе следующие моменты: основные задачи, решаемые данным методом, его сфера применения, достоинства и недостатки; содержание метода, его основные этапы; возможность использования при применении метода компьютерных программ, стандартных пакетов и т.д. Всё это должно стать основой для преподавателя, который знакомит обучающихся с конкретным методом.

Кластерный анализ, его суть и основные этапы

Изучение методов кластерного анализа предполагает изложение теоретического материала на лекции и выполнение конкретных заданий в компьютерном классе. Материал лекции включает в себя рассмотрение вопросов, связанных с понятием группировки объектов или явлений, необходимостью и сферой применения кластерного анализа, рассмотрением его основных этапов. На практических занятиях в компьютерных классах должно быть изучено применение данного метода при решении конкретных задач, которые в дальнейшем могут помочь обучающимся при написании выпускной работы.

Основное содержание лекции целесообразно изложить следующим образом. При исследовании различных процессов и явлений нередко возникает задача группировки рассматриваемых объектов по значениям характеризующих их признаков. Разделение на группы (группировку) можно проводить различными способами в зависимости от постановки задачи. Это может быть группировка: по значению самого важного (информативного) признака; по нескольким ранжированным признакам; по некоторому обобщённому показателю [1, с. 7-12; 137-143].

Группировка по нескольким признакам одновременно лучше всего, по мнению авторов, может быть проведена с помощью методов кластерного анализа.

Преимуществами методов кластерного анализа являются следующие: они не требуют дополнительной априорной информации; число групп-классов может определяться и изменяться в результате исследования; у них не существует ограничений, связанных с распределением исходных переменных, поэтому они могут быть применены как к количественным, так и к качественным переменным; ввиду необязательности распределения исходных переменных по нормальному закону они могут успешно применяться в социальных науках.

К недостаткам методов кластерного анализа можно отнести в первую очередь их громоздкость. Однако с появлением пакетов прикладной статистики этот недостаток становится несущественным. Кроме этого, выбор меры «схожести» или меры «различия» объектов и групп объектов в соответствии со значениями их признаков, выбор критерия качества кластеризации и оптимального количества кластеров носит часто субъективный характер.

Для применения методов кластерного анализа необходимо чтобы, во-первых, выбранные объекты в принципе (по смыслу) допускали желательное разбиение на кластеры и, во-вторых, единицы измерения, т.е. масштаб, были выбраны правильно. Второе условие является важным для получения правильных результатов, и для его выполнения с каждым признаком производят процесс нормировки.

Сфера применения кластерного анализа достаточно широка и многообразна ввиду универсальности его методов [2-6] См. также: Большакова Л. В., Примакин А. И., Яковлева Н. А. Применение кластерного и дискриминантного анализов в процессе обработки и интерпретации статистических данных при обеспечении экономической и информационной безопасности хозяйствующего субъекта // Вестник Санкт-Петербургского университета МВД России. - 2014. - № 2 (62). - С. 148-156.. Так, в маркетинге решается задача сегментации рынка по группам товаров; в социологии - задача разбиения респондентов на однородные группы, в юриспруденции - задача распределения по видам преступлений; в экономике - при распределении банков на группы в зависимости от их кредитоспособности или предприятий в зависимости от их платежеспособности и т. д.

Главная цель кластерного анализа - это исследование структуры выборочной совокупности, которая состоит из определённого числа объектов. Каждый объект характеризуется конкретным набором признаков-факторов, значения которых считаются заданными. В зависимости от конкретной постановки проблемы достижение цели кластерного анализа может быть связано с решением следующих задач.

1. Исследование однородности совокупности представленных объектов. Если совокупность является однородной по некоторому критерию, то для дальнейшего статистического анализа могут успешно применяться методы многомерного исследования, например, методы корреляционно-регрессионного анализа. Если совокупность является неоднородной, то применение этих методов может привести к результатам, далёким от реального положения дел. Поэтому проверка однородности имеет исключительно важное значение.

2. Разделение совокупности объектов на однородные в определённом смысле группы. Эта задача непосредственно вытекает из первой тогда, когда выявлена неоднородность совокупности. В этом случае кластерный анализ позволяет разделить её на некоторое число однородных групп (кластеров) с учётом значений признаков, характеризующих объекты.

3. Сжатие информации (данных). Если совокупность состоит из очень большого числа объектов, то после объединения объектов в группы для дальнейшего исследования можно либо рассматривать наиболее типичных представителей от каждой группы, либо получить от каждой группы представителя с обобщенными показателями. И в том, и в другом случае происходит существенное сокращение информации.

4. Обнаружение аномалий. В процессе кластеризации могут быть выделены некоторые нетипичные объекты, которые явно выделяются из всей совокупности. Например, следует особое внимание обратить на кластеры, состоящие из небольшого числа объектов (1-3 объекта).

По принципу образования групп методы кластерного анализа можно разделить на иерархические, использующие алгоритмы последовательной группировки (кластеризации) объектов, и неиерархические методы, основанные на определении концентрации (сгущения) объектов, поэтому их иногда называют центрографическими (метод К-средних). И, наконец, существует метод двухвходового объединения, при котором кластеризация происходит одновременно по объектам и признакам. Этот метод применяется только в тех случаях, когда есть уверенность в том, что одновременная кластеризация даст кластеры, имеющие смысловое значение.

Иерархические методы делятся на агломе- ративные (восходящие) и дивизимные (нисходящие). Первые предполагают, что на первом шаге все объекты по отдельности образуют кластеры: сколько объектов, столько и кластеров. Затем происходит пошаговое объединение объектов в укрупнённые кластеры, начиная с объектов, наиболее близких по определённому критерию. Объединение происходит до тех пор, пока не будет составлен один кластер. Каждый шаг данного объединения описывается аналитически и графически в виде дендрограммы (дерева), по которой можно определить сколько кластеров необходимо оставить для дальнейшего исследования. Дивизимные методы являются логической противоположностью агломератив- ным. Для них вначале процедуры все объекты образую один кластер, а затем на каждом шаге происходит «расслоение» на более мелкие кластеры [7, с. 78-85].

Рассмотрим более подробно основные этапы кластеризации при использовании восходящего иерархического метода.

Первый этап: постановка задачи

Пусть имеется n объектов Ср..., С_я, которые характеризуются m количественными признаками (переменными) V,... V_m. Таким образом, для каждого объекта С должно быть известно значение каждого признака V, где i = 1, 2,., n; j = 1, 2,., m. Очевидно, что основная трудность, и в связи с этим необходимость применения кластерного анализа, возникает тогда, когда число признаков, характеризующих каждый объект, становится больше двух.

После постановки задачи необходимо оценить значения признаков. Если значения хотя бы одного признака существенно отличаются по величине от значений других, рекомендуется провести нормировку признаков.

Второй этап: нормировка признаков

Нормировка (стандартизация) признака предполагает переход от обычной случайной величины (признака) к стандартной, т.е. для каждого признака находят среднее ц и среднеквадратическое отклонение а его значений. Новые значения признака определяются по следующему правилу: от старого значения вычитается ц, затем разность делится на а.

После построения таблицы стандартизированных данных начинают процесс кластеризации с выбора функции расстояний между объектами.

Третий этап: критерий близости объектов

Нами рассматривается восходящий иерархический метод. Таким образом, имеется n кластеров, т.е. каждый объект считается отдельным кластером. На данном этапе определяются наиболее близкие, с точки зрения определённого критерия, объекты, т.е. те объекты, которые можно объединить в один кластер. Критерием близости объектов является расстояние между объектами, которое зависит от значений признаков, характеризующих объекты. В кластерном анализе используются следующие основные расстояния между объектами.

1. Евклидово расстояние между двумя объектами определяется как квадратный корень из суммы квадратов разностей соответствующих значений признаков, характеризующих эти объекты. Эта функция расстояния является наиболее простой и наиболее часто применяемой. При наличии лишь двух или трёх признаков - это длина отрезка, соединяющего точки (объекты).

2. Квадрат евклидова расстояния между двумя объектами определяется как сумма квадратов разностей соответствующих значений признаков, характеризующих эти объекты. Эта функция расстояния похожа на предыдущую, однако её применение связано с необходимостью придания большего веса объектам, наиболее удалённым друг от друга, так как в расчётах при возведении в квадрат большие разности вносят и больший вклад. Формула наиболее часто используется, если в дальнейшем (четвёртый этап) будет применяться центроидный метод или метод Варда.

3. Расстояние городских кварталов (манхэттенское расстояние) между двумя объектами определяется как сумма модулей разностей соответствующих значений признаков, характеризующих эти объекты. Эта функция расстояния в большинстве случаев дает такие же результаты, как и при применении формулы евклидова расстояния. Однако необходимо отметить, что влияние отдельных больших разностей (выбросов) для этой функции существенно уменьшается, так как эти разности в квадрат не возводятся.

4. Расстояние Чебышева между двумя объектами определяется как максимальное значение из всех модулей разности между соответствующими значениями признаков, характеризующих эти объекты. Применение данной формулы является достаточно редким. Чаще всего эту формулу используют в том случае, когда два объекта необходимо считать различными, если они различаются по какой-либо одной координате (одному значению).

Для нахождения расстояния между объектами существуют ещё несколько формул, имеющих специальное применение. Например, степенное расстояние, которое представляет в основном математический интерес как универсальная функция. Или формула расстояния, основанная на проценте несогласия, которая применяется в том случае, когда данные являются категориальными.

После выбора формулы расстояния между объектами и применения её для всех пар объектов получают матрицу расстояний между объектами. Далее выбирают из этой матрицы элемент(ы) с наименьшим значением и объединяют соответствующие объекты в кластер. В результате получают новую матрицу расстояний, размер которой будет меньше размера предыдущей матрицы. Для дальнейшего объединения объектов в кластеры необходимо выбрать критерий близости между кластер-группами.

Четвёртый этап: критерий близости кластер-групп

Этап состоит из нескольких шагов, на каждом из которых происходит объединение наиболее близких друг к другу кластеров. При этом каждый из объединяемых кластеров может состоять либо из одного, либо из нескольких объектов. Процесс продолжается до тех пор, пока все объекты не попадут в один кластер.

Критерий близости между кластерами - расстояние между этими кластер-группами. Это расстояние может быть определено по следующим основным правилам (принципам).

1. Правило ближайших соседей (метод одиночной связи) определяет расстояние между кластерами как расстояние между двумя объектами из разных кластеров, которые расположены наиболее близко друг к другу.

2. Правило дальних соседей (метод полной связи) можно рассматривать как альтернативу предыдущему правилу. По нему за расстояние между кластерами принимается расстояние между двумя объектами из разных кластеров, которые расположены наиболее удалённо друг от друга.

3. Правило средней связи (метод невзвешенного попарного среднего) - расстояние между кластерами определяет среднее расстояние между всеми парами объектов из разных кластеров.

4. Правило средневзвешенной связи (метод взвешенного попарного среднего) отличается от предыдущего тем, что в данном методе учитывается весовой коэффициент, который определяется размером соответствующих кластеров (числом объектов, содержащихся в кластере).

5. Правило центра тяжести (невзвешенный центроидный метод) определяет расстояние между кластерами как расстояние между центрами тяжести кластеров.

6. Медианное правило (взвешенный цен- троидный метод) идентичен предыдущему, за исключением того, что при вычислениях используются веса для учёта разницы между размерами кластеров. Данный метод является более предпочтительным, чем предыдущий, если есть основания предполагать, что имеются существенные отличия в размерах кластеров.

7. Правило Варда (метод Варда) использует для определения расстояния между кластерами методы дисперсионного анализа, что существенно отличает его от всех вышеописанных методов. Метод достаточно эффективен и направлен на объединение близко расположенных кластеров.

В результате применения какого-либо из перечисленных правил получают новую матрицу расстояний, по которой происходит дальнейшее соединение объектов и кластеров в новые кластер-группы до образования одного кластера.

Пятый этап: представление результатов

На данном этапе происходит представление полученных результатов кластеризации в виде таблиц и графически в виде дендрограммы.

Далее сам исследователь решает, какое число кластеров его устраивает. Особое значение для ответа на этот вопрос оказывает величина, характеризующая расстояние между кластерами, отмеченная на дендрограмме.

Кластеризацию большого числа объектов производят, как правило, с использованием статистических пакетов, например, «Statistica», SPSS, «Stadia», «StatGraphics». Изучение работы с этими пакетами должно происходить на практических занятиях в компьютерных классах с пошаговым решением конкретного примера.

Опишем основные моменты применения наиболее доступного пакета «Statistica» с англоязычной версией для решения следующей задачи.

Примером использования данного метода при написании выпускной квалификационной работы может служить исследование, в котором решается задача кластеризации одиннадцати субъектов СЗФО на предмет выявления схожих черт их инновационного развития. В качестве субъектов были выбраны: С1 - Карелия; С2 - Коми; С3 - Архангельская область; С4 - Ненецкий автономный округ; С5 - Вологодская область; С6 - Калининградская область; С7 - Ленинградская область; С8 - Мурманская область; С9 - Новгородская область; С10 - Псковская область; С11 - Санкт-Петербург [8].

Таблица 1 Инновационные показатели по 11 субъектам СЗФО