Кластеризація регіонів України за демографічними показниками: групування на основі ансамблю алгоритмів

Размещено на http://www.allbest.ru/

Кластеризація регіонів України за демографічними показниками: групування на основі ансамблю алгоритмів

Хвалинська В.В.

Інститут демографії та соціальних досліджень імені М.В. Птухи Національної академії наук України

У статті розглядається метод ансамблевого кластерного аналізу, заснований на знаходженні узгодженої матриці подібності об'єктів. Пропонується ансамбль алгоритмів кластеризації, який складається з різних агломеративних ієрархічних методів, що відрізняються мірою об'єднання кластерів (обчисленням відстані між кластерами). Наводяться результати кластеризації регіонів України за демографічними показниками з використанням запропонованого ансамблю алгоритмів.

Ключові слова: кластерний аналіз, ансамблевий підхід, відстані між кластерами, демографічні дослідження.

демографічний кластер подібність

Резюме

В статье рассматривается метод ансамблевого кластерного анализа, основанный на нахождении согласованной матрицы подобия объектов. Предлагается ансамбль алгоритмов кластеризации состоящий из различных агломеративных иерархических методов, которые отличаются мерой объединения кластеров (вычислением расстояния между кластерами). Приводятся результаты кластеризации регионов Украины по демографическим показателям с использованием предложенного ансамбля алгоритмов.

Ключевые слова: кластерный анализ, ансамблевый подход, расстояния между кластерами, демографические исследования.

Summary

A collective approach to cluster analysis is considered in the paper. The ensemble of algorithms of clustering, consisting of different agglomerative hierarchical methods, differing in the measure of cluster combination (by calculation of distance between clusters) is proposed. The results of clustering of regions of Ukraine according to demographic indicators using the proposed ensemble of algorithms are presented.

Key words: cluster analysis, ensemble approach, distances between clusters, demographic studies.

Постановка проблеми. В останні роки у соціаль-них дослідженнях усе більше уваги приділяється методам багатовимірного статистичного аналізу, які відзначаються широким спектром можливостей під час моделювання і структуризації масових процесів та явищ, що характеризуються великою кількістю ознак. Зокрема, зростає популярність кластерного аналізу, основною метою якого є виділення порівняно невеликої кількості груп об'єктів, які всередині групи схожі між собою і відрізняються у різних групах. Автори використо-вують різні методологічні підходи до проведення класифікації за допомогою методів кластерного аналізу. Відомо, що алгоритми кластерного аналізу не є універсальними, кожний має специфічну сферу використання, переваги і недоліки. Актуальною у кластерному аналізі залишається проблема якості й стійкості розбиття. Останнім часом для вирішення цієї проблеми активно застосовується ансамблевий підхід. Суть його полягає у тому, що для знаходження кластерів застосовується не один алгоритм, а набір різноманітних алгоритмів, а потім на їх основі будується підсумкове розбиття.

У роботі [1, с. 14-18] описується ансамблевий підхід до розв'язання задачі кластер-аналізу. Авторами розглядаються різноманітні принципи вибору найкращої узгоджувальної функції. У роботі [2, с. 24-25] для групування результатів та визначення узагальненого розв'язку виділено найбільш популярні підходи: прямий підхід, або перевизна- чення кластерів, графовий, матричний та ймовір-нісний. Ідея побудови колективних розв'язків, заснованих на комбінації простих алгоритмів, активно використовується у різних прикладних сферах: медицині, гідрохімії, під час аналізу гіперспектральних зображень [2-4] та ін.

Аналіз джерел свідчить про актуальність даного напряму досліджень, оскільки застосування ансамблевого підходу знижує залежність результатів групування від вибору параметрів алгоритму, підвищує якість та стійкість результатів, зменшує простір ознак, кластеризує різнотипні дані та вирішує багато інших завдань.

Виділення невирішених раніше частин загаль-ної проблеми. Нині розроблена велика кількість методів і алгоритмів кластерного аналізу [5, с. 48-52]. У класичних алгоритмах розв'язання задач кластер-аналізу результати групування можуть суттєво змінюватися залежно від вибору системи ознак, мір близькості, вибору початкових умов, порядку об'єктів, параметрів роботи алго-ритму тощо. Підвищити ефективність кластерного аналізу можна, застосувавши ансамблевий підхід, який полягає у побудові множини кластеризацій на основі різноманітних алгоритмів або одного алгоритму з різними параметрами і підсумковій кластеризації на їх основі. Таким чином, розро-бляючи ансамбль із різним набором алгоритмів з їх перевагами і особливостями, можна розробити найбільш привабливу схему кластеризації для вирішення конкретного завдання визначеної пред-метної сфери.

Мета статті полягає у розробленні і застосуванні ансамблю алгоритмів для кластеризації регіонів України за демографічними показниками на основі ієрархічних агломеративних методів із використанням узгодженої матриці подібності, а також аналізі отриманих результатів.

Виклад основного матеріалу дослідження. Існує декілька основних способів побудови колективних розв'язків кластерного аналізу [1, с. 14-18]. Одним із найбільш поширених є підхід, який базується на обчисленні узгодженої матриці подібності об'єктів, яка визначає, як часто пара об'єктів потрапляє до складу одного кластеру в різних варіантах розбиття.

Групування на основі узгодженої матриці поді-бності. Нехай використовуються Lметодів класте-ризації. На першому етапі будується набір групу-вань (розв'язків кластеризації) G ={G(1), G(2),..., G(L)}, де G(i) - i-й варіант групування, який містить K кластерів. Вводиться для i-го групування бінарна матриця подібності S(i)={S(i)(j, m)}розмірністю N X N (N - число об'єктів, що кластеризуються) так: S(i)(j, m) = 1, якщо об'єкти o(j)та o(m)належать одному кластеру і S(i)(j, m) = 0, якщо не належать, де j, m= 1, 2, ..., N; i = 1, 2, ..., L.

На другому етапі формується узгоджена матриця подібності S = {S (j, m)}:

де j, m = 1, 2, ..., N.ВеличинаS (j, m)дорівнює частості класифікації об'єктів o(j)та o(m)до однієї групи в наборі групувань G.Близьке до одиниці значення величини Sj, m)означає, що дані об'єкти мають великий шанс потрапити до однієї групи. Близьке до нуля значення цієї величини говорить про те, що шанс потрапити до однієї групи у цих об'єктів незначний.

На третьому етапі узгоджена матриця подібності використовується для знаходження підсумкового варіанту групування шляхом застосування методів кластеризації, які як вхідну інформацію використовують відстані між об'єктами (напри-клад, ієрархічні методи).

Процедура утворення ансамблю алгоритмів. Для вирішення поставленого завдання на першому етапі в ансамблі алгоритмів кластеризації викорис-товувалися ієрархічні агломеративні методи, прин-цип роботи яких полягає у тому, що початковим є розбиття на nодноелементних кластерів, які послі-довно об'єднуються в один клас: спочатку у групи об'єднуються найбільш близькі об'єкти, а потім - усе більш віддалені. За їх допомогою можна здій-снити повний і тонкий аналіз структури досліджу-ваної сукупності, також варто відзначити зручність використання та можливість наочно представити результати кластеризації. Ці методи групування достатньо повно представлені в різних пакетах при-кладних програм для статистичного аналізу даних. У цьому дослідженні було використано SPSS[6].

На третьому етапі для формування найкращого розбиття за узгодженою матрицею вибрано метод Варда. Цей метод спрямований на об'єднання близько розміщених кластерів і «прагне» ство-рювати кластери малого розміру, що в даному разі вирішує поставлене завдання - побудова найкращого розбиття за узгодженою матрицею [7, с. 477-479].

Процедура утворення ансамблю алгоритмів представлена на рис. 1.

Рис. 1. Ансамбль алгоритмів кластеризації

Джерело: розроблено автором

Кластеризація демографічних показників на основі запропонованого ансамблю алгоритмів. Інформація про об'єкти (регіони України) представлена у вигляді двовимірної таблиці розмірністю N х n:число об'єктів N=25 - Автономна республіка Крим та 24 області (міста Київ та Севастополь не є характерними для всієї сукупності об'єктів), кожен з яких характеризується набором n=9 показників (ознак). Вибір показників здійснювався так, щоб охопити такі демографічні ознаки і характеристики, які дадуть змогу поглибленого вивчення регіональних особливостей демографічної ситуації в Україні. Групування регіонів у кластери відбувалося за такими показниками: сумарний коефіцієнт народжуваності, середня очікувана тривалість життя чоловіків і жінок при народженні, середній вік населення, питома вага осіб віком 60 років і старше та дітей віком до 16 років, демографічне навантаження на населення у віці 16-59 років, щільність наявного населення, площа територій. Джерелами статис-тичних даних є демографічний щорічник «Насе-лення України» за 2012-2013 рр., офіційний сайт Державної служби статистики України [8]. Дослід-ження проводилося за даними 2013 р. (останній рік, коли дані по всіх регіонах є повними).

Рис. 2. Дендрограма методу Варда для підсумкового розбиття

Джерело: фрагмент результату роботи процедури кластеризації у SPSS (знімок екрану)

На першому етапі був отриманий набір із п'яти групувань (розв'язків кластеризаціїї), здійснений стандартними ієрархічними методами: між- групового зв'язку, внутрішньогрупового зв'язку, «далекого сусіда», центроїдним та методом Варда [7, с. 474-486] .

На заключному етапі в рамках ансамблевого підходу для отримання узгодженого розбиття використали ієрархічний метод Варда, дендро- грама якого представлена на рис. 2. На ній видно п'ятикластерне розбиття.

Слід зауважити, що на дендрограмі виділяються дві області - Чернігівська та Донецька, які останніми приєднуються до «своїх» кластерів. Це потребує особливої уваги під час опису та аналізу результатів кластеризації.

Аналіз результатів кластеризації регіонів України за демографічними показниками. У результаті застосування запропонованого підходу отримано остаточне розбиття, яке складається із п'яти кластерів. У табл. 1 наведено склад кластерів та показники, за якими проводилося групування.

Ознаками якісної кластеризації є те, що від-мінності між утвореними групами повинні бути очевидними, а всередині групи об'єкти повинні бути максимально схожими. Аналіз табл. 1 показує, що всі кластери достатньо чітко розділені за кожною з ознак, а об'єкти одного кластера схожі між собою. Кожний кластер визначається специ-фічним поєднанням показників, тобто відображає певну демографічну ситуацію і за своїм демогра-фічним змістом відрізняється від інших.

Перший кластер характерний тим, що має най-вищі сумарні коефіцієнти народжуваності і най-менший середній вік населення, близько 37 років. У другому кластері середня очікувана тривалість життя найвища по Україні.

Таблиця 1

Джерело: складено за даними [8]

Таблиця 2. Загальні характеристики населення і територій кластерів

* Сума рядка не дорівнює 100% (м. Київ, м. Севастополь не включалися до досліджуваної сукупності). Джерело: розраховано за даними

Середній вік населення менший за загальнодержавний показник (40,5 років), сумарні коефіцієнти народжуваності вищі за загальнодержавний, який становить 1,506. Третій кластер характерний тим, що має найбільше демографічне навантаження за високої частки осіб віком 60 років і старше частки дітей віком до 16 років на загальнодержавному рівні. У четвертому кластері у цілому показники наближені до загальнодержавних. Варто зазначити, що сумарні коефіцієнти народжуваності вищі за загальнодержавні, а середня очікувана тривалість життя при народженні найнижча в Україні. У п'ятому кластері найнижчі сумарні коефіцієнти народжуваності і найбільший середній вік населення, близько 14% населення - діти віком 0-15 років, 23% - покоління віком 60 років і старше. У даних областях найскладніша демографічна ситуація.

У табл. 2 наведено загальні характеристики населення і територій кластерів на початок 2013 р.

Перший та другий кластери невеликі за тери-торією, але суттєво відрізняються щільністю насе-лення. Четвертий кластер найбільший за тери-торією і займає 37,6% площі країни. Приблизно рівні за чисельністю населення четвертий і п'ятий кластери, де проживає близько 60% населення України (рис. 3).

Рис. 3. Питома вага чисельності населення кластеру у загальній кількості населення, %

Джерело: побудовано за табл. 2

Рис. 4. Частка населення у кластері за типом поселень

Джерело: побудовано за табл. 2

Сільське населення переважає у першому кластері, близько 20% якого діти. Четвертий, п'ятий кластери характерні тим, що переважна більшість населення проживає там у міських поселеннях (рис. 4).

Слід зауважити, що для поглибленого аналізу групувань можна використовувати характерис-тики кластерів за ознаками, які не були задіяні під час побудови кластерів.

Висновки. У статті розглянуто ансамблевий підхід до розв'язання задачі кластерного аналізу. Запропоновано застосування колективного розв'язку, що базується на побудові узгодженої матриці подібності з використанням ієрархічних алгоритмів із різними мірами об'єднання кластерів. Наведено та проаналізовано результати практичного застосування розробленого ансамблю алгоритмів для кластеризації регіонів України за демографічними показниками.

Перспективами подальших досліджень є вдо-сконалення запропонованого підходу для підви-щення якості отриманих результатів, проведення більш детального аналізу отриманих результатів методами статистичної обробки даних.

Методи побудови оптимальних колективних розв'язків, розроблені з використанням запро-понованої моделі, передбачається у подальшому використовувати у соціально-демографічних, соці-ально-економічних дослідженнях. Суттєвим є те, що цей метод може використовуватися також в інших предметних сферах.

Список використаних джерел

1. Бериков В.С., Лбов Г.С. Современные тенденции в кластерном анализе. Всероссийский конкурсный отбор обзорно-аналитических статей по приоритетному направлению «Информационно-телекоммуникационные системы». 2008. 26 с.

2. Сидорова М.Г. Застосування ансамблів алгоритмів для підвищення стійкості результатів кластеризації. Актуальні проблеми автоматизації та інформаційних технологій. 2013. Т. 17. С. 22--29.

3. Байбуз О.Г., Сидорова М.Г. Інформаційна технологія нечіткої кластеризації багатовимірних часових рядів на прикладі гідрохімічного моніторингу річки Самара. Науковий вісник Національного гірничого університету. 2014. № 5. С. 114-122.

4. Бериков В.Б. Классификация данных с применением коллектива алгоритмов кластерного анализа. Знания -- Онтологии - Теории (ЗОНТ-2015). 2015. Т. 1. С. 29 --38.

5. Мандель И.Д. Кластерный анализ. М.: Финансы и статистика, 1988. 176 с.

6. Бюлль А., Цефель П. SPSS: искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей; пер. с нем. СПб.: ДиаСофтЮП, 2005. 608 с.

7. Многомерный статистический анализ в экономике / Л.А. Сошникова, В.Н. Тамашевич, Г. Уебе, М. Шеффер. М.: ЮНИТИ-ДАНА, 1999. 598 с.

8. Офіційний сайт Державної служби статистики України. URL: http://www.ukrstat.gov.ua.

Размещено на Allbest.ru