Порівняння методів інтелектуального аналізу даних при оцінюванні кредитоспроможності фізичних осіб

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Протягом останніх 10 років в Україні швидкими темпами розвивається кредитування фізичних осіб. При цьому збільшується кількість дефолтів (неповернення кредитів). За деякими продуктами (наприклад, споживчими кредитами на купівлю товарів) об'єми втрат складають близько 15% (станом на 2008 рік). За деякими продуктами (наприклад, споживчі кредити на купівлю товарів) об'єми втрат складають близько 15%. За даними рейтингової компанії Standard and Poor's (станом на кінець 2008 року) кожний третій виданий в Україні кредит є проблемним. Standard and Poor's відносить банківську систему України до останньої, самої слабкої групи 10. Окрім України, до цієї групи входять Венесуела, Ямайка та Болівія. Для порівняння, Білорусія входить в 9-у групу, а Росія в 7-у.

Побудувати скорингові моделі оцінювання кредитоспроможності фізичних осіб з використанням найбільш відомих сучасних методів інтелектуального аналізу даних (ІАД) - кластерного аналізу, дерев рішень, штучних нейронних мереж (ШНМ), регресійних моделей дискретного вибору та байєсівських мереж (БМ). Виконати порівняльний аналіз результатів моделювання і запропонувати кращий метод для оцінювання кредитоспроможності фізичних осіб.

Опис вхідних даних

Для побудови скорингових моделей використовується база даних клієнтів першої філії Ві Єй Бі банка (VAB). Навчальна вибірка даних утворена з 3247 записів про клієнтів; для визначення якості прогнозування використано 100 записів, які не використовувались при побудові скорингової моделі. В якості змінних процесу обрані десять атрибутів: 1 - стать; 2 - вік; 3 - сімейний стан; 4 - кількість дітей; 5 - чоловік (дружина) працює; 6 - освіта; 7 - тип трудозайнятості; 8 - поручитель; 9 - сума кредиту; 10 - результат (кредитоспроможний або ні).

Статистичні критерії визначення якості скорингової моделі.

Для оцінювання побудованих моделей використано критерії:

- загальна точність моделі (CA - common accuracy), що обчислюється як відношення коректно спрогнозованих значень до загальної кількості значень :

;

- похибки першого та другого роду, наведені в табл. 1; похибки першого роду - прямі втрати банку, а другого - нереалізований дохід.

Таблиця 1

Дерева рішень

Метод дерев рішень (decision trees або answer tree) - один із найбільш популярних методів розв'язання задач класифікації та прогнозування. Іноді цей метод ІАД називають також деревами вирішуючих правил, деревами класифікації та регресії.

Уперше дерева рішень запропоновані Ховілендом (Hoveland) та Хантом (Hunt) наприкінці 50-х років минулого століття. Самою ранньою роботою, у якій викладається суть дерев рішень, є робота Ханта “Експерименти в індукції” (“Experіments іn Іnductіon”) [1], яка була опублікована у 1966 році.

Серед методів побудови дерев рішень найбільш популярні такі:

- CHAІD (CHi-squared Automatic Interaction Detector). Це найбільш відомий метод побудови дерев рішень, у якому для одержання оптимального розділення використається критерій зв'язку між категоріальними змінними (у випадку, якщо цільова змінна кількісна, то використовується критерій). Дані стосовно аналізу цільової змінної та змінні-фактори можуть бути як кількісними, так і категоріальними, однак кількісні змінні-фактори при побудові дерева перетворяться в категоріальні.

- CART (Classification and regression trees). Метод, відомий також як "метод побудови дерев регресії та класифікації". На відміну від описаного вище методу, він грунтується не на статистичних критеріях, а на зменшенні неоднорідності сегментів (вузлів). Добре працює у тому випадку, коли всі змінні мають кількісний характер. У цьому методі можуть бути використані як кількісні, так і категоріальні цільові змінні і змінні-фактори.

- QUEST (Quick, Unbiased and Efficient Statistical Tree). У даному методі для вибору факторів застосовують різні критерії в залежності від типу потенційно можливого фактору. Він дозволяє уникати зміщення, пов'язаного з вибором факторів з більшою кількістю категорій, але цільова змінна в цьому випадку повинна бути категоріальною. Змінні-фактори можуть бути як кількісними, так і категоріальними.

Якщо залежна, тобто цільова змінна приймає дискретні значення, то за допомогою методу дерева рішень розв'язується задача класифікації. Якщо ж залежна змінна приймає безперервні значення, то дерево рішень установлює залежність цієї змінної від незалежних змінних, тобто розв'язується задача чисельного прогнозування.

У простому вигляді дерево рішень - це спосіб подання правил в ієрархічній, послідовній структурі. Основа такої структури - відповіді “Так” або “Ні” на ряд можливих запитань.

На рис. 1 наведена скорингова система у вигляді дерева рішень, побудованого за методом CHAID, задачею якої є отримання відповіді на запитання: “Чи видавати кредит?”. Щоб розв'язати цю задачу необхідно визначити ймовірність дефолту клієнта банку. Для цього необхідно відповісти на ряд запитань, що знаходяться у вузлах (вершинах) цього дерева, починаючи з його кореня. Вершина “Поручитель” - вершина перевірки, тобто умова. Якщо відповідь позитивна - “Так”, то здійснюється перехід до верхньої частини дерева до вершини “Вік”, при негативній - до нижньої частини дерева. Таким чином, внутрішній вузол (вершина) дерева - це вузол перевірки певної умови. Далі йде наступне питання і так далі, поки не буде досягнуто кінцевого вузла (вершини) дерева, який є вузлом рішення. Для нашого дерева кінцевим вузлом являється вершина “Результат”, що приймає дві значення: “T” та “F” (T - true та. F - false), де “F” - ймовірність неповернення клієнтом кредиту виданого банком (дефолту).

В результаті проходження від кореня дерева “Поручитель” до його кінцевої вершини “Результат” розв'язується задача класифікації. На основі отриманих значень ймовірностей “T” та “F” визначається ступінь кредитоспроможності клієнту та приймається рішення стосовно видачі або відмови у наданні кредиту.

Побудова скорингових моделей здійснена за трьома описаними методами в системі статистичних розрахунків SPSS 16. Як видно з табл. 4, найкращий результат серед дерев рішень отримано за методом CHAID.

Рис. 1. Система кредитного скорингу у вигляді дерева рішень за методом Chaid

Кластерний аналіз.

В 1939 р. Тріон (Tryon) ввів новий термін “кластерний аналіз”. На відміну від завдань класифікації, кластерний аналіз не вимагає апріорних припущень стосовно даних. Задачу кластеризації об'єктів можна розглядати як процес виявлення істотно упорядкованих даних у багатовимірній матриці, завдяки чому стає можливим виділення кластерів - "щільних" скупчень об'єктів, що досліджуються.

Кластерний аналіз розвивався паралельно в декількох напрямах: біологія, психологія та інших науках, тому більшість методів має по дві та більше назв.

На сьогодні кластерний аналіз містить більше 100 різноманітних алгоритмів [2]. Для розв'язання задачі побудови скорингових моделей використано 49 методів кластерного аналізу:

- ієрархічні: 1 - зв'язку між групами; 2 - зв'язку всередині груп; 3 - ближнього сусіда; 4 - віддалених сусідів; 5 - зважений центроїдний; 6 - медіан; 7 - варда.

- ітераційні: 1 - l-середніх; 2 - k-медіан; 3 - двокроковий алгоритм BІRCH.

За критерій визначення міри відстані між кластерами серед наведених методів використані такі міри: 1 - квадратична Евклідова; 2 - проста Евклідова; 3 - коефіцієнт кореляції Пірсона; 4 - Чебишева; 5 - Мінковича.

Для розв'язання задачі скорочення кількості змінних в задачі кластеризації клієнтів банку застосовано найбільш популярний метод факторного аналізу - метод головних компонентів.

При цьому для розв'язання задачі обертання факторів застосовано метод варімаксу. В табл. 2 наведені отримані значення оберненої матриці.

За цими значеннями можна визначити, з яких змінних (атрибутів) складається кожен з факторів. Фактор-1 складається із змінних “стать”, “вік”, “сімейний стан” та “тип трудозайнятості”. Фактор-2 з змінних “сімейний стан”, “кількість дітей” та “чоловік (дружина) працює”. Фактор-3 з змінних “освіта”, “поручитель” та “сума кредиту”.

Таблиця 2

За отриманими результатами обчислювальних експериментів і з використанням критерію загальної точності моделі для класифікації кредитоспроможності клієнтів банку встановлено, що кращим виявився метод ближнього сусіда при застосуванні за міру відстані коефіцієнта кореляції Пірсона, або із попереднім факторним аналізом за методом головних компонент. Також прийнятна загальна точність моделі одержана при застосуванні методів зв'язку між групами, найбільш віддалених сусідів, зваженого центроїдного, медіан та k-середніх. Низьку точність показали методи зв'язку всередині груп та Варда, а найгіршим виявився двокроковий метод.

Штучні нейронні мережі.

Один із широковідомих методів ІАД представляють штучні нейронні мережі (ШНМ). Незважаючи на велику розмаїтість варіантів існуючих нейронних мереж, вони мають загальні риси. Так, всі вони складаються з великого числа зв'язаних між собою однотипових елементів - нейронів, які імітують нейрони головного мозку. На рис. 2 показана схема нейрона для задачі оцінювання кредитоспроможності, де значення го входу нейрона; вага го сінапса.

Рис. 2. Схема нейрона

Для побудови скорингових моделей використані такі методи побудови ШНМ:

- зворотного розповсюдження (back propagatіon) [3];

– resilient propagation [4].

Для моделювання використана програмна аналітична платформа Deductor. Серед моделей, побудованих у вигляді ШНМ, найкращими виявилися два типи ШНМ:

- кількість нейронів у шарі: 9 вхідних, 3 прихованих та 1 вихідний;

- кількість нейронів у шарі: 9 вхідних, 5 прихованих та 1 вихідний.

Інші, складніші архітектури, за наявною навчальною вибіркою клієнтів банку навчалися погано або не навчалися зовсім. Для алгоритму Resilient propagation було задано 2000 епох навчання.

Бінарні регресійні моделі дискретного вибору

В 1805 році опублікована перша робота присвячена методу найменших квадратів (МНК), з якої розпочався формальний розвиток регресійного аналізу, хоча насправді метод запропоновано Гаусом ще в 1795 році. Моделі дискретного вибору призначені для пояснення дискретного вибору результату. Тобто розв'язання задачі оцінювання кредитоспроможності позичальника за моделями дискретного вибору означає, що (клієнт кредитоспроможний), якщо , або (дефолт) інакше. Коефіцієнти наведених нижче рівнянь обчислені з використанням системи моделювання Eviews 3.

Лінійна ймовірнісна модель - це різновид множинної регресії, загальне призначення якої полягає у аналізі зв'язку між декількома незалежними змінними (регресорами або предикторами) і залежною змінною:

.

Головний недолік лінійної імовірнісної моделі полягає в тому, що значення ймовірності виходить за діапазон [0, 1], a тому замість неї найчастіше використовують логіт і пробіт моделі.

Логіт модель. В 1838 році бельгійський математик Верхулст (Verhulst) запропонував ідею використання логістичної функції для демографічних досліджень, але широкої популярності ця модель набула в 1925 році завдяки підтверджуючим практичним дослідженням Юла (Yule), Перла (Pearl) та Ріда (Reed). Логіт модель оцінювання кредитоспроможності фізичних осіб має вигляд:

,

де .

Пробіт модель запропонована в 1935 році біологом Бліссом (Bliss), але широкого поширення здобула лише на початку 70-х років минулого століття завдяки поширенню мейнфреймів, які здатні розв'язувати задачі нелінійної максимізації. Для задачі, що розв'язується, логіт модель записується так:

,

де .

Байєсівські мережі.

Байєсівські мережі (БМ) з'явилися в 1985 році на перетині теорії ймовірностей і теорії графів завдяки американському вченому Джуді Перлу, хоча теорема Байєса, покладена в основу побудови ймовірнісного висновку за БМ, запропонована ще в 1763 році. Ідея використання БМ полягає у представленні причинно-наслідкових зв'язків процесу у вигляді графа, в якому кожна змінна (фактор, атрибут) процесу - вершина, а існуючі причинно-наслідкові зв'язки між змінними процесу представляють спрямованими дугами, що з'єднують відповідні вершини.

На рис. 3 показана скорингова модель у вигляді БМ, побудована за ітераційним евристичним методом, який грунтується на використанні оцінки взаємної інформації між вершинами та функції опису мінімальної довжиною [5].

Рис. 3. Система кредитного скорингу у вигляді БМ

В табл. 3 наведено десять змодельованих ситуацій із використанням методу побудови точного ймовірнісного висновку в БМ за навчальними даними [5].

Таблиця 3

Побудованій скоринговій моделі у вигляді БМ (рис. 3) відповідають такі статистичні характеристики: похибка першого роду - 115; похибка другого роду - 157; загальна похибка - 272; загальна точність моделі - 0,918; похибка класифікації - 15%.

Аналіз результатів.

В табл. 4 і 5 наведені статистичні і прогнозні характеристики, отримані при використанні відповідних методів ІАД для побудови скорингових моделей оцінювання кредитоспроможності фізичних осіб. При класифікації розглядалося значення порогу в 90%, тобто якщо ймовірність повернення кредиту нижче 90%, то клієнт класифікується як некредитоспроможний.

Найкращі результати показали метод дерев рішень CHAІD та кластерного аналізу k-середніх. Для цих методів відсоток похибок класифікації дорівнює 10, а це означає, що із 100 виданих кредитів 10 були класифіковані невірно. Більшість скорингових систем, отриманих за іншими методами ІАД, дали похибку класифікації 15-20%. За критерієм загальної точності моделі найкращий результат із значенням 0,949 показала логіт модель, а серед методів кластерного аналізу - ближнього сусіда із попередньою факторизацією.

Таблиця 4

Таблиця 5

Побудова математичних моделей оцінювання ризиків та показників фінансово-економічної діяльності за методами ІАД - один із перспективних напрямів системного аналізу. Серед методів ІАД, що були використані для побудови скорингових моделей, найкращі результати показали дерева рішень метод Chaid та метод кластерного аналізу k-середніх. Таким чином підтверджена висока ефективність використання методів ІАД для аналізу та моделювання економетричних показників, як необхідний крок розв'язання важливої проблеми - забезпечення стабільності та фінансової безпеки банківської системи України.

В подальших дослідженнях планується дослідити можливості підвищення точності моделей та впровадити механізм прогнозу ймовірностей дефолтів на основі скорингових моделей.

Список літератури

скоринговий регресія ітераційний

1. Hunt E.B., Marin J., Stone P. Experiments in Induction by E.B. // The American Journal of Psychology. - N.Y.: Academic Press, 1966. - Vol. 80, № 4. - P. 651-653.

2. Кривова О.А., Коваленко А.С. Применение кластерного анализа для выявления соотношений индикаторов демографического развития // Кибернетика и вычислительная техника. - К.: Академпериодика, 2007. - 153. - С. 24-39.

3. Хайкин С. Нейронные сети: Полный курс. - М.: Издательский дом Вильямс, 2008. - 1103 с.

4. Riedmiller, M., Braun, H. A direct adaptive method for faster back propagation learning: the RPROP algorithm / IEEE International conference on image processing, Chicago, Illinois, USA, 3-6 May, 1993. - 1. - P. 586-591.

5. Terent'yev A.N., Bidyuk P.I., Korshevnyuk L.A. Bayesian network as instrument of intelligent data analysis // Journal of automation and information sciences. - NY.: Begell House Inc, 2007. - 39. - P. 28-38.

Размещено на Allbest.ru