Оценка вероятности дефолта компаний малого и среднего бизнеса на основе публичных данных

Размещено на http://www.allbest.ru/

Правительство Российской Федерации

Федеральное государственное автономное образовательное

учреждение высшего образования

«Национальный исследовательский университет

«Высшая школа экономики»

Факультет Санкт-Петербургская школа физико-математических и компьютерных наук

Основная образовательная программа

«Анализ больших данных в бизнесе, экономике и обществе»

Выпускная квалификационная работа

На тему: Кредитный скоринг. Оценка вероятности дефолта компаний малого и среднего бизнеса на основе публичных данных

Выполнил:

Полетаев Виталий Дмитриевич

Научный руководитель:

Сироткин Александр Владимирович

Санкт-Петербург 2019



Содержание

Введение

1. Обзор литературы

1.1 Банковский риск-менеджмент

1.2 Подходы к интерпретации сложных моделей

2. Данные

2.1 Общие сведения

2.2 Сбор и обработка

2.3 Репрезентативность

3. Моделирование

3.1 Классическая модель (logit)

3.2 Ансамблевая модель (случайный лес)

4. Результаты

Заключение

Список литературы



Введение

Машинное обучение и аналитика данных набирают все бОльшую популярность и повсеместно внедряются в бизнес-процессы компаний. При этом скорость внедрения в разных отраслях, очевидно, неодинаковая и вот одна из причин почему это так на примере кредитного скоринга - процесса принятия решения о кредитоспособности заемщика перед выдачей ему займа. В кредитном скоринге, в отличие от таких задач как, например, прогнозирование кликов пользователей на сайте или задач, связанных с рекомендательными системами, ответственность за отдельное решение, основанное на прогнозе, сформированном алгоритмом, полностью лежит на конкретном человеке. В связи с этим, сотрудник, который пользуясь тем или иным статистическим инструментом склонен выбирать именно тот метод, который ему понятен и которому он доверяет. К примеру, вряд ли принципиально важно понимать почему конкретному человеку некий алгоритм показывает рекламный баннер А, а не Б, если в целом результат является приемлемым. Но совсем другое дело, когда речь идет о том, почему банк должен одобрить многомилионный кредит для одного заемщика и отказать другому. Иными словами, вопрос о доверии к используемой модели и ее интерпретируемости в рамках кредитного процесса стоит достаточно остро.

Несмотря на большое количество статей, хакатонов и прочих активностей, которые освещают эту тему и в которых производятся различные алгоритмы и подходы, сотрудники, непосредственно работающие с заемщиками, по-прежнему склонны во многом опираться на старые подходы к анализу. Целью данной работы является наглядная демонстрация неэффективности классического подхода к оценке вероятности дефолта корпоративных заемщиков по сравнению с использованием более продвинутых методик на примере модели случайного леса. Помимо этого, ключевым будет является не само по себе превосходство ансамблевого метода над линейным, а, во-первых, размер этого превосходства, и, во-вторых, наличие возможности увеличения предсказательной силы без критической потери интерпретируемости.

В первом разделе мы сделаем обзор на банковский риск-менеджмент, сформировав понятийный аппарат для дальнейшей работы, и на основные подходы к объяснительному анализу сложных моделей машинного обучения. Во втором разделе мы опишем используемые в работе данные, а в третьем - построим на этих данных две модели, оценим результат каждой из них и дадим интерпретацию. В четвертом разделе мы сравним предсказательную силу двух алгоритмов и в заключении сформулируем основные выводы.



1. Обзор литературы

В данной части мы дадим краткое описание двух на первый взгляд крайне разных и несвязанных дисциплин, однако которые будут одинаково необходимы нам для дальнейшего анализа. Первый блок будет посвящен кредитному анализу и базовым подходам, которые в нем применяются. Во втором блоке мы проанализируем современные подходы к интерпретации сложных предсказательных моделей, одну из которых мы будем обучать в разделе с моделированием.

1.1 Банковский риск-менеджмент

Коммерческие банки подвержены огромному количеству различных видов рисков, которые можно классифицировать по различным признакам, в зависимости от решаемых задач. Например, риски можно классифицировать по категориям или видам рисков, по источникам возникновения, уровню существенности, потенциальных последствий реализации риска или по вероятности возникновения риска. Основной целью классификации рисков является объединение рисков, имеющие схожие факторы возникновения, в одну группу и разрабатывать для них единую систему управления.

Виды рисков

По одной из наиболее распространенных классификаций риски можно разделить на кредитный, процентный, рыночный, операционный и риск ликвидности (The essentials of risk management in banking 2019). Наиболее крупный риск в банковском бизнесе -- это кредитный риск, который подразумевает риск невозврата денежных средств должником в оговоренные сроки и на оговоренных условиях. Очевидно, что деятельность банка полностью зависит от эффективности управления рисками, и в частности кредитным риском. На втором месте после убытков от кредитного риска находится объем потерь банков из-за реализации процентного риска - риска возникновения убытков ввиду изменения процентных ставок. Не менее важным для банка, осуществляющего операции на финансовых рынках, является рыночный риск - риск снижения стоимости активов торгового портфеля вследствие изменения рыночных факторов, например цен на нефть или на золото. Риск ликвидности - риск потерь и даже невозможности продолжать свою деятельность из-за несоответствия сроков погашения по активам и пассивам. Проблемы с ликвидностью среди прочих привели к банкротству банка Lehman Brothers, в прошлом одного из ведущих инвестиционных банков в мире. И наконец операционный риск - это риск потерь, возникающих из-за проблем во недостатки во внутренних процессах банка, а также форс-мажорных обстоятельств. В рамках данной работы нас будет интересовать только кредитный риск.

Ожидаемые потери

В рамках нивелирования кредитного риска, компании решают задачу определения ожидаемого уровня потерь (expected losses) при различных сценариях. Данный показатель формулируется следующим образом:

,

где - ожидаемые потери по портфелю заемщиков, - множество кредитуемых заемщиков, - вероятность дефолта -го заемщика, - ожидаемая доля непогашения -ым заемщиком при условии наступления его дефолта, - сумма денежных средств под риском по -му заемщику.

Помимо ожидаемого уровня потерь, банки могут рассчитывать максимальный уровень потерь с заданной вероятностью (Jorion 2000).

Расчет данных показателей помогает банкам решать классическую дилемму риска-доходности, которая заключается в том, что более рискованные активы чаще всего имеют более высокую доходность и наоборот. Кроме того, показатель ожидаемых потерь применяется в формировании банковских резервов, которые являются законодательным требованием РФ (Федеральный закон “О банках и банковской деятельности” от 02.12.1990 N 395-1 (последняя редакция) n.d.). При этом чем выше резервы, тем с одной стороны, банк в большей степень застрахован на случай реализации кредитного риска, с другой стороны, резервированные средства не выдаются заемщикам, а значит не приносят прибыли. Это порождает еще одну дилемму, с которой банку необходимо справляться. И наконец, заметим в формуле ожидаемых потерь компоненту вероятности дефолта заемщика. От качества моделирования данного показателя зависит оценка ожидаемого уровня потерь, а значит, как мы выяснили, существенная часть деятельности банка. Моделирование вероятности дефолта

Под моделированием кредитного риска, в частности его составляющей - вероятности дефолта, подразумевается выделение ключевых факторов, влияющих на эту вероятность. Существенный вклад в моделирование этой величины внес (Altman 1968), которому удалось на маленькой выборке без применения сложных алгоритмов, сформулировать простую, понятную и весьма эффективную балльную систему для оценок кредитоспособности заемщиков. Очевидно, с того момента банкиры испробовали различные методы, среди которых для данной задачи хорошо себя зарекомендовали логистическая регрессия, как удобный инструмент, чьи результаты легко коммуницировать бизнесу, и методы основанные на деревьях, в частности случайный лес и бустинг (Baesens et al. 2003). Однако, качество предсказательной силы модели зависит не только и не столько от выбранного метода, сколько во многом от используемых факторов. Так, например, (Fernandes and Artes 2016) значительно увеличили предсказательную силу модели задействовав географическое положение компаний-заемщиков. А (Psillaki, Tsolas, and Margaritis 2010) добились похожего результата используя фактор эффективности внутреннего менеджмента компании.

При моделировании вероятности дефолта, на первом этапе принято оценивать балл заемщика, который ранжирует их от плохих к хорошим, а затем баллы пересчитывать в вероятность дефолта учитывая портфель банка или всего рынка. Данная процедура, называется калибровкой и нужна для учета динамики и цикличности экономики (Tasche 2013). Кроме того, данный подход рекомендован Безельским комитетом по банковскому надзору. Вероятности дефолта, полученные в результате калибровки, можно корректировать в зависимости от фазы экономического цикла с помощью формулы предложенной (Vasicek 1977), и активно применяющейся по сей день в кредитных процессах многих банков. Иными словами, в литературе и бизнесе с данной задачей уже работают давно, и подходы к ней можно отчасти назвать сформированными.

Однако и без того крупный пласт индустриальных знаний можно дополнить новыми подходами к моделированию, в частности, интерпретацией сложных моделей. Именно этому будет посвящен следующий раздел.

1.2 Подходы к интерпретации сложных моделей

Необходимость интерпретировать сложные модели возникает, разумеется, не только в задачах кредитного скоринга, но и во многих других, и в литературе уже есть несколько инструментов, которые могут быть полезными для наших задач. (Ribeiro, Singh, and Guestrin 2016a) выделяют три аспекта гибкости таких инструментов: 1) гибкость модели - метод интерпретации должен быть адаптируем к любому методу, 2) гибкость объяснений - метод интерпретации не должен быть привязан к однообразной форме объяснения, 3) гибкость представления - интерпретатор должен быть способен работать с разными видами данных - табличные данные, текст, изображения. Частичная зависимость и индивидуальные условные ожидания

Рассмотрение эффектов можно начать с анализа частичной зависимости (partial dependency), которая показывает предельные эффекты от изменения отдельных характеристик (Friedman 2001).



,

где - модель; - фактор, который мы хотим проанализировать на предмет его влияния на прогноз модели; - прочие факторы, которые остаются константными; - отдельное наблюдение.

Построив график на всей области можно проанализировать глобальную зависимость предсказания модели от данного фактора. Данный подход интуитивно понятен, интерпретируем и по факту может быть применен к любой предсказательной модели. Подход при этом имеет ряд недостатков, среди которых наиболее важным является предпосылка о независимости факторов между собой - что, очевидно весьма строгое требование. Кроме того, одновременно можно отобразить влияние двух факторов, но данная проблема обусловлена физическими причинами (невозможность визуализации высокой размерности), а не самим методом. Анализ частичной зависимости показывает общие эффекты характеристик, однако вполне возможно сделать декомпозицию и увидеть предельные эффекты для конкретных наблюдений. Такой анализ называется индивидуальным условным ожиданием (ICE) и обычно проводится параллельно с анализом частичной зависимости PDP.

Важность факторов (feature importance)

Помимо рассмотрения влияния отдельных переменных, исследователям важно понимать общие закономерности и значимость анализируемых характеристик. В этом смысле (Fisher, Rudin, and Dominici 2018) предложили подход к анализу важности переменных (feature importance), который можно применить к любой модели, а не только, например, к случайному лесу. Алгоритм выглядит следующим образом:

На входе: обученная модель , матрица признаков, вектор целевых значений и функция ошибки .

1) Оценивается первоначальная ошибка модели

2) Для каждого фактора

· Генерируется матрица с помощью пермутации значений факторов

· Оценивается новая ошибка

· Сравниваются ошибки до и после пермутации

3) Факторы сортируются по

Данный подход позволяет проанализировать одновременно все факторы, не требует переобучения модели, и опять же интерпретируем. Одним из существенных недостатков является возможная нестабильность весов факторов. Кроме того, не ясно на какой выборке следует показывать результат (тренировочная или тестовая). Тем не менее, в целом данный подход является весьма удобным и вполне эффективным для первичного анализа.

Локальные суррогатные модели (LIME)

Говоря про интерпретацию моделей нельзя не отметить классическую статью (Ribeiro, Singh, and Guestrin 2016b), посвященную алгоритму локальной интерпретации (LIME). Данный подход позволяет анализировать предсказания сложных моделей, с помощью их локальной аппроксимации более простыми и интерпретируемыми моделями. Работу данного алгоритма можно описать следующим образом:

1) Для каждого предсказания раз генерируются наблюдения с помощью перестановок (permutate);

2) Для всех наблюдений из пункта 1. делаются новые предсказания;

3) Рассчитываются расстояния от новых точек до первоначальных;

4) Расстояния трансформируются в меру близости;

5) Выбирается признаков, которые лучше всего описывают результаты модели для генерированных наблюдений.

6) На этих данных обучается простая модель, чьи веса затем используются для объяснения влияния факторов на сложную модель.

Несомненный плюс данного подхода - это его гибкость, а именно возможность аппроксимировать любые сложные модели любыми простыми. Кроме того, данный метод применим не только к табличным данным, но и к текстам и изображениям. И наконец, процесс объяснения весьма прозрачный. Из недостатков наиболее существенным является нерешенный вопрос о том, из какой области сэмплировать наблюдения. Другими словами, как определить слово «локальный» в терминах пространства исследуемых признаков и как избежать генерации нереалистичных наблюдений.

Вектор Шэпли

Заключительным в нашем обзоре методов интерпретации будет вектор Шэпли (Shapley value), идея перекочевавшая в машинное обучение из дисциплины кооперативной теории игр (Shapley 1953). В теории игр, данный метод применяется для разделения общего выигрыша между игроками в зависимости о вклада каждого участника. Данную концепцию можно перевести на язык задач машинного обучения. Прирост (gain) - это разница между текущим и средним предсказанием. В получение данного прироста каждый из факторов вносит определенный вклад, который мы пытаемся оценить. Алгоритм описывается следующим образом:

На входе: число итераций , наблюдение , матрица признаков , обученная модель .

1) Для всех :

· Случайным образов выбирается наблюдение из данных

· Случайным образом переставляем значения факторов

· Упорядочиваем наблюдения и :

· Создаем два новых наблюдения:



,

,

· Рассчитываем вклад -го фактора для -го наблюдения:

,

2) Усредняем результат по всем итерациям и получаем вклад фактора:

,

Данный подход пожалуй единственный, кто имеет в своей основе серьезное теоретическое обоснование, а также не имеет проблем с возникновением нереалистичных наблюдений, поскольку сравнение происходит со средними значениями. Структура данного алгоритма позволяет делать наиболее достоверные объяснения вклада предикторов. Разумеется, такое количество несомненным преимуществ компенсируется важным недостатком этого подхода - вычислительное время. Поэтому при решении реальных задач производится лишь оценка вектора Шэпли, а не его полный вывод.



2. Данные

2.1 Общие сведения

Выборка для построения модели была подготовлена на основе открытых данных об около 260 тыс. российских компаниях, с годовым оборотом более 60млн. руб., за финансовые периоды 2008 - 2016 гг. Каждое наблюдение представляет собой набор характеристик (финансовых и нефинансовых) о компании за данный финансовый период. Каждой компании присвоен флаг «дефолт»/«не дефолт», который в дальнейшем будет являться целевой переменной при моделировании. Следует отметить, что при этом в выборке может быть только одно наблюдений для одной компании. Данный факт обусловлен двумя причинами: во-первых, несбалансированностью целевой переменной, а именно бОльшим числом не дефолтных наблюдений При указанной структуре доля дефолтов составляет порядка 12-13% наблюдений, при этом компании обычно выходят в дефолт один раз. Таким образом, при добавлении всех периодов, доля дефолтов в выборке будет снижена пропорционально среднему числу лет, приходящемуся на одну компанию., а, во-вторых, особенностью определения флага дефолта, о чем будет подробнее сказано далее. Итоговая выборка была разделена случайным образом на обучающую и тестовую в пропорции 3:1. Общая информация о них представлена в Таблице 1.

Таблица 1. Характеристики выборки.

	Обучающая выборка	Тестовая выборка
Всего наблюдений	194 912	64 971
Не дефолтные наблюдения	170 389	56 922
Дефолтные наблюдения	24 523	8 049
Доля дефолтных наблюдений, %	12.58	12.38

Несмотря, на тот факт, что использованные данные являются открытыми, доступ к ним в агрегированном виде был получен нами на условиях соглашения о конфиденциальности, поэтому многие подробности в отношении используемой информации будут зашифрованы или скрыты. Тем не менее, мы утверждаем, что в конечном итоге, это не помешает достижению поставленных в работе целей.

2.2 Сбор и обработка

В качестве источников для сбора данных выступали различные русскоязычные информационные ресурсы, в частности, Федеральная служба государственной статистики, указы Правительства, различные реестры и перечни компаний (например, перечень стратегических компаний), а также агрегаторы баз данных о российских юридических лицах.

Процесс формирования выборки для валидации состоял из следующих этапов:

A. Из открытых источников была выгружена вся доступная информация о компаниях, имеющих годовую выручку более 60 млн. руб., за финансовые периоды 2008 - 2016 (далее Выборка);

B. Каждому наблюдению Выборки был присвоен флаг дефолт / недефолт на основе индикаторов из публично доступных источников - ликвидация, банкротство, судебные иски и т.д. Для каждого отдельного типа индикатора дефолта и по каждой группе отраслей производилась оценка временного промежутка между возникновением сообщения (индикатора дефолта) до самой даты дефолта;

C. Пропущенные значения в финансовых показателях заполнялись на основе формул бухгалтерского учета (структуры балансовых показателей). Таким образом, пропущенное значение могло быть заполнено нулем только если это прямо вытекало из формулы для данной переменной;

D. Каждое наблюдение проверялось на предмет соответствия правилам бухгалтерского учета (например, Активы = Пассивы. Далее Проверки);

E. Из Выборки исключались все наблюдения которые не прошли хотя бы одну Проверку или имели недостаточно данных для проведения хотя бы одной из Проверок;

F. Из Выборки исключались наблюдения, в которых нет хотя бы одной из перечисленных характеристик: дата регистрации, регион регистрации, ОКВЭД Общероссийский классификатор видов экономической деятельности;

G. Из выборки исключались наблюдения, в которых заемщики относились к индустриям финансового сектора ОКВЭД 65, 66, 67 (КДЕС Ред. 1.1). Данное решение обусловлено особенностями ведения бухгалтерского учета данной индустрии;

H. Для каждого дефолтного и недефолтного наблюдения в Выборке была определена соответствующая дата наблюдения, таким образом итоговая выборка содержала только одну дату наблюдения для каждого заемщика.

Для дефолтных компаний соответствующая дата наблюдения определялась следующим образом (аналогично формированию выборки для разработки):

· Если дата дефолта была позднее I квартала, то отчетной датой будет конец предыдущего года (например, дата дефолта - 20 мая 2017 года, отчетная дата - 31 декабря 2016 года);

· Если дата дефолта была в I-м квартале, то отчетной датой будет конец позапрошлого года (например, дата дефолта - 10 февраля 2017 года, отчетная дата - 31 декабря 2015 года);

Для каждого недефолтного заемщика отчетная дата была выбрана случайным образом.

В дальнейшим на основе этих данных будут формироваться признаки для прогнозных моделей.

Собранная информация может быть представлена в виде Таблицы 2.



Таблица 2. Структура собранных данных

	Примеры
Финансовые данные
- Баланс	Внеоборотные активы, Капитал и резервы
- P&L Отчет о прибылях и убытках	Выручка, Чистая прибыль (убыток)
Не финансовые данные
- общие	Дата регистрации, ОКВЭД
- стоп-сигналы	Реестр юр.лиц., имеющих задолженность перед ФНС
- гос. поддержка	Реестр стратегических предприятий

2.3 Репрезентативность

В данном разделе Обучающая и Тестовая выборки анализировались на предмет репрезентативности по ключевым качественным характеристикам.

Рассмотрим теперь распределения визуально. На графике 1 можно увидеть, что число наблюдений со временем растет, что может обусловлено как органическим ростом числа компаний, так и доступностью данных по ним.

График 1. Распределение наблюдений по годам

Такой перекос не является критическим для анализа, более того, поскольку динамичность рынка требует учитывать как можно более свежие данные, а такая асимметрия может рассматриваться как преимущество при моделировании в реальном бизнесе.

График 2. Распределение наблюдений по федеральным округам.

Компании были сгруппированы в отрасли по ОКВЭД. Ниже представлено распределение по данному признаку.

График 3. Распределение наблюдений по отраслям.

Для определения качества репрезентативности было оценено значение индекса PSI. Данный индекс рассчитывается для сравнения распределений разных выборок по общему признаку. В контексте данной работы, это делалось для того, чтобы оценить, насколько тестовая выборка репрезентативна выборке, на которой будет строиться модель.



График 4. Распределение наблюдений по численности штата.

Индекс PSI является отраслевым стандартом и используется для валидации моделей оценки кредитного риска:

,

• Где Ai% - доля наблюдений в корзине i из распределения A

• Bi% - доля наблюдений в корзине i из распределения B

• - номер/название корзины, например, отрасль «Электроэнергетика»

• - общее количество различных корзин, например, количество доступных отраслей

Критическим значением для данного показателя является значений 0.1. Как мы видим из теста ниже, все интересующие нас разбиения прошли формальный тест.

Таблица 3. Результаты теста на репрезентативность

Переменная	PSI	Репрезентативна
Q1	0.027489	Да
Q2	0.011368	Да
Q3	0.000231	Да
Q4	0.000243	Да
Q5	0.000277	Да

Таким образом, тестовая выборка может быть использована для оценки качества прогнозной модели, построенной на обучающей выборке.



3. Моделирование

В данном разделе мы построим две прогнозные модели для оценки кредитоспособности корпоративных заемщиков. При этом, первая модель будет построена по традиционной отраслевой методике, которая является простой и прозрачной, а вторая - с помощью классического ансамблевого алгоритма машинного обучения - random forest В русскоязычной литературе Случайный лес, чьи прогнозы поддаются объяснению значительно сложнее. Для каждой из моделей мы рассмотрим способы объяснения предсказанных значений, а затем, в следующем разделе, сравним модели по критерию качества прогноза.

3.1 Классическая модель (logit)

Структура модели

Как уже отмечалось, логистическая регрессия, ввиду своих предпосылок и формы, имеет полезное свойство - простота интерпретации. Во многом именно поэтому ее так активно продолжают использовать даже сегодня, в эпоху прогрессирования науки о данных и как следствии более сложных алгоритмов машинного обучения. Напомним, что результатом прогноза модели, в конечном счете, мы считаем балл заемщика, а не вероятность его дефолта. Более того, чем выше балл, тем заемщик будет считаться более качественным, то есть менее склонным к дефолту.

Перейдем непосредственно к описанию модели, и будем представлять ее top-down, постепенно раскрывая каждый из внутренних показателей (модулей). На самом верхнем уровне, балл заемщика формируется как сумма баллов по базовому модулю и сигнальному модулю.

,



где - итоговый балл -го заемщика, - балл -го заемщика по финансовым и общим нефинансовым факторам, - балл -го заемщика по стоп-факторам и сигналам гос. поддержки.

Сигнальный модуль состоит из стоп-факторов (или предупреждающих сигналов), которые говорят о явном неблагополучии заемщика, и флагов наличия государственной поддержки, которые, наоборот, свидетельствуют об устойчивости заемщика, обусловленной государственными интересами.

,

где - наличие (0,1) стоп-фактора у -го заемщика, - наличие признака гос. поддержки у -го заемщика, () - балл -го стоп-фактора (сигнала гос. поддержки).

Теперь перейдем к рассмотрению базового модуля - он состоит из финансового и качественного модулей:

,

где - балл финансового модуля для -го заемщика, - балл качественного модуля для -го заемщика, - вес финансового модуля.

Финансовый и качественный модули складываются из баллов по отдельным факторам:

,

где - балл финансового -го фактора для -го заемщика, - балл качественного -го фактора для -го заемщика, - вес -го фактора, и - количество финансовых и качественных факторов соответственно.

Важно отметить, что баллы факторов и значения факторов - это не одно и тоже. В следующих разделах, мы покажем как с помощью трансформации переменных и логистической регрессии получить описанную выше модель.

Однофакторный анализ

На основе собранных данных было сгенерировано 120 факторов, которые были разделены на три модуля, а также внутри каждого из модулей сгруппированы на отдельные категории. Так, например, в финансовом модуле есть группа факторов, характеризующих компанию с точки зрения ликвидности, а в качественном модуле - факторы дифференцирующие заемщиков по отрасли. Подробная структура представлена в Таблице 4.

Очевидно, что многие факторы, особенно относящиеся к финансовому модулю, имеют высокую корреляцию друг с другом, что не позволяет использовать определенные наборы переменных для оценки логистической регрессии ввиду проблемы мультиколлинеарности. С этой проблемой мы будем разбираться с помощью однофакторного анализа, целью которого является отбор наиболее важных и в то же время не коррелированных признаков (short-list) из исходно набора признаков (long-list).

Таблица 4. Структура факторов для прогнозной модели

Фактор	Кол-во
Всего	120
Финансовые	93
Финансовый рычаг	15
Ликвидность	16
Обслуживание долга	24
Деловая активность	12
Рентабельность	20
Прочее	6
Качественные	16
Отрасль	4
Регион	2
Возраст	4
Размер	4
Прочее	2
Сигналы	11
Стоп-факторы	5
Гос. поддержка	6

Финансовые факторы

Уточним, что все финансовые факторы (за исключением группы Прочее) являются относительным финансовыми показателями, то есть получаются в результате деления одних переменных на другие (например, Общий долг/ EBITDA объём прибыли до вычета расходов по выплате процентов, налогов, износа и начисленной амортизации и т.д.). В связи с этим, возникает необходимость предусмотреть потенциальные случаи деления на ноль. В рамках данной работы, применялось следующее правило:

,

где - -ый фактор -го заемщика, , - числитель и знаменатель для расчета фактора .

Далее, каждый из факторов Кроме факторов группы Прочее был преобразован с помощью логистической трансформации и стандартизован. Таким образом, мы получаем нормированных балл заемщика по данному фактору:

,



,

,

где - нормированный балл -го заемщика по -му фактору, и - 5ый и 95ый перцентили фактора .

После того как факторы были трансформированы в баллы, мы начали отбор наилучших по следующим критериям:

1) Ранжирующая сила по критерию Gini Gini = 2AUC - 1 > 15%.

2) Доля экстремальных значений (999999999, -999999999) достаточно низкая 5-ый и 95-ый перцентили не равны 999999999 или -999999999, соответственно

3) Доля пропущенных значений ниже 5%.

Далее мы отбросили все факторы, у которых не выполнено хотя бы одно из выше описанных условий, и начали попарно сравнивать наиболее коррелированные между собой признаки по критерию Gini, отдавая приоритет тем, у кого значение этого показателя выше. Таким образом, мы сформировали short-list финансовых факторов, добившись того, чтобы коэффициент корреляции между ними не превышал 50%.

Не финансовые факторы

Не финансовые факторы, как уже отмечалось, можно разделить на качественные факторы и сигналы. В этом контексте, сигналы не подвергались никаким трансформациям, а просто остались в виде индикаторов (0 - нет, 1 - да).

Качественные же факторы трансформировали и стандартизовались похожим образом, как и финансовые:



,

,

,

где - доля дефолтов среди компаний имеющих значение фактора равным . банковский риск менеджмент дефолт

Аналогично для каждого балла был рассчитан коэффициент Gini и в рамках каждой из групп факторов качественного модуля выбран только один.

Оценка коэффициентов

В данном блоке мы построили логистическую регрессию флага «не дефолт» на факторы каждого из модулей:

,

,

где число факторов модуля , - коэффициенты лог-регрессии.

Результаты оценки коэффициентов представлены в таблице 5. Как мы видим, все включенные в итоговую модель коэффициенты являются статистически значимыми и имеют верный с точки зрения логики знак.

Теперь представим полученную модель в виде описанной в п. 3.1.1. структуры. Заметим, что поскольку мы хотим получать балл по каждому заемщику, мы можем пренебречь константой.

Для того, чтобы найти веса внутри финансового модуля, нам нужно просто разделить каждый из коэффициентов финансовых баллов на суммы коэффициентов перед финансовыми баллами:

,

По аналогичной формуле можем получить веса для качественного модуля:

,

Таблица 5. Коэффициенты логистической регрессии

	(1)	(2)	(3)	(4)
Intercept	1.0106***	2.2561***	1.3598***	1.4569***
	(0.0373)	(0.0083)	(0.0449)	(0.0453)
Leverage_3_score	0.0108***		0.0080***	0.0078***
	(0.0003)		(0.0003)	(0.0003)
Business_activity_6_score	0.0037***		0.0045***	0.0044***
	(0.0001)		(0.0001)	(0.0001)
Debt_service_8_score	0.0062***		0.0053***	0.0050***
	(0.0003)		(0.0003)	(0.0003)
Liquidity_2_score	0.0030***		0.0021***	0.0022***
	(0.0002)		(0.0002)	(0.0002)
Profitability_10_score	0.0057***		0.0032***	0.0030***
	(0.0002)		(0.0002)	(0.0002)
Profitability_8_score	0.0040***		0.0067***	0.0066***
	(0.0003)		(0.0003)	(0.0003)
Q1_score		0.0051***	0.0033***	0.0031***
		(0.0002)	(0.0002)	(0.0002)
Q2_score		0.0041***	0.0044***	0.0043***
		(0.0001)	(0.0001)	(0.0001)
Q3_score		0.0057***	0.0056***	0.0058***
		(0.0001)	(0.0001)	(0.0001)
Q4_score		0.0053***	0.0043***	0.0040***
		(0.0002)	(0.0002)	(0.0002)
G1				1.144***
				(0.0561)
G2				2.598***
				(0.1895)
G3				0.113**
				(0.4507)
W1				-0.908***
				(0.1028)
W2				-2.553***
				(0.0303)
W3				-0.665***
				(0.2552)
Obs.	194912	185150	185150	185150

Standard errors in parentheses.

* p<.1, ** p<.05, ***p<.01

Затем веса для качественного и финансового модуля:

,

Чтобы оценить баллы для каждого сигнала, необходимо нормировать коэффициент регрессии перед ними на сумму весов качественного и финансового модулей:

,

Теперь мы воспользовавшись формулами из п. 3.1.1. мы можем рассчитать баллы для каждого заемщика и оценить качество модели в разрезе каждого модуля (график 5.)



График 5. Качество прогнозирования классической модели

Итоговая модели дает результат 42% Gini, при этом, как мы видимо из графика, наиболее существенным для прогноза является финансовый модуль.

В следующем разделе мы рассмотрим варианты интерпретации данной модели для описания отдельных предсказаний.

Интерпретация

Напомним, что в качестве прогнозных значений итоговая модель возвращает не вероятность, а балл, полученный по ранее описанным формулам. Структура построения модели позволяет сделать декомпозицию прогнозных значений на логически разные модули, а именно базовый модуль и сигналы, где к результатам базового модуля прибавляются баллы сигналов при их наличии.

Рассмотрим структуру базового модуля, представленную на графике 6.

Подобная архитектура модели вызывает минимум вопросов даже у непрофессионалов в области статистики, в чем ее несомненное преимущество.



График 6. Структура базового модуля

В таблице 6 представлены три прогноза для трех разных заемщиков. Применив веса и описанную структуры, мы можем получить прогнозные значения, и понять почему заемщику, был присвоен именно такой балл.

Таблица 6. Пример построения прогноза

	INN_1	INN_2	INN_3
Financial score	36.0187	55.0294	52.3681
F1_score	4.087254	88.4715	36.75893
F2_score	-20.7697	-75.4799	-20.4601
F3_score	143.7914	130.2906	137.4319
F4_score	113.5349	118.7312	70.39712
F5_score	-13.968	-6.32162	1.956883
F6_score	-22.656	-20.1061	89.04881
Qualitative score	-7.07656	47.2853	-33.6886
Q1_score	-19.3419	131.562	27.37788
Q2_score	6.827746	40.23161	40.23161
Q3_score	21.71661	21.71661	-115.119
Q4_score	-54.2681	26.62802	-42.4054
Signals score	-71.9942	0	58.1512
W1_score	0	0	0
W2_score	-57.1163	0	0
W3_score	-14.8779	0	0
G1_score	0	0	0
G2_score	0	0	58.15116
G3_score	0	0	0
Final score	-52.0196	52.1463	78.4809

Декомпозиция итогового балла также может быть визуализирована. Рассмотрим в качестве примера заемщика с индикатором INN_1. На графиках 7-10 представлены примеры визуализации.

График 7. Пример декомпозиции итогового балла

График 8. Пример визуализации финансового профиля заемщика

График 9. Пример визуализации качественного модуля заемщика



График 10. Пример визуализации сигнального модуля заемщика

Таким образом, мы построили модель с помощь логистической регрессии, преобразовав ее затем в балльную систему для оценки качества корпоративных заемщиков. Как было показана, такая постановка позволяет делать прозрачные выводы как относительно глобальных эффектов (коэффициенты лог-регрессии) так и по поводу результатов предсказания для конкретных заемщиков.

3.2 Ансамблевая модель (случайный лес)

В данном разделе мы опишем процесс построения модели оценки корпоративных заемщиков с помощью метода Random Forest, оценим результат, а также постараемся проинтерпретировать его структуру.

Отбор признаков

В отличие от раздела с логистической регрессией, в данном блоке мы не прибегали к трансформации и стандартизации факторов, поскольку алгоритм случайного леса не чувствителен к ним. При этом замена значений при делении на ноль была проведена аналогичным образом.

Говоря об отборе признаков стоит выделить несколько ключевых отличий от подхода, использованного при однофакторном анализе для логистической регрессии:

· Были добавлены абсолютные значения некоторых балансовых показателей. Напомним, что в лог-регрессии участвовали только относительные показатели;

· Ослаблено требование к максимальному значению коэффициента корреляции между признаками с 50% до 90% (чтобы убрать объективно одинаковые метрики);

· В качестве метрики качества использовалось значение веса фактора при применении feature importance на основе модели случайного леса со всеми факторами без подбора гипер-параметров;

· Качественные факторы участвовали в моделировании как в качестве баллов (по структуре классической модели), так и в виде дамми-переменных.

С учетом дамми переменных для всех не финансовых факторов суммарное количество факторов для модели составило - 89.

Обучение и подбор гиперпараметров

С помощью отобранных на предыдущем этапе 89 факторах мы построили модель случайного леса, предварительно подобрав оптимальные гиперпараметры простым перебором. Всего было настроено три гиперпараметра:

· Число деревьев - 1000

· Максимальная глубина - 6

· Максимальное количество факторов - 25

Дополнительно, в функцию потерь были добавлены веса для анализируемых классов обратно пропорционально их долям. Данная надстройка необходима ввиду несбалансированности «дефолтных» и «не дефолтных» наблюдений.

Остальные гиперпараметры (например, минимальное число наблюдений в терминальной вершине дерева и т.д.) были оставлены по умолчанию класса RandomForestClassifier открытой библиотеки scikit-learn (RandomForestClassifier n.d.).

Интерпретация

В данном разделе мы дадим интерпретацию некоторым закономерностям с помощью классических техник, применяемых в отношении сложных моделей.

Feature importance and contribution

Говоря об интерпретации модели случайного леса стоит начать с анализа весов факторов, получаемых с помощью подхода feature importance - того на сколько каждый фактор относительно других уменьшает функцию потерь, или другими словами улучшает разделение между исследуемыми классами. Наиболее важным в этом смысле фактором является показатель Other_4, который в первом приближении отражает размер компании. Затем идут переменные, характеризующие обслуживание долга Debt_service_8 и Profitability_8. Более подробные результаты представлены на Графике 11.

График 11. Feature Importance для Топ20 факторов.

PDP и ICE

Рассмотрим графики ICE и PDP для наиболее значимых по критерию feature importance факторов. Напомним, что они показывают вляние изменения рассмтриваемого признака на предсказание модели (в нашем случае балла от дефолтного 0 до недефолтного 1). По оси ординат откладывается балл, по оси абсцисс - значние фактора (График 12). Каждая линия характеризует одно конкретно наблюдение из тестовой выборки, выделенная линия является усредненным значением по всем наблюдениям. Альтернативой графику 12 является график 13, на котором отображены центрированне ICE, что позволяет более четко отследить эффект от рассматриваемой переменной.



График 12. PDP and ICE plots

График 13. PDP and Centered ICE plots

Из графиков 12-13 видно, что абсолютные показатели (Other_1, Other_4 и Other_5) имеют менее резкий эффект, чем абсолютные (Liquidity_1, Profitability_8 и т.д.). В частности, для показателя Profitability_8 переломным является значение около 0.04, после которого в среднем балл заемщика увеличивается, а затем практически не меняется, в то время как для показателя Other_4 итоговый балл плавно снижается вплоть до значения фактора ~800млн руб.

Относительно ровная структура линий говорит об однородности влияния рассматриваемых переменных на итоговый балл. Другими словами, эффект примерно одинаковый у плохих и хороших заемщиков.

Можно также рассмотреть ICE в разрезе какого-нибудь фактора, например, одной из качественных бинарных характеристик Q3 (График 14). Из графика можно увидеть, что для компаний имеющих Q3 = A эффект переменных Debt_service_8 и Profitability_8 является более выраженным, а именно с их ростом балл увеличивается сильнее для таких компаний, нежели для заемщиков, у которых Q3=B.

График 14. Centered ICE в разрезе фактора Q3

На графике 15 представлено разбиение по числовой переменной. Из него можно заметить, что переменная Profitability_8 имеет более резкий эффект для компаний с приблизительно серединным значением показателя Other_4, тогда как для компаний с высоким значение Other_4, эффект от исследуемого фактора выражен слабее.



График 15. Centered ICE в разрезе фактора Other_4

LIME

Возвращаясь к задаче интерпретации отдельных прогнозных значений модели, а не ее общей структуры, следует рассмотреть метод LIME local interpretable model-agnostic explanations.

Рассмотрим трех разных заемщиков, чьи результаты отображены на рисунке 16 с буквами A, B и C.

В первом случае (A) заемщик имеет высокую вероятность дефолта, что интерпретатор LIME объясняет следующим образом:

· Наличие стоп-сигнала (W2_B=1);

· Высокие значения балансовых показателей, отвечающих за долговые обязательства (Other_1 и Other_4);

· Низкая ликвидность;

· Принадлежность к группе с высоким дефолт-рейтом (Q2_score)

График 16. Пример использования LIME для объяснения нескольких прогнозов модели.



Во втором случае (B) модель не уверена относительно своего предсказания, возвращая примерно одинаковые значения вероятностей для обоих целевых классов. Разбивая данное предсказание на составляющие, мы видим, что в положительный эффект на оцениваемую кредитоспособность заемщика оказывает относительно низкий один из показатель, связанных с долгом (Other_4), принадлежность к группе компаний по качественному фактору Q2, где дефолты происходят сравнительно реже, а также отсутствие стоп-сигнала (Q2_B=1).

И наконец в последнем случае (C) модель предсказывает высокую вероятность того, что заемщик «здоровый» и сможет вернуть кредит в случае его одобрения. В качестве объясняющих факторов LIME определил следующее:

· Отсутствие стоп-сигнала (W2_B=1);

· Сравнительно невысокие абсолютные балансовые показатели, связанные с долгом;

· Высокие показатели рентабельности и обслуживания долга

· Принадлежность к категории (по качественному фактору Q2), в которой компании редко становятся дефолтными.

SHAP

С помощью подхода SHAP, мы также можем получить ответ на вопрос «почему» был сделан именно такой прогноз для отдельного наблюдения .

Рассмотрим в качестве примера одного из заемщиков (График 17). Из графика видно, что существенный положительный вклад в предсказание был внесен факторами Other_4, Other5 и Debt_service_8 (суммарно 11.5), тогда как по показатель ликвидности Liquidity_1 снижает балл сразу на 7.6. Итоговый балл для данного заемщика составил 61, что говорит о невысокой «уверенности» модели относительно качества данного заемщика.

График 17. Пример декомпозиции прогноза с помощью SHAP.

Таким образом, мы показали, что для данной модели можно наглядно демонстрировать структуру полученного прогноза подобно тому, как это делалось для классической модели в разделе 3.1.



4. Результаты

В данном блоке мы сравним результаты прогнозирования по двум моделям: logit (классическая модель) и random forest. Как мы видим из таблицы 7, метод случайного леса показывает более высокий коэффициент Gini на 7.6 п.п., что говорит о несомненном превосходстве данной модели по критерию качества прогноза.

Таблица 7. Сравнение качества моделей на тестовой выборке

	Классическая модель	Random Forest
Gini	0.420	0.496
std	0.007	0.006

Из графика 18 можно увидеть, что модель Random Forest показывает более высокий результат по определению плохих и хороших заемщиков для всех пороговых значений.

График 18. ROC-кривая для моделей

Рассмотрим теперь качество моделей в разрезе качественных характеристик на графиках 19-22.



График 19. Сравнение качества моделей в разрезе округов

График 20. Сравнение качества моделей в разрезе отраслей

График 21. Сравнение качества моделей в разрезе численности штата



График 22. Сравнение качества в разрезе годов

Для всех разрезов справедливо утверждение, что Random Forest дает более качественные предсказания по критерию Gini. Таким образом, мы увидели что метод случайного леса значительно превосходит по предсказательной способности классическую логистическую регрессию, традиционно используемую в данной задаче. Однако вряд ли такие результаты можно назвать неожиданными - ансамблевый метод должен был сработать лучше простого линейного (для данной задачи). Ключевым конечно же является то, что несмотря на сложность более эффективного с точки зрения предсказательной способности алгоритма, мы продемонстрировали возможности для его интерпретации, тем самым затмив основной плюс альтернативной модели (логистической регрессии), а именно ее интерпретируемость. Другими словами, для решения поставленной задачи мы использовали более сложный алгоритм, с более высокой предсказательной силой, при этом с не очень большими жертвами для интерпретации.



Заключение

В рамках данной работы мы увидели, что, как и отмечалось в разделе с обзором литературы, алгоритм прогнозирования вероятности дефолта, основанный на ансамбле деревьев имеет более высокую предсказательную силу, чем классическая логистическая регрессия. При этом важно отметить, что прирост в предсказательной способности за счет построения более сложной модели не повлек за собой существенных проблем с интерпретацией. Более того, мы успешно рассмотрели различные варианты объяснений как модели в целом, так и отдельно взятых предсказаний с помощью популярных на текущий момент методик.

Конечно, выводы и результаты полученные по результатам нашего анализа не претендуют на наличие прорывных научных идей, однако они имеют прямое практическое применение в реальном бизнесе, и именно в этом заключается главная ценность данной работы - повышение предсказательной способности модели, конвертируемое в рост ожидаемых прибылей для банков, которые станут ее использовать, а также демонстрация ее интерпретируемости, что обеспечит доверие к ней.

В части следующий шагов, можно выделить два основных направления.

Во-первых, расширение списка анализируемых факторов. Например, в данной работе игнорировались исполнительные производства, в частности участие заемщика в судебном процессе в качестве ответчика, или государственные тендеры, способные учитывать зависимость заемщиков от одного или нескольких заказчиков. Ожидается, что эти факторы способны сами по себе увеличить предсказательную силу модели, однако в рамках данной работы эту информацию собрать не удалось.

Во-вторых, в работе не было предложено последовательного подхода к интерпретации сложной модели. Поэтому в будущем было бы полезно иметь конкретный бизнес-процесс, связанный с объяснением предсказанных моделью значений. Данная идея не входила в цели работы, однако служит одной из отправных точек для дальнейшего анализа по заданной теме. При этом заявленные в работе цели были достигнуты в процессе ее написания.

Мы понимаем, что появление инструментов объяснения предсказаний сложных моделей вряд ли вытеснит в краткосрочной перспективе классические методы, однако данная работа позволяет сделать шаг в сторону автоматизированного подхода, основанного на современных и более эффективных прогнозных моделях, что в конечном итоге должно положительно отразиться на экономике.



Список литературы

1. Altman, Edward I. 1968. “Financial Ratios, Discriminant Analysis and the Prediction of Corporate Bankruptcy.” The journal of finance 23(4): 589-609.

2. Baesens, Bart et al. 2003. “Benchmarking State-of-the-Art Classification Algorithms for Credit Scoring.” Journal of the operational research society 54(6): 627-35.

3. Fernandes, Guilherme Barreto, and Rinaldo Artes. 2016. “Spatial Dependence in Credit Risk and Its Improvement in Credit Scoring.” European Journal of Operational Research 249(2): 517-24.

4. Friedman, Jerome H. 2001. “Greedy Function Approximation: A Gradient Boosting Machine.” Annals of statistics: 1189-1232.

5. Psillaki, Maria, Ioannis E Tsolas, and Dimitris Margaritis. 2010. “Evaluation of Credit Risk Based on Firm Performance.” European Journal of Operational Research 201(3): 873-81.

6. Shapley, Lloyd S. 1953. “A Value for N-Person Games.” Contributions to the Theory of Games 2(28): 307-17.

7. Tasche, Dirk. 2013. “The Art of Probability-of-Default Curve Calibration.” Journal of Credit Risk 9(4): 63-103.

8. Vasicek, Oldrich. 1977. “An Equilibrium Characterization of the Term Structure.” Journal of financial economics 5(2): 177-88.

9. Федеральный Закон “О Банках и Банковской Деятельности” От 02.12.1990 N 395-1 (Последняя Редакция).

Размещено на Allbest.ru

...