Сравнительный анализ методов прогнозирования банкротств российских строительных компаний

Андерсемплинг подразумевает использование входных данных, содержащих все неплатежеспособные компании, и случайную выборку платежеспособных компаний. В результате соотношение неплатежеспособных и платежеспособных компаний увеличивается. Также при построении такого рода зависимостей рекомендуется проводить данный эксперимент несколько раз для получения состоятельных результатов (в данном исследовании делается допущение о получении состоятельного результата после одного эксперимента). Оверсемплинг предполагает использование входных данных, содержащих все платежеспособные компании, и «клонирование» неплатежеспособных компаний до тех пор, пока их число не приблизится к числу платежеспособных компаний. Поиск оптимальной доли миноритарного класса на обучающем множестве также является предметом исследования в данной работе.

Рис. 1. Количество банкротств по годам

Для поиска оптимального значения доли неплатежеспособных компаний в андерсемплинге использовалась концепция кросс-валидации. При использовании оверсемплинга использовать данный подход не рекомендуется, так как фактически в данном случае происходит клонирование информации, которая используется как при обучении, так и при тестировании модели (что приводит к переобучению). Для реализации оверсемплинга обучающее множество было разделено на два подмножества. Первое (информация о дефолтах компаний за 2014 год) использовалось для тестирования модели, второе (оставшиеся периоды с 2011 по 2015 гг.) -- для построения модели без кросс-валидации. Доля неплатежеспособных компаний, при которой модель имеет наибольшее значение Джини на обучающем множестве, использовалась для сравнения моделей на тестовом множестве (2016--2017 гг.)

Описание моделей

В работе использовались два параметрических алгоритма построения моделей бинарного выбора: логит- и пробит-модели с поправками на дискретизацию (с использованием WOE) и без. Данные модели сравниваются с алгоритмами, основанными на методах машинного обучения (деревья классификации, случайные леса, искусственные нейронные сети), описание которых приведено в последующих разделах.-

Традиционно выделяют следующие метрики качества моделей: точность (accuracy), чувствительность (sensitivity), специфичность (specificity), площадь под ROC-кривой, коэффициент Джини, F-метрика. Использование этих метрик зависит от цели анализа.

В данном исследовании каждая из рассмотренных моделей на выходе имеет область значений от 0 до 1, поэтому необходимо определить порог отсечения. Присвоение порога отсечения зависит от предпочтений аналитика относительно ошибок первого и второго рода, что приводит к трудностям при сравнении различных моделей. Поэтому в данной работе оценка предсказательной силы производится с помощью ROC-анализа, показателя AUC (площади под ROC-кривой) или коэффициента Джини. Преимущество данных метрик заключается в отсутствии необходимости определять порог отсечения и возможности сравнивать качество моделей независимо от целей аналитика. Расчет коэффициента Джини проводился следующим образом:

Gini = (AUC - 0,5) * 2 * 100%, ( 1 )

где AUC -- площадь под ROC-кривой.

Визуальный анализ эффективности проводился с помощью ROC-кривой. Чем больше изгиб ROC- кривой, тем выше качество модели, при этом диагональная линия соответствует полной неразличимости двух классов. Соответственно, чем выше значение площади под ROC-кривой, тем лучше разделяющая сила модели. Анализ ROC-кривой позволяет пользователю выбрать необходимое для анализа соотношение между чувствительностью и специфичностью. Пример построения ROC-кривой для одной переменной представлен на рисунке 2.

В работе в качестве инструмента расчетов для эконометрического анализа и отражения статистических выводов был использован язык программирования R, представляющий собой свободную программную среду с открытым исходным кодом.

Модели бинарного выбора

В работе использовались два алгоритма построения моделей бинарного выбора (логит и пробит): без поправок на дискретизацию и с поправками. Приведем описание общего алгоритма (с поправками на дискретизацию) построения моделей бинарного выбора.

Этап 1. Приведение факторов к дискретной форме. В процессе решения исследовательского вопроса большинство авторов сталкиваются с проблемой выбросов. Эта проблема не является исключением и для данной работы. Традиционный подход для ее решения -- исключение подобных наблюдений. Однако субъективность определения выбросов и уменьшение выборки являются существенными недостатками данного подхода. В работе используется переход от дискретной к непрерывной форме, что приводит к повышению сравниваемости факторов между собой и единству подходов к оценке значимости факторов. Нами проведена процедура квантиль- ной дискретизации -- замена исходных значений факторов на дискретные значения на основе группировки по квантилям. Суть данного подхода состоит в следующем:

а) значения переменных упорядочиваются по возрастанию;

б) значения каждого показателя делятся на 10 групп (используются децили);

в) значения в каждой группе заменяются на баллы от 1 до 10 (группа с наименьшими значениями получает 1 балл, а группа с наибольшими значениями -- 10 баллов).

Этап 2. Преобразование факторов. Для преобразования факторов используется подход WOE (Weight of Evidence). Показатель WOE характеризует степень отклонения уровня дефолтов в данной группе от среднего значения в выборке. Для каждого фактора и для каждой группы внутри факторов необходимо вычислить число компаний в дефолте и число компаний не в дефолте. Показатель WOE для группы i определенной переменной рассчитывается следующим образом:

где df^ -- доля компаний не в дефолте, принадлежащих группе i, в общем числе компаний не в дефолте; i = 1, 2,..., k; k -- число категорий переменной;

4²⁾ -- доля компаний в дефолте, принадлежащих группе i, в общем числе компаний в дефолте; i = 1, 2,..., k; k -- число категорий переменной.

С целью повышения линейности переменных и повышения точности модели все объясняющие переменные заменены на WOE, что является распространенным приемом в кредитном скоринге [15].

Этап 3. Оценка предсказательной силы факторов. После того как все значения преобразованы в WOE, необходимо оценить важность каждого фактора. В работе использованы два алгоритма оценки значимости факторов: информационная ценность (Information Value, IV) и ROC-анализ. Расчет значения информационной ценности (IV) выполнен по следующей формуле:

где k -- число категорий независимой переменной (у каждого фактора их десять), остальные обозначения из формулы (2).

Формула (3), отражающая расчет IV, базируется на суммировании WOE, скорректированного на разницу, цель данных расчетов -- выявить некоторый индикатор, отражающий способность переменной кластеризовать какой- то признак. Если данный показатель выше 0,02, то фактор следует использовать при моделировании [15].

В исследовании применены следующие критерии отбора факторов в итоговую модель:

¦ приемлемое качество модели в соответствии с критерием «информационная ценность» (IV > 0,02);

¦ коэффициент Джини в однофакторной модели должен быть больше 5%;

¦ экономическое обоснование фактора.

Этап 4. Анализ корреляций. При построении многофакторной модели необходимо исключить факторы с высокими коэффициентами корреляции. Анализ корреляции позволяет избежать мультиколлиниарности. Мультиколлиниарность приводит к неустойчивости модели и повышает стандартные отклонения оценок факторов. О наличии мульти- коллиниарности свидетельствуют высокие значения парных коэффициентов корреляции между факторами переменных. Критерий для определения высокой корреляции может варьироваться, для экономических данных порог обычно устанавливается на уровне 0,30--0,50. Критерием высокой корреляции в данной модели является коэффициент корреляции больше 0,5.

Этап 5. Многофакторный анализ. Моделирование вероятности некредитоспособности заемщика осуществлялось следующим образом:

При этом в случае логит-модели F (*) представляет функцию логистического распределения:

В случае пробит-модели F (*) представляет собой функцию нормального распределения:

Где

Расчет коэффициентов осуществляется методом максимального правдоподобия, который максимизирует вероятность совместной реализации событий (платежеспособность и неплатежеспособность). Стандартные ошибки коэффициентов оценивались с поправкой Ньюи--Уэста на гетероскедастичность и автокорреляцию первого порядка.

Этап 6. Спецификация модели. Для выбора оптимальной комбинации факторов был использован метод обратного перебора (Backward Selection) -- последовательное исключение факторов (т.е. из модели, в которую включены все факторы, отобранные при однофакторном анализе, последовательно исключаются незначимые переменные). При этом уровень статистической значимости тестируется с помощью p-value, рассчитанного по результатам логистической регрессии. В результате были отобраны факторы с p-value меньше 10%.

Этап 7. Валидация модели. Выбор лучшей модели. Проблема переобучения требует проводить процедуру валидации модели. Данная проблема проявляется в том, что «обученная» модель имеет хорошие результаты на обучающей выборке, но не дает точных прогнозов для тестовой выборки. Для решения данной проблемы было использовано два подхода.

Первый подход -- «алгоритм перемешивания», идея которого сводится к следующему:

1. Случайным образом выбирается 80% компаний из обучающей выборки;

2. Оцениваются коэффициенты модели;

3. Оценивается, сохраняются ли при этом знаки при полученных коэффициентах, а также остается ли рассмотренный фактор значимым;

4. Шаги 1--3 повторяются 1000 раз, проверяется стабильность знаков.

Опираясь на полученные результаты, можно сделать вывод, являются ли знаки коэффициентов при всех переменных стабильными, и как знак коэффициента зависит от исходной выборки.

Второй подход -- ROC-анализ. Анализ значений AUC и Джини на тестовом множестве помогает сделать вывод о качестве полученных моделей.

Модели на основе методов машинного обучения

Логистический анализ и пробит-анализ являются традиционными популярными инструментами прогнозирования банкротств, но имеют ряд недостатков, связанных с низкой прогностической силой и наличием ограничений по использованию. Поэтому на сегодняшний день получили распространение алгоритмы машинного обучения.

Деревья классификации. На сегодняшний день деревья классификации являются фундаментом для построения более сложных алгоритмов машинного обучения, таких как случайные леса и бустинговые алгоритмы (GBM, XGBoost). В данной работе рассмотрен алгоритм CART (classification and regression trees). Отличительной особенностью этого алгоритма является то, что он предусматривает только два возможных варианта развития события, что подходит для реализации цели данного исследования. Основная идея CART заключается в разбиении первичного множества на два подмножества так, чтобы фирмы-банкроты находилась в одном множестве, а платежеспособные организации -- в другом. Сложностью при использовании данного метода является определение момента остановки «расщепления множеств», так как возникает проблема переобучения. Выделяют следующие правила остановки:

¦ мера загрязненности меньше некоторого значения;

¦ ограничение на количество узлов или слоев дерева;

¦ размер родительского узла;

¦ размер узла-потомка.

Задание самих правил происходит с помощью кросс валидации. Несмотря на то, что существует ряд примеров успешного использования этого метода при прогнозировании дефолтов [5], данный метод имеет ряд недостатков: высокая чувствительность к входным данным, подверженность переобучению, сложность определения оптимальной архитекторы дерева.

Случайные леса. Случайные леса появились как модификация деревьев решений и, соответственно, часто позволяют получить более точные прогнозные результаты. Случайные леса состоят из заданного пользователем числа деревьев классификации, которые генерируются с использованием модифицированного алгоритма CART. Схема данного алгоритма представлена на рисунке 3. В алгоритме использованы два похода: каждое дерево обучается на своей подвыборке исходных данных (bootstrapped data); используются разные подмножества факторов при построении деревьев классификации. Данные действия приводят к построению, а затем и к «голосованию деревьев» относительно принадлежности объекта к определенному классу.

Рис. 3. Алгоритм случайного леса [4]

В отличии от регрессионных моделей, которые довольно чувствительны к выбросам, случайный лес (RF) является более робастным к данной проблеме. Преимуществом случайного леса является более высокая эффективность в случае несбалансированности данных (что актуально для поставленной нами задачи), а также меньшая подверженность переобучению. Недостатком алгоритма является меньшая прозрачность (в отличии от деревьев классификации) и, соответственно, более низкая интерпретация. Имеется относительная сложность в процессе определения параметров случайного леса. Определение параметров (количества деревьев, количества используемых при построении одного дерева факторов, максимального количества узлов в одном дереве) осуществлялось с помощью кросс-валидации.

Случайные леса часто используются для определения степени значимости какой-либо переменной. Идея оценки важности фактора основана на том, что перестановка значений важной переменной должна приводить к значительному увеличению частоты ошибок на тестовом множестве.

Искусственные нейронные сети. В настоящее время нейросетевое моделирование набирает популярность, особенно при прогнозировании явлений с однородными признаками. С помощью набора входных параметров выбирается архитектура сети, которая в наиболее простом варианте представлена тремя слоями. Первый слой содержит узлы (нейроны) для входных переменных (каждый нейрон имеет только один вход из внешней среды), второй слой содержит произвольное количество «скрытых» нейронов и поэтому называется скрытым слоем, третий слой содержит нейроны, отвечающие за результат. При этом в задачах прогнозирования банкротств последний слой содержит только один нейрон. Между входными и скрытыми нейронами задается связь с определенными весами. Например, для j-го нейрона в промежуточном слое и входными данными будет определена следующая линейная зависимость:

где a. -- величина j-го нейрона;

(o_я -- вес j-го нейрона при переменной х..

Каждое значение aj преобразуется с использованием некоторой активационной функции для получения фактического результирующего значения Z нейрона j. Поскольку в нашем исследовании осуществляется прогнозирование двух классов, в качестве активационной функции удобно использовать логистическую функцию:

где Zj -- нормированное значение величины j-го нейрона;

а. -- величина j-го нейрона.

Подобная процедура проводится для последующих слоев. Значения Z_j снова взвешиваются, после чего преобразуются с использованием активационной функции для получения результата в конечном слое. Выделяют множество методов минимизации, идея которых состоит в том, что, начиная с исходного значения веса аР, генерируется последовательность векторов весовых коэффициентов со¹, аР,..., аР таких, что с каждой итерации алгоритма значение функции критерия качества уменьшается:

где щ ^k -- значение веса после k-го шага обучения;

-- значение веса после Ј+1-го шага обучения.

На рисунке 4 представлен пример одной из итоговых моделей нейронной сети.

Одним из наиболее распространенных методов, используемых для обучения нейросетевых моделей, является метод наискорейшего спуска. В данном алгоритме корректировка весов выполняется в направлении максимального уменьшения критерия качества, т.е. в направлении, противоположному вектору градиента. Несмотря на то, что метод наискорейшего спуска сходится к оптимальному значению а* достаточно медленно, он является распространенным методом нахождения минимума во многих статистических библиотеках.

Одной из сложностей обучения нейронной сети является то, что функция критерия качества может иметь много локальных минимумов. В результате после инициализации модели можно прийти к локальному минимуму, что негативно скажется на результатах, получаемых на тестовом множестве. Для преодоления данной проблемы веса беспорядочно сортируются, а сам алгоритм обучения повторяется несколько раз. Оптимальные параметры (количество нейронов во внутреннем слое, количество внутренних слоев) так же, как и для деревьев классификации и случайных лесов были определены с помощью кросс-валидации.

Чтобы повысить эффективность нейронной сети, а также ускорить процесс обучения необходима предварительная обработка данных. Простой и эффективный шаг предварительной обработки включает масштабирование и центрирование данных.

Сравнительный анализ используемых моделей

В соответствии с используемой классификацией рассмотренные модели показали хорошее качество. В таблице 2 приведена сортировка лучших моделей в группе в порядке убывания качества модели. Наилучшее качество показала искусственная нейронная сеть с одним скрытым слоем и четырьмя нейронами, с использованием алгоритма оверсемплинг. Отражено, что использование логистической модели с проведением дискретизации и переходом к WOE приводит к значительному росту точности моделей (коэффициент Джини в среднем увеличивается на 15%). Примечательно, что качество моделей соответствует уровню AUC в подобных работах [4, 5, 11].

Результаты однофакторного анализа с использованием регрессионных моделей свидетельствуют, что все рассмотренные факторы могут быть использованы при построении моделей бинарного выбора, так как для каждого из них значение AUC при однофакторном анализе выше 0,5. В итоговую многофакторную модель вошли восемь коэффициентов из шестнадцати факторов, отражающих разные аспекты рисков строительных компаний: ликвидность (коэффициент текущей ликвидности, коэффициент маневренности собственного капитала), рентабельность (рентабельность собственного капитала), платежеспособность (коэффициент покрытия процентов), оборачиваемость (оборачиваемость активов), деловая активность (доля внеоборотных активов), нефинансовые предикторы (возраст и размер компании). Включение в модель данных факторов приводит к повышению эффективности традиционных моделей (коэффициент Джини увеличивается с 0,38 до 0,58).

Рисунок 4

Таблица 2. Оценка качества моделей на тестовом множестве

При этом данные модели показали устойчивость к переобучению. В процессе многофакторного анализа гипотезы относительно знака зависимости вероятности неплатежеспособности от предполагаемых регрессоров были подтверждены. Значительных отличий в показателях точности между логит- и пробит-моделями обнаружено не было. Данный вывод согласуется со многими работами, поскольку функция логистического распределения и функция распределения стандартной нормальной случайной величины ведут себя примерно одинаково, а отличия связаны с более «тяжелыми хвостами» логистической функции распределения.

Ввиду устойчивости непараметрических алгоритмов к мультиколлиниарности, все рассмотренные ранее факторы использовались при построении моделей на основе методов машинного обучения. Анализ деревьев классификации и случайных лесов показал, что среди наиболее влиятельных факторов оказались коэффициент маневренности собственного капитала и коэффициент автономии (наибольшее падение индекса Джини в алгоритме случайного леса, первое разбиение в деревьях классификации). Это означает, что если у компании имеется значительный объем долговой нагрузки и она показывает негативный финансовый результат (в балансе собственный капитал принимает отрицательное значение), то это важный индикатор несостоятельности компании в следующий отчетный период. При этом нефинансовые факторы (возраст, размер компании) оказались практически несущественными, что отражено на рисунке 5. Таким образом, большой размер и длительный срок работы компании на рынке не могут гарантировать устойчивость на российском рынке.

Динамика среднего значения коэффициента Джини в зависимости от доли неплатежеспособных компаний при оптимальных параметрах на обучающем множестве с использованием андерсемплинга и оверсемплинга (рисунок 6) показывает, что в задаче прогнозирования при данной структуре данных влияние доли неплатежеспособных компаний на обучающем множестве не оказывает значительного влияния на прогнозный потенциал того или иного метода. Данный вывод согласуется с работой Б.Б. Демешева и А.С. Тихоновой [14]. Отрицательная динамика метрики качества при росте доли неплатежеспособных компаний свидетельствует о смещении оценок при построении алгоритма (например, в алгоритме «случайный лес с использованием оверсемплинга»).

Рис. 5. Определение наиболее значимых параметров. Алгоритм случайных лесов

Применение метода борьбы с несбалансированностью зависит от типа используемой модели. Для логистической регрессии, искусственных нейронных сетей и деревьев классификации оверсемплинг показал более высокое качество. Однако использование оверсемплинга в методе случайных лесов приводит к переобучению. Поэтому для случайных лесов более высокую эффективность имеет андер- семплинг.

Применение той или иной модели зависит от цели аналитика. В задачах прогноза нелинейные алгоритмы, как правило, показывают более высокий результат. Поэтому использование нейронных сетей и случайных лесов более приемлемо для данного типа задач. Однако эти модели проигрывают моделям бинарного выбора в затратах (временных, вычислительных) на расчеты, а также в интерпретации.

Рис. 6. Среднее значение коэффициента Джини на обучающем множестве

Рассмотренные нами алгоритмы показали приемлемое качество для использования в задачах прогнозирования банкротств строительных компаний. Как и ожидалось, наилучшей моделью оказалась искусственная нейронная сеть. Традиционные модели с дискретизацией показали хороший результат, при этом их результаты могут быть легко интерпретируемыми, а время расчетов минимально. Несмотря на достоинства деревьев классификации (легкость интерпретации, отсутствие ограничений на тип переменных, отсутствие необходимости задавать форму взаимосвязи в явном виде), этот алгоритм показал нестабильность и невысокую точность предсказаний.

В дальнейшем представляется перспективным включение в сравнение других нелинейных алгоритмов, например, моделей, основанных на бустинге (GBM, XGBoost), моделей опорных векторов и т.д. Более того, в данной работе в категорию банкротов попали компании, в отношении которых начата процедура легального банкротства, а также компании, ликвидировавшиеся добровольно. В дальнейшем представляется возможным разграничить данные категории с помощью единого федерального реестра сведений о банкротствах и выделить компании, в отношении которых началась процедура легального банкротства. Также представляется возможным провести межотраслевое сравнение рассмотренных методов, определить максимальный горизонт прогнозирования, при котором появляются признаки банкротств, провести диверсификацию внутри отдельных отраслей, а также использовать макроэкономические переменные при моделировании.

финансовый платежеспособность банкротство

Литература

1. Карминский А.М., Костров А.В., Мурзенков Т.Н. Моделирование вероятности дефолта российских банков с использованием эконометрических методов / Препринт WP7/2012/04. Серия WP7 «Математические методы анализа решений в экономике, бизнесе и политике». М.: ВШЭ, 2014.

2. Костров А.В. Сравнение статистических методов классификации для предсказания банкротства российских банков // Управление финансовыми рисками. 2016. Т. 47. № 3. С. 162--180.

3. Prediction of default probability for construction firms using the logit model / P. Tsemg [et al.] // Journal of Civil Engineering and Management. 2014. Vol. 20. No 2. P. 247-255. DOI: 10.3846/13923730.2013.801886.

4. Behr A., Weinblat J. Default patterns in seven EU countries: A random forest approach // International Journal of the Economics of Business. 2017. Vol. 24. No 2. P. 181-222. DOI: 10.1080/13571516.2016.1252532.

5. Gepp A., Kumar K. Predicting financial distress: A comparison of survival analysis and decision tree techniques // Procedia Computer Science. 2015. Vol. 54. P. 396-404.

6. Tam K.Y., Kiang M.Y. Managerial applications of neural networks: the case of bank failure predictions // Management Science. 1992. Vol. 38. No 7. P. 926-947. DOI: 10.1287/mnsc.38.7.926.

7. Богданова Т.К., Шевгунов Т.Я., Уварова О.М. Применение нейронных сетей для прогнозирования платежеспособности российских предприятий обрабатывающих отраслей // Бизнес-информатика. 2013. № 2. C. 40-48.

8. Breiman L., Friedman J., Olshen R., Stone C. Classification and regression trees. Wadsworth, New York: Chapman and Hall, 1984.

9. Breiman L. Random forests // Machine Learning. 2001. Vol. 45. No 1. P. 5-32.

10. Odom M.D., Sharda R. A neural network model for bankruptcy prediction // International Joint Conference on Neural Networks.

San Diego, USA, 17-21 June 1990. Vol. 2. P. 163-168.

11. Kumar P.R., Ravi V. Bankruptcy prediction in banks and firms via statistical and intelligent techniques: A review // European Journal of Operational Research. 2007. Vol. 180. No 1. P. 1-28. DOI: 10.1016/j.ejor.2006.08.043.

12. Trujillo-Ponce A., Samaniego-Medina R., Cardone-Riportella C. Examining what best explains corporate credit risk: accounting-based versus market-based models // Journal of Business Economics and Management. 2014. Vol. 15. No 2. P. 253-276.

13. Федеральный закон от 26.10.2002 № 127-ФЗ (ред. от 29.12.2017) «О несостоятельности (банкротстве)» (с изм. и доп., вступ. в силу с 28.01.2018).

14. Демешев Б.Б., Тихонова А.С. Прогнозирование банкротства российских компаний: межотраслевое сравнение / Препринт WP2/2014/04. Серия WP2 «Количественный анализ в экономике». М.: ВШЭ, 2014.

15. Siddiqi N. Credit risk scorecards: developing and implementing intelligent credit scoring. John Wiley & Sons, 2012.

16. Kaminsky A.M., Kostrov A.V., Murzenkov T.N. (2012) Approaches to evaluating the default probabilities of Russian banks with econometric methods. Working paper WP7/2012/04 (Series “Mathematical methods of decision analysis in economics, business and policies”). Moscow: HSE (in Russian).

17. Kostrov A.V. (2016) Comparison of statistical classification methods to predict Russian banks failures. Management ofFinancialRisks, vol. 47, no 3, pp. 162--180 (in Russian).

18. Tserng P., Chen P.-C., Huang W.-H., Lei M.C., Tran Q.H. (2014) Prediction of default probability for construction firms using the logit model. Journal of Civil Engineering and Management, vol. 20, no 2, pp. 247--255.

19. Behr A., Weinblat J. (2017) Default patterns in seven EU countries: A random forest approach. International Journal of the Economics of Business, vol. 24. No 2. pp. 181-222. DOI: 10.1080/13571516.2016.1252532.

20. Gepp A., Kumar K. (2015) Predicting financial distress: A comparison of survival analysis and decision tree techniques. Procedia Computer Science, vol. 54, pp. 396-404.

21. Tam K.Y., Kiang M.Y. (1992) Managerial applications of neural networks: the case of bank failure predictions. Management Science, vol. 38, no 7, pp. 926-947. DOI: 10.1287/mnsc.38.7.926.

22. Bogdanova T.K., Shevgunov T.Ya., Uvarova O.M. (2013) Using neural networks for predicting solvency of Russian companies on manufacturing industries. Business Informatics, no 2, pp. 40-48 (in Russian).

23. Breiman L., Friedman J., Olshen R., Stone C. (1984) Classification and regression trees. Wadsworth, New York: Chapman and Hall.

24. Breiman L. (2001) Random forests. Machine Learning, vol. 45, no 1, pp. 5-32.

25. Odom M.D., Sharda R. (1990) A neural network model for bankruptcy prediction. Proceedings of International Joint Conference on Neural Networks. San Diego, USA, 17-21 June 1990, vol. 2, pp. 163-168.

26. Kumar PR., Ravi V (2007) Bankruptcy prediction in banks and firms via statistical and intelligent techniques: A review. European Journal ofOperational Research, vol. 180, no 1, pp. 1-28. DOI: 10.1016/j.ejor.2006.08.043.

27. Trujillo-Ponce A., Samaniego-Medina R., Cardone-Riportella C. (2014) Examining what best explains corporate credit risk: accounting-based versus market-based models. Journal of Business Economics and Management, vol. 15, no 2, pp. 253-276. DOI: 10.3846/16111699.2012.720598.

28. The Federal Law of 26 October 2002, No 127-FZ (as amended on 29 December 2017) “On insolvency (bankruptcy)” (in Russian).

29. Demeshev B.B., Tikhonova A.S. (2014) Default prediction for Russian companies: intersectoral comparison. Working paper WP2/2013/05 (Series WP2 “Quantitative Analysis of Russian Economy”). Moscow: HSE (in Russian).

30. Siddiqi N. (2012) Credit risk scorecards: developing and implementing intelligent credit scoring. John Wiley & Sons.

Размещено на Allbest.ru