Многоступенчатый метод анализа и управления адекватностью нейросетевой модели прогнозирования банкротств на основе последовательного принципа Вальда

Размещено на http://www.allbest.ru/

Многоступенчатый метод анализа и управления адекватностью нейросетевой модели прогнозирования банкротств на основе последовательного принципа Вальда

Касимова Лиана

Аннотация

В статье рассмотрен актуальный в прикладном аспекте вопрос об оценке адекватности нейросетевой логистической модели диагностики и прогнозирования банкротства корпораций. Новизна предлагаемого подхода заключается в том, что на его основе появляется возможность не только оценивать адекватность нейосетевой модели, но и управлять ею на различных стадиях (этапах) последовательного алгоритма. В качестве теоретической основы предлагаемого метода использовано обобщение последовательного принципа Вальда организации схемы наблюдений и в более общем случае - исследований, а также общесистемные законы агрегирования систем и каскадного принципа усиления положительного эффекта. Основная идея предлагаемого метода состоит в поэтапном алгоритме регуляризации модели и улучшения ее прогностических свойств во взаимосвязи с оценкой адекватности подмоделей на каждом этапе. Алгоритм имеет древовидную слоистую иерархическую структуру, в которой подмодели «вложены» друг в друга, т.е. выходы подмоделей верхнего слоя по иерархии (сверху-вниз) служат входами для подмоделей следующего за ним слоя. Основное эмерджентное свойство такой обобщенной математикоинформационной системы - это создание каждой подмоделью предыдущего слоя по направлению преобразования информации предпосылок для обеспечения хорошего качества подмоделей нижеследующего слоя. В итоге на выходе обобщенной нейросетевой модели достигается приемлемый результат по адекватности в очень сложных условиях моделирования. В качестве концепции регуляризации обобщенной нейросетевой модели используется байесовский подход. Предложенный метод апробирован на реальных данных в экономике.

Ключевые слова: нейросеть; модель банкротства; адекватность; последовательный принцип Вальда; агрегирование; каскадное усиление положительного свойства алгоритма; байесова регуляризация нейросетевой модели.

Введение

Данная статья посвящена вопросам нейросетевого моделирования риска банкротств корпораций. Предметом исследования является анализ и управление адекватностью нейросетевых логистических моделей банкротств. Нейросети являются универсальными аппроксиматорами и классификаторами [1], способными работать в условиях высокой априорной непараметрической неопределенности в данных, т.е. когда априори нельзя задать вид функции распределения шумов. Тем не менее, как показали исследования авторов статьи [2], существуют для каждого класса задач нейросетевого моделирования предельные уровни зашумленности данных, когда нейросеть теряет устойчивость и начинает аппроксимировать в большей степени шум, чем восстанавливаемые действительные зависимости. Поэтому интерес к вопросам обеспечения качества и адекватности нйросетевых моделей (НСМ) в последнее десятилетие нарастает [3].

До настоящего времени не исследована проблема оценки и управления адекватностью разрабатываемой нейросетевой модели типа многослойного персептрона (Multi Lauer Perseptron (MLP)). Суть проблемы заключается в следующем. вальд нейросетевой банкротство

В классических моделях регрессионного анализа, получаемых с помощью метода наименьших квадратов (МНК) [4], оценка адекватности моделей не представляет трудностей - она сводится к проверке статистических гипотез о выполнении предпосылок МНК. В рассматриваемых условиях обработки данных и построения НСМ эти предпосылки заведомо нарушаются. Здесь и возникает непростая и практически неисследованная проблема оценки адекватности получаемой нелинейной многомерной НСМ, для решения которой авторы разработали оригинальный метод, основанный на принципе последовательного нейросетевого моделирования.

Истоки последовательного принципа организации схемы наблюдений берут начало из работ А. Вальда [5] и С.А. Айвазяна [6]. Изложим в сжатой форме суть этого принципа.

Как известно [6], построение статистического критерия ??(??) = ??(??1, ??2, … , ????, ???D), где

???? - наблюдаемое в i-ом опыте значение анализируемого признака (фактора), для проверки гипотезы при условии фиксированного объема выборки N сводится к разбиению области возможных значений критической статистики ??(??)на две: область I правдоподобных (в условиях проверяемой гипотезы Н0) и область II неправдоподобных значений ??(??). При попадании конкретного (экспериментального) значения статистики ??(??1, ??2, … , ????) в область неправдоподобных значений принимается решение об отклонении проверяемой гипотезы Н0 и принятии противоположной гипотезы Н1 = Н?0.

«Качество» анализируемого статистического критерия ??(??) характеризуется уровнем значимости (вероятности ошибки первого рода) ??, мощностью критерия (1 ? ??), где ?? - вероятность ошибки второго рода, свойствами несмещенности и состоятельности. Для состоятельных критериев можно добиваться сколь угодно малых величин ?? и ?? лишь за счет увеличения объема выборки ??, на основании которой принимается решение.

В классической схеме организации наблюдений, заранее не известно, достаточно ли фиксированное количество наблюдений ?? для различия интересующих нас гипотез Н0 и Н1 = Н?0 с заданными характеристиками точности (??, ??).

Наряду с классической схемой наблюдения в практике статистических исследований применяются последовательные схемы наблюдений, при которых на каждом из последовательных во времени этапах наблюдения принимается одно из трех решений:

«принять основную гипотезу Н0», если конкретное (число) значение статистики ??(??1, … , ????) попадает в область правдоподобных (в условиях справедливости Н0) значений критической статистики ????, где ?? - объем выборки априори не ограниченный;

«отвергнуть гипотезу Н0», если конкретное числовое значение статистики

??(??1, … , ????) попадает в область неправдоподобных значений критической статистики ????;

«окончательный вывод откладывается и проводится следующее (?? + 1) ? ?? наблюдение», если конкретное числовое значения статистики ??(??1, … , ????) попадает в область сомнительных значений.

Последовательная схема организации наблюдений является более гибкой и экономичной по числу опытов ??, необходимых для обеспечения заданного качества (??, ??) проверки, статистического критерия ????, по сравнению с классической схемой наблюдений, где ?? = ?? ? фиксировано. Иногда удается сократить необходимое число опытов в 2-3 и даже в 4 раза [6].

В качестве конкретного примера последовательного критерия приведем широко известный критерий отношения правдоподобия Вальда [5], предназначенный для различия двух простых гипотез вида:

«Н0: выборка извлечена из генеральной совокупности с законом распределения плотности вероятности ?(??, ??0);

«Н1: выборка извлечена из генеральной совокупности с законом распределения ?(??, ??1)», где ??0, ??1 - параметры закона распределения.

Критическая статистика этого критерия для последовательности независимых наблюдений ??1, ??2, … , ???? определяется отношением правдоподобия Вальда:

Области правдоподобных , неправдоподобных , и сомнительных , значений критической статистики Вальда ???? по (1) (в условиях справедливости гипотезы Н0) задаются приближенно соотношениями:

В статье при реализации последовательного принципа Вальда мы предлагаем рассматривать в качестве последовательных этапов исследования системы обработки данных алгоритмы построения подмоделей общей нейросетевой модели, которые организованны в иерархическую структуру (см. ниже Рис. 1). Другими словами, предлагается комплексная нейросетевая модель, построенная по принципу «матрешки»: подмодели вкладываются друг в друга (сверху-вниз на Рис. 1), что создает условия для многоступенчатой (иерархической) структуры метода оценки и управления адекватностью НСМ.

1. Постановка задачи

Пусть решается задача аппроксимации многомерных данных ?? в нейросетевом базисе:

, (3)

где ???(???) - восстановленное НСМ значение моделируемой случайной величины Y; ??? - вектор экзогенных переменных (факторов); ?? - номер наблюдения; ?? - число примеров (кортежей) в данных ??; ??(•) - оператор нейросетевого отображения:

F. (4)

Здесь ????, ??(1) - пространства вещественных чисел входа размерности ?? и выхода размерности 1; ?? - матрица синаптических весов нейросети [1].

Предполагаем, что читателю известен принцип работы MLP - нейросетей из [1], и сразу перейдем к описанию предлагаемого метода оценки и управления адекватности НСМ

(3), (4).

2. Формулировка концепции последовательного «вложения» как методологической основы предлагаемого метода

На основе общесистемных законов агрегирования и каскадного усиления [7] предложена концепция вложения подмоделей и соответствующих методов их построения по принципу «матрешки», суть которой состоит в том, что обобщенная нейросетевая модель сложной системы обработки данных синтезируется в виде древовидной иерархической структуры (Рис. 1) так, что выход моделей верхнего слоя по иерархии служит входом для модели следующего за ним (сверху-вниз) слоя. Основное эмерджентное свойство такой обобщенной математико-информационной системы - это создание каждой моделью предыдущего слоя по направлению преобразования информации предпосылок для обеспечения хорошего качества моделей последующих слоев таким образом, что на выходе обобщенной НСМ мы получаем приемлемый результат качества модели в очень сложных условиях моделирования.

Замечание. Поскольку модели слоев иерархической структуры взаимодействуют между собой, то в этой структуре имеет место агрегирование всех четырех типов, т.е. агрегаты - конфигураторы, агрегаты-операторы, агрегаты-структуры, агрегаты-статистики [8].

3. Описание алгоритма метода

Конкретизируем виды подмоделей по слоям т.е. в направлении преобразования информации (сверху-вниз на Рис. 1) и снабдим их краткими комментариями.

На Рис. 1 введены обозначения: {????} - совокупность систем показателей (??? ? оптимальная по критерию Ф = ?? • ?? система показателей факторов); ??? - номер отбракованных точек; - две близкие точки по выбранной норме ?•? в пространстве ???? входа модели, которым соответствуют два значения ????, ???? по норме |•| в пространстве ??1 выхода модели. ????,?? - критерий Липшица, ??0 - допустимый уровень константы Липшица, характеризующий растягивающие (либо сжимающие) свойства оператора объекта ??(???); ?? - ошибка обобщения нейросетевого отображения (3), (4); ?? - заданное малое число; ?? - показатель устойчивости нейросети [2]; {???(??????)} - множество (байесовский ансамбль) априорных гипотез - НСМ; ??- количество априорных гипотез; - количество «хороших» (адекватно объясненных) точек тестового множества в n-ой НСМ при ее фильтрации и общее число тестовых точек соответственно (количество точек одинаково для всех фильтруемых сетей ); - допустимый уровень качества объяснения НСМ данных; - критерии отбора системы экономических показателей (факторов).

Рис. 1. Структурная схема агрегирования подмоделей в комплексную НСМ

В слое 1 содержатся подмодели 1.1-1.5 предобработки данных. Применяемые в этом агрегате - конфигураторе языки описания:

язык нейросетевых отображений;

вероятностный язык байесовского подхода, т.е. язык субъективных

вероятностей [6];

язык математической статистики.

Подмодели слоя 1 повышают однородность и информативность данных и, следовательно, создают предпосылки для построения в нижестоящем по иерархии слое 2 НСМ хорошего качества. Достигаемый в слое 1 положительный эффект (эмерджентность) основан на основном признаке всех моделей этого слоя: предобработка данных производится не изолированно, а в объединенном пространстве размерности ?? Ч ?? входных и выходных сигналов нейросетей

(??? ? ????) ? (???? ? ????) (5)

где ? - логический знак объединения множеств, причем критерии предобработки данных в каждой подмодели слоя 1 подчинены критериям качества обобщения сетью данных для специально введенных вспомогательных нейросетевых субмоделей (НССМ); ????, ???? - пространства вещественных чисел размерностей ?? и ?? соответственно.

В слое 2 содержатся нейросетевые подмодели 2.2-2.3 байесовского ансамбля, которые служат для аппроксимации предобработанных данных. Здесь согласно основной парадигме регуляризации из [1, 9] происходит сужение множества искомых решений обратной задачи нахождения синаптических весов ?? нейросети. Применяемые в слое 2 агрегаты - это агрегаты-операторы в виде восстанавливаемых многомерных функций нейросетевых отображений вида (3), (4), и агрегаты-структуры в виде многослойных нейросетей. Достигаемый в слое 2 эмерджентный эффект - это регуляризация вспомогательных НССМ на байесовских ансамблях за счет механизмов их фильтрации по качеству аппроксимации данных и затем усреднения этого качества на НССМ, отфильтрованного ансамбля.

В подмоделях слоя 3 вычисляются выходные характеристики, необходимые для анализа моделируемого объекта или системы и поддержки разработки управленческих решений. Новизна этих моделей обусловлена новизной НСМ из слоя 2. Достигаемый эмерджентный эффект состоит в увеличении объективности достоверности разрабатываемых управленческих решений.

Замечание. Определяемые в слое 3 выходные (финишные) характеристики финансового объекта, помимо своей прикладной функции для принятия управленческих решений, нужны также в слое 4 как неотъемлемая часть алгоритма оценки адекватности всей НСМ.

Наконец, в подмоделях слоя 4 с использованием выходных характеристик моделируемого объекта производится оценка адекватности обобщенной (гибридной НСМ), получаемой по МВММ из [2]. Естественно, методы получения указанных оценок различны для различных прикладных задач. Общий положительный эффект (эмерджентность) для подмодели 4 обусловлен предложенным многоступенчатым методом контроля качества преобразования информации на всех ступеням (слоях) обобщенной НСМ. Другими словами оценка адекватности обобщенной НСМ носит интегральный (финишный) характер, т.е. она вбирает в себя положительные и отрицательные моменты всех предшествующих (сверху вниз на схеме Рис. 1) алгоритмов. Как правило, при этом происходит сглаживание исходных погрешностей данных, поскольку преобразование содержит в слоях 1,2 и 3 операторы усреднения, интегрирования, сокращения длины описания данных, регуляризации, которые уменьшают ошибки моделирования.

Дальнейшая детализация алгоритмов подмоделей уже выходит за границы объемы статьи, ее можно найти в [2] применительно к экономическим системам.

4. Результаты количественных оценок

Ниже приведены фрагменты количественных оценок эмерджентных эффектов, достигаемых в подмоделях слоев 1,2 и 3 многоступенчатого алгоритма оценки адекватности НСМ (Рис. 1). Полное описание результатов расчетов далеко выходят за рамки данной статьи.

Для слоя 1 в подмодели 1.1 производился выбор оптимальной системы экономических показателей (факторов) для построения комплексной НСМ диагностики банкротств. Базовой (стартовой) системой показателей служила публичная бухгалтерская отчетность для строительных организаций из [10]. В распоряжении авторов были данные о финансовом состоянии 136 российских строительных предприятий, причем 68 из них были банкротами , а 68 - стабильно работающие предприятия. На основе этой информации было сформировано 4 системы показателей (СП), которые используются в большинстве известных моделей диагностики банкротств: в пятифакторной модели Альтмана, моделях Недосекина, Зайцевой и Рахимкуловой и другими краткий обзор которых можно найти в [11]. Указанные модели отличаются количеством факторов {????}, в качестве которых используются относительные величины, характеризующие финансовое состояние предприятия.

Согласно (3) в задаче диагностики банкротств зависимая переменная ?? может принимать непрерывные возможные значения в интервале [0; 1]. Границы интервала соответствуют двум возможным состояниям изучаемых объектов: «банкрот» или «не банкрот». Моделируемая величина ???(???) выбиралась так, чтобы при заданных значениях факторов ????? = (????1, ????2, … , ??????), предприятие с номером ?? идентифицировалось по вероятности ?? по степени близости к банкротству:

. (6)

Значение аргумента ?? в обучающих примерах известны. Если в исходной базе данных ???? = 1, это означает, что ??(???? = 1)=1 при ?? ? 7. А если ???? = 0, то ??(???? = 0)=0 при ?? ? ?7.

В задачах диагностики банкротств возможны два вида ошибок. Если предприятие - банкрот было классифицировано как надежное, то это ошибка второго рода («пропуск цели по терминологии радиолокации), если наоборот, надежное предприятие было определено как банкрот, то это ошибка первого рода («ложная тревога»). В большинстве случаев, гораздо опаснее ошибки второго рода (например, лучше отказать в займе надежному заемщику, чем выдать кредит потенциальному банкроту). Для окончательной оценки качества нейросетевых моделей используется следующий показатель:

, (7)

где - количество верно идентифицированных предприятий для метагипотезы ????;

- количество ошибок 2-го рода; - количество ошибок 1-го рода, ??1, ??2, ??3 - удельный вес каждого показателя. Веса ??1, ??2, ??3 назначаются согласно правилу Фишберна [11]:

(8)

где ?? - количество ранжируемых параметров.

Для выбора наилучшей системы показателей по (7) была создана вспомогательная нейросеть типа многослойный персептрон с пятью скрытыми слоями нейронов, активационная функция в скрытых слоях - гиперболический тангенс. Каждая база данных была случайным образом разбита на обучающее и тестовое множества. В обучающее множество входило 100 предприятий, в тестовое -36. Перед обучением нейросети из данных были удалены аномальные наблюдения по следующему правилу: вектор-строка признается аномальной, если хотя бы один компонент вектора нарушает правило «трех сигм», т.е. не выполняет условие:

?????? ? [????? ? 3??????; ????? + 3?????? ]. (9)

Аномальные наблюдения не участвовали в обучении нейросети , но включались в тестовое множество для оценки качества обучения. Результаты тестирования всех СП приведены в таблице 1.

Таблицы 1 Результаты тестирования вспомогательной нейросети

Наилучший результат (наибольшее значение ?????? = 15,83) был достигнут для системы показателей Недосекина [11].

Таким образом, в алгоритме 1.1 на Рис. 1 достигнуто улучшение системы ключевых экономических показателей по критерию (7), характеризующего прогностическую силу логистической модели банкротства (6), где показатель экспоненты ??(???) вычисляется НСМ вида (3), (4), т.е. с учетом нелинейной зависимости функции ?? от векторного аргумента ???. При этом доля верно диагностированных предприятий увеличилась с 75% до 91,67%. Это и есть эмерджентное свойство подмодели 1.1. Свой вклад в улучшение комплексной НСМ внесли также подмодели 1.2, 1.3, 1.4 и 1.5.

Далее приведем фрагменты оценок для подмоделей слоя, назначением которых является регуляризация НСМ на байесовском ансамбле. Для выбранной системы показателей {?????}, был создан ансамбль из 10 гипотез-нейросетей типа MLP, отличающихся количеством скрытых слоев, видом активационных функций и количеством нейронов в скрытых слоях. Результаты тестирования нейросетей ансамбля приведены в таблице 2.

Таблица 2

Результаты тестирования ансамбля нейросетей

Фильтрация нейросетей проводилась по правилу: критерий качества обучения (7) должен быть не менее заданного значения, выраженного в процентах:

, % (10)

где - экспертно задаваемое значение. Был выбран уровень отбраковки .

Таким образом, процедуру фильтрации прошли только 5 из 10 сетей байесовского ансамбля: НСМ3, НСМ5, НСМ 7, НСМ8 и НСМ10.

После апостериорной фильтрации ансамбля восстанавливаемая многомерная зависимость осредняются (прямым или взвешенным способом) на отфильтрованном ансамбле нейросетей:

где - количество нейросетей на отфильтрованном ансамбле; - номер НСМ «одобренной» по итогам фильтрации; - последний временной срез наблюдений.

Как видно из таблицы 2, качество идентификаций «банкротов» и «небанкротов» у разных нейросетей отличается. Поэтому при составлении окончательной классификации предприятий в (11) были введены весовые коэффициенты , учитывающие качество каждой НСМ:

Доля верно распознанных предприятий составила 83,3% (30 из 36 предприятий тестового множества). Этот результат превосходит показатели каждой из нейросетей байесовского ансамбля в отдельности (кроме НСМ5).

Таким образом, изложенной байесовский алгоритм содержит три механизма регуляризации за счет последовательного сужения класса искомых решений :

априорного выбора гипотез-нейросетей {???}, ?? = ?1?,????? байесовского ансамбля из фиксированного класса нейросетей (мета-гипотез), например MLP или RBF - сетей [1];

апостериорной фильтрации после обучения гипотез-нейросетей по критерию качества аппроксимации согласно (10);

усреднения расчетных характеристик отфильтрованного ансамбля по (11), (12).

Количественные оценки по апробации байесовского алгоритма регуляризации на основе реальных данных предприятий строительной отрасли из [10] (Международная база данных «Bareua Van Diyk» подтвердили его идею.

Выводы

На основе последовательного принципа Вальда, а также общесистемных законов агрегирования и каскадного усиления полезного свойства системы разработан метод последовательно анализа и управления адекватностью нейросетевой модели диагностики и прогнозирования банкротств.

Вычислительные эксперименты на реальных данных строительных организаций подтвердили правильность основных сформулированных идей.

Предложенный метод тесно связан с проблемой регуляризации нейросетевых моделей для трудноформализируемых систем со сложными условиями моделирования (априорная непараметрическая неопределенность в данных, их нечеткость, неполнота), подробно рассмотренной в других работах авторов.

Направлением дальнейших исследований является разработка практической методики отбора факторов для нейросетевой модели, содержащей как количественные так и качественные показатели.

Литература

Хайкин С. Нейронные сети: полный курс: Монография / Пер. с англ., 2-е издание. - М.: Издательский дом «Вильямс» 2006. -1104 с.

Горбатков С.А., Полупанов Д.В., Макеева Е.Ю., Бирюков А.Н. Методологические основы разработки нейросетевых моделей экономических объектов в условиях неопределенности: Монография. - М.: Издательский дом «Экономическая газета», 2012. - 494 с.

Галушкин А.И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае: Монография / В двух томах. Том 2. - М.: Горячая линия - Телеком, 2004. - 464 с.

Айвазян С.А., Мхитарян В.С. Прикладная статистика и основы эконометрики: Учебник для вузов. - М.: ЮНИТИ, 1998. - 1022 с. 5. Вальд А. Последовательный анализ: Монография / Перевод с англ. - М.: Физматиз, 1960. - 320 с.

Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных: Справочное издание. - М.: Финансы и статистика, 1983. - 471 с.

Прангишвили И.И. Системный анализ и общесистемные закономерности: Монография. М.: СИНТЕГ, 2000. - 525 с.

Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ: Учебное пособие для вузов. - М.; Высшая школа, 1989. - 367 с.

Шумский А.С. Байесова регуляризация обучения // Лекции для школы семинара «Современные проблемы нейроинформатики» (23-25 января 2002 г.). - М.: МИФИ, 2002 (file//НейроОКИнтесофт.htm). - 33 с.

Горбатков С.А., Белолипцев И.И., Макеева Е.Ю. Выбор системы экономических для диагностики и прогнозирования банкротства на основе нейросетевого байесовского подхода // Известия Финансового университета при Правительстве РФ. 2013. - №4. - С. 50-61.

Недосекин А.О. Методологические основы моделирования финансовой деятельности с использованием нечетко-множественных описаний: диссертация доктора экономических наук: 05.13.10. - С. Петербург, - 2003. - 280 с.

Размещено на Allbest.ru