Оценка вероятности банкротства

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

Уход компании с рынка ввиду банкротства или поглощения это конечная точка в беспрерывном процессе изменения корпоративной структуры. Банкротства и ухудшение финансового состояния фирмы чаще всего ассоциируются со спадами в экономике или проблемами внутри компании. Банкротство одной крупной компании, в условиях процесса глобализации, может оказать влияние на функционирование других форм и даже государств. Также и ухудшение экономический или политической обстановки в стране может повлечь за собой череду банкротств частных компаний.

Предсказание банкротства компании всегда представляло повышенный интерес со стороны инвесторов, государства и частных корпораций. Инвестор, например, при поиске возможностей для вложений ориентируется как на финансовое состояние компании, так и на экономический климат в стране. Для частных корпораций важно понимать возможно ли долгосрочное сотрудничество с контрагентом.

Методы предсказания банкротства всегда интересовали исследователей. Чаще всего они фокусируются или на финансовых показателях компаний или на макроэкономических условиях. И те и другие находят подтверждения своим гипотезам. Однако вопрос о том, что оказывает наибольшее влияние на благосостояние компаний, внутренние характеристики или макроэкономические условия, остается открытым. И именно поэтому в данном исследовании произведена попытка определить какой уровень условий является определяющим для финансовой устойчивости компаний реального сектора.

Знание о том, что в наибольшей степени влияет на вероятность банкротства компаний реального сектора, будет полезным для правительства страны, особенно в кризисное время. В периоды экономического спада, государство стоит перед выбором, финансировать в общее улучшение макроэкономической ситуации или поддерживать отдельные, крупные или стратегические важные компании. Результаты данного исследования могут помочь определиться с выбором долей поддержки конкретных фирм и общих индикаторов состояния страны.

Основными авторами, работающими над данной темой являются Altman E.I., Tsai C.F., Gallegati M., Taksar M., Wilson N., Jones S. и другие. В рамках наукометрического анализа было обнаружено, что количество опубликованных статей на тему банкротств резко увеличивается с 2007 года. А к 2014 году увеличилось в три раза. Такой всплеск интереса, несомненно, связан с чередой экономических кризисов 2008-2015. Данная статистика так же подтверждает высокую степень актуальности данного вопроса среди научного сообщества.

Цель данного исследования - определить какая группа факторов макроэкономических или финансовых оказывает наибольшее влияние на вероятность банкротства компаний реального сектора.

Для достижения цели исследования перед автором стояли следующие задачи:

· анализ исследований в области моделирования вероятности ухудшения финансового состояния и банкротства компаний;

· сбор и обработка базы данных компаний и макроэкономических индикаторов стран;

· подбор релевантной модели для моделирования банкротства;

· произвести проверку результатов на устойчивость на другой выборке;

· проинтерпретировать полученные результаты.

В исследовании используется данные о финансовых показателях компаний реального сектора из пяти стран и информация о макроэкономических параметрах этих стран. Эти данные были получены из базы данных Bloomberg и с сайта Federal Reserve Bank of St. Louise. Предметом исследования является взаимосвязь внутренних и внешних для компании факторов и вероятности ее банкротства.

Научная значимость работы заключается в формировании механизма, позволяющего сравнивать группы факторов между собой по их значимости.

Практическая значимость данной работы вытекает из ее цели и заключается в том, чтобы получить ответы на следующие вопросы:

1. что влияет на вероятность ухудшения финансового состояния или банкротства компании?

2. какая группа факторов, внешних или внутренних, для компании оказывает наибольшее влияние на вероятность банкротства?

3. какие основные финансовые показатели фирмы могут служить индикаторам ухудшения состояния фирмы?

4. какие макроэкономические показатели могут предсказать увеличение банкротств в стране?

5. есть ли межстрановые и межотраслевые особенности в моделировании банкротства?

Ответы на данные вопросы будут полезны как внешним инвесторам или аналитикам, так и собственникам или топ-менеджменту копаний, а так же скоринговым агентствам и правительству государства.

Работа состоит из введения, четырех глав, разделенных на параграфы, заключения, библиографического списка и приложения.

Первая глава посвящена теоретическому обоснованию. В ней определены ключевые работы, соответствующие тематике данного исследования, описаны основные методы, использованные в статьях, и результаты. Также проведен наукометрический анализ исследований и определена область вопроса, требующая решения. Теоретическое обоснование включает в себя определение основных концепции и терминов, которые необходимо для решения вопроса.

Вторая глава представляет собой постановку исследовательской проблемы. В ней описан алгоритм исследования и обоснованы выдвинутые гипотезы и используемые методы.

Третья глава описывает методологию исследования и содержит подробное описание базы данных с разделение на две выборки.

Последняя глава содержит в себе описание результатов исследования, их интерпретацию и обсуждение.



1. Теоретическое обоснование

банкротство финансовый макроэкономический

Вопрос моделирования банкротства компаний имеет богатую историю. То, почему компании терпят убытки и уходят с рынка, всегда было актуальной исследовательской областью. Такой интерес вызван несколькими причинами.

Во-первых, с развитием фондового рынка инвесторам стало необходимо объективно оценивать публичные компании, как предмет вложений. Причем, если макроэкономическая статистика находится в открытом доступе, то внутренняя финансовая отчетность, не смотря на публичность компании, может оказаться недоступной или не полной.

Во-вторых, топ-менеджерам и внутренним аудиторам стало необходимо понимать в каком финансовом положении находится фирма, и особенно, что может повлиять на изменение это состояния.

В-третьих, компании при взаимодействии друг с другом хотят быть уверены в надежности и платежеспособности контрагента. Это значит, что необходимо определить с какой вероятностью компания сможет оплачивать товары и услуги для того, что предоставить адекватные условия контракта. В условиях договора необходимо учитывать возможный риск невыполнения обязательств, для оценки которого, необходима объективная система.

Работой, положившей начало исследованиям в области вероятности банкротства, является статья Эдварда Альтмана «Финансовые коэффициенты, дискриминантный анализ и прогнозирование банкротств» опубликованная в 1968 г. Выборка автора состояла из 66 компаний и их финансовых показателей за период 1946-1965. 50% этих фирм прекратили свою операционную деятельность за этот период.

В статье используется метод мультипликативного дискриминантного анализа (МДА), при помощи которого были определены ключевые факторы, влияющие на вероятность банкротства компаний. Среди значимых показателей были следующие:

а) оборотный капитала к сумме активов предприятия;

б) нераспределенная прибыль к сумме активов предприятия;

в) EBIT к общей стоимости активов компании;

г) рыночная стоимость собственного капитала к балансовой стоимости его обязательств;

д) рентабельность активов предприятия.

Модель, разработанная Альтманом была и остается очень популярной, и это неудивительно, учитывая, что ее точность для периода в один год составляла 96%. На данный момент во многих финансовых ресурсах используется та или иная разновидность моделей Альтмана.

Однако, как и у всех теоретических моделей, у нее есть свои ограничения. Например, в ней не учитывается уровень экономического развития страны, в которой действует компания. В расчет идут только внутренние финансовые показатели компании, которые не всегда бывают доступны внешнему наблюдателю. К тому же для вывода формулы использовалась достаточно ограниченная выборка.

Для непубличных компаний в 1983 г. Альтман разработал другой вариант формулы (Altman E.I. 1983), а 1977 г. совместно с Р.Г. Холдменом и П. Нараяном описал более точную ZETA-модель (Altman E. 1977), в которой использовал следующие показатели:

а) рентабельность активов;

б) стабильность прибыли;

в) EBIT к общей сумме платежей по процентам;

г) нераспределенная прибыль к активам;

д) коэффициент текущей ликвидности;

е) рыночная стоимость компании к балансовой;

ж) величина активов.

Данная модель позволяет прогнозировать банкротство фирмы за 5 лет до него с 70-процентной точностью. Исследования показали, что данная модель точнее предсказывает банкротство компании, чем Z-модель. Однако, макроэкономические условия, в которых функционирует фирма, все еще не учитываются в модели.

Джеймс Олсон продолжил исследование вопроса о предсказании банкротства компаний (Ohlson 1980). Вместо МДА анализа, он использовал метод логистической регрессии. К тому же Олсон располагал более широкой выборкой из более двух тысяч компаний, тем самым повышая точность вычислений. Значимая взаимосвязь была обнаружена со следующими финансовыми показателями:

а) натуральный логарифм отношения совокупных активов к дефлятору ВНП;

б) сумма обязательств к сумме активов;

в) оборотный капитал к сумме активов;

г) текущие обязательства к текущим активам;

д) чистая прибыль к сумме активов;

е) выручка к сумме обязательств;

ж) дамми-переменная прибыли или убытка за последние два года

Доступность финансовых данных публичных компаний предоставляет широкие возможности для эконометрических исследований.

Работы двух перечисленных исследователей являются базовыми в теме банкротства компаний. Далее кратко опишем историю последующих исследований.

Большая часть работ на данную тему рассмотрена в обзорах Siegfried and Evans (1994) и Caves (1998). Наиболее распространенными являются теоретические модели, использующие индивидуальные финансовые параметры фирмы, то, сколько лет компания существует и ее размер.

В литературе, повещенной кредитному скорингу, в основном используются модели бинарного отклика с такими факторами как финансовый рычаг, денежные потоки, доходность, возраст компании, размер и отрасль (Taffler 1982; Cuthbertson and Hudson 1996; Lennox 1999). Такие модели составляли базис для вероятностного прогнозирования банкротства компаний. Они используют в качестве зависимой переменной бинарное значение для действующей компании и обанкротившейся.

В некоторых исследованиях была отмечена высокая корреляция между количеством новых компаний отрасли и количеством покинувших. Однако сила данной взаимосвязи различается для разных отраслей, а также зависит от бизнес цикла.

Макроэкономические эконометрические исследования относительно конъюнктурного влияния рынка на финансовые результаты компаний в Великобритании подтверждают наличие взаимосвязи между макроэкономическими изменениями и агрегированным уровнем банкротства (Hudson 1986; Department of Trade and Industry 1989; Robson 1996). Так, количество банкротств резко возрастает в периоды спада в экономике страны, однако, это так же сильно зависит от размера компании и отрасли. Экономический цикл, описывающийся в основном ставкой процента, уровнем безработицы и уровнем розничной торговли, влияет на доходность компаний реального сектора и, как следствие, на вероятность банкротства (Geroski and Machin 1993; Machin and Van Reenen 1993).

Включение других макроэкономических показателей давало противоположные результаты на разных выборках.

Не смотря на то что банкротства и слияния составляют большую часть литературы по данной тематике, существует относительно мало исследований данных процессов в рамках единой структуры.

Peel and Wilson (1989) утверждают, что поглощение фирмы с ухудшающимся финансовым положением необходимо моделировать как альтернативу корпоративной несостоятельности. Schary (1991) разработал теоретическую основу для рассмотрения поглощения и банкротства как альтернативных форм ухода с рынка. В статье подчеркивается, что не смотря на схожесть, эти явления имеют разные причины возникновения. Компания на грани банкротства может избежать его слившись другой фирмой, однако у поглощения могут быть и другие мотивы кроме угрозы ухода с рынка.

Sung, Chang и Lee (1999) утверждают, что предсказательная сила моделей, оцененных на данных «хороших времен», падает с 80% до 60% при использовании данных за кризисные годы.

За время исследования данной темы, методы прогнозирования получили значительное развитие, однако, большая часть авторов использует такие простые методы как дискриминантный анализ, бинарные логит и пробит регрессии или мультиномиальные логит модели (Altman 1968, Ohlson 1980, Shumway 2001 и др.). Относительные достоинства данных моделей были доказаны во многих работах (Efron 1975, McFadden 1976, Ohlson 1980, Jones 1987). И поэтому в основном дискуссии ведутся относительно независимых переменных в данных моделях. Соответственно одним из главных ограничений данных исследований является игнорирование развития моделей дискретного выбора. Современные модели позволяют ослабить некоторые предпосылки, ограничивающие мощность предшествующих.

Исследовательский вопрос в статье Delli Gatti (2001) схож с целью нашего исследования. В статье разработана теоретическая модель банкротства основанная на макроэкономическом окружении и финансовых показателях компании.

В работе Jones and Hensher (2004) используется та же модель, что и в нашем исследовании - микст логит. Авторы используют в качестве предикторов финансовые показатели фирм и параметры отраслей. Зависимая переменная принимает три категориальных значения: компании со стабильным финансовым положением, с ухудшимся положением и банкроты.

Еще одна работа - Bhattacharjee and Higson (2009) представляет доказательство высокой корреляции между макроэкономической стабильностью и количеством банкротств. Авторы используют простую модель риска (hazard model). В 2014 году вышла еще одна статья Bhattacharjee в соавторстве с Han, учитывающая помимо макро и микро показателей наличие субсидий государства. Так же в данной работе был разработан собственный индикатор депрессии в экономике и произведена попытка борьбы с эндогенностью в модели риска.

Так же в 1998 году Dichev затронул проблему эндогенности в данной теме. В его статье выдвинуто предположение, что именно вероятность банкротства вызывает ухудшение финансовых показателей, а не наоборот. Однако, весь анализ сводится к расчету корреляции расчетного риска дефолта и финансовых состояния.

Изучив существующую литературу, можно выделить 4 метода, используемых при поиске данных для моделировании вероятности банкротства: дискриминантный анализ, дерево решений, нейронные сети, генетические алгоритмы. Их достоинства и недостатки представлены в таблице №1.

Таблица 1. Достоинства и недостатки существующих методов

Техника	Достоинства	Недостатки
Дискриминантный анализ	1. возможность использования нескольких относительных финансовых показателей одновременно; 2. возможность многофакторного анализа; 3. простота расчетов и использования	1. предпосылки нормальности и независимости; 2. уменьшение размерности; 3. сложность интерпретации; 4. сложности с использованием временных рядов
Дерево решений	1. позволяет сформулировать понятные правила; 2. простота расчетов; 3. возможность использования непрерывных и дискретных переменных;	1. дороговизна вычисления; 2. проблемы с непрямоугольными областями; 3. ошибочность вычислений при большом количестве категорий
Нейронные сети	1. показывает хорошие результаты в проблемных сферах; 2. возможность использования непрерывных и дискретных переменных; 3. доступна в большинстве статистических пакетах	1. предполагает на выходе значения от 0 до 1; 2. сложность интерпретации результатов; 3. может давать угловые решения
Генетические алгоритмы	1. результаты легко интерпретировать и применять; 2. возможность использовать различные типы данных; 3. применимость для целей оптимизации; 4. хорошо интегрируются в нейронные сети.	1. сложно запрограммировать; 2. оптимальность не гарантирована; 3. дороговизна вычисления; 4. доступна в малом количестве статистических пакетов.

Российские исследователи тоже внесли свой вклад развитие данной темы.

В.А. Журов оценивал модель на выборке из 420 публичных японских компаний (Журов 2007). Переменные были разделены на следующие восемь групп:

а) коэффициенты эффективности капитала;

б) коэффициенты эффективности деятельности компании;

в) коэффициенты эффективности активов;

г) коэффициенты производительности;

д) коэффициенты ликвидности;

е) коэффициенты устойчивости;

ж) коэффициенты денежного потока;

з) прочие финансовые показатели в расчете на одну акцию.

В.Ю. Жданов и О.А. Афанасьева в своей работе «Модель диагностики риска банкротства предприятий авиационно-промышленного комплекса» (Афанасьева О.А. 2011) анализировали показатели, описывающие вероятность банкротства для авиационных предприятий. Логистическая регрессия включала в себя следующие факторы:

а) рентабельность оборотных активов;

б) коэффициент самофинансирования;

в) отношение мобильных и иммобилизованных активов;

г) коэффициент оборачиваемости активов;

д) коэффициент текущей ликвидности.

Полученная модель может быть использована для прогнозирования банкротства за год него.

В 2011 году также появилось исследование Алексеевой Ю.А. и Богдановой Т.К. «Прогнозирование вероятности банкротства предприятий с учетом изменения финансовых показателей в динамике».

Авторы исследовали вероятность банкротства с учетом динамической составляющей финансовых показателей. Для прогнозирования банкротства ими использовались следующие параметры компаний:

а) оборачиваемость активов предприятия;

б) рентабельность активов;

в) обязательства к активам предприятия;

г) долгосрочные обязательства к активам предприятия;

д) выручка предприятия;

Выборка состояла из 1300 компаний за период 2000-2009 года. Из них более 170 обанкротились.

Проанализировав существующие работы, можно определить факторы, которые были значимы в большинстве работ. Поскольку подбор подходящих показателей не является задачей данного исследования, мы будем использовать факторы, подтвердившие свою значимость в большинстве рассмотренных работ.

Наукометрический анализ литературы представляет собой аналитику по статистике публикаций статей по выбранной тематике. Данный анализ был проведен с помощью базы данных научного цитирования Scopus.

Не трудно заметить, что количество опубликованных статей на тему банкротств резко увеличивается с 2007 года. А к 2014 году возросло в три раза. Такой всплеск интереса, несомненно, связан с чередой экономических кризисов 2008-2015.

Мировое сообщество после кризисных времен старается найти сигналы, с помощью которых можно определить приближение экономической катастрофы. Наличие такой информации оставляет возможность предотвратить или смягчить влияние экономического спада на финансовое состояние компании и избежать ее банкротства.

Взаимосвязь кризисных времен и количества обанкротившихся компаний отражает макроэкономическую составляющую факторов ухудшения финансовых показателей. В данном исследовании к макроэкономическим причинам подключаются также и внутренние факторы.

Далее рассмотрим распределение научной активности по странам. Абсолютным лидером по количеству публикаций среди стран является США, имеющие на счету около 400 опубликованных статей. Второе и третье место занимают Великобритания и Китай - 97 и 87 публикаций соответственно.

Для сравнения на рисунке 2 представлена Россия, количество публикаций которой равняется 8. Российскими авторами в данной тематике являются Baryshnikov, N.G., Dovzhenko, S.E., Fedorova, E.A., Gilenko, E.V., Gurova, Y.P., Philosophov, L.V. и другие.

Примечательно, что две из восьми публикаций подготовлены пермскими коллегами из НИУ «Пермский государственный университет». Однако данные работы не используют эконометрические методы. Одна из них посвящена изучению особенностей статуса работников обанкротившейся компании в российском законодательстве, а другая стабильности банковской региональной системы в период кризиса.

Большое количество публикаций по данной теме таких известных учебных заведений подтверждает интерес и актуальность темы прогнозирования банкротства компаний реального сектора.

Работы по тематике исследования были сгруппированы в матрицу, в которой по строкам обозначен уровень используемых показателей, а по столбцам - тип эконометрической модели исследования.



Таблица 2. Матрица исследований

	Multiple discriminant analysis	Binary logit or probit	Multiple outcome logit models
Firm level	Altman 1968, Ohlson 1980, Zwmijewski 1984, Collins 1980	Taffler 1982; Cuthbertson and Hudson 1996; Lennox 1999; Shumway 2001; Bao, Tao and Fu 2014; Li and Wang 2014	Sung, Chang, Li 1999;
Industry level	Edward I. Altman 1971	Hudson 1986; Department of Trade and Industry 1989; Robson 1996	Hackbarth, Miao, Morellec, 2006
Macro level	Fama, 1986	Geroski and Machin 1993; Machin and Van Reenen 1993; Young 1995; Caves 1998	Koopman, Lucas, 2005; Carling, Jacobson, Linde, and Roszbach 2007 (Carling 2007) (Вербик 2008) (Long and Freese 2001)
From macro to firm levels		Delli Gatti et al. 2001; Bhattacharjee and Han 2014	Jones and Hensher 2004; Bhattacharjee and Higson 2009;

Не сложно заметить, что наиболее старые работы расположены в верхнем левом углу, а более новые в нижнем правом. Таким образом можно сделать вывод, что образующий вектор в исследованиях по данной тематики состоит в том, чтобы использовать более современные методы эконометрического анализа, а не ограничиваться только бинарными моделями. А так же использовать данные как на макро уровне, так и на уровне компаний. Исследование в рамках данной работы можно расположить в правом нижнем углу данной матрицы, что подтверждает его актуальность и научную новизну.

Наукометрический анализ позволяет определить пробелы в исследовательском опыте мирового сообщества. Кроме того, с помощью данного анализа, можно оценить актуальность данной темы. Например, распределение количества статей по году их публикации позволяет увидеть пики интереса к выбранной тематике.

Представление работ в виде матрицы по используемым методам и типам данных помогает определить вектор современных исследований, а также определиться с методологией



2. Постановка исследовательской проблемы

Исследовательский вопрос настоящей работы имеет существенную научную и практическую значимость. У данного исследования нет цели подобрать наилучший набор параметров модели, для прогнозирования банкротства. Исследований на тему оптимальных факторов существует огромное множество. Поэтому факторный состав модели не представляет собой исследовательский интерес.

Целью данного исследования является определить какая группа факторов макроэкономических или финансовых оказывает наибольшее влияние на вероятность банкротства компаний реального сектора. Ответ на данный вопрос будет полезен как внешним инвесторам или аналитикам, так и собственникам или топ-менеджменту копаний, а так же скоринговым агентствам и правительству государства.

Исследование производилось на основе данных о трех тысячах компаний из пяти стран. Финансовые показатели компаний в период с 2000 по 2013 год были получены из базы данных Bloomberg. Информация о макроэкономических индикаторах была собрана с сайта Federal Reserve Bank of St. Louise.

На основе полученных данных было проведено эконометрическое исследование, включающее в себя несколько этапов.

2.1 Постановка гипотез

На первоначальном этапе были выдвинуты следующие гипотезы.

Гипотеза 1. Комплекс внутренних параметров фирмы оказывает значимое влияние на вероятность банкротства компании.

И действительно, множество исследований подтверждают наличие статистической значимости финансовых показателей компании и вероятности ухудшения ее состояния. В нашем исследовании были использованы такие финансовые показатели как: рентабельность активов (ROA), рентабельность собственного капитала (ROE), финансовый рычаг (D/E), рыночная капитализация (MCAP), выручка (SALES), операционная прибыль (EBIT), средневзвешенная стоимость капитала (WACC).

Очевидно, что не задолго до объявления компании банкротом, финансовые показатели ее деятельности начинают ухудшаться. В настоящий момент основные дебаты в исследованиях на ведутся относительно того, какие из основных финансовых показателей можно считать универсальными индикаторами скорого банкротства фирмы.

В нашем исследовании не стоит такой задачи, и поэтому, пользуясь результатами предыдущих исследований (Bhattacharjee and Higson, 2009), (Jones and Hensher, 2004), (Bhattacharjee and Han 2014) и других, мы отобрали наиболее значимые финансовые показатели в качестве предикторов.

Среди внутренних факторов в данном исследовании предложено так же протестировать значимость количества персонала (NUMEMP). Есть предположение, что в период финансовой нестабильности предприятие руководствуется принципом сокращения издержек и наиболее очевидным и недорогим способом является сокращение персонала. Именно поэтому, в данном исследовании предлагается учитывать данный фактор среди прочих «внутренних» показателей финансового состояния компании.

Гипотеза 2. Макроэкономические факторы оказывают значимое влияние на вероятность банкротства компании.

Компании реального сектора представляют собой элемент одной системы, функционирующей в условиях внешней среды, которой является государство. Именно поэтому изменения в благосостоянии страны оказывают влияние на деятельность ее фирм. В данную взаимосвязь входит широкий спектр отношений между реальным сектором и государством, например, возможности финансирования через ключевую ставку, объемы налоговых отчислений, программы субсидирования, импортозамещение или экспортная экспансия и другие.

В данном исследовании предлагается использовать следующие макроэкономические показатели: индекс потребительских цен (CPI), объем ВВП (GDP), уровень безработицы (UNEMP), отношение экспорта к импорту (EXIM), курс национальной валюты (CUR), процентная ставка (IR), объем производства (TPROD).

Все макроэкономические показатели нормированы к 2010 году, для того, чтобы учесть динамику показателей, а не их абсолютное значение. К тому же данный вид значений позволяет сравнивать страны между собой, так как все данные представлены в одном виде.

Гипотеза 3. Финансовые показатели фирмы оказывают большее влияние на вероятность банкротства компании, чем макроэкономические условия.

Данная гипотеза объясняется тем, что в современном мире компаниям доступные ресурсы мирового рынка. Будь то финансирование, сырье или рабочая сила, крупные фирмы имеют возможность, а иногда и необходимость, привлекать данные ресурсы из других стран. Именно поэтому, мы считаем, что даже в кризисные для страны времена, устойчивость компании в большей степени зависит от ее внутренней стабильности.

Кроме того, большинство исследований декларируют высокую точность моделей, содержащих только индивидуальные параметры компаний.

Гипотеза 4. В моделировании вероятности банкротства компании существует межстрановая и межотраслевая специфика.

Отраслевая и страновая принадлежность компании оказывает значительное влияние на принципы ее деятельности. „B отраслях, существуют свои экономические циклы, спады и подъемы, которые, несомненно, отражаются на всех игроках в данном сегменте. Так же и в развити„y стран существуют определенные экономические циклы, которые воздействуют на все компании данной страны. „Iменно поэтому, результаты для разных отраслей и стран могут отличаться, иными словами вероятность банкротства зависит от отрасли и страны операционной деятельности компании.

Таким образом, в исследовании были выдвинуты четыре гипотезы:

1. комплекс внутренних параметров фирмы оказывает значимое влияние на вероятность банкротства компании;

2. макроэкономические факторы оказывают значимое влияние на вероятность банкротства компании;

3. финансовые показатели фирмы оказывают большее влияние на вероятность банкротства компании, чем макроэкономические условия;

4. в моделировании вероятности банкротства компании существует межстрановая и межотраслевая специфика.

Достоверность выдвинутых гипотез предполагалось проверить эконометрическим методом, то есть построением логистических моделей с множественным откликом.

2.2 Оценка моделей и интерпретация результатов

В нашем случае, число возможных исходов для компании больше двух: компания действует, наблюдается ухудшение финансовых показателей, компания обонкротилась. Именно поэтому предлагается использовать модели с множественным откликом, которые описывают вероятность каждого из возможных исходов в виде функции альтернативно специфицированных характеристик.

Предсказанные вероятности должны быть описаны ограниченным числом неизвестных параметров и логически согласующимся образом. То есть, вероятности должны принадлежать промежутку от 0 до 1 и в сумме давать единицу.

Важное различие существует между моделями с упорядоченным множественным откликом и неупорядоченным. Первые могут применяться только если существует логическое упорядочивание исходов. Предполагается, что существует одна латентная переменная, которая приводит к выбору между альтернативами. Это означает, что результаты будут чувствительны к упорядочиванию исходов, так что оно должно иметь смысл.

В нашем случае, возможные исходы имеют логический порядок: от действующего предприятия до банкротства. Поэтому предлагается использовать модели множественного упорядоченного отклика. „K тому же, большинство современных работ по данной теме так же используют модели с множественным упорядоченным откликом или мультиномиальные модели (Hackbarth, Miao, Morellec, 2006), (Koopman, Lucas, 2005), (Carling, Jacobson, Linde, and Roszbach, 2007) и др.

Предсказанные вероятности должны быть описаны ограниченным числом неизвестных параметров и логически согласующимся образом. То есть, вероятности должны принадлежать промежутку от 0 до 1 и в сумме давать единицу.

У моделей данного класса существуют расширение для панельных данных в виде моделей с фиксированными и случайными эффектами. В модели с фиксированными эффектами предполагается, что у наблюдений существует постоянные индивидуальные характеристики, которые не зависят от времени. В модели со случайными эффектами предполагается, что данные эффекты являются случайными одинаково и независимо распределенными величинами. Оценки данной регрессии являются состоятельными в любом случае, что нельзя сказать о модели с фиксированными эффектами. Методом оценивая данного класса моделей является метод максимального правдоподобия

Полученные результаты предполагается представить в виде отношения шансов, так как такое представление дает возможность интерпретации в сравнительном ключе, относительно базового исхода.

Отношение шансов - это особый вид представления коэффициентов регрессии упорядоченного логита. Остановимся подробно на интерпетации коэффициентов в данной форме.

Для бинарной зависимой переменной мы интерпретируем шанс как отношение позитивного исхода к негативному.

Кратко обобщим содержание второй главы. Исследование имеет несколько этапов. Первый этап состоит в том, чтобы получить и подготовить исходные данные. Данная работа была выделена в отдельный этап так как включала в себя поиск информации в ручном режиме а так же нетривиальные задачи по изменению структуры базы данных.

На втором этапе были выдвинуты четыре гипотезы о степени влияния тех или иных групп факторов на вероятность банкротства компании. Третий шаг состоит в оценивании трех эконометрических моделей и выборе наилучшей по таким статистическим критериям как «качество подгонки» и информационным критериям Акаике и Шварца. Последним этапом является интерпретация полученных результатов и проверка выполнения выдвинутых гипотез.



3. Методология исследования

Как уже было сказано в предыдущих частях работы, исследование включает в себя предварительный анализ данных и оценку трех эконометрических моделей. В данной части подробно описаны методология исследования и представлены результаты анализа массива данных.

3.1 Типы моделей

Выбранные модели относятся к классу моделей дискретного выбора с множественным откликом. Такие модели подразумевают наличие более двух исходов. В данном случае это множество представляет собой три статуса компании. Модели с множественным откликом созданы для описания вероятности каждого из возможных исходов в виде функции от интересующих исследователя параметров. Основная цель состоит в том, чтобы описать эти вероятности ограниченным числом неизвестных параметров.

Логистическая модель относятся к моделям множественного упорядоченного отклика. В контексте данной работы принцип, по которому можно было бы логически упорядочить три состояния компании, очевиден.

Отправным пунктом для такого типа моделей является случайная структура функции объясняющих переменных G(.) и аддитивного остатка, «вбирающего» в себя все ошибки спецификации.

(1)

Поскольку функция G(.) в формуле (1) должна принимать значения от в интервале [0; 1], то она имеет вид какого-либо распределения. Наиболее общим вариантом выбора вида распределения является либо стандартное нормальное распределение, либо стандартное логистическое. Первое приводит к пробит-модели, а второе в логит-модели.

Как нормальное так и логистическое распределения имеют нулевое математическое ожидание и, благодаря упрощению расчетов, привлекают исследователей.

Данные распределения различны в масштабе и становятся очень похожи при нормировке, поэтому в эмпирической работе они приводят к одинаковым результатам.

Логистическое распределение выглядит следующим образом:

(2)

Такой вид упрощает расчеты и интерпретацию полученных коэффициентов, поэтому в работе используется именно стандартное логистические распределение, а значит и логит-модель.

(3)

Для того чтобы оценить вероятность необходимо сделать предположение относительно ее случайной компоненты. Для расчетов удобно предположить, что все взаимно независимы и подчиняются логарифмическому распределению экстремальных значений типа I (так же известное как распределение Гумбеля). В этом случае функция распределения каждого имеет вид

(4)



и не включает неизвестные параметры (Вербик 2008).

Поскольку оценивание производится на панельных данных, существует несколько расширений для классической логистической регрессии: модель с фиксированными эффектами, со случайными эффектами и пулд.

Модель с фиксированными эффектами предполагает наличие постоянных свободных членов модели, которые не зависят от времени и описывают индивидуальные эффекты. Например, одна из компаний может систематически иметь меньшую вероятность банкротства чем любая другая, с теми же финансовыми характеристиками.

Данный вид модели как раз позволяет оценить данные индивидуальные эффекты и исключить их влияние на итоговый результат.

Модель со случайными эффектами предполагает, что факторы, независящие от времени, являются частью остатков модели. Таким образом, остаточный член регрессии состоит из двух компонент: индивидуально специфической компоненты, независимой от времени, и компоненты остатка, некоррелированной во времени. Это означает, что индивидуальные эффекты в модели больше не носят фиксированный характер, а подчиняются нормальному распределению.

Предполагается, что и взаимно независимы и не коррелируют с факторами модели. Это означает, что полученные оценки будут несмещенными и состоятельными (Long and Freese 2001).

Модель со случайными эффектами позволяет в явном виде оценить переменные независимые от времени, в отличии от модели с фиксированными эффектами.

Третий тип модели - обобщенная регрессия - предполагает, что все факторы экзогенные и ошибка не является составной компонентой. Оценки такой модели являются состоятельными только в случае, когда все объясняющие переменные являются экзогенными и не коррелируют с ошибками.

3.2 Анализ данных

Данные о финансовых показателях компаний были взяты из базы данных Bloomberg и изначально включали в себя информацию по 3000 компаниям из пяти стран за период с 2000 по 2013 год с годовой выручкой более 500 млн. долларов. После исключения компаний с некорректными или с отсутствующими данными выборка сократилась до 2439 наблюдений. Полученная база была дополнена макроэкономическими показателями, собранными вручную с сайта Federal Reserve Bank of St. Louise. Проведем первичный анализ данных.

Для рассмотрения были выбраны 5 стран: одна азиатская (Япония), одна европейская (Германия), из Северной Америки (США) из Южной Америки (Бразилия) и Россия. Соотношение действующих обанкротившихся компаний представлено в таблице 3.

Таблица 3. Соотношение выборки по статусам

Страна	Действующие	Ухудшение финансового состояния	Банкротство	Общий итог
Бразилия	61	18	7	86
Германия	138	20	5	163
Япония	598	86	14	698
Россия	62	8	6	76
США	819	471	126	1416
Общий итог	1678	603	158	2439

Как можно видеть в таблице наибольшую часть выборки составляют американские компании. В процентном соотношении структура действующих и обанкротившихся компаний примерно одинаковая между странами.

Распределение компаний по отраслям и соотношение в них банкротов и ухудшивших финансовое состояние компаний. В выборке большее всего представлены такие отрасли как промышленное машиностроение, услуги поддержки, медицинское оборудование и услуги, производство продуктов питания, автомобилестроение и запчасти, производство электронного оборудования.

Для верификации результатов первоначальная выборка была случайным образом разделена на две: первая для оценки модели, вторая для проверки результатов на устойчивость. Данный прием достаточно распространен в практике прикладных исследований. Он позволяет определить устойчивость полученных результатов. Иными словами, разделение выборки и сравнение результатов является дополнительной возможностью удостовериться в точности сделанных выводов.

В данном методе очень важно разделить выборку случайным образом. Если в разделении будет присутствовать определенная закономерность это внесет смещенность в полученные результаты. Разделение выборки в данном исследовании производилось при помощи процедуры случайного определения наблюдения к первой или второй подвыборкам. Данные распределились следующим образом.

Таблица 4. Разделение выборки

	1 выборка	2 выборка
По странам
Бразилия	42	44
Германия	66	97
Япония	350	348
Россия	44	32
США	737	679
По статусу
Действующие	834	844
Ухудшение состояния	327	276
Банкротство	78	80



Полученные выборки однородны по соотношению действующих, ухудшивших состояние и банкротов и по репрезентативности стран, так как выбор компании производился случайным образом.

Опишем переменные, используемые при оценке модели. В таблице 5 представлены описательные статистики зависимой переменной Bankrupt и переменных отвечающих за номер компании (Num) и год наблюдения (Year).

Зависимая переменная принимает дискретные значения от 0 до 2, где 0 - действующие компании, 1 - компании, чье финансовое состояние ухудшилось, 2 - компании банкроты.

Таблица 5. Описательные статистики зависимой переменной

Переменная		Ср. значение	Станд. отклонение	Мин.	Макс.
NUM (номер компании)	overall	1220,5	704,38	1	2440
	between		704,51	1	2440
	within		0	1220,5	1220,5
Year (год)	overall	2006,5	4,03	2000	2013
	between		0	2006,5	2006,5
	within		4,03	2000	20013
Bankrupt (зависимая переменная)	overall	0,2299	0,51	0	2
	between		0,43	0	2
	within		0,27	-1,63	2,087

В таблице можно заметить, что зависимая переменная имеет как межвременную вариацию так и межгрупповую. Однако вариация между наблюдениями в два раза выше, что объясняется индивидуальными предпосылками к ухудшению финансового благосостояния.

Рассмотрим описательные статистики объясняющих переменных.

Как уже было сказано ранее, подбор значимых параметров для описания вероятности банкротства не является первостепенной задачей данного исследования. Выбор факторов основывается на анализе результатов предыдущих исследований. Цель данной работы является интерпретация в групп факторов сравнительном ключе. Среди факторов модели используются: рентабельность активов (ROA), рентабельность собственного капитала (ROE), финансовый рычаг (D/E), рыночная капитализация (MCAP), выручка (SALES), операционная прибыль (EBIT), средневзвешенная стоимость капитала (WACC) и количества персонала (NUMEMP).

Таблица 6. Описательные статистики факторов модели

Переменная		Средн. знач.	Станд. отклонение	Мин.	Макс.
MCAP	overall	5 560,14	30 046,51	0	2183100
	between		21 145,77	0,0047	493490,7
	within		20 781,34	-482 188,4	1695169
WACC	overall	8,16	8,58	-124,39	982,84
	between		4,37	-86,88	151,20
	within		7,51	-139,09	839,79
DtoE	overall	2 924 903	0,00	0,00	0,00
	between		0,00	0,00	0,00
	within		0,00	0,00	0,00
ROA	overall	2,95	13,09	-450,18	751,26
	between		9,13	-165,68	65,81
	within		9,37	-354,62	735,99
EBIT	overall	453,34	1 911,36	-21284	66290
	between		1 673,33	-9582,143	40089,07
	within		866,72	-24665,73	30892,78
ROE	overall	6,99	42,95	-1084,08	1262,11
	between		34,38	-737,45	546,47
	within		26,17	-846,81	770,61
SALES	overall	5 254,94	16 164,62	0	433526
	between		15 125,39	31,79	311140,9
	within		4 846,94	-126977	127640
NUMEMP	overall	15 017,99	37 160,31	1	572800
	between		35 915,74	42,8	412235,7
	within		7 924,29	-201982	275039,4

Помимо индивидуальных финансовых показателей используются следующие макроэкономические характеристики: индекс потребительских цен (CPI), объем ВВП (GDP), уровень безработицы (UNEMP), отношение экспорта к импорту (EXIM), курс национальной валюты (CUR), процентная ставка (IR), объем производства (TPROD). Все показатели нормированы к 2010 году для того, чтобы можно было использовать их относительную динамику.



4. Описание результатов

Первоначально была оценена так называемая пулд-регрессия, не учитывающая индивидуальные эффекты. Оценки модели представлены в таблице 7 в формате отношения шансов.

Таблица 7. Оценки пулд-регрессии

Переменная	Коэффициент (Odds ratio)	P-value	Стандартное отклонение
CPI	0,90	0,57	0,006
GDP	0,3	0,00	0,2395
UNEMP	1,07	0,00	0,018
EXtoIM	1,01	0,00	0,002
CUR	0,996	0,005	0,002
TPROD	0,993	0,024	0,003
IR	0,995	0,725	0,015
MCAP	0,999	0,692	0,00
WACC	0,95	0,00	0,01
DtoE	1,00	0,00	0,00
ROA	0,98	0,00	0,01
EBIT	0,999	0,003	0,00
ROE	1,000	0,86	0,00
SALES	0,999	0,00	0,00
NUMEMP	0,999	0,55	0,00
Const	0,000	0,00	0,00

Отношение шансов - это особый вид представления коэффициентов регрессии упорядоченного логита. Остановимся подробно на интерпетации коэффициентов в данной форме.

Для бинарной зависимой переменной мы интерпретируем шанс как отношение позитивного исхода к негативному.

(6)

Однако логит модели и их коэффициенты линейны по логарифму. Поэтому обычная интерпретация будет не информативна и звучать как при увеличении фактора на одну единицу, следует изменение логарифма вероятности на бета.

В статистическом пакете Stata существует специальная команда, с помощью которой можно преобразовать коэффициенты в удобную для интерпретации форму - отношение шансов (odds ratio).

OR = exp (_i) (7)

Таким образом, интерпретация производится следующим образом: если = exp (_i)>1, то шанс на exp (_i) выше. Если значение меньше одного, то шанс на exp (_i) ниже.

В данном исследовании все коэффициенты представлены в виде отношения шансов.

Таблица 8. Оценка влияния параметров для пулд-регессии

Переменная	Направление взаимосвязи	Значимость переменной
CPI	-	Незначима
GDP	Отрицательная	Значима
UNEMP	Положительная	Значима
EXtoIM	Положительная	Значима
CUR	Отрицательная	Значима
TPROD	Отрицательная	Значима
IR	-	Незначима
MCAP	-	Незначима
WACC	Отрицательная	Значима
DtoE	Положительная	Значима
ROA	Отрицательная	Значима
EBIT	Отрицательная	Значима
ROE	-	Незначима
SALES	Отрицательная	Значима
NUMEMP	-	Незначима



Вернемся к оценкам модели. Процент правильно предсказанных значений составляет 83,53%, что подтверждает корректность модели. Большинство выбранных факторов модели являются значимыми, что подтверждает результаты предыдущих исследований. Поскольку подбор параметров не является приоритетной задачей работы, мы не будет подробно на них останавливаться.

Как мы видим из описательных статистик, показатель межгрупповой вариации выше чем внутригрупповой, что подтверждает наличие индивидуальных эффектов. Поэтому были оценены модель с фиксированными эффектами (FE) и случайными (RE). Сравнение полученных коэффициентов представлено в приложении 1.

Проведенные тесты показывают статистическое различие между оценками модели со случайными эффектами и с фиксированными. Наиболее статистически состоятельной является модель с фиксированными эффектами, поэтому именно ее мы будем использовать для интерпретации. К тому же, она имеет достаточную предсказательную силу - 67%. Робастные оценки модели представленные представлены в таблице 9 в виде отношения шансов.

Таблица 9. Оценки модели с фиксированными эффектами

<...

	Переменная	Коэффициент (ОШ)
Макроэкономические показатели	CPI	1,103*
	GDP	0,190***
	UNEMPL	1,809**
	EXtoIM	1,053*
	CUR	0,885***
	TPROD	0,845***
	IR	1,012
Финансовые показатели	MCAP	0,999**
	WACC	0,917*
	DtoE	1,000
	ROA	0,994*
	EBIT	0,999***
	ROE	1,021

Подобные документы

• Прогнозирование риска банкротства

  Теоретические аспекты прогнозирования банкротства. Анализ финансового состояния компаний с целью оценки вероятности их возможного банкротства. Построение моделей и эмпирических исследований, способных предсказать банкротство крупных российских компаний.
  
  курсовая работа [112,7 K], добавлен 23.07.2016
  

• Анализ финансового состояния и диагностика вероятности банкротства ОАО "Новосибирский металлургический завод им. Кузьмина"

  Сущность, признаки и виды банкротства, исследование существующих методик прогнозирования его вероятности. Диагностика финансового состояния и оценка вероятности банкротства заданного предприятия, разработка рекомендаций по его финансовому оздоровлению.
  
  дипломная работа [591,1 K], добавлен 27.03.2013
  

• Оценка вероятности банкротства

  Теоретические аспекты вероятности банкротства организации. Уровень угрозы банкротства в модели Альтмана. Оценка вероятности на примере ОАО "Уралкалий". Анализ состава и структуры активов, финансовой устойчивости. Расчет показателей ликвидности баланса.
  
  контрольная работа [36,9 K], добавлен 23.09.2014
  

• Анализ финансового состояния предприятия и диагностика банкротства

  Модели банкротства как инструмент оценки финансового состояния. Анализ финансового состояния предприятия и его факторов, прогнозирование вероятности банкротства. Разработка мероприятий по финансовому оздоровлению и оценка их экономической эффективности.
  
  дипломная работа [400,7 K], добавлен 16.11.2013
  

• Диагностика вероятности банкротства организаций

  Изучение видов банкротства и причин, приводящих предприятие к несостоятельности. Характеристика российских методик диагностики вероятности банкротства. Прогнозирование показателей платежеспособности. Рейтинговая оценка финансового состояния организации.
  
  курсовая работа [80,4 K], добавлен 02.02.2016
  

• Оценка финансового состояния и прогнозирования вероятности банкротства

  Оценка вероятности несостоятельности (банкротства) предприятия и пути повышения финансового состояния СПК "Приманычский" на перспективу. Функции антикризисного управления. Стадии развития финансового кризиса предприятия. Анализ ликвидности баланса.
  
  курсовая работа [177,2 K], добавлен 24.06.2015
  

• Анализ вероятности банкротства ОАО "Кондопога"

  Анализ финансового состояния предприятия. Показатели платежеспособности ОАО "Кондопога". Прогнозирование банкротства предприятия. Пути снижения вероятности банкротства. Коэффициент текущей ликвидности. Повышение качества и конкурентоспособности продукции.
  
  курсовая работа [145,0 K], добавлен 23.12.2014
  

• Оценка потенциального банкротства организации

  Причины банкротства, эффективные методы устранения его угрозы. Анализ состава финансовой отчетности ОАО "Газпром". Методики прогнозирования банкротства. Оценка финансовых результатов деятельности, анализ вероятности банкротства по модели Альтмана.
  
  курсовая работа [109,5 K], добавлен 20.05.2014
  

• Анализ вероятности банкротства предприятия ОАО "Север"

  Теоретические аспекты банкротства, его основные виды и процедуры. Методы прогнозирования угрозы банкротства на примере предприятия ООО "Север". Анализ финансовых результатов деятельности, ликвидности баланса. Оценка вероятности банкротства предприятия.
  
  курсовая работа [82,4 K], добавлен 14.12.2014
  

• Процедура банкротства и улучшение финансового состояния предприятия на примере ОАО "АгроФирма ИЮС"

  Понятие и признаки банкротства. Участники процесса ликвидации. Прогнозирование вероятности банкротства предприятия. Анализ капитала и финансового состояния предприятия. Проведение управленческого анализа. Заключительная оценка деятельности предприятия.
  
  курсовая работа [71,6 K], добавлен 03.06.2012
  

• Оценка финансового состояния (банкротства) предприятия и обоснование мероприятий по финансовому оздоровлению

  Правовые основы банкротства. Признаки и факторы, влияющие на него. Критерии несостоятельности кредитных организаций. Методика анализа финансового состояния предприятия и оценки вероятности банкротства. Оценка финансовой устойчивости компании ЗАО "ВТБ24".
  
  дипломная работа [140,9 K], добавлен 18.01.2012
  

• Финансовые методы предотвращения банкротства

  Виды банкротства предприятий и причины его возникновения. Мероприятия по восстановлению платежеспособности предприятия и предотвращению банкротства. Оценка вероятности банкротства с использованием пятифакторной модели Альтмана предприятия ОАО "КАМАЗ".
  
  курсовая работа [600,8 K], добавлен 28.05.2016
  

• Методики учета, анализа финансового состояния и вероятности банкротства организации на примере ОАО "БЭЗРК"

  Содержание, понятие и цели финансового оздоровления. Анализ финансового состояния ОАО "БЭЗРК". Оценка удовлетворительной (неудовлетворительной) структуры баланса ОАО "БЭЗРК". Прогнозирование банкротства с помощью усовершенствованной модели Альтмана.
  
  курсовая работа [58,2 K], добавлен 11.02.2013
  

• Диагностика вероятности банкротства организаций

  Основные понятия банкротства, признаки, порядок и условия проведения процедур. Прогнозирование вероятности банкротства организации. Зарубежные и российские методики, позволяющие спрогнозировать возникновение угрозы финансового кризиса предприятия.
  
  доклад [15,2 K], добавлен 14.04.2013
  

• Прогнозирование вероятности банкротства с использованием различных методик на примере ОАО "Автодорремстрой"

  Теоретические основы и законодательно-нормативное регулирование отношений несостоятельности и банкротства. Сущность, виды и причины, методы оценки и прогнозирования вероятности банкротства, план финансового оздоровления и укрепления платежеспособности.
  
  дипломная работа [527,4 K], добавлен 22.08.2011
  

• Прогнозирование и диагностика банкротства организации (на примере АО ТЭФ "КАМАтранссервис")

  Теоретические аспекты прогнозирования и диагностики банкротства организации. Анализ платежеспособности, ликвидности активов и оценка вероятности банкротства АО "КАМАтранссервис", рекомендации по улучшению финансового состояния транспортной организации.
  
  курсовая работа [101,5 K], добавлен 13.02.2017
  

• Диагностика вероятности банкротства ООО "Триумф"

  Понятие, цели и задачи диагностики банкротства предприятия, информационная база для ее проведения. Диагностика вероятности банкротства ООО "Триумф" с использованием различных методик. Содержание и анализ плана финансового оздоровления предприятия.
  
  курсовая работа [223,0 K], добавлен 22.08.2011
  

• Методы диагностики вероятности банкротства организации

  Причины и виды финансовой несостоятельности. История развития института банкротства, его основные процедуры. Диагностика финансового состояния ОАО "Аэрофлот" и ОАО "ЗИЛ" с использованием зарубежных и отечественных методик прогнозирования банкротства.
  
  дипломная работа [2,6 M], добавлен 16.07.2012
  

• Оценка вероятности возникновения банкротства на предприятии ООО "ЭФКО Пищевые Ингредиенты"

  Понятия, основные виды и процедуры банкротства, установленные российским законодательством. Основные модели прогнозирования возможного банкротства. Основные пути укрепления финансового состояния предприятия на примере ООО "ЭФКО Пищевые Ингредиенты".
  
  курсовая работа [314,0 K], добавлен 10.11.2013
  

• Организационные механизмы оздоровления предприятия

  Понятие и виды несостоятельности (банкротства). Основные процедуры и регулирование процессов банкротства, его нормативно-правовое регулирование. Анализ финансового состояния и вероятности банкротства предприятия, программа по антикризисному управлению.
  
  курсовая работа [72,3 K], добавлен 18.05.2014
  

• главная
• рубрики
• по алфавиту
• вернуться в начало страницы
• вернуться к началу текста
• вернуться к подобным работам