Главная База знаний "Allbest" Финансы, деньги и налоги Прогнозирование риска банкротства

Прогнозирование риска банкротства

Теоретические аспекты прогнозирования банкротства. Анализ финансового состояния компаний с целью оценки вероятности их возможного банкротства. Построение моделей и эмпирических исследований, способных предсказать банкротство крупных российских компаний.

Рубрика Финансы, деньги и налоги
Вид курсовая работа
Язык русский
Дата добавления 23.07.2016
Размер файла 112,7 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Страница:

Размещено на http://www.allbest.ru/

32

Размещено на http://www.allbest.ru/

Оглавление

  • Введение
  • Глава 1. Теоретические аспекты прогнозирования банкротства
    • 1.1Постановка проблемы
    • 1.2Обзор литературы
  • Глава 2. Проведение эмпирического исследования
    • 2.1Описание модели
    • 2.2Данные для исследования
    • 2.3Выбор исходных переменных и постановка гипотез
    • 2.4Описание результатов
      • 2.4.1Проверка гипотез и интерпретация оценок
      • 2.4.2Тестирование модели на контрольной выборке
  • Заключение
  • Список использованной литературы
  • Приложения

Введение

В настоящее время тема анализа и оценки финансового состояния компаний с целью оценки вероятности их возможного банкротства приобретает все большую актуальность. Восстановление экономики в посткризисный период сопровождается развитием корпоративного сектора и ростом инвестиций, что, в свою очередь, провоцирует рост объемов корпоративного кредитования. Согласно данным Федеральной службы государственной статистики http://www.gks.ru/, объем инвестиций в период с 2009 по 2015 год вырос с 621.5 млрд. до 805.3 млрд. рублей. В силу этого, коммерческие банки нуждаются в совершенствовании системы управления кредитным риском и разработке моделей, позволяющих предсказывать банкротство их контрагентов.

Наряду с развитием корпоративного сектора, в течение последнего десятилетия, возрастает объем частных инвестиций в стране. Так, по данным Федеральной службы государственной статистики, объем частных инвестиций со стороны населения в период с 2009 по 2015 год увеличился более, чем в три раза, а их доля в общей структуре инвестиций выросла с 1.3% до 2.4%. Основной целью частного инвестора является вложение капитала в максимально безрисковый актив, поэтому прогнозирование банкротства является одной из первостепенных задач в рамках данного вида деятельности.

Таким образом, тема оценки риска и предсказания банкротства компаний занимает особое место как в теоретической, так и в эмпирической литературе.

Цель работы: Построение моделей, способных предсказать банкротство крупных российских компаний.

Достижение поставленной цели подразумевает решение следующих задач:

· Анализ предыдущих исследований

· Сбор базы данных

· Определение факторов, влияющих на банкротство компании

· Оценка моделей вероятности банкротства

· Проверка моделей на контрольной выборке

Объектом исследования является оценка риска банкротства российских компаний. Предметом исследования являются финансовые коэффициенты, влияющие на банкротство.

Работа состоит из введения, двух глав и заключения. Первая глава включает рассмотрение сущности банкротства и необходимости его своевременного предсказания, а также, обзор предыдущих исследований по данной теме. Вторая глава включает описание эмпирического исследования, в том числе: методологию сбора данных для исследования, краткую характеристику моделей и описание полученных результатов. Построение моделей и сопутствующие этому расчеты были выполнены с использованием средств программного пакета «Stata 13» и «Microsoft Excel».

Глава 1. Теоретические аспекты прогнозирования банкротства

1.1 Постановка проблемы

В рамках проведения исследования, в первую очередь следует уделить внимание понятию банкротства, выяснить причины его возникновения и необходимость его своевременного прогнозирования.

Банкротство в современной литературе имеет два основных определения. В ряде источников под банкротством понимается невозможность компании выплачивать обязательства по заемным средствам. Другая часть исследователей рассматривает банкротство, как легальную юридическую процедуру, включая стадии ее проведения. Второе понятие наиболее актуально в литературе, в силу того, что отсутствие возможности выплачивать свои обязательства в текущий момент времени не означает невыполнение выплат по обязательствам в предусмотренные законом сроки (Демешев, Тихонова, 2014). Кроме того, на сегодняшний день существуют такие процедуры, как например, возможность реструктуризации долга, которая подразумевает под собой увеличение срока кредитования или перенос части выплат на более поздний период. Это способствует стабилизации финансового состояния заемщика и увеличению его платежеспособности. Поэтому присущая популярность определения банкротства, как юридической процедуры вполне обоснована. Именно данная трактовка понятия банкротства будет использоваться в рамках текущего исследования.

Причинами дефолта организации могут служить довольно разнообразные по своей природе и происхождению факторы. В работе Недосекина (7), автор предлагает следующую классификацию:

· Причины внешнего окружения компании;

К таким причинам относятся социальные, политические, внешнеэкономические и технологические процессы, которые тем или иным способом влияют на возможность дефолта компании.

· Рыночные причины;

В заданную группу входят отсутствие конкурентных преимуществ, малая доля рынка, неустойчивость рынка сбыта и другие.

· Внутриэкономические причины;

Данная группа включает неэффективность использования имущества компании, низкая производительность труда, устаревшие технологии и оборудование, неоптимизированное налогообложение и др.

· Финансовые причины;

В данную группу входят высокий уровень обязательств, низкое качество обслуживания задолженности, низкий уровень платежеспособности, недостаток ликвидных активов и др.

· Управленческие причины;

Данная группа причин подразумевает низкую компетенцию менеджмента компании, как на уровне ее отдельных составляющих, так и на уровне топ-менеджмента.

В рамках предложенной классификации, в данной работе акцент будет сделан на финансовых и внутриэкономических причинах банкротства компании. Выбор обоснован тем, что как финансовое, так и внутриэкономическое состояние компании можно оценить количественно. На сегодняшний день существует немалое количество как абсолютных, так и относительных показателей, с помощью которых можно дать оценку эффективности использования имущества компании и ее финансовому состоянию. Однако следует заметить, что несмотря на то, что те или иные причины банкротства более явно выражены, зачастую организация получает статус банкрота благодаря действию всех изложенных проблем в совокупности. Тем не менее, учесть ряд из них не представляется возможным, несмотря на развитие техник моделирования и технических средств для их применения.

Становление компании банкротом несет по большей части отрицательные последствия как для самой компании, так и для третьих лиц. Последствия для самой компании выражаются в досрочном прекращении ее деятельности и последующей ликвидации. Это, в свою очередь, оказывает негативное влияние на остальных участников рынка, связанных с компанией-банкротом. В первую очередь это сказывается на кредитных организациях, в которых обанкротившаяся компания является заемщиком. В силу того, что компания-заемщик не в состоянии вернуть долг, кредиторы теряют часть своего капитала, что отрицательно сказывается на их финансовом состоянии. Если ликвидируемая компания является консолидированной, то возникает большой риск вызвать последующие банкротства. Данная ситуация может негативно отразиться на рынке в целом, так как рынок теряет целый ряд участников. В результате предложение на рынке может значительно снизиться, спровоцировав дефицит, который, в свою очередь приведет к значительному росту цен и снижению покупательной способности. Кроме того, последствия банкротства негативно сказываются на персонале организации. Длительные задержки заработных плат, пособий и премий значительно ухудшает материальное положение работников, а сокращение рабочих мест вызывает социальную напряженность и снижает платежеспособность населения. Как отмечают Жарковская и Бродский, еще одним последствием банкротства может служить «возможность криминального передела собственности организации и разворовывания имущества, в том числе организаций со значительной долей государственной и муниципальной собственности» (Жарковская, Бродский, 2006),

Таким образом, становится очевидно, что банкротство является серьезной проблемой, негативные последствия которой отражаются на нескольких секторах экономики. Поэтому очень важно своевременно оценивать финансовое состояние компании и заблаговременно предвидеть риск возможного банкротства. В силу этого, как теоретические, так и эмпирические исследования, направленные на разработку методологии оценки риска и прогнозирования банкротства являются актуальными на сегодняшний день.

1.2 Обзор литературы

Интерес к исследованиям, направленным предсказание банкротства начал формироваться еще в 1930-х годах (Bellovary, et. al., 2007). До середины 1960-х годов работы данной тематики были основаны на однофакторном анализе и их суть заключалась в анализе финансовых коэффициентов между компаниями-банкротами и действующими компаниями. В случае, если тот или иной финансовый показатель демонстрировал существенные различия между обанкротившимися и действующими организациями, он принимался за инструмент прогнозирования. Среди подобного рода работ наиболее выделяется исследование Бивера (Beaver, 1966), в котором автор разработал ряд финансовых коэффициентов, и выделил контрольные значения этих коэффициентов для компании в трех состояниях:

1. Финансово-устойчивых компаний;

2. Компаний, ставших банкротами в течение пяти лет;

3. Компаний, ставших банкротами в течение одного года;

Прогнозирование риска банкротства осуществляется путем сравнения расчетных значений данных коэффициентов для исследуемой компании с контрольно-нормативными значениями, которые выявил Бивер. В работе отмечается, что разработанные автором коэффициенты способны предсказать риск банкротства на горизонте прогнозирования в один год с вероятностью 90 - 92%. Следует отметить, что на сегодняшний день, в рамках финансового анализа, система коэффициентов Бивера является одним из наиболее популярных методов.

Методы, основанные на однофакторном анализе, позволяют выделить основные показатели, влияющие на риск банкротства компании, однако использование таких подходов не позволяет учесть все возможные причины банкротства компаний. В работе Бивера отмечается, что для более точных результатов прогнозирования, возможно, следует применять совокупность финансовых показателей компании.

Многофакторный анализ впервые использовал Эдвард Альтман в 1968 году (Altman, 1968). В своей работе Альтман применил метод множественного дискриминантного анализа (Multiple Discriminant Analysis, MDA) и использовал выборку, состоящую из шестидесяти шести компаний. Исследование Альтмана заключалось в создании двух выборок фирм, к первой из которых относились фирмы, не имеющие проблем с выплатами задолженностей, а ко второй - фирмы, которые имеют проблемы с выплатами задолженностей. На основе этих двух выборок он предложил провести сравнительный анализ ряда коэффициентов за один и тот же промежуток времени. Из этих коэффициентов следовало выбрать те, которые позволяют определить лучшую фирму в выборке, после чего, из этих коэффициентов следовало создать линейную комбинацию, которая бы отражала различия между неплатежеспособными и имеющими возможность выплачивать долги коммерческими организациями.

В итоге, на основе двадцати двух различных финансовых коэффициентов было отобрано пять и каждому был присвоен статистически установленный вес. Таким образом, Альтман вывел следующее уравнение надежности:

Z = 0,012Х1 + 0,014Х2 + 0,033Х3 + 0,006Х4 + 0,999Х5, (1)

Где:

(2)

(3)

(4)

(5)

(6)

На основе полученной линейной комбинации, согласно Альтману, если коэффициент Z меньше 1.81, то фирма относится к группе банкротов и является неплатежеспособной. Если же Z больше или равен 2.99, то фирма вполне способна вернуть долг. Значение коэффициента Z в пределах от 1.81 до 2.99 автор назвал зоной неведения (zone of ignorance) в силу того, что платежеспособные и неплатежеспособные компании попали в данную область. Модель Альтмана показала высокую вероятность дефолта компаний, а именно около 92%, за один год до банкротства, однако при более долгом периоде прогнозирования процент верных предсказаний значительно снижался.

В 1977 этот метод был усовершенствован Альтманом, Хальдеманом и Нараянаном (Altman, Haldeman, Narayanan, 1977). В рамках разработки данной модели, исследователями было выявлено не пять, а семь показателей, задачей которых является определение, находится ли фирма в состоянии кризиса или ее положение достаточно стабильно, и она является кредитоспособной. Данные факторы представлены в таблице:

Таблица 1. Коэффициенты «Зета-модели»

Фактор

Метод расчета

Рентабельность активов

Стабильность прибыли

Обратная величина стандартного отклонения десятилетнего тренда рентабельности активов

Показатель обслуживания долга

Кумулятивная прибыльность

Ликвидность

Капитализация

Отношение средней рыночной стоимости обыкновенных акций компании за пять лет к совокупному долгосрочному капиталу

Размер компании

Сумма всех активов

Модель получила название «Зета-модель» (Zeta-model) и показала очень высокую точность предсказания на различных горизонтах прогнозирования в рамках американского рынка, поэтому на сегодняшний день коэффициенты и пороговые значения Зета-модели не являются общедоступными.

Работа Альтмана послужила толчком к развитию темы прогнозирования банкротства. В последующие годы было написано большое количество работ, основанных на множественном дискриминантном анализе и его различных модификациях. К наиболее популярным из них относятся модели Фулмера (Fulmer et al., 1984), Спрингейта (Sands, Springate, 1984), Таффлера (Taffler, 1984) и др. Количество факторов предсказания варьировалось от двух до сорока семи, а процент верных предсказаний лежал в пределах от 18 до 96 процентов.

Множественный дискриминантный анализ был и остается популярным методом для данного рода исследований, однако существенный недостаток данного метода заключается в том, что он оставляет «зоны неведения» или «серые зоны» (gray area). Касательно компаний, результирующие коэффициенты которых находятся в этих промежутках, нельзя сделать определенных выводов относительно их возможного банкротства.

Джеймс Олсон (Ohlson, 1980) одним из первых использовал метод логистической регрессии для выявления риска банкротства. Кроме того, в выборочную совокупность, которую использовал автор, входило более двух тысяч наблюдений, в то время как предыдущие исследования базировались не более, чем на нескольких сотнях наблюдений. В рамках своего исследования, автор на основе логит-регрессии бинарного выбора выделил девять показателей, наиболее сильно влияющих на риск банкротства компании, и вычислил коэффициент вероятности банкротства Z, который отражает степень влияния этих показателей. Затем, полученная линейная комбинация использовалась в логистической регрессии для нахождения вероятности банкротства и сравнивалась с точкой отсечения. В рамках своей работы Олсон выделил следующие факторы, влияющие на риск банкротства:

Таблица 2. Финансовые коэффициенты в модели Олсона

Фактор

Метод расчета

SIZE

TLTA

WCTA

CLCA

OENEG

1, если объем совокупных обязательств превышает сумму совокупных активов;

0 в ином случае

NITA

FUTL

Таблица 2. Финансовые коэффициенты в модели Олсона (продолжение)

INTWO

1, если чистая прибыль была отрицательна в течение последних двух лет;

0 в ином случае

CHIN

,

где t - последний отчетный период

Результаты модели показали высокий процент предсказания: 96% за год до банкротства.

В последствии вероятностные методы, основанные на моделях бинарного выбора, приобрели большую популярность в рамках предсказания банкротства. Исследования основывались как на логит, так и на пробит-моделях и количество факторов варьировалось от четырех до тридцати двух. Точность предсказания колебалась в рамках от 20 до 99,5%. Наиболее яркими представителями применения таких моделей являются Азис (Aziz, et. al., 1988, 1989), Скогсвик (Skogsvik, 1990), Дамболена и Шульман (Dambolena, Shulman, 1988), Теодоссу (Theodossiou, 1991) и др. Данные работы показали довольно высокий процент предсказания банкротства: от 60% до 98%.

Следует отметить, что Азис в своих работах делал акцент на введение такого фактора, как денежные потоки компаний. Однако, в ходе проведенных исследований выяснилось, что данный фактор не обладает высокой описательной и прогностической способностью. Теодоссу использовал в анализе как логит, так и пробит-модели и получил впечатляющие результаты: процент предсказания для обоих видов моделей составил от 92.6% до 95.5%.

В 90-х годах XX века большую популярность приобрели методы, основанные на нейронных сетях. Согласно исследованию, «A Review of Bankruptcy Prediction Studies: 1930 to Present» (Bellovary, et. al., 2007), в этот период было написано около 35 работ, основанных на данном методе анализа. Точность предсказания при использовании нейронных сетей составляла от 57% до 100%. Среди ключевых работ можно выделить исследования таких авторов, как Гуан (Guan, 1993), Тсукуда и Баба (Tsukuda, Baba, 1994), а также Эль-Темтами (El-Temtamy, 1995). Предсказательная способность в этих работах достигала 100%. Несмотря на высокую прогнозную силу, использование нейросетевого моделирования обладает рядом недостатков. В частности, применение нейронных сетей требует объемных временных и технических затрат, а также есть немалая вероятность моделирования тупиковой ситуации.

Представленные выше подходы и модели являются основополагающими в рамках оценки и прогнозирования риска дефолта. Однако весь спектр исследований, направленный на развитие данной темы не останавливается на применении только этих методик.

Опираясь на статью «Predicting corporate bankruptcy - where we stand?» (Aziz, Dar, 2006), модели предсказания банкротства можно разделить на три группы:

· Статистические модели;

· Модели искусственного интеллекта;

· Теоретические модели;

К первой группе относятся такие методы, как однофакторный анализ, многофакторный дискриминантный анализ и его модификации, анализ условной вероятности, анализ выживаемости (survival analysis), а также логит и пробит модели. Методы второй группы включают дерево решений, ситуативный анализ, нейронные сети, генетические алгоритмы, теория нечетких множеств. К третьей группе относятся балансовое измерение (Balance sheet decomposition measures, BSDM), теория разорения игрока, теории кредитного риска и теории менеджмента.

Несмотря на обилие методик, в современных исследованиях предпочтение отдается статистическим методам. Среди таких исследований следует отметить работу Лоу (Low et. al, 2001). Исследование носило эмпирический характер, и проводилось с использованием данных по компаниям Малайзии. Особенностью данного исследования является то, что авторы попытались ввести факторы, отражающие влияние денежных потоков на банкротство компании, однако, как и в предыдущих подобных работах, эти факторы оказались незначимы. Тем не менее, прогнозная сила модели составила порядка 90% верных предсказаний. В работе Ахмади (Ahmadi et.al, 2012) были рассмотрены компании Ирана, и авторы постарались ввести фактор отношения прибыли до уплаты процентов и налогов (EBIT) к сумме процентных выплат. Прогнозная сила модели составила от 85% до 90%, однако новый фактор оказался незначимым.

Среди российских исследований наиболее выделяются работы Журова (2007), а также Жданова и Афанасьевой (2011). В работе Журова исследование проводилось на базе семидесяти японских компаний, торгующихся на фондовой бирже. Для исследования автор выбрал более восьмидесяти переменных, которые подразделялись на девять групп показателей и включали коэффициенты роста, коэффициенты эффективности капитала, коэффициенты эффективности деятельности, коэффициенты эффективности активов, коэффициенты производительности, коэффициенты ликвидности, коэффициенты устойчивости, коэффициенты денежного потока и показатели в расчете на одну акцию. В ходе исследования автор применил семь техник моделирования, включающих различные наборы факторов. Точность предсказания моделей составила от 81% до 91% верных прогнозов.

Жданов и Афанасьева посвятили свою работу оценке риска авиапредприятий. Для прогнозирования авторы использовали метод логистической регрессии, предложенный Олсоном. В рамках работы первоначально было отобрано 39 факторов, включающие коэффициенты рентабельности, коэффициенты финансовой устойчивости, коэффициенты деловой активности, а также коэффициенты ликвидности. В результате для построения модели было отобрано шесть факторов, обладающих наибольшей объясняющей силой. Что касается прогнозной силы модели, то авторами данный аспект не упоминается.

Подводя итог данному разделу, можно заключить, что прогнозирование банкротства является востребованной темой для исследований уже на протяжении долгих лет. На сегодняшний день существует немалое количество методов и моделей для проведения исследований, имеющих как преимущества, так и недостатки и обладающих разной прогнозной силой.

Следует отметить, что в большинстве работ используются пространственные данные. В рамках текущего исследования предлагается использовать панельную структуру данных для получения более точных оценок коэффициентов и достижения высокой прогнозной силы модели.

Глава 2. Проведение эмпирического исследования

банкротство финансовый прогнозирование

Как отмечалось ранее, тема прогнозирования банкротства является довольно популярной уже на протяжении многих лет и на сегодняшний день разработано уже значительное количество методов и моделей для проведения исследований такого рода. Данное исследование носит эмпирический характер, поэтому следует более подробно остановиться на выборе модели, которая будет использоваться для прогнозирования банкротства.

Исследование Азиса и Дара (Aziz, Dar, 2006) показало, что наиболее популярной методологией для проведения эмпирических исследований по предсказанию банкротства являются статистические подходы к оценке. Среди статистических методов наибольшее предпочтение отдается множественному дискриминантному анализу и логит-моделям. Ранее отмечалось, что применение множественного дискриминантного анализа, несмотря на все его преимущества, имеет один существенный недостаток - наличие «серой зоны», в которая не позволят сделать определенных выводов, касательно ряда наблюдений. Поэтому, в рамках данного исследования, выбор был сделан в пользу логит-моделей. В качестве базовой модели для прогнозирования будет использована модель логистической регрессии, разработанная Олсоном (Ohlson, 1980).

2.1 Описание модели

Пусть обозначает вектор предикторов i-того наблюдения, а - вектор неизвестных параметров. Обозначим вероятность банкротства, как для любого и а . является некой функцией вероятности, поэтому . Тогда логарифм правдоподобия для любого исхода в двоичном выборочном пространстве («банкрот» или «не банкрот») задается уравнением:

(7)

· - ;

· - ;

Для любой функции оценки максимального правдоподобия для ,будут получены с помощью:

(8)

В виду отсутствия теории банкротства, как таковой, возникает проблема с выбором вида функции . В рамках модели Олсона предпочтение отдается логистической функции:

, где (9)

(10)

Такая функция имеет два основных свойства:

1. возрастает при росте ;

2. ;

В силу этих свойств модель относительно легко интерпретировать, и, по мнению Олсона, это является одним из ее главных достоинств.

Данная работа подразумевает использование панельной структуры данных в рамках поиска наиболее значимых факторов, влияющих на риск банкротства компании. В силу этого, уравнение для y будет иметь вид:

, где (11)

· Индекс i отражает единицу наблюдения (компанию)

· Индекс t отражает временной период

2.2 Данные для исследования

Как было отмечено, данные для исследования имеют панельную структуру. Использование панельных данных для исследования аргументируется рядом преимуществ, а именно:

· Расширяют выборочную совокупность, способствуя снижению зависимости между объясняемыми переменными, что, в свою очередь, снижает стандартные ошибки оценок;

· Учитывают ненаблюдаемые индивидуальные характеристики каждой единицы наблюдения;

· Позволяют отследить изменение факторов во времени для каждого объекта наблюдения;

· Позволяют миновать ошибки спецификации модели при отсутствии значимых переменных;

Таким образом, использование панельных данных позволит получить более точные результаты при проведении статистических тестов и оценивании коэффициентов в ходе выявления основных показателей, влияющих на банкротство компании.

Для исследования было собранно две выборочных совокупности, одна из которых является экспериментальной, вторая - тестовой. Для экспериментальной выборки строятся логит-модели, с помощью которых детерминируются факторы, определяющие банкротство компании. Затем, полученные зависимости будут применяться на тестовой выборке для определения прогнозной силы модели.

В рамках экспериментальной выборки, для исследования было отобрано 100 компаний, являющихся открытыми акционерными обществами (ОАО). Это объясняется тем, что большинство современных исследований по оценке и прогнозированию риска банкротства сконцентрировано на малом и среднем бизнесе. Еще один аргумент в пользу выбора такой формы организации - компании, имеющие статус ОАО, на основании закона (1) должны раскрывать финансовую информацию. Кроме того, отчетность таких компаний проходит внешний и внутренний аудит, что свидетельствует о достоверности предоставляемой информации.

В работе «On the impact of disproportional samples in credit scoring models: An application to a Brazilian bank data» (Louzada et. al., 2012) авторы доказывают гипотезу о том, что для исследований, нацеленных на прогнозирование банкротства нужно использовать сбалансированную выборку. В силу этого аргумента, экспериментальная выборка включает 50 компаний банкротов, получившие такой статус в 2015 году и 50 действующих компаний. Период наблюдения составляет четыре года: с 2011 по 2014 год. Таким образом, экспериментальная выборка включает 400 наблюдений.

Тестовая выборка также является сбалансированной и включает 20 компаний. Однако, в качестве компаний-банкротов были выбраны только те компании, которые получили такой статус в 2016 году. Это сделано для того, чтобы проверить прогнозную силу модели не только в пространственной ретроспективе, но и во временной.

Все данные были собраны вручную, при помощи сервера раскрытия информации «Интерфакс» https://www.e-disclosure.ru/. Для сбора данных были использованы два основных документа финансовой отчетности компании: бухгалтерский баланс (форма №1) и отчет о финансовых результатах (форма №2).

2.3 Выбор исходных переменных и постановка гипотез

Первоначальный выбор факторов основывался на работе «A Review of Bankruptcy Prediction Studies: 1930-Present» (Bellovary et. al, 2007). В качестве приложения к своей статье, авторы приводят иерархическую структуру факторов по частоте использования в работах по теме прогнозирования банкротства. В рамках данной работы, в качестве стартового набора факторов были выбраны показатели, использованные не менее, чем в 10 исследованиях.

Таким образом, в качестве базовых детерминант банкротства были выбраны следующие показатели:

· Чистая прибыль/Активы

Коэффициент показывает, какую долю имеющихся средств компания должна потратить для получения единицы прибыли. Этот показатель отражает способность компании эффективно использовать имущество организации.

· Текущие активы/Текущие обязательства

Данный показатель носит название коэффициента текущей ликвидности и отражает возможность компании погасить краткосрочные заемные средства за счет наиболее быстро реализуемых активов.

· Текущие обязательства/Текущие активы

Коэффициент, обратный предыдущему. Показывает, какая доля наиболее ликвидных активов приходится на единицу краткосрочных обязательств.

· Текущие обязательства/Обязательства

Коэффициент отражает долю срочных обязательств в суммарном объеме привлеченных средств.

· Оборотный капитал/Активы

Оборотный капитал рассчитывается путем вычитания текущих обязательств из оборотных активов и представляет собой ту часть капитала компании, который задействован в ее повседневной коммерческой деятельности. Таким образом, данный коэффициент отражает, насколько компания целенаправленно и эффективно использует имеющиеся у нее средства.

· Операционная прибыль/Активы

Данный показатель характеризует, какую часть имущества компания должна потратить, для получения прибыли от основной деятельности. Коэффициент отражает эффективность использования имущества организации в рамках ведения основной деятельности.

· Выручка/Активы

Коэффициент характеризуется, как коэффициент оборачиваемости активов и отражает интенсивность использования активов в рамках деятельности организации.

· Капитал/Активы

Показатель отражает долю собственных средств компании в общей структуре активов.

· Текущие активы/Активы

Коэффициент показывает долю наиболее ликвидных активов в общей структуре активов.

· Текущие активы/Обязательства

Данный коэффициент показывает, какую часть совокупного долга компания сможет погасить за счет наиболее ликвидных активов.

· Денежные средства/активы

Денежные средства являются самым ликвидным активом компании. Данное отношение демонстрирует долю таких активов о общей структуре активов компании.

· Денежные средства/Текущие активы

Показатель отражает долю наиболее ликвидных активов в структуре текущих активов.

· Обязательства/Капитал

Коэффициент носит название финансового рычага и отражает степень обеспеченности компании собственными средствами.

· Капитал/Обязательства

Коэффициент, обратный предыдущему.

· Текущие активы/Выручка

Данный показатель является обратным к коэффициенту оборачиваемости текущих активов, который показывает интенсивность использования текущих активов в рамках деятельности организации.

Следует также заметить, что все показатели, выбранные для исследования, являются относительными. Несмотря на то, что все компании имеют статус открытых акционерных обществ, объем активов и капитализация у всех различается. Поэтому, во избежание эффекта масштаба предприятия, было принято решение использовать относительные показатели. Кроме того, относительные показатели обладают более сильной описательной способностью, нежели абсолютные.

В таблице № 3 представлены гипотезы относительно каждого из описанных факторов, а также вынесены предположения, относительно характера зависимости данных факторов по отношению к зависимой переменной. В рамках текущего исследования зависимая переменная является бинарной и показывает, находится ли компания банкротом. Зависимая переменная принимает значение 1, если компания находится в статусе банкрота, а в ином случае, если компания является действующей, зависимая переменная принимает значение 0.

Таблица 3. Постановка гипотез

Фактор банкротства

Гипотеза

Характер зависимости

Чистая прибыль/Активы

Рост показателя снижает риск банкротства

Отрицательная

Текущие активы/

Текущие обязательства

Рост показателя снижает риск банкротства

Отрицательная

Текущие обязательства/

Текущие активы

Рост показателя повышает риск банкротства

Положительная

Текущие обязательства/

Обязательства

Рост показателя повышает риск банкротства

Положительная

Оборотный капитал/Активы

Рост показателя снижает риск банкротства

Отрицательная

Операционная прибыль/

Активы

Рост показателя снижает риск банкротства

Отрицательная

Выручка/Активы

Рост показателя снижает риск банкротства

Отрицательная

Капитал/Активы

Рост показателя снижает риск банкротства

Отрицательная

Текущие активы/Активы

Рост показателя снижает риск банкротства

Отрицательная

Текущие активы/

Обязательства

Рост показателя снижает риск банкротства

Отрицательная

Денежные средства/Активы

Рост показателя снижает риск банкротства

Отрицательная

Денежные средства/

Текущие активы

Рост показателя снижает риск банкротства

Отрицательная

Обязательства/Капитал

Рост показателя повышает риск банкротства

Положительная

Капитал/Обязательства

Рост показателя снижает риск банкротства

Отрицательная

Текущие активы/Выручка

Рост показателя повышает риск банкротства

Положительная

2.4 Описание результатов

2.4.1 Проверка гипотез и интерпретация оценок

В ходе оценки факторов, влияющих на риск банкротства, было построено большое количество моделей, которые учитывали в себе различные комбинации факторов. С помощью теста Хаусмана (Hausman test) было выяснено, что для оценки наиболее подходящими являются модели со случайными эффектами. В ходе проведения тестов на спецификацию модели, а также опираясь на информационные критерии (AIC и BIC) было выбрано четыре модели, которые наиболее точно описывают зависимость банкротства от описанных выше коэффициентов. Результаты оценивания выбранных моделей представлены в таблице № 4:

Таблица 4. Оценки коэффициентов

Фактор

Описание

Модель № 1

Модель № 2

Модель № 3

Модель № 4

op_ta

Операционная прибыль/

Активы

-2.8444968**

-

-2.8612978**

-2.8683295**

cap_ta

Капитал/Активы

-10.603811***

-9.8185977***

-10.402432***

-10.200027***

cap_ta2

(Капитал/Активы)2

9.8615188***

10.318596***

9.0512732***

8.5392124***

cash_ca

Денежные средства/

Текущие активы

-11.58004**

-

-

-

tr_ta

Выручка/Активы

-

-.4258695**

-.45335397**

-.4393217**

cl_ca

Текущие обязательства/

Текущие активы

-

2.3548078**

-

-

np_ta

Чистая прибыль/Активы

-

-2.2824861**

-

-

debt_cap

Обязательства/Капитал

-

-.01662353**

-

-

debt_cap2

(Обязательства/Капитал)2

-

.00002072**

-

-

ca_cl

Текущие активы/

Текущие обязательства

-

-

-.42315223**

-

ca_debt

Текущие активы/

Обязательства

-

-

.42309993**

-

cl_debt

Текущие обязательства/

Обязательства

-

-

-

.93068761**

cons

Константа

-.152018

-1.647397**

.12061395

-.8055262**

* - фактор значим на уровне 10%

** - фактор значим на уровне 5%

*** - фактор значим на уровне 1%

Представленная таблица наглядно демонстрирует, что некоторые из поставленных гипотез не оправдались: ряд первоначально выбранных для анализа факторов не влияет на банкротство компании. К таким факторам относятся:

· Отношение оборотного капитала к сумме всех активов (Оборотный капитал/Активы);

· Отношение текущих активов к сумме всех активов (Текущие активы/Активы);

· Отношение денежных средств к сумме всех активов (Денежные средства/Активы);

· Отношение собственного капитала к сумме обязательств (Капитал/Обязательства);

· Отношение текущих активов к выручке (Текущие активы/Выручка);

Кроме того, влияние таких факторов, как отношение суммы обязательств к собственному капиталу компании (Обязательства/Капитал) и отношение текущих активов к сумме обязательств компании (Текущие активы/Обязательства) не совпало с предположенной гипотезой. Согласно полученным результатам, можно сделать вывод, что рост отношения суммы обязательств к капиталу до определенного момента снижает риск банкротства, однако по достижении определенного значения, риск начинает повышаться. Несмотря на то, что результат не совпал с предположениями относительно этого показателя, такая зависимость вполне объяснима. Для развития бизнеса компании нужно привлекать заемные средства. Однако, по достижении точки, в которой выплаты по привлеченным средствам будут превышать отдачу от них, финансовое состояние компании начнет стремительно ухудшаться. Влияние второго фактора можно объяснить тем, что для улучшения финансового состояния компании немалую значимость несут вложения в основной капитал, нежели в краткосрочные активы.

Влияние всех остальных переменных совпало с ожиданиями и поставленные гипотезы подтвердились. Таким образом, были получены следующие результаты:

· Рост операционной прибыли по отношению к сумме активов компании снижает риск банкротства;

Полученный результат говорит о том, что чем эффективнее компания использует свое имущество в рамках осуществления основной деятельности, тем меньше шансов у нее войти в статус банкрота.

· Рост доли собственного капитала в структуре активов снижает риск банкротства, однако по достижении определенного момента, риск начинает повышаться;

Смысл данного результата состоит в том, что осуществление деятельности, используя в основном собственные средства отражает финансовую устойчивость компании, однако для более динамичного развития и увеличения отдачи от имущества компании требуется привлекать заемные средства.

· Рост доли денежных средств по отношению к текущим активам снижает риск банкротства;

Увеличивая свою платежеспособность, компания приобретает финансовую устойчивость.

· Рост выручки по отношению к совокупным активам снижает риск банкротства;

Полученный результат говорит о том, что чем эффективнее компания использует свое имущество в рамках осуществления деятельности, тем более она финансово-устойчивая.

· Рост текущих обязательств по отношению к текущим активам увеличивает риск банкротства;

С ростом срочных обязательств по отношению к текущим активам, компания теряет возможность быстро погасить долги с помощью наиболее ликвидного имущества, тем самым повышая риск возможного банкротства.

· Рост чистой прибыли по отношению к текущим активам снижает риск банкротства;

Рост эффективности использования активов повышает финансовую устойчивость компании.

· Рост текущих активов по отношению к текущим обязательствам снижает риск банкротства;

В данной ситуации, возможность быстро погасить срочные обязательства положительно сказывается на финансовом состоянии предприятия.

· Рост текущих обязательств по отношению к общей сумме обязательств увеличивает риск банкротства;

Увеличение доли обязательств со сроком погашения до одного года отрицательно сказывается на финансовой устойчивости компании.

Следует отметить, что такие факторы, как оборачиваемость активов, ткущая ликвидность, а также отношение чистой прибыли к сумме всех активов нашли свое отражение в работах Журова и Жданова. Все остальные полученные коэффициенты часто использовались зарубежными авторами, однако зачастую выступали как исходные переменные в отечественных исследованиях.

2.4.2 Тестирование модели на контрольной выборке

Следующим шагом в рамках проведения данного исследования является тестирование полученных моделей на контрольной выборке и проверка прогнозной силы модели. Как было отмечено ранее, контрольная выборка включает в себя двадцать компаний, десять из которых стали банкротами в 2016 году. Для проверки прогнозной силы, полученные зависимости для каждой модели следует подставить в логистическую функцию вероятности банкротства:

Затем, полученную вероятностную оценку следует сравнить с точкой отсечения (cut-off point) для определения того, является компания банкротом или нет на горизонте прогнозирования. Зачастую в качестве точки отсечения принимается значение 0.5, так как при вероятности банкротства равной 0.5, компания имеет равные шансы стать банкротом или не банкротом.

Результаты тестирования моделей для компаний-банкротов, действующих компаний и общий процент предсказания представлены в таблицах №5, №6 и №7 соответственно:

Таблица 5. Доля верных предсказаний в отношении банкротов

Модель № 1

Модель № 2

Модель № 3

Модель № 4

За три года до банкротства

40,00%

70,00%

50,00%

50,00%

За два года до банкротства

30,00%

60,00%

40,00%

40,00%

За год до банкротства

70,00%

80,00%

70,00%

70,00%

Год перед банкротством

70,00%

90,00%

70,00%

70,00%

Таблица 6. Доля верных предсказаний в отношении не банкротов

Модель № 1

Модель № 2

Модель № 3

Модель № 4

За три года до банкротства

100,00%

90,00%

100,00%

100,00%

За два года до банкротства

100,00%

90,00%

100,00%

100,00%

За год до банкротства

100,00%

90,00%

100,00%

100,00%

Год перед банкротством

100,00%

90,00%

100,00%

100,00%

Таблица 7. Доля верных предсказаний в целом

Модель № 1

Модель № 2

Модель № 3

Модель № 4

За три года до банкротства

70,00%

80,00%

75,00%

75,00%

За два года до банкротства

65,00%

75,00%

70,00%

70,00%

За год до банкротства

85,00%

85,00%

85,00%

85,00%

Год перед банкротством

85,00%

90,00%

85,00%

85,00%

Согласно представленным результатам тестирования, можно сделать вывод о том, что полученные модели наиболее точно предсказывают стабильность существования компании, нежели ее возможное банкротство. Кроме того, наглядно видно, что прогнозная сила применяемых моделей снижается при увеличении периода прогнозирования. Наиболее сбалансированной выглядит модель № 2. Несмотря на более низкий уровень верных прогнозов, в отношении компаний, которые не являются банкротами, данная модель имеет большую предсказательную силу в отношении компаний-банкротов. В целом, полученные модели имеют довольно высокий общий процент предсказания как на краткосрочном, так и на долгосрочном горизонте прогнозирования. Следует отметить, что полученные результаты имеют сходство с исследованиями, проведенными ранее.

Заключение

В рамках данной работы было предложено провести эмпирическое исследование по теме прогнозирования банкротства. Основной целью исследования являлось построение моделей, способных предсказать банкротство. Поставленная цель была достигнута, а все задачи, исходящие из поставленной цели были выполнены. В частности, была проанализирована литература по теме оценки риска и прогнозирования банкротства, были собраны необходимые данные для проведения исследования, построены модели, определяющие факторы, которые влияют на банкротство компании, а также была проверена прогнозная сила полученных моделей.

В ходе работы было выбрано пятнадцать исходных переменных для анализа, а также поставлены гипотезы относительно характера зависимости данных переменных на риск банкротства. Не все поставленные гипотезы подтвердись: пять первоначально выбранных для анализа переменных не повлияли на зависимую переменную ни в одной из моделей. Результат оценки двух переменных не совпал с поставленными гипотезами, однако полученный характер зависимости для этих факторов нашел свое объяснение. Все остальные гипотезы нашли свое подтверждение в процессе проведения исследования.

Второй этап проведения исследования подразумевал проверку прогнозной силы полученных моделей на контрольной выборочной совокупности. Результаты тестирования показали, что отобранные модели обладают немалой прогнозной силой как на совокупной выборке, так и относительно компаний банкротов и не банкротов в отдельности и на различных горизонтах прогнозирования.

Основной ценностью данной работы является то, что для выявления факторов, влияющих на банкротство компании, была использована панельная структура данных. В исследованиях по данной теме, использующих статистические методы, в частности модели логистических регрессий, предпочтение отдается пространственным данным. Использование панельных данных обладает рядом преимуществ, в частности, позволят отследить финансовые показатели компании в динамике и выявить закономерности в процессе становления компании банкротом.

Данное исследование может быть продолжено в нескольких направлениях. В первую очередь следует расширить экспериментальную выборку и контрольную выборку. В первом случае это способствует более точным оценкам коэффициентов, а во втором - более точным оценкам прогнозной силы моделей. Кроме того, попытки введения других объясняющих переменных могут привести к улучшению результатов и увеличению прогнозной силы. В дополнение к этому, апробация других функций вероятности может поспособствовать улучшению результатов, однако их применение может усложнить интерпретацию полученных результатов.

Данное исследование может быть полезно, в первую очередь для банков, кредитующих крупный бизнес. В рамках оценки индивидуального кредитного риска, данная модель может способствовать развитию методологии формирования оптимального кредитного портфеля. Кроме того, работающим в сфере менеджмента компаний данное исследование может способствовать выявлению слабых мест в своих финансовых показателях и разработке стратегии ведения бизнеса. Часть населения страны, которая занимается частным инвестированием также может быть заинтересована данной работой для оценки инвестиционной привлекательности различных компаний.

Список использованной литературы

1. Закон Р. Ф. Об акционерных обществах //М.,-1995. Положение об акционерных обществах//Предпринимательская деятельность в России: Сборник законодательных и нормативных актов.-М.,-1991. - 1996.

2. Вербик М. Путеводитель по современной эконометрике:[учеб.-метод. пособие для вузов по специальности 080601" Статистика" и другим междисциплинар. специальностям: пер. с англ.]. - корреляция, 2008.

3. Демешев Б. Б., Тихонова А. С. Динамика прогнозной силы моделей банкротства для средних и малых российских компаний оптовой и розничной торговли //Корпоративные финансы. - 2014. - №. 3 (31).

4. Жарковская Е. П., Бродскнй Б. Е. Антикризисное управление:[учебник]/Е. П Жарковская, БЕ Бродский.-[3-е изд., испр. и доп.] //М.: Омега-Л. - 2006.

5. Жданов В. Ю., Афанасьева О. А. Модель диагностики риска банкротства предприятий авиационно-промышленного комплекса //Корпоративные финансы. - 2011. - №. 4 (20). - С. 77-89.

6. Журов, В.А. Процесс разработки моделей для прогнозирования банкротства предприятий (на примере японских публичных компаний) // Журнал «Финансовый менеджмент». - 2007. - №1.

7. Недосекин А. О. Комплексная оценка риска банкротства корпорации на основе нечетких описаний [Электронный ресурс]: URL: http://www.ifel.ru/br7/3.pdf

8. Ратникова Т. А. Анализ панельных данных в пакете STATA //Методические указания к компьютерному практикуму по курсу «Эконометрический анализ панельных данных». М.: ГУ ВШЭ. - 2005.

9. Adnan Aziz M., Dar H. A. Predicting corporate bankruptcy: where we stand? //Corporate Governance: The international journal of business in society. - 2006. - Т. 6. - №. 1. - С. 18-33.

10. Ahmadi A. P. S. et al. Corporate bankruptcy prediction using a logit model: Evidence from listed companies of Iran //World Applied Sciences Journal. - 2012. - Т. 17. - №. 9. - С. 1143-1148.

11. Altman E. I. Financial ratios, discriminant analysis and the prediction of corporate bankruptcy //The journal of finance. - 1968. - Т. 23. - №. 4. - С. 589-609.

12. Altman E., Haldeman R., Narayanan P. Zeta analysis //Journal of Banking & Finance. - 1977. - №. 4. - С. 29 - 54.

13. Aziz A., Emanuel D. C., Lawson G. H. Bankruptcy prediction?an investigation of cash flow based models [1] //Journal of Management Studies. - 1988. - Т. 25. - №. 5. - С. 419-437.

14. Aziz A., Lawson G. H. Cash flow reporting and financial distress models: Testing of hypotheses //Financial Management. - 1989. - С. 55-63.

15. Beaver W. H. Financial ratios as predictors of failure //Journal of accounting research. - 1966. - С. 71-111.

16. Bellovary J. L., Giacomino D. E., Akers M. D. A review of bankruptcy prediction studies: 1930 to present //Journal of Financial education. - 2007. - С. 1-42.

17. Dambolena I. G., Shulman J. M. A primary rule for detecting bankruptcy: Watch the cash //Financial Analysts Journal. - 1988. - Т. 44. - №. 5. - С. 74-78.

18. El-Temtamy O. S. Bankruptcy prediction: a comparative study of logit and neural networks. Ph.D. dissertation, Middle Tennessee State University. - 1995.

19. Fulmer J., Moon J., Gavin T., Erwin J. A bankruptcy classification model for small firms //The Journal of Commercial Bank Lending. - 1984. - T. 66. - №. 5. - С. 25-37.

20. Guan Q. Development of optimal network structures for back-propagationtrained neural networks. Ph.D. dissertation, University of Nebraska. - 1993.

21. Louzada F., Ferreira-Silva P. H., Diniz C. A. R. On the impact of disproportional samples in credit scoring models: An application to a Brazilian bank data //Expert Systems with Applications. - 2012. - Т. 39. - №. 9. - С. 8071-8078.

22. Low S. W., Fauzias M. N., Yatim P. Predicting corporate financial distress using logit model: The case of Malaysia //Asian Academy of Management Journal. - 2001. - Т. 6. - №. 1. - С. 49-61.

23. Ohlson J. A. Financial ratios and the probabilistic prediction of bankruptcy //Journal of accounting research. - 1980. - С. 109-131.

24. Sands E., Springate G., Var T. Predicting business failures: a Canadian approach// CGA Magazine. - 1983. - №. 17. - С. 24-27.

25. Skogsvik K. Current cost accounting ratios as predictors of business failure: The Swedish case //Journal of Business Finance & Accounting. - 1990. - Т. 17. - №. 1. - С. 137-160.

26. Taffler R. J. Empirical models for the monitoring of UK corporations //Journal of Banking & Finance. - 1984. - Т. 8. - №. 2. - С. 199-227.

27. Theodossiou P. Alternative models for assessing the financial condition of business in Greece //Journal of Business Finance & Accounting. - 1991. - Т. 18. - №. 5. - С. 697-720.

28. Tsukuda J., Baba S. Predicting Japanese corporate bankruptcy in terms of financial data using neural network //Computers & Industrial Engineering. - 1994. - Т. 27. - №. 1. - С. 445-448.

29. Wang, B. Strategy changes and internet firm survival. Ph.D. dissertation, University of Minnesota. - 2004.

30. Материалы сайта http://www.gks.ru/

31. Материалы сайта https://www.e-disclosure.ru/

Приложение А. Список компаний, входящих в экспериментальную выборку

№

Название компании

Статус (2014)

1

ОАО "12 АРЗ"

Банкрот

2

ОАО "444 ВКФ"

Банкрот

3

ОАО "Автовокзал"

Банкрот

4

ОАО "Автомир"

Банкрот

5

ОАО "Агротракт"

Банкрот

6

ОАО "Агрофирма Битки"

Банкрот

7

ОАО "Азнакаевское ПАТП"

Банкрот

8

ОАО "Ак Барс Авиа"

Банкрот

9

ОАО "Ангара Пейпа"

Банкрот

10

ОАО "АПК "Галкинская"

Банкрот

11

ОАО "АПРЗ"

Банкрот

12

ОАО "Аптечная сеть 36,6"

Не банкрот

13

ОАО "АТП-11"

Банкрот

14

ОАО "Аэрофлот"

Не банкрот

15

ОАО "БАЗ"

Банкрот

16

ОАО "БалКо"

Банкрот

17

ОАО "Балтайское АТП"

Банкрот

18

ОАО "Барнаульский дрожжевой завод"

Банкрот

19

ОАО "Башинформсвязь"

Не банкрот

20

ОАО "Бифидум"

Банкрот

21

ОАО "Бичевнинское ХПП"

Банкрот

22

ОАО "Бурундуковский элеватор"

Банкрот

23

ОАО "Бурятзолото"

Не банкрот

24

ОАО "Быт-Сервис"

Банкрот

25

ОАО "Вега"

Банкрот

26

ОАО "Вектор"

Банкрот

27

ОАО "ВЗ ЖБИ №1"

Банкрот

28

ОАО "ВО Технопромэкспорт"

Банкрот

29

ОАО "ВТОРРЕСУРСЫ"

Не банкрот

30

ОАО "ГАЗ"

Не банкрот

31

ОАО "Газпром нефть"

Не банкрот

32

ОАО "Галс-Девелопмент"

Не банкрот

33

ОАО "Генмостстрой"

Банкрот

34

ОАО "ГЕОТЕК Сейсморазведка"

Не банкрот

35

ОАО "Гипрохим-Волга"

Банкрот

36

ОАО "Главснаб"

Банкрот

37

ОАО "ГлавТоргПродукт"

Не банкрот

38

ОАО "Группа "РАЗГУЛЯЙ"

Не банкрот

39

ОАО "Дагэнергоремстрой"

Банкрот

40

ОАО "ДИКСИ Групп"

Не банкрот

№

Название компании

Статус (2014)

41

ОАО "ДИОД"

Не банкрот

42

ОАО "Дэп № 65"

Банкрот

43

ОАО "Екатериновское АТП"

Банкрот

44

ОАО "ИФЖС"

Банкрот

45

ОАО "Казаньоргсинтез"

Не банкрот

46

ОАО "КЗМС"

Не банкрот

47

ОАО "КМЗ"

Не банкрот

48

ОАО "Комбинат Южуралникель"

Не банкрот

49

ОАО "Котлин"

Банкрот

50

ОАО "Красноярский завод комбайнов"

Банкрот

51

ОАО "КСК"

Не банкрот

52

ОАО "КТУЗ"

Банкрот

53

ОАО "Кубаньэнерго"

Не банкрот

54

ОАО "Кузбасская Топливная Компания"

Страница:


Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.

© 2000 — 2023, ООО «Олбест» Все права защищены