Применение нейронных сетей в задачах прогнозирования финансовых ситуаций и принятия решений

В наше время все чаще возникает проблема анализа в различных областях деятельности человека. Необходимость предвидения последующих шагов в конкретных ситуациях. В данной работе рассматривается анализ биржевой активности с помощью нейронных сетей, которые являются одним из мощных средств анализа.

В последние несколько лет наблюдается взрыв интереса к нейронным сетям, они находят успешное применение в самых различных областях - бизнесе, медицине, геологии, физике. Нейронные сети вошли в практику везде, где нужно решать задачи прогнозирования, классификации и управления. Такие характеристики нейронных методов, как возможность нелинейного моделирования и сравнительная простота реализации, часто делают их незаменимыми при решении сложнейших многомерных задач.

Нейронные сети нелинейны по своей природе и представляют собой исключительно мощный метод моделирования, позволяющий воспроизводить чрезвычайно сложные зависимости. На протяжении многих лет в качестве основного метода в большинстве областей использовалось линейное моделирование, поскольку для него хорошо разработаны процедуры оптимизации. Там, где линейная аппроксимация неудовлетворительна и линейные модели работают плохо, а таких задач достаточно много, основным инструментом становятся нейронные методы. Кроме того, нейронные сети справляются с «проклятием размерности», которое не позволяет моделировать линейные зависимости в случае большого числа переменных.

Нейронные сети учатся на примерах. Пользователь нейронной сети подбирает репрезентативную выборку, а затем запускает алгоритм обучения, который автоматически воспринимает структуру данных. При этом от пользователя, конечно, требуется какой-то набор эвристических знаний о том, как следует отбирать и подготавливать данные, выбирать нужную архитектуру сети и интерпретировать результаты, однако уровень знаний, необходимый для успешного применения нейронных сетей, гораздо скромнее, чем, например, при использовании традиционных методов статистики.

Нейронные сети привлекательны с интуитивной точки зрения, ибо они основаны на биологической модели нервных систем. В будущем развитие таких нейробиологических моделей может привести к созданию действительно мыслящих компьютеров, которые смогут давать прогнозы на будущее в любой области деятельности человека.

Глава 1. Задача анализа деловой активности

Курсы валют формируется на основе множества индивидуальных принимаемых решений, которые в свою очередь основаны на совокупности исходных данных. Участники валютно-кредитных и финансовых отношений подвергаются рискам. Основными факторами, которые определяют риски в международных валютных, кредитных и финансовых операциях, выделяют следующие:

1. Макроуровень:

· Снижение темпа экономического роста.

· Усиление инфляции.

· Ухудшение торгового и платежного баланса.

· Увеличение государственного долга.

· Уменьшение официальных золото-валютных резервов.

· Миграция капиталов.

· Изменение в законодательстве.

· Политические события.

2. Микроуровень:

· Ухудшение хозяйственно финансового положения.

· Неплатежеспособность.

· Неустойчивость курса валюты.

· Колебание процентных ставок.

Рассмотрим более подробно экономические показатели, влияющие на решение поставленной задачи, они представлены в таблице 1.2.1.

Таблица 1.2.1. Показатели курсов валют и индексов деловой активности.

В таблице 1.2.1. представлены следующие показатели : Day - день торгов, Gold - цена на золото, Yen - обменный курс Иены к Доллару, DM - обменный курс Немецкой марки к Доллару, Pound - обменный курс Фунта к Доллару, DowAvg - среднее число Доу Джонса; NYVul - объем обмена на Нью-Йорской Фондовой бирже.

В этой таблице представлены курсы обмена различных валют. Валютные риски - это опасность валютных потерь в результате изменения курса валюты цены по отношению к валюте платежа. В основе валютного риска лежит изменение стоимости денежного обязательства в период между подписанием внешнеторгового или кредитного соглашения и осуществлением платежа по нему. Еще одним параметром влияющим на принятие решения является индекс Доу Джонса. Это индекс деловой активности, рассчитываемый в долларах, является как бы особым курсом акций. Индекс состоит из четырех показателей: среднего курса акций 30 промышленных корпораций, 20 транспортных, 15 компаний коммунального обслуживания и свободного курса по этим вместе взятым 65 корпорациям. Индекс рассчитывается как среднеарифметическая сумма курсов тех долей капитала, которые представляли акции каждой из кампаний в момент включения в индекс. Также в этой таблице представлена цена на золото и объем обмена долларов на Нью-Йорской Фондовой бирже.

В таблице 1.2.1. экономические показатели представлены в виде временных рядов для тридцати трех последовательных дней. Допустим, что первый день является понедельником и исключая четыре выходных, по два дня в каждом, получим двадцать пять рабочих дней, то есть пять рабочих недель. В результате получается таблица 1.1.1., в которой отсутствуют определенные дни, а именно 6, 7, 13, 14, 20, 21, 27, 28.

1.3 Временные ряды

Целью анализа временных рядов, где значения переменных измеряются в различные моменты времени и где присутствуют (или, по меньшей мере, ожидаются) зависимости между последовательными значениями одной и той же переменной является прогноз значения некоторой переменной в определенный момент времени по ее значениям и/или значениям других переменных в предшествующие моменты времени. Чаще всего наблюдается значение одной числовой переменной, а цель заключается в том, чтобы спрогнозировать ее следующее значение по нескольким предыдущим.

На рис.1.3.1.-рис.1.3.6. представлены графики временных рядов экономических показателей и курсов валют из таблицы 1.2.1.

Рис.1.3.1. Изменение цены на золото.

Рис.1.3.2. Изменение курса обмена Йены к Доллару.

Рис.1.3.3. Изменение курса обмена Немецкой марки к Доллару.

Рис.1.3.4. Изменение курса обмена Фунта к Доллару.

Рис.1.3.5. Изменение индекса Доу Джонса. объем обмена фондовой бирже.

Рис.1.3.5. Изменение объем обмена на Нью-Йорской Фондовой бирже.

Как видно из этих графиков у каждого экономического показателя, в связи с тем или иным явлением в экономике, своя тенденция развития и связь между этими тенденциями и курсом обмена Йены к Доллару определить на взгляд невозможно. Все эти показатели определенным образом сказываются на курс обмена Йены к Доллару. Эту зависимость можно выявить с помощью нейронной сети.

Выводы к главе 1

2. Рассмотрены экономические факторы, влияющие на решение задачи.

3. Рассмотрены экономические показатели, которые представлены в исходных данных.

Глава 2. Задачи применения современных информационных технологий и нейронных сетей

После многих лет почти полного забвения интерес к методам нейросетевой обработки информации возник снова несколько лет тому назад, в частности, в связи с развитием микроэлектронной технологии и разработкой принципиально новых физических принципов реализации элементов и фрагментов нейронных сетей, в том числе сетей с очень большим числом нейронов. Это в свою очередь резко активизировало исследования в области нейроматематики (методов решения задач в нейросетевом базисе) и в области архитектур компьютеров нового типа - нейрокомпьютеров. Основное отличие нейрокомпьютеров от традиционных вычислительных машин состоит в том, что основой вычислений является не алгоритм в классическом его понимании и представлении (например, в виде граф схемы алгоритма или в виде логической схемы алгоритма), а некий способ вычислений в нейросетевом логическом базисе, т.е. в виде нейронной сети определенной структуры определенной схемы настройки.

Именно эта особенность и позволяет рассматривать нейросетевую обработку информации в качестве отдельного направления современной информационной технологии.

Прежде всего, когда мы говорим о нейронных сетях, то чаще имеем в виду искусственные нейронные сети. Некоторые искусственные нейронные сети моделируют биологические нейронные сети, некоторые нет. Однако исторически сложилось так, что первые искусственные нейронные сети, были созданы в результате попыток получить компьютерную модель, воспроизводящую деятельность мозга в упрощенной форме. Конечно, возможности человеческого мозга неизмеримо больше, чем возможности самой мощной искусственной нейронной сети. Однако искусственные нейросети обладают рядом свойств присущих биологическим нейросетям, в том числе и человеческому мозгу.

Главное свойство нейросетей - способность к обучению. Для решения какой-либо задачи на компьютере традиционным методом необходимо знать правила (математические формулы), по которым из входных данных можно получит выходные (найти решение задачи). С помощью нейросети можно найти решение, не зная правил, а имея несколько примеров. Нейросети используют подход к решению задач более близкий к человеческому, чем традиционные вычисления. В самом деле, например, когда человек переходит улицу, он оценивает скорость движения автомобиля исходя из предыдущего опыта не используя математических вычислений. Или, например, как ребенок без труда может отличить кошку от собаки, основываясь на ранее виденных им примерах. При этом часто он не может точно сказать, по каким признакам он их отличает, т.е. он не знает четкого алгоритма.

Другое важное свойство нейросетей - способность находить решение, основываясь на зашумленных, искаженных и даже противоречивых данных!

Еще одно замечательное свойство это отказоустойчивость. В случае выхода из строя части нейронов, вся сеть в целом продолжает оставаться работоспособной, хотя, конечно, точность снижается. Это свойство важно для аппаратно реализованных нейросетей, т.к. если нейросеть эмулируется на традиционном компьютере, то в случае выхода из строя центрального процессора вся нейросеть потеряет работоспособность.

В принципе нейронные сети могут вычислить любую функцию, имеющую решение. Иными словами, делать все, что могут делать традиционные компьютеры.

На практике, для того, чтобы применение нейронной сети было оправдано, необходимо, чтобы задача обладала следующими признаками:

· отсутствует алгоритм или не известны принципы решения задач, но накоплено достаточное число примеров;

· проблема характеризуется большими объемами входной информации;

· данные неполны или избыточны, зашумлены, частично противоречивы.

Таким образом, нейросети хорошо подходят для распознавания образов и решения задач классификации, оптимизации и прогнозирования. Ниже приведен перечень возможных промышленных применений нейронных сетей, на базе которых либо уже созданы коммерческие продукты, либо реализованы демонстрационные прототипы.

Банки и страховые компании:

* автоматическое считывание чеков и финансовых документов;

* проверка достоверности подписей;

* оценка риска для займов;

* прогнозирование изменений экономических показателей.

Административное обслуживание:

* автоматическое считывание документов;

* автоматическое распознавание штриховых кодов.

Нефтяная и химическая промышленность:

* анализ геологической информации;

* идентификация неисправностей оборудования;

* разведка залежей минералов по данным аэрофотосъемок;

* анализ составов примесей;

* управление процессами.

Военная промышленность и аэронавтика:

* обработка звуковых сигналов (разделение, идентификация, локализация, устранение шума, интерпретация);

* обработка радарных сигналов (распознавание целей, идентификация и локализация источников);

* обработка инфракрасных сигналов (локализация);

* обобщение информации;

* автоматическое пилотирование.

Промышленное производство:

* управление манипуляторами;

* управление качеством;

* управление процессами;

* обнаружение неисправностей;

* адаптивная робототехника;

* управление голосом.

Служба безопасности:

* распознавание лиц, голосов, отпечатков пальцев.

Медицина:

* выявление и идентификация раковых клеток;

* диагностирование и предсказание вероятности возникновения заболеваний;

* обнаружение отклонений в ЭКГ;

* анализ рентгенограмм.

Телевидение и связь:

* адаптивное управление сетью связи;

* сжатие и восстановление изображения.

Представленный перечень далеко не полон.

Разумеется, вовсе нелюбую задачу можно решить с помощью нейронной сети. Если вы хотите определить результаты лотереи, тираж которой состоится через неделю, зная свой размер обуви, то едва ли это получится, поскольку эти показатели никак не связанны друг с другом. На самом деле, если тираж проводится честно, то не существует такой информации, на основании которой можно было бы предсказать результат.

Из выше сказанного можно сделать два основных условия, когда можно применять нейронные сети:

1. Должна быть определенная известная информация для обучения нейронной сети.

2. Необходима связь между известными входными и неизвестными выходными значениями. Эта связь может быть искажена шумом, но она должна существовать.

Нейронная сеть используется тогда, когда неизвестен точный вид связей между входами и выходами, и она находит эту зависимость в процессе обучения.

2.2 Особенности применения нейронных сетей

2.2.1 Как работает нейронная сеть

Для того чтобы нейронная сеть приобрела способность решать конкретную задачу, то есть на каждый входной сигнал выдавать необходимый выходной сигнал, необходимо провести настройку параметров сети. Настройка производится по обучающей выборке, которая состоит из пар (<вход>, <желаемый выход>) - обучающих примеров.

Для проверки навыков, приобретенных сетью в процессе обучения, используется имитация функционирования сети. В сеть вводится некоторый сигнал, который, как правило, не совпадает ни с одним из входных сигналов примеров обучающей выборки. Далее анализируется получившийся выходной сигнал сети. Тестирование обученной сети может проводиться на одиночных входных сигналах, либо на контрольной выборке, которая имеет структуру, аналогичную обучающей выборке, и также состоит из пар (<вход>, <желаемый выход>). Как правило, обучающая и контрольная выборки не пересекаются. Контрольная выборка строится пользователем индивидуально для каждой решаемой задачи.

В программе Trajan можно построить и обучить несколько типов нейронных сетей. Основные типы сетей и их характеристики представлены в таблице 3.1.1.

Таблице 3.1.1. Типы нейронных сетей и их особенности.

Рассмотрим все эти типы нейронных сетей и методы их обучения в программе Trajan.

3.1.1 Многослойный персептрон

Эта структура сети используется сейчас наиболее часто. Каждый элемент сети строит взвешенную сумму своих входов с поправкой в виде слагаемого, затем пропускает эту величину активации через передаточную функцию, и таким образом получается выходное значение этого элемента. Элементы организованны в послойную топологию с прямой передачей сигнала. Такую сеть можно легко интерпретировать как модель вход-выход, в которой свободными параметрами являются веса и пороговые значения. Сеть подобной структуры может моделировать функцию практически любой степени сложности, причем число слоев и число элементов в каждом слое определяет сложность функции.

3.1.1.1 Обучение MLP сетей в программе Trajan

Таким образом, алгоритм действует итеративно, и его шаги принято называть эпохами. На каждой эпохе на вход сети поочередно подаются все обучающие наблюдения, выходные значения сети сравниваются с целевыми значениями и вычисляется ошибка. Значение ошибки, а также градиента поверхности ошибок используются для корректировки весов, после чего все действия повторяются. Начальная конфигурация сети выбирается случайным образом, и процесс обучения прекращается либо когда пройдено определенное количество эпох, либо когда ошибка достигает некоторого определенного уровня малости или вовсе перестает уменьшаться.

Одной из серьезных трудностей данного подхода является в том, что таким образом мы минимизируем не ту ошибку, которую на самом деле нужно минимизировать - ошибку, которую можно ожидать от сети, когда ей будут подаваться на вход совершенно новые наблюдения. Иначе говоря, мы хотели бы, чтобы нейронная сеть обладала способностью обобщать результат на новые наблюдения. В действительности сеть обучается минимизировать ошибку на обучающем множестве, и в отсутствие идеального и бесконечно большого множества это совсем не тоже самое, что минимизировать «настоящую» ошибку на поверхности ошибок в заранее известной модели явления. Сильнее всего это различие проявляется в проблеме переобучения, или излишней подгонки. Сети с большим числом весов моделируют более сложные функции и, следовательно, склонны к переобучению. Сеть же с небольшим числом весов может оказаться недостаточно гибкой, чтобы смоделировать имеющуюся зависимость. Почти всегда более сложная сеть дает меньшую ошибку, но это может свидетельствовать не о хорошем качестве модели, а о переобучении.

Для фиксирования переобучения в программе Trajan используется механизм контрольной кросспроверки. Резервируется часть обучающих наблюдений, и они не используются в обучении по алгоритму обратного распространения. Вместо этого, по мере работы алгоритма, они используются для независимого контроля результата. В самом начале работы ошибка сети на обучающем и контрольном множестве будет одинаковой (если они существенно отличаются, то, вероятно, разбиение всех наблюдений на два множества было неоднородно). По мере того, как сеть обучается, ошибка обучения, естественно, убывает, и, пока обучение уменьшает действительную функцию ошибок, ошибка на контрольном множестве также будет убывать. Если же контрольная ошибка перестала убывать или даже стала расти, это указывает на то, что сеть начала слишком быстро аппроксимировать данные и обучение следует остановить. Это явление чересчур точной аппроксимации и называется переобучением. Если такое случилось, то обычно советуют уменьшить число скрытых элементов и/или слоев, ибо сеть является слишком мощной для данной задачи. Если же сеть, наоборот, была взята недостаточно богатой для того, чтобы моделировать имеющуюся зависимость, то переобучения, скорее всего, не произойдет, и обе ошибки - обучения и проверки - не достигнут достаточного уровня малости.

Описанные проблемы с локальными минимумами и выбором размера сети приводят к тому, что при практической работе с нейронными сетями, как правило приходится экспериментировать с большим числом различных сетей, порой обучая каждую из них несколько раз и сравнивая полученные результаты. Главным показателем качества результата является здесь контрольная ошибка. При этом в соответствии с общенаучным принципом, согласно которому при прочих равных показателях следует предпочесть более простую модель, из двух сетей с приблизительно равными ошибками имеет смысл выбрать ту, которая меньше по размеру.

Метод сопряженных градиентов является методом линейного поиска. Алгоритм линейного поиска действует следующим образом: выбирается какое-либо разумное направление движения по многомерной поверхности. В этом направлении проводится линия, и на ней ищется точка минимума (это делается относительно просто с помощью того или иного варианта метода деления отрезка пополам); затем все повторяется с начала. Очевидным разумным направлением является направление скорейшего спуска (именно так действует алгоритм обратного распространения). На самом деле, этот вроде бы очевидный выбор не очень удачен. После того как был найден минимум по некоторой прямой, следующая линия, выбранная для кратчайшего спуска, может «испортить» результаты минимизации по предыдущему направлению. В методе сопряженных градиентов после нахождения точки минимума, вдоль некоторой прямой, производная по этому направлению равна нулю, сопряженное направление выбирается таким образом, чтобы эта производная и дальше оставалась нулевой. Если это условие выполнимо, то до достижения точки минимума достаточно будет N эпох. На реальных, сложно устроенных поверхностях по мере хода алгоритма условие сопряженности портится, и, тем не менее, такой алгоритм, как правило, требует гораздо меньшего числа шагов, чем метод обратного распространения, и дает лучшую точку минимума.

3.1.1.1.3 Метод Левенберга-Маркара