Моделирование нейронных сетей для прогнозирования стоимости недвижимости

Коэффициент конкордации принимает значение в пределах от 0 до 1. W=l означает полную согласованность мнений экспертов, при W=0 - полную несогласованность. Коэффициент конкордации показывает степень согласованности всей экспертной группы. Низкое значение этого коэффициента может быть получено как при отсутствии общности мнений всех экспертов, так и из-за наличия противоположных мнений между подгруппами экспертов, хотя внутри подгруппы согласованность может быть высокой. Для выявления степени согласованности мнений экспертов используется коэффициент парной ранговой корреляции

(3.16)

где ш_j - разность (по модулю) величин рангов оценок j-го направления, назначенных экспертами i и i+1,

(3.17)

Коэффициент парной ранговой корреляции может принимать значения от +1 до -1. Значение с=1 соответствует полной согласованности мнений двух экспертов. Значение с=-1 показывает, что мнение одного эксперта противоположно мнению другого.

Для определения уровня значимости значений коэффициентов W и с_i,i+1 можно использовать критерий ч². Для этого вычисляется величина

(3.18)

(число степеней свободы k=т-1) и по соответствующим таблицам определяется уровень значимости полученных значений.

3.2 Адаптивные методы прогнозирования

Считается, что характерной чертой адаптивных методов прогнозирования является их способность непрерывно учитывать эволюцию динамических характеристик изучаемых процессов, «подстраиваться» под эту эволюцию, придавая, в частности, тем больший вес и тем более высокую информационную ценность имеющимся наблюдениям, чем ближе они к текущему моменту прогнозирования. Однако деление методов и моделей на «адаптивные» и «неадаптивные» достаточно условно. В известном смысле любой метод прогнозирования адаптивный, т.к. все они учитывают вновь поступающую информацию, в том числе наблюдения, сделанные с момента последнего прогноза. Общее значение термина заключается, по видимому, в том, что «адаптивное» прогнозирование позволяет обновлять прогнозы с минимальной задержкой и с помощью относительно несложных математических процедур. Однако это не означает, что в любой ситуации адаптивные методы эффективнее тех, которые традиционно не относятся к таковым. Постановка задачи прогнозирования с использованием простейшего варианта метода экспоненциального сглаживания формулируется следующим образом.

Пусть анализируемый временной ряд представлен в виде

(3.19)

где a₀ ? неизвестный параметр, не зависящий от времени, а е_ф ? случайный остаток со средним значением, равным нулю, и конечной дисперсией.

Как известно, экспоненциально взвешенная скользящая средняя ряда x_ф в точке x_t(л) с параметром сглаживания (параметром адаптации) определяется формулой

(3.20)

которая дает решение задачи:

(3.21)

Коэффициент сглаживания л можно интерпретировать также как коэффициент дисконтирования, характеризующий меру обесценения наблюдения за единицу времени.

Для рядов с «бесконечным прошлым» формула (3.20) сводится к виду

(3.22)

В соответствии с простейшим вариантом метода экспоненциального сглаживания прогноз для неизвестного значения x_t+1 по известной до момента времени t траектории ряда x_t строится по формуле

(3.23)

где значение определено формулой (3.20) или (3.22), соответственно для короткого или длинного временного ряда.

Формула (3.23) удобна, в частности, тем, что при появлении следующего (t+1)-го наблюдения x_t-1 пересчёт прогнозирующей функции производится с помощью простого соотношения

Метод экспоненциального сглаживания можно обобщить на случай полиномиальной неслучайной составляющей анализируемого временного ряда, т.е. на ситуации, когда вместо (3.19) постулируется

(3.24)

где k ? 1. В соотношении (3.24) начальная точка отсчета времени сдвинута в текущий момент времени t, что облегчает дальнейшие вычисления. Соответственно, в схеме простейшего варианта метода прогноза значения x_t+1 будут определяться соотношениями (3.24). Рассмотрим еще несколько методов, использующих идеологию экспоненциального сглаживания, которые развивают метод Брауна в различных направлениях.

3.2.1 Метод Хольта

Хольт ослабил ограничения метода Брауна, связанные с его однопараметричностью, введением двух параметров сглаживания в его модели прогноза и , на l такт времени в текущий момент t также определяется линейным трендом вида

(3.25)

где обновление прогнозирующих коэффициентов производится по формулам

(3.26)

Таким образом, прогноз по данному методу является функцией прошлых и текущих данных, параметров и , а также начальных значений и .

3.2.2 Метод Хольта-Уинтерса

Уинтерс развил метод Хольта так, чтобы он охватывал еще и сезонные эффекты. Прогноз, сделанный в момент t на l такт времени вперед, равен

(3.27)

где щф ? коэффициент сезонности, а N ? число временных тактов, содержащихся в полном сезонном цикле. Сезонность в этой формуле представлена мультипликативно. Метод использует три параметра сглаживания а его формулы обновления имеют вид

(3.28)

Как и в предыдущем случае, прогноз строится на основании прошлых и текущих значений временного ряда, параметров адаптации , и , а также начальных значений и

3.2.3 Аддитивная модель сезонности Тейла?Вейджа

В экономической практике чаще встречаются экспоненциальные тенденции с мультипликативно наложенной сезонностью. Поэтому перед использованием аддитивной модели члены анализируемого временного ряда обычно заменяют их логарифмами, преобразуя экспоненциальную тенденцию в линейную, а мультипликативную сезонность в аддитивную. Преимущество аддитивной модели заключается в относительной простоте ее вычислительной реализации. Рассмотрим модель вида (в предположении, что исходные данные прологарифмированы) где a₀(ф) ? уровень процесса после элиминирования сезонных колебаний, a₁(ф) ? аддитивный коэффициент роста, щ_t ? аддитивный коэффициент сезонности, дt ? белый шум.

Прогноз, сделанный в момент t на l временной такт вперед, подсчитывается по формуле

(3.29)

где коэффициенты , и щ вычисляются рекуррентным образом с помощью следующих формул обновления

(3.30)

В этих соотношениях, как и прежде, N ? число временных тактов, содержащихся в полном сезонном цикле, а , и ? параметры адаптации.

4. ОСНОВНЫЕ ПОНЯТИЯ НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ

В последние десятилетия в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях. Актуальность исследований в этом направлении подтверждается массой различных применений НС. Это автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью НС можно, например, предсказывать показатели биржевого рынка, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке или синтезировать речь по тексту.

Широкий круг задач, решаемый НС, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные НС, функционирующие по различным алгоритмам.

4.1 Общие характеристики ИНС

Нейросетевыми технологиями называют комплекс информационных технологий, основанных на применении искусственных нейронных сетей. Искусственные нейронные сети - это программно или аппаратно реализованные системы, построенные по принципу организации и функционирования их биологического аналога - нервной системы человека.

По данным нейробиологии нервная система человека и животных состоит из отдельных клеток - нейронов. Каждая такая клетка выполняет сравнительно простые действия: нейрон способен принимать сигналы от других клеток, и, в свою очередь, передавать сигнал другим клеткам. Исходящий сигнал формируется лишь в случае особой комбинации входящих сигналов. Таким образом, нейрон можно представить как простейший вычислительный элемент: он преобразует входящую информацию в исходящую. Это преобразование происходит в сравнительно короткий срок: время срабатывания нейрона - 2-5 мс.

Рисунок 4.1 - Биологический нейрон

На рисунке 4.1 показана структура пары типичных биологических нейронов. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие - воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам. У этой основной функциональной схемы много усложнений и исключений, тем не менее, большинство искусственных нейронных сетей моделируют лишь эти простые свойства.

В основе нейросетевых технологий лежит идея о том, что функционирование биологического нейрона можно промоделировать относительно простыми математическими моделями, а вся глубина и гибкость человеческого мышления и другие важнейшие качества нервной системы определяются не сложностью нейронов, а их большим числом и наличием сложной системы связей между ними. В мозге человека их число достигает 1010 - 1012, причем каждый из них связан с 103 - 104 другими нейронами, что создает исключительно комплексную структуру. Эта структура не является статичной: человек находится в процессе постоянного обучения; на основании поступающей в его мозг информации он приобретает опыт и в результате становится способен решать новые задачи. Накопление опыта выражается в изменении характера и «силе» связей между нейронами.

Математическую модель нейрона, а также разработанные на ее основе программные и аппаратные реализации называют искусственным, или формальным нейроном.

Принципиальная схема искусственного нейрона представлена на рисунке 4.2.

Рисунок 4.2 - Принципиальная схема искусственного нейрона

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. На рисунке 4.2 представлена модель, реализующая эту идею. Хотя сетевые парадигмы весьма разнообразны, в основе почти всех их лежит эта конфигурация. Здесь множество входных сигналов, обозначенных x₁, x₂,..., x_n, поступает на искусственный нейрон. Эти входные сигналы, в совокупности, обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый сигнал умножается на соответствующий вес w₁, w₂,…, w_n, и поступает на суммирующий блок, обозначенный У. Каждый вес соответствует «силе» одной биологической синаптической связи. Множество весов в совокупности обозначается вектором W. Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, создавая выход, который имеет название NET. В векторных обозначениях это может быть компактно записано следующим образом: NET = XW.

Сигнал NET далее, как правило, преобразуется активационной функцией F и дает выходной нейронный сигнал OUT. Активационная функция может быть обычной линейной функцией

, (4.1)

где К - постоянная, пороговой функции, или же функцией, более точно моделирующей нелинейную передаточную характеристику биологического нейрона и представляющей нейронной сети большие возможности.

Рисунок 4.3 - Искусственный нейрон с активационной функцией

На рисунке 4.3 блок, обозначенный F, принимает сигнал NET и выдает сигнал OUT. Если блок F сужает диапазон изменения величины NET так, что при любых значениях NET значения OUT принадлежат некоторому конечному интервалу, то F называется (сжимающей) функцией. В качестве (сжимающей) функции часто используется логистическая или сигмоидальная (S-образная) функция. Эта функция математически выражается как

.(4.2)

Таким образом,

(4.3)

По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины OUT к вызвавшему его небольшому приращению величины NET. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным.

Рассмотренная простая модель искусственного нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают решающими.

Свою силу нейронные сети черпают, во-первых, из распараллеливания обработки информации и, во-вторых, из способности самообучаться, т.е. создавать обобщения. Под термином обобщение понимается способность получать обоснованный результат на основании данных, которые не встречались в процессе обучения. Эти свойства позволяют нейронным сетям решать сложные (масштабные) задачи, которые на сегодняшний день считаются трудноразрешимыми. Однако на практике при автономной работе нейронные сети не могут обеспечить готовые решения. Их необходимо интегрировать в сложные системы. В частности, комплексную задачу можно разбить на последовательность относительно простых, часть из которых может решаться с помощью НС.

Итак, приведем некоторые преимущества и достоинства нейронных сетей перед традиционными вычислительными системами.

1. Решение задач при неизвестных закономерностях.

2. Устойчивость к шумам во входных данных.

3. Адаптация к изменениям окружающей среды.

4. Потенциальное сверхвысокое быстродействие.

5. Отказоустойчивость при аппаратной реализации нейронной сети.

Нейросетевые технологии можно использовать во многих областях человеческой деятельности, например:

1. Экономика и бизнес. Предсказание рынков, автоматический дилинг, оценка риска невозврата кредитов, предсказание банкротств, оценка стоимости недвижимости, выявление пере- и недооцененных компаний, автоматическое рейтингование, оптимизация портфелей, оптимизация товарных и денежных потоков, автоматическое считывание чеков и форм, безопасность транзакций по пластиковым карточкам.

2. Медицина. Обработка медицинских изображений, мониторинг состояния пациентов, диагностика, факторный анализ эффективности лечения, очистка показаний приборов от шумов.

3. Авионика. Обучаемые автопилоты, распознавание сигналов радаров, адаптивное пилотирование сильно поврежденного самолета.

4. Связь. Сжатие видео-информации, быстрое кодирование-декодирование, оптимизация сотовых сетей и схем маршрутизации пакетов.

5. Интернет. Ассоциативный поиск информации, электронные секретари и агенты пользователя в сети, фильтрация информации в push-системах, коллаборативная фильтрация, рубрикация новостных лент, адресная реклама, адресный маркетинг для электронной торговли.

6. Автоматизация производства. Оптимизация режимов производственного процесса, комплексная диагностика качества продукции (ультразвук, оптика, гамма-излучение), мониторинг и визуализация многомерной диспетчерской информации, предупреждение аварийных ситуаций, робототехника.

7. Политические технологии. Анализ и обобщение социологических опросов, предсказание динамики рейтингов, выявление значимых факторов, объективная кластеризация электората, визуализация социальной динамики населения.

8. Безопасность и охранные системы. Системы идентификации личности, распознавание голоса, лиц в толпе, распознавание автомобильных номеров, анализ аэро-космических снимков, мониторинг информационных потоков, обнаружение подделок.

9. Ввод и обработка информации. Обработка рукописных чеков, распознавание подписей, отпечатков пальцев и голоса. Ввод в компьютер финансовых и налоговых документов.

10. Геологоразведка. Анализ сейсмических данных, ассоциативные методики поиска полезных ископаемых, оценка ресурсов месторождений.

4.2 Функционирование ИНС

Модели НС могут быть программного и аппаратного исполнения. Рассмотрим модель НС программного исполнения.

Несмотря на существенные различия, отдельные типы НС обладают несколькими общими чертами.



Рисунок 4.4 - Структурная схема искусственного нейрона

Во-первых, основу каждой НС составляют относительно простые, в большинстве случаев - однотипные, элементы (ячейки), имитирующие работу нейронов мозга. Далее под нейроном будет подразумеваться искусственный нейрон, то есть ячейка НС. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он обладает группой синапсов - однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Общий вид нейрона приведен на рисунке 4.4. Каждый синапс характеризуется величиной синаптической связи или ее весом w_i, который по физическому смыслу эквивалентен электрической проводимости.

Текущее состояние нейрона определяется, как взвешенная сумма его входов:

.(4.4)

Выход нейрона есть функция его состояния:

(4.5)

Рисунок 4.5 - а) функция единичного скачка; б) линейный порог (гистерезис); в) сигмоид - гиперболический тангенс; г) сигмоид - формула (3.6)

Нелинейная функция f называется активационной и может иметь различный вид, как показано на рисунке 4.5. Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида):

.(4.5)

При уменьшении сигмоид становится более пологим, в пределе при =0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмовидной функции - простое выражение для ее производной

(4.6)

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

Рисунок 4.6 - Однослойный перцептрон

Возвращаясь к общим чертам, присущим всем НС, отметим, во-вторых, принцип параллельной обработки сигналов, который достигается путем объединения большого числа нейронов в так называемые слои и соединения определенным образом нейронов различных слоев, а также, в некоторых конфигурациях, и нейронов одного слоя между собой, причем обработка взаимодействия всех нейронов ведется послойно.

Выбор структуры НС осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день, конфигурации. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом выделенных слоев; введение обратных связей наряду с увеличением возможностей сети поднимает вопрос о динамической устойчивости сети; сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов - возбуждающих, тормозящих и др.) также способствует усилению мощи НС. Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки. Так как проблема синтеза НС сильно зависит от решаемой задачи, дать общие подробные рекомендации затруднительно. В большинстве случаев оптимальный вариант получается на основе интуитивного подбора.

Очевидно, что процесс функционирования НС, то есть сущность действий, которые она способна выполнять, зависит от величин синоптических связей, поэтому, задавшись определенной структурой НС, отвечающей какой-либо задаче, разработчик сети должен найти оптимальные значения всех переменных весовых коэффициентов (некоторые синоптические связи могут быть постоянными).

4.3 Модель многослойного персептрона

Среди искусственных нейронных сетей, применяемых в экономике, наибольшее распространение получили ИНС, обучаемые с учителем, а среди них - многослойные нейронные сети типа МП.

На сегодняшний день многослойный персептрон - одна из самых используемых нейросетей. Одно из главных преимуществ многослойного персептрона, это возможность решать алгоритмически неразрешимые задачи или задачи, для которых алгоритмическое решение неизвестно, но для которых возможно составить репрезентативный набор примеров с известными решениями. При обучении нейросеть, за счёт своего внутреннего строения, выявляет закономерности в связи входных и выходных образов, тем самым как бы "обобщает" полученный на обучающей выборке опыт. В этой способности к обобщению и состоит основа привлекательности многослойного персептрона. Исследователь может сам и не знать какова зависимость между входными и выходными образами, достаточно иметь большой набор векторов, для которых известен ожидаемый выход. Многослойный персептрон можно успешно применять для решения следующих задач:

- прогнозирование поведения рынка;

- распознавание речи;

- анализ изображений;

- экспертные системы и т.д.

4.3.1 Структура МП

Многослойными персептронами называют нейронные сети прямого распространения. В этой ИНС нейроны размещаются последовательными группами, называемыми слоями. Входной сигнал в таких сетях распространяется в прямом направлении, от слоя к слою. Многослойный персептрон в общем представлении состоит из следующих элементов:

- множества входных узлов, которые образуют входной слой;

- одного или нескольких скрытых слоев вычислительных нейронов;

- одного выходного слоя нейронов.

Нейроны в каждом из слоев независимы друг от друга, однако каждый из нейронов связан исходящими связями с каждым нейроном следующего слоя. Таким образом, каждый из нейронов выходного и скрытых слоев принимает входящие сигналы от нейронов предыдущего слоя (рисунок 4.7).

Рисунок 4.7 - Схема многослойной нейронной сети

Количество нейронов в каждом из слоев может быть любым и не зависит от количества нейронов в других слоях. Число нейронов входного слоя определяется числом входных факторов задачи, выходного слоя - числом выходных факторов. Количество скрытых слоев и число нейронов в них может быть различным; обычно оно подбирается эмпирическим путем так, чтобы сеть обучилась наилучшим образом. Именно наличие скрытых слоев позволяет выявлять сложные, нелинейные взаимосвязи между входными и выходными факторами. Определение числа промежуточных слоев и числа элементов в них является важным вопросом при конструировании МП.

Модель МП имеет следующие отличительные признаки:

1. Каждый нейрон сети имеет нелинейную функцию активации.

Важно подчеркнуть, что такая нелинейная функция должна быть гладкой (т.е. всюду дифференцируемой). Самой популярной формой функции, удовлетворяющей этому требованию, является сигмоидальная. Примером сигмоидальной функции может служить логистическая функция, задаваемая следующей формулой.

(4.7)

где - параметр наклона сигмоидальной функции. Изменяя этот параметр, можно построить функции с различной крутизной.

Наличие нелинейности играет очень важную роль, так как в противном случае отображение «вход-выход» сети можно свести к однослойному персептрону.

2. Несколько скрытых слоев.

МП содержит один или несколько слоев скрытых нейронов, не являющихся частью входа или выхода сети. Эти нейроны позволяют сети обучаться решению сложных задач, последовательно извлекая наиболее важные признаки из входного образа.

3. Высокая связность.

МП обладает высокой степенью связности, реализуемой посредством синаптических соединений. Изменение уровня связности сети требует изменения множества синаптических соединений или их весовых коэффициентов.

Комбинация всех этих свойств наряду со способностью к обучению на собственном опыте обеспечивает вычислительную мощность многослойного персептрона. Однако эти же качества являются причиной неполноты современных знаний о поведении такого рода сетей: распределенная форма нелинейности и высокая связность сети существенно усложняют теоретический анализ многослойного персептрона.

4.3.2 Обучение МП

Под обучением искусственных нейронных сетей понимается процесс настройки архитектуры сети (структуры связей между нейронами) и весов синаптических связей (влияющих на сигналы коэффициентов) для эффективного решения поставленной задачи. Обычно обучение нейронной сети осуществляется на некоторой выборке. По мере процесса обучения, который происходит по некоторому алгоритму, сеть должна все лучше и лучше (правильнее) реагировать на входные сигналы.

Выделяют три парадигмы обучения: с учителем, без учителя (или самообучение) и смешанная. В первом способе известны правильные ответы к каждому входному примеру, а веса подстраиваются так, чтобы минимизировать ошибку. Обучение без учителя позволяет распределить образцы по категориям за счёт раскрытия внутренней структуры и природы данных. При смешанном обучении комбинируются два вышеизложенных подхода.

Среди множества алгоритмов обучения с учителем наиболее успешным является алгоритм обратного распространения ошибки, который был предложен для обучения многослойной сети в 1986 г. Руммельхартом и Хинтоном. Многочисленные публикации о промышленных применениях многослойных сетей с этим алгоритмом обучения подтвердили его принципиальную работоспособность на практике. Его основная идея заключается в том, что изменение весов синапсов происходит с учетом локального градиента функции ошибки. Разница между реальными и правильными ответами нейронной сети, определяемыми на выходном слое, распространяется в обратном направлении (рисунок 4.8) - навстречу потоку сигналов. В итоге каждый нейрон способен определить вклад каждого своего веса в суммарную ошибку сети. Простейшее правило обучения соответствует методу наискорейшего спуска, то есть изменения синаптических весов пропорционально их вкладу в общую ошибку.

Рисунок 4.8 - Метод обратного распространения ошибки для многослойной полносвязной нейронной сети

При подобном обучении нейронной сети нет уверенности, что она обучилась наилучшим образом, поскольку всегда существует возможность попадания алгоритма в локальный минимум (рисунок 4.9). Для этого используются специальные приемы, позволяющие «выбить» найденное решение из локального экстремума. Если после нескольких таких действий нейронная сеть сходится к тому же решению, то можно сделать вывод о том, что найденное решение, скорее всего, оптимально.

Поправка к весовым коэффициентам:

(4.8)

где w - коэффициент синаптической связи, з - коэффициент скорости обучения сети, Е - функция суммарной ошибки сети.

Рисунок 4.9 - Метод градиентного спуска при минимизации ошибки сети. Попадание в локальный минимум

Основная идея обратного распространения состоит в том, как получить оценку ошибки для нейронов скрытых слоев. Заметим, что известные ошибки, делаемые нейронами выходного слоя, возникают вследствие неизвестных пока ошибок нейронов скрытых слоев. Чем больше значение синаптической связи между нейроном скрытого слоя и выходным нейроном, тем сильнее ошибка первого влияет на ошибку второго. Следовательно, оценку ошибки элементов скрытых слоев можно получить, как взвешенную сумму ошибок последующих слоев. При обучении информация распространяется от низших слоев иерархии к высшим, а оценки ошибок, делаемые сетью - в обратном направлении, что и отражено в названии метода.

Алгоритм обратного распространения ошибки реализует градиентный метод минимизации выпуклого (обычного квадратичного) функционала ошибки в многослойных сетях прямого распространения, использующих модели нейронов с дифференцируемыми функциями активации. Применение сигмоидальных функций активации, являющихся монотонно возрастающими и имеющими отличные от нуля производные на всей области определения, обеспечивает правильное обучение и функционирование сети. Процесс обучения состоит и последовательном предъявлении сети обучающих пар (x(i), y*(i)) где x(i) и y*(i) - вектор входных и желаемых выходных cигналов сети соответственно, изучении реакции на них сети и коррекции в соответствии с реакцией весовых параметров (элементов весовой матрицы).

Перед началом обучения всем весам присваиваются небольшие различные случайные значения (если задать все значения одинаковые, а для правильного функционирования сети потребуются неравные значения, сеть не будет обучаться).

Для реализации алгоритма обратного распространения необходимо:

1. Выбрать из заданного обучающего множества очередную обучающую пару (x(i), y*(i)), и подать на вход сети входной сигнал x(i).

2. Вычислить реакцию сети y(i).

3. Сравнить полученную реакцию y(i) с требуемой y*(i) и определить ошибку y*(i) - y(i).

4. Скорректировать веса так, чтобы ошибка была минимальной.

5. Шаги 1-4 повторить для всего множества обучающих пар (x(i), y*(i)) до тех пор, пока на заданном множестве ошибка не достигнет требуемой величины.

Таким образом, при обучении сети подача входного сига и вычисление реакции соответствует прямому проходу сигнала от входного слоя к выходному, а вычисление ошибки и коррекция выходных параметров - обратному, когда сигнал ошибки распространяется по сети от ее выхода ко входу. При обратном проходе осуществляется послойная коррекция весов, начиная с выходного слоя. Если коррекция весов выходного слоя осуществляется с мощью модифицированного «дельта-правила» сравнительно просто, поскольку требуемые значения выходных сигналов известны, то коррекция весов скрытых слоев происходит несколько сложнее, поскольку для них неизвестны требуемые выходные сигналы.

Алгоритм обратного распространения применим к сетям с любым количеством слоев: как к сетям прямого распространения, так и к содержащим обратные связи.

4.4 Модель сети типа радиально-базисной функции

Радиально-базисные сети были предложены для аппроксимации функций многих переменных. C помощью радиально-базисных функций можно сколь угодно точно аппроксимировать заданную функцию. Как и многослойный персептрон, радиально-базисная сеть является универсальным аппроксиматором. Математическую основу РБ-сети составляет метод потенциальных функций, разработанный М.А. Айзерманом, Э.М. Браверианом и Л.И. Розоноэром, позволяющий представить некоторую функцию у(х) в виде суперпозиции потенциальных или базисных функций f_i(x)

(4.9)

где a_i(t) = (a₁, a₂,..., a_N)^T - вектор подлежащих определению параметров; f(x) = (f₁(x), f₂(x),..., f_N(x))^T - вектор базисных функций.

В РБС в качестве базисных выбираются некоторые функции расстояния между векторами

(4.10)

Векторы с_i называют центрами базисных функций. Функции f_i(x) выбираются неотрицательными и возрастающими при увеличении . В качестве меры близости векторов х и c_i выбираются обычно либо евклидова метрика либо манхэттенская где

(4.11)

Радиально-базисные сети обладают большой скоростью обучения. При их обучении не возникает проблем с «застреванием» в локальных минимумах. Однако в связи с тем, что при выполнении непосредственно классификации проводятся довольно сложные вычисления, возрастает время получения результата.

4.4.1 Структура РБФ

Структура РБФ соответствует сети прямого распространения первого порядка (рисунок 4.10).

Информация об образах передается с входного слоя на скрытый, являющийся шаблонным и содержащий с нейронов. Каждый нейрон шаблонного слоя, получая полную информацию о входных сигналах х, вычисляет функцию

(4.12)

где вектор входных сигналов ; c_i - вектор центров ; R - весовая матрица.

Рисунок 4.10 - Структура радиально-базисной сети

Особенностью данных сетей является наличие радиально-симметричного шаблонного слоя, в котором анализируется расстояние между входным вектором и центром, представленным в виде вектора во входном пространстве. Вектор центров определяется по обучающей выборке и сохраняется в пространстве весов от входного слоя к слою шаблонов.

Рассмотрим нейрон шаблонного слоя сети. На рисунке 4.11 представлен i-й нейрон шаблонного слоя РБ-сети. Обработку поступающей на него информации условно можно разделить на два этапа: на первом вычисляется расстояние между предъявленным образом х и вектором центров с_i с учетом выбранной метрики и нормы матрицы R, на втором это расстояние преобразуется нелинейной активационной функцией f(x). Двойные стрелки на рисунке обозначают векторные сигналы, а тройные - матричный сигнал.

Рисунок 4.11 - Нейрон шаблонного слоя РБС

В качестве функции преобразования наиболее часто выбираются следующие:

- гауссова функция

(4.13)

- мультиквадратичная функция

(4.14)

- обратная мультиквадратичная функция

(4.15)

- сплайн-функция

(4.16)

- функция Коши

(4.17)

Норма матрицы R^-1 определяет положение осей в пространстве. В общем виде матрица R^-1 может быть представлена следующим образом:

(4.18)

Весовую матрицу R₁ также называют обратной ковариационной матрицей. Элементы этой матрицы равны

(4.19)

Здесь - некоторые управляемые параметры.

Часто матрица R^-1 выбирается диагональной, т.е. для i?j, и более того, принимают

Величина сигнала j-го нейрона выходного слоя у_j зависит от того, насколько близок предъявляемый входной сигнал х запомненному этим нейроном центру с_j. Значение у_j определяется как взвешенная сумма функций (4.9), т.е.

(4.20)

Обычно выходными сигналами сети являются нормализованные значения вычисленные по формуле

(4.21)

4.4.2 Обучение РБФ

РБ-сеть характеризуют три типа параметров:

- линейные весовые параметры выходного слоя w_ij входят в описание сети линейно);

- центры c_i - нелинейные (входят в описание нелинейно) параметры скрытого слоя;

- отклонения (радиусы базисных функций) у_ij - нелинейные параметры скрытого слоя.

Обучение сети, состоящее в определении этих параметров, может сводиться к одному из следующих вариантов:

1. Задаются центры и отклонения, а вычисляются только веса выходного слоя.

2. Определяются путем самообучения центры и отклонения, а для коррекции весов выходного слоя используется обучение с учителем.

3. Определяются все параметры сети с помощью обучения с учителем.

Первые два варианта применяются в сетях, использующих базисные функции с жестко заданным радиусом (отклонением). Третий же вариант, являясь наиболее сложным и трудоемким в реализации, предполагает использование любых базисных функций.

Таким образом, обучение сети заключается в следующем:

- определяются центры c_i;

- выбираются параметры у_i;

- вычисляются элементы матрицы весов W.

Рассмотрим методику выбора параметров центров и отклонений у. Центры c_i определяют точки, через которые должна проходить аппроксимируемая функция. Поскольку большая обучающая выборка приводит к затягиванию процесса обучения, в РБ-сетях широко используется кластеризация образов, при которой схожие векторы объединяются в кластеры, представляемые затем в процессе обучения только одним вектором. В настоящее время существует достаточно большое число эффективных алгоритмов кластеризации.

Использование кластеризации отражается на формулах (4.20), (4.21) следующим образом:

(4.22)

где m_i - число входных векторов в i-м кластере.

В наиболее простом варианте алгоритм кластеризации, алгоритм k-среднего, направляет каждый образ в кластер, имеющий ближайший к данному образу центр. Если количество центров заранее задано или определено, алгоритм, обрабатывая на каждом такте входной вектор сети, формирует в пространстве входов сети центры кластеров. С ростом числа тактов эти центры сходятся к центрам данных. Кандидатами в центры являются все выходы скрытого слоя, однако в результате работы алгоритма будет сформировано подмножество наиболее существенных выходов.

Как уже указывалось, параметр у_i, входящий в формулы для функций преобразования, определяет разброс относительно центра с_i. Варьируя параметры c_i и у_i, пытаются перекрыть все пространство образов, не оставляя пустот. Используя метод k-ближайших соседей, определяют k соседей центра c_i и, усредняя, вычисляют среднее значение Величина отклонения от c_i служит основанием для выбора параметра у_i. На практике часто оправдывает себя выбор

(4.23)

где d=max(c_i - c_k) - максимальное расстояние между выбранными центрами; р - количество нейронов шаблонного слоя (образов).

Если качество аппроксимации является неудовлетворительным, выбор параметров c_i и у, а также определение весов W повторяют до тех пор, пока полученное решение не окажется удовлетворительным.

4.5 Некоторые замечания по выбору сетей

Актуальность тематики прогнозирования продиктована поиском адекватных моделей нейронных сетей, определяемых типом и структурой НС. В ходе исследования установлено, что радиальные базисные сети обладают рядом преимуществ перед сетями типа многослойный персептрон. Во-первых, они моделируют произвольную нелинейную функцию с помощью одного промежуточного слоя. Тем самым отпадает вопрос о числе слоев. Во-вторых, параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью известных методов моделирования, которые не испытывают трудностей с локальными минимумами, мешающими при обучении МП. Поэтому сеть РБФ обучается очень быстро (на порядок быстрее МП).

С другой стороны, до того как применять линейную оптимизацию в выходном слое сети РБФ, необходимо определить число радиальных элементов, положение их центров и величины отклонений. Для устранения этой проблемы предлагается использовать автоматизированный конструктор сети, который выполняет за пользователя основные эксперименты с сетью.

Другие отличия работы РБФ от МП связаны с различным представлением пространства модели: «групповым» в РБФ и «плоскостным» в МП. Опыт показывает, что для правильного моделирования типичной функции, сеть РБФ требует несколько большего числа элементов. Следовательно, модель, основанная на РБФ, будет работать медленнее и потребует больше памяти, чем соответствующий МП (однако она гораздо быстрее обучается, а в некоторых случаях это важнее).

С «групповым» подходом связано, и неумение сетей РБФ экстраполировать свои выводы за область известных данных. При удалении от обучающего множества значение функции отклика быстро падает до нуля. Напротив, сеть МП выдает более определенные решения при обработке сильно отклоняющихся данных, однако, в целом, склонность МП к некритическому экстраполированию результата считается его слабостью. Сети РБФ более чувствительны к «проклятию размерности» и испытывают значительные трудности, когда число входов велико.

5. МОДЕЛИРОВАНИЕ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ПРОГНОЗИРОВАНИЯ СТОИМОСТИ НЕДВИЖИМОСТИ

5.1 Особенности нейросетевого прогнозирования в задаче оценки стоимости недвижимости

Использование нейронных сетей можно продемонстрировать на примере задачи оценки рыночной стоимости жилой недвижимости. Очевидно, что цена квартиры зависит от многих факторов, например, общей и жилой площади, количества комнат, этажа, территориального расположения дома, его этажности, состояния, наличия коммуникаций и др. Опытные риэлторы справляются с задачей оценки без труда, применяя свои знания и интуицию, опираясь на известные им аналоги и используя ассоциативное мышление. Все эти знания и умения относятся к числу плохо формализуемых, отчасти неосознаваемых, поэтому разработка однозначного алгоритма определения цены на основе значений влияющих факторов - крайне сложная и почти невыполнимая задача.

Вместе с тем, существует значительное число примеров уже оцененных квартир. Используя массив сведений о них, можно попытаться извлечь интересующую зависимость.

Для этого создается нейронная сеть, в которой количество входных нейронов соответствует количеству входных факторов, которые влияют на цену. В выходном слое будет всего один нейрон, соответствующий выходному фактору - цене.

Для обучения необходим массив обучающих примеров. Количество примеров должно быть достаточно большим - по некоторым расчетам, в 10-15 раз больше числа нейронов в сети. Примеры предъявляются ИНС, при этом веса связей внутри нее постепенно изменяются, с тем, чтобы реальный выходной сигнал был как можно ближе к ожидаемому значению выходного фактора. Один цикл предъявления всех учебных образцов называется эпохой. Обычно требуется несколько тысяч эпох, чтобы обучить нейронную сеть, но на современных компьютерах такое обучение занимает несколько минут.

Часть примеров не участвует в обучении, а выделяется в так называемое тестовое множество. На каждой эпохе работа сети проверяется на тестовом множестве. Таким образом тестируется способность ИНС к обобщению: возможности распространить выявленную закономерность к данным, не участвующим в обучении.

Обучение ИНС заканчивается, когда достигнуто заданное значение средней (или минимальной) ошибки, когда сеть исчерпала возможности обучения или же когда пройдено определенное число эпох. После этого веса связей фиксируются, и сеть может использоваться в рабочем режиме. Теперь, если в качестве входных сигналов сети указать параметры оцениваемой квартиры, значение на выходе будет представлять ее цену, рассчитанную на основе выявленной закономерности.

Согласно вышеизложенного материала можно увидеть главное отличие ИНС от экспертных систем. Если в экспертной системе знания извлекаются из опыта специалистов, то искусственная нейронная сеть сама накапливает опыт на основе просмотра набора аналогичных примеров, и фиксирует его в виде набора весов связей.

Не всегда нейронная сеть достигает хороших результатов обучения и обобщения. Среди возможных причин можно выделить следующие:

- неудачно выбрана архитектура сети (слишком много или слишком мало нейронов в скрытых слоях);

- недостаточно примеров для обучения;

- влияющие факторы выделены неудачно: в число входных параметров не включен один или несколько факторов, в наибольшей мере влияющий на значение выходных показателей;

- искомой зависимости не существует; обучающие примеры являются уникальными, аналогия между ними отсутствует.

Приведенные причины ранжированы по степени возрастания сложности их преодоления: если проблему, указанную в пункте 1, легко исправить, изменив число нейронов, то пункт 4 говорит о невозможности решения данной задачи методами нейросетей.

5.2 Обзор программных средств, реализующих алгоритмы нейровычислений для решения задач прогнозирования

Сегодня разработано большое количество программных продуктов, пригодных для применения там, где возникает необходимость использования технологии нейровычислений. Существуют универсальные нейросетевые пакеты, предназначенные для решения любых задач, которые можно решить при помощи нейронных сетей, от распознавания речи и образов до решения задач прогнозирования, но, как показывает практика, такие программные продукты не всегда удобны для решения задач прогнозирования временных рядов. Существует класс нейросетевых программных продуктов, предназначенных исключительно для решения задач прогнозирования временных рядов. Наиболее популярные сегодня следующие программные продукты, реализующие нейросетевые подходы к решению задач прогнозирования.

1. Matlab - настольная лаборатория для математических вычислений, проектирования электрических схем и моделирования сложных систем. Имеет встроенный язык программирования и весьма богатый инструментарий для нейронных сетей - Anfis Editor (обучение, создание, тренировка и графический интерфейс), командный интерфейс для программного задания сетей, nnTool - для более тонкой конфигурации сети.

2. Statistica - мощнейшее обеспечение для анализа данных и поиска статистических закономерностей. В данном пакете работа с нейросетями представлена в модуле STATISTICA Neural Networks (сокращенно, ST Neural Networks, нейронно-сетевой пакет фирмы StatSoft), представляющий собой реализацию всего набора нейросетевых методов анализа данных.

3. BrainMaker - предназначен для решения задач, для которых пока не найдены формальные методы и алгоритмы, а входные данные неполны, зашумлены и противоречивы. К таким задачам относятся биржевые и финансовые предсказания, моделирование кризисных ситуаций, распознавание образов и многие другие.

4. NeuroShell Day Trader - нейросетевая система, которая учитывает специфические нужды трейдеров и достаточно легка в использовании. Программа является узкоспециализированной и как раз подходит для торговли, но по своей сути слишком близка к черному ящику.

5. Остальные программы являются менее распространенными.

В данной исследовательской работе для решения задачи прогнозирования с помощью нейронных сетей был применен пакет Statistica.

5.3 Исходные данные для решения поставленной задачи

Хотя нейросетевые модели являются весьма эффективными в задачах оценки, их построение связано с двумя группами проблем, которые необходимо учитывать при предобработке данных. Во-первых, в отличие от ряда развитых стран (например, США, за исключением нескольких штатов), в Украине отсутствует система обязательного публичного раскрытия информации о сделках с недвижимостью, при которой сумма сделки и основные характеристики помещения, подлежащего продаже или сдаче в аренду, предоставляются в форме анкеты в соответствующие органы и агрегируются на открытых веб-сайтах. В связи с этим информация о сделках с недвижимостью крайне ограничена и не вполне достоверна.

Для решения этой проблемы были применены несколько методов, что позволило существенно повысить качество исходных данных. Семантические анализаторы, основанные на регулярных выражениях, применялись для анализа текстов объявлений и выявления в них максимума информации, заданной в неформализованном текстовом виде. Набор решающих правил позволил исключить заведомо абсурдные анкеты, содержащие неправдоподобное сочетание признаков объекта недвижимости. Матрицы граничных значений, составленные на основе эмпирических данных рынка недвижимости и статистического анализа выбросов, позволили отсечь объявления с заведомо недостоверной ценовой информацией.

Во-вторых, классические приёмы математического моделирования экономических процессов лучше всего работают в случае, когда все зависимые факторы являются количественными. В задаче определения цены объекта недвижимости факторное пространство устроено значительно сложнее. Большинство ценообразующих факторов являются неупорядоченными (например, престижность района) или упорядоченными категориями (близость к реке: район граничит с рекой или нет). Важную роль играет также расположение объекта - географический фактор, кодирование которого представляет собой нетривиальную задачу. Простое использование географических координат не является решением проблемы, т.к. координаты - не ценообразующие факторы.

Первичный набор факторов, определявшийся экспертным путём с учётом наличия достаточного количества информации в основных риэлтерских базах, составил:

- выходная переменная: цена продажи объекта недвижимости;

- количественные факторы: общая площадь помещения (кв.м.);

- географические факторы: расположение объекта.

Количественные факторы (с учётом преобразований) используются в модели в неизменном виде.

Преимущество нейронных сетей перед моделями множественной регрессии состоит в том, что нет необходимости преобразовывать упорядоченные категории в набор бинарных переменных, теряя порядок значений, обусловленный экономическими причинами. Т.к. зависимости в нейронных сетях нелинейны, достаточно указать произвольные числовые значения, монотонно связанные с уровнями фактора, например, последовательные целочисленные значения или усреднённые значения цены в разрезе соответствующих категорий.

Статистические данные цен продаж, индексы стоимости жилья города Киева, а также основная первичная информация была предоставлена агентством недвижимости «Планета Оболонь».

Данные о ценах продаж квартир на вторичном рынке Киева приведены в таблице 5.1. Анализируя их, необходимо учитывать, что статистика цен продаж построена на основе ограниченного количества сделок.

Таблица 5.1 - Статистические данные цен реальных продаж в первом квартале 2010 года

Тип жилья	Дата	Однокомнат-ные	Двухкомнат-ные	Трехкомнат-ные	Многокомнат-ные
		Цена в $ за м2	Изме-нение в %	Цена в $ за м2	Изме-нение в %	Цена в $ за м2	Изме-нение в %	Цена в $ за м2	Изме-нение в %
Дореволюционные	01.01.2010	3382	-2,9	4176	-3,0	3699	-1,9	2055	-4,4
	01.05.2010	3283		4052		3627		2185
Сталинки	01.01.2010	2673	-4,6	2968	-8,3	3006	-8,3	3231	-7,1
	01.05.2010	2550		2721		2758		3001
Старая панель	01.01.2010	1971	-1,5	1746	-0,4	1829	-3,8	2129	-0,7
	01.05.2010	1941		1739		1759		2114
Старый кирпич	01.01.2010	2062	-0,1	2072	-3,2	2170	-8,3	2340	1,3
	01.05.2010	2060		2005		1990		2371
Типовая панель	01.01.2010	1916	-1,9	1831	-0,9	1747	-1,8	1753	-5,8
	01.05.2010	1879		1815		1716		1652
Украинская панель	01.01.2010	1656	0,0	1613	-3,8	1604	-11,5	1740	-3,3
	01.05.2010	1656		1552		1419		1683
Украинский кирпич	01.01.2010	1974	-3,4	2127	-0,5	2246	-2,9	2913	1,0
	01.05.2010	1906		2117		2181		2943
Улучшенная типовая панель	01.01.2010	1795	-2,0	1697	-3,4	1711	-3,3	1848	-4,5
	01.05.2010	1759		1640		1655		1765
Улучшен-ный кирпич	01.01.2010	2104	-4,6	2368	-9,6	2422	-4,5	4252	-5,9
	01.05.2010	2007		2140		2313		4448

К некоторым из факторов были применены соответствующие функциональные преобразования. Цены и площади помещения были прологарифмированы. Все факторы были нормированы путём вычитания минимального значения и деления на размах вариации.