Для решения задач идентификации и прогнозирования технического состояния могут быть использованы искусственные нейронные сети (ИНС) или, просто, нейронные сети (НС) различного рода.

Для реализации с максимальным эффектом функций НС, как правило, существует оптимальная совокупность параметров НС. Следовательно, одной из основных задач, стоящих перед разработчиком НС, является выбор этой совокупности, определяющей, в конечном итоге, вид сети.

Основным элементом сети является искусственный нейрон (далее нейрон) (приложение А).

Нейроны представляют собой относительно простые, однотипные элементы, имитирующие работу нейронов мозга. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены и заторможены. Искусственный нейрон, также как и его естественный прототип, имеет группу синапсов (входов), которые соединены с выходами других нейронов, а также аксон - выходную связь данного нейрона - откуда сигнал возбуждения или торможения поступает на синапсы других нейронов. Общий вид нейрона представлен на рис 1 С. 125 Бархатов, Н.А. Искусственные нейронные сети в задачах солнечно-земной физики [Текст]: монография / Н.А. Бархатов, С.Е. Ревунов. - Нижний Новгород: Нижегородский гос. пед. ун-т, 2010. - 407 Ч. .

нейронная сеть нейрокомпьютерная россия

Рис.1 Искусственный нейрон - простейший элемент искусственной нейронной сети

y_j - сигнал, поступающий от нейрона j;

s_k - скалярное произведение вектора входных сигналов и вектора весов;

f_k - функция возбуждения;

y_k - выходной сигнал нейрона

Каждый синапс характеризуется величиной синаптической связи или весом w_i, который по своему физическому смыслу эквивалентен электрической проводимости.

Текущее состояние нейрона определяется как взвешенная сумма его входов:

(1)

где x - вход нейрона, а w - соответствующий этому входу вес.

Выход нейрона есть функция его состояния, т.е. Нелинейная функция f (s) называется активационной, сжимающей функцией или функцией возбуждения нейрона. Основные разновидности активационных функций, применяемых в нейронных сетях, представлены на рис.2.

Рис.2 Активационная функция

а) пороговая; b) полулинейная; c) сигмоидальная

В качестве активационной функции часто используется сигмоидальная (s-образная или логистическая) функция, показанная на рис.2. (приложение Б). Эта функция математически выражается по формуле

(2)

При уменьшении сигмоидальная функция становится более пологой, в пределе при =0 вырождаясь в горизонтальную линию на уровне 0,5; при увеличении сигмоидальная функция приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоидальной функции видно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из полезных свойств сигмоидальной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем:

(3)

Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, сигмоидальная функция обладает свойством усиливать малые сигналы лучше, чем большие, тем самым предотвращая насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоидальная функция имеет пологий наклон С. 98 Злобин, В.К. Нейросети и нейрокомпьютеры [Текст] / В.К. Злобин, В.Н. Ручкин. - Санкт-Петербург: БХВ-Петербург, 2011. - 252 с. .

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день конфигурации, описанные. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации.

Теоретически число слоев и число нейронов в каждом слое нейронной сети может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть.

Нейроны делятся на три типа (рис.3) в соответствии с функциями, выполняемыми ими в сети. Входные нейроны (нейроны входного слоя) принимают данные из внешней среды и определенным образом распределяют их далее по сети. На промежуточные нейроны (нейроны скрытого слоя) возлагается роль основных участников процесса решения задачи. Выходные же нейроны (нейроны выходного слоя) передают результаты работы сети во внешнюю среду (потребителю) С. 17 Малыхина, М.П. Нейросетевая экспертная система на основе прецедентов для решения проблем абонентов сотовой сети [Текст]: [монография] / М.П. Малыхина, Ю.В. Бегман. - Краснодар: Юг, 2011. - 148 с. .

Размещено на http://www.allbest.ru/

Рис.3 Типы нейронов в зависимости от их функций в сети

В зависимости от механизма обработки получаемых данных можно выделить целый ряд математических моделей нейронов (рис.4). Существует две группы моделей нейронов, которые принадлежат, соответственно, двум типам сетей: классическим и нечетким. Каждая из моделей нейронов обладает рядом присущих ей свойств, однако имеются и общие черты, к которым можно отнести наличие входного и выходного сигналов, а также блока их обработки.

Для решения конкретной задачи существует ряд наиболее предпочтительных моделей нейронов. Модель нейрона МакКаллока-Питса, сигмоидальный нейрон и нейрон типа "адалайн" имеют схожие структуры и отличаются лишь видами функций активации (реакции нейрона на входящий сигнал). Вышеприведенные модели нейронов могут обучаться только с учителем, то есть требуют наличия входного и выходного векторов (значений). Так как функция активации нейрона МакКаллока-Питса дискретна (выходной сигнал может принимать только два значения - 0 или 1), то невозможно проследить за изменением значения выхода. Достижение необходимого результата в некоторых задачах может оказаться невозможным. В этом случае более предпочтительной может являться сигмоидальная модель нейрона. Модели нейронов типа "инстар" и "оутстар Гроссберга" дополняют друг друга и отличаются от вышеуказанных трех типов нейронов тем, что могут обучаться и без учителя (имея только входной вектор) С. 114 Нейрокомпьютеры и их применение. Нейро-2007 [Текст]: материалы Международной научной молодежной школы, 24 сентября-29 сентября 2007, пос. Дивноморское, Геленджик, Россия / Российская акад. наук [и др.]; под ред.А.И. Галушкина. - Москва; Таганрог: Изд-во ТТИ ЮФУ, 2007. - 189 с. .

Нейроны типа WTA (от англ. - “победитель получает всё”) чаще всего используются в задачах классификации и распознавания данных и образов. Они, как и модели нейронов Гроссберга, в процессе обучения также не нуждаются в учителе. Однако существенным недостатком нейронов этого типа является значительно возрастающая погрешность распознавания данных вследствие наличия мертвых нейронов, которые не смогли выжить в конкурентной борьбе. Модель нейрона Хебба схожа с моделью нейрона обычной формы (вход - блок обработки - выход). Может обучаться как с учителем, так и без него. Особенностью данной модели является то, что вес связи нейрона изменяется пропорционально произведению его входного и выходного сигналов.

Размещено на http://www.allbest.ru/

Рис.4 Виды математических моделей нейронов

В стохастической модели выходное значение нейрона зависит еще и от некоторой случайной переменной, лежащей в интервале (0,1), что позволяет при подборе весов снизить до минимума среднеквадратичную погрешность. Модели нейронов нечетких сетей применяются главным образом для аппроксимации с произвольной точностью любой нелинейной функции многих переменных и используются там, где входные данные ненадежны и слабо формализованы.

Одна и та же модель нейрона в разных сетях может иметь разные функции активации (рис.5).

Размещено на http://www.allbest.ru/

Рис.5 Функции активации нейронов

Однако это высказывание справедливо не для всех типов нейронов. Так, например, персептрон может иметь только пороговую функцию активации (функция единичного скачка). Несмотря на все многообразие функций активации, наиболее распространенной является нелинейная функция активации с насыщением (сигмоидальная функция). Необходимо так же отметить, что нейроны входного слоя имеют тождественные функции активации, что позволяет им распределять полученные сигналы нейронам скрытого слоя без изменений С. 74 Осипов, Л.А. Искусственный интеллект и нейронные сети [Текст]: учебное пособие: для студентов высших учебных заведений, обучающихся по направлению подготовки 230400 - "Информационные системы и технологии" / Л.А. Осипов, С.А. Яковлев. - Санкт-Петербург: ГУАП, 2011. - 133 с. .

Совокупности нейронов образуют нейронные сети. НС различаются по архитектуре (рис.6), по типу входящих в нее нейронов (рис.7), по типу обрабатываемых ею сигналов (рис.8), по типу смены состояния нейронов в момент времени (рис.9). НС различаются так же топологией. Отметим, что статическими и динамическими НС являются однонаправленные и рекуррентные НС соответственно. Одним из отрицательных качеств динамических НС является их возможная неустойчивость при работе (приложение В).

Однородность НС (использование однотипных нейронов с единой функцией активации) в различных задачах по-разному влияет на производительность и скорость обучения НС.

Размещено на http://www.allbest.ru/

Рис.6 Обобщенная классификация нейронных сетей с точки зрения их архитектуры

Размещено на http://www.allbest.ru/

Рис.7 Классификация нейронных сетей по типу входящих в нее нейронов

Размещено на http://www.allbest.ru/

Рис.8 Классификация нейронных сетей по типу обрабатываемых сигналов

Размещено на http://www.allbest.ru/

Рис.9 Классификация нейронных сетей по типу смены состояния в момент времени

Размещено на http://www.allbest.ru/

Рис.10 Топология (архитектура) нейронных сетей

Синхронность НС означает, что в каждый момент времени только один нейрон меняет свое состояние. Асинхронность подразумевает смену состояний у целого ряда нейронов (чаще всего - слоя). На практике большее предпочтение отдается синхронным НС.

Весьма обширна и топология (архитектура) НС, что говорит о довольно узкой направленности каждого типа НС для оптимального решения определенного круга задач. Однако для решения сложных задач наибольший интерес представляют многослойные однонаправленные (без обратных связей) и рекуррентные НС.

Размещено на http://www.allbest.ru/

Рис.11 Многослойные (слоистые) нейронные сети

Для выполнения сетью поставленной задачи ее необходимо обучить, то есть сообщить ей, каким образом она должна действовать, чтобы выдать разработчику желаемый результат. Стратегии обучения нейронных сетей представлены на рис.12. Особенностью обучения с учителем (обучение под надзором) является то, что наряду с входным вектором (значения элементов входа) априори известен и выходной вектор (соответствующие входам значения элементов выхода). Если значения выхода НС заранее не известны, то необходимо воспользоваться другой стратегией - обучение без учителя. Тогда подбор весовых коэффициентов (в этом и заключается суть обучения) осуществляется по соответствующим стратегиям обучения с использованием определенных алгоритмов С. 14 Потапов, И.В. Модели, методы и задачи прикладной теории надежности нейрокомпьютерных систем: автореферат дис.... доктора технических наук: 05. 13. 15, 05. 13. 17 / Потапов Илья Викторович; [Место защиты: Сиб. гос. ун-т телекоммуникаций и информатики]. - Новосибирск, 2010. - 35 с. .

Размещено на http://www.allbest.ru/

Рис.12 Используемые типы решеток расположения нейронов в слабосвязных нейронных сетях

Для задач аппроксимации представляется целесообразным использование многослойной НС прямого распространения, либо нечеткой НС.

Для задач идентификации состояний авиационной техники представляется целесообразным рассмотреть также возможность применения рекуррентных НС и НС с обучением по методу обратного распространения ошибок для решения задачи прогнозирования изменения параметров АТ.

Задать НС, способную решить конкретную задачу, - это значит определить модель нейрона, топологию связей, веса связей. Нейронные сети различаются между собой меньше всего моделями нейрона, а в основном топологией связей и правилами определения весов или правилами обучения (рис.13), программирования.

Рис.13 Процесс обучения нейросети

Рис.14 Процесс применения нейросети

В настоящее время существует два подхода к решению задачи обучения НС решению задачи распознавания образов, оптимизации и т.д. Один, исторически более ранний, состоит в постепенной модификации весовых коэффициентов в процессе обучения (рис.15).

Исходя из вышеизложенного, можно заключить, что для решения задач прогнозирования наиболее подходит сеть с обратным распространением. Она позволяет формальным образом обучить сеть прогнозировать изменение требования на основе исторических данных о требовании.

Одним из наиболее распространенных видов нейронных сетей является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя, или в случае первого слоя со всеми входами нейронной сети. Такие нейронные сети называются полносвязанными.

Алгоритм обратного распространения, применяемый для таких структур, заключается в распространение сигналов ошибки от выходов нейронной сети к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Эта процедура обучения нейронной сети и получила название алгоритма обратного распространения.

Согласно методу наименьших квадратов минимизируемой целевой функцией ошибки нейронной сети является

(4)

где - реальное выходное состояние нейрона j выходного слоя n нейронной сети при подаче на ее входы p-го образа;

- идеальное (желаемое) выходное состояние этого нейрона С. 87 Павлов, А.Н. Интеллектуальные средства измерений [Электронный ресурс] / А.Н. Павлов. - Бийск: БТИ АлтГТУ, 2011. - 121 с. .

Суммирование ведется по всем нейронам выходного слоя и по всем образам, обрабатываемым нейронной сетью. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов:

(5)

Где - весовой коэффициент синаптической связи, соединяющей i-й нейрон слоя n-1 с j-м нейроном слоя n, h - коэффициент скорости обучения, 0 < h < 1.

(6)

где под y_j, подразумевается выход нейрона j, а под s_j - взвешенная сумма его входных сигналов, т.е. аргумент активационной функции.

Так как множитель dy_j/ds_j является производной этой функции по ее аргументу, следовательно, производная активационной функции должна быть определена на всей оси абсцисс. Поэтому функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых нейронных сетей. Как правило, применяются такие гладкие функции, как гиперболический тангенс или классическая сигмоидальная функция с экспонентой. В случае гиперболического тангенса

(7)

Третий множитель ¶ равен выходу нейрона предыдущего слоя

Первый множитель (2.7) раскладывается следующим образом:

(8)

где суммирование по k выполняется среди нейронов слоя n+1.

Введем переменную

(9)

Тогда получим рекурсивную формулу для расчетов величин слоя n

из величин более старшего слоя n+1.

(10)

Для выходного слоя

(11)

Запишем (5) в развернутом виде:

(12)

Для придания процессу коррекции весов инерционности,

сглаживающей резкие скачки при перемещении по поверхности целевой функции, (12) дополняется значением изменения веса на предыдущей итерации:

(13)

- коэффициент инерционности, t - номер текущей итерации. Таким образом, полный алгоритм обучения нейронной сети с помощью процедуры обратного распространения строится так:

1 При подаче на входы нейронной сети одного из возможных образов в режиме обычного функционирования нейронной сети, когда сигналы распространяются от входов к выходам, рассчитать значения сигналов

(14)

где f - сигмоидальная функция;

(15)

- q-я компонента вектора входного образа.

2 Рассчитать для выходного слоя по формуле (11), а также по формуле (12) или (13) изменения весов слоя n.

3 Рассчитать по формулам (10) и (13) (или (11) и (13))

Соответственно и для всех остальных слоев, n=N-1,.1.

4 Скорректировать все веса в нейронной сети

 (16)

5 Если ошибка сети существенна, перейти на шаг 1. В противном случае - завершение обучения.

Нейронной сети на шаге 1 попеременно в случайном порядке предъявляются все представительские выборки, чтобы нейронная сеть, образно говоря, не забывала одни по мере запоминания других (рис.13).

Эффективность обучения заметно снижается когда выходное значение в (12) стремится к нулю. При двоичных входных векторах в среднем половина весовых коэффициентов не будет корректироваться, поэтому область возможных значений выходов нейронов [0; 1] желательно сдвинуть в пределы [-0,5; +0,5], что достигается простыми модификациями активационных функций, например: сигмоидальная функция с экспонентой преобразуется к виду

(17)

Рассмотрим вопрос о числе образов, предъявляемых на входы нейронной сети, которые она способна научиться распознавать (емкость нейронной сети). Для нейронной сети с одним скрытым слоем, детерминистская емкость нейронной сети C_d оценивается как

(18)

где N_w - число подстраиваемых весов, N_y - число нейронов в выходном слое.

Следует отметить, что данное выражение получено с учетом некоторых ограничений. Во-первых, число входов N_x и нейронов в скрытом слое N_h должно удовлетворять неравенству N_x+N_h > N_y.

Во-вторых, N_w/N_y >1000. Однако вышеприведенная оценка выполнялась для нейронных сетей с активационными функциями нейронов в виде порога, а емкость сетей с гладкими активационными функциями, обычно больше. Кроме того, фигурирующее в названии емкости прилагательное "детерминистский" означает, что полученная оценка емкости подходит абсолютно для всех возможных входных образов, которые могут быть представлены N_x входами. Распределение входных образов, как правило, обладает некоторой регулярностью, что позволяет нейронной сети проводить обобщение и, таким образом, увеличивать реальную емкость. Так как распределение образов, в общем случае, заранее не известно, можно говорить о такой емкости только предположительно, но обычно она раза в два превышает емкость детерминистскую С. 74 Тарков М.С. Нейрокомпьютерные системы. - М.: Изд-во "Интернет-университет информационных технологий - ИНТУИТ. ру", 2006. - 144 c. .

Рассмотрим вопрос о размерности выходного слоя нейронной сети, выполняющего окончательную классификацию образов. Для разделения множества (классификации) входных образов, например, по двум классам достаточно всего одного выхода.

Рис.16 Диаграмма сигналов при обучении нейронной сети по алгоритму обратного распространения

При этом каждый логический уровень - "1" и "0" - будет обозначать отдельный класс. На двух выходах можно закодировать 4 класса и так далее. Однако результаты работы нейронной сети, организованной таким образом, "под завязку", не очень надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного нейрона в выходном слое или, что еще лучше, нескольких, каждый из которых обучается определять принадлежность образа к классу со своей степенью достоверности - высокой, средней или низкой, что позволит проводить классификацию входных образов, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство приближает нейронные сети к естественному человеческому интеллекту.

Такая нейронная сеть имеет несколько ограничений. Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидальной функции многих нейронов в область насыщения. Малые величины производной от активационной функции в соответствии с (10) и (11) приведут к остановке обучения нейронной сети. Во-вторых, применение метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Эта проблема связана еще с одной, а именно - с выбором коэффициента скорости обучения. Доказательство сходимости обучения в процессе обратного распространения основано на производных, т.е. приращениях весов и, следовательно, скорость обучения должна быть бесконечно малой, однако в этом случае обучение будет происходить неприемлемо медленно. С другой стороны, слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения С. 14 Трофимов, Я.А. Методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей: автореферат дис.... кандидата технических наук: 05. 13. 01 / Трофимов Ярослав Александрович. - Дубна, 2011. - 23 с. [30, c.14].

Поэтому, коэффициент обычно выбирается меньше 1, но не очень малым, например, 0,1, и он может постепенно уменьшаться в процессе обучения. Кроме того, для исключения случайных попаданий в локальные минимумы кратковременно можно значительно увеличить, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние нейронной сети, можно более или менее быть уверенным в том, что найден глобальный минимум ошибки, иногда, после того как значения весовых коэффициентов стабилизируются, кратковременно можно значительно увеличить, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние нейронной сети, можно более или менее быть уверенным в том, что найден глобальный минимум ошибки.

1.3 Нейронные сети Хопфилда и Хэмминга