Исследование возможности применения искусственных нейронных сетей для автоматического управления процессом металлизации

Одними из первых систем управления были ПИ и ПИД контроллеры. Они доказали свою эффективность в управлении разнообразными процессами [3]. Использование ПИ и ПИД контроллеров не требует знания точной модели процесса, поэтому они эффективны в управлении промышленными процессами, математические модели которых достаточно сложно определить. ПИ и ПИД контроллеры строятся на основе классической теории управления. Установление связей между параметрами и управление действиями системы могут осуществляться инженерами-практиками и операторами

В большинстве случаев настройки, оптимальные значения ПИ и ПИД параметров достигаются путем минимизации взвешенного интеграла квадратичной ошибки.

Однако, наряду с вышеуказанными достоинствами, ПИ и ПИД контроллеры имеют и ряд недостатков. Так, если рабочая точка процесса изменяется из-за возмущений, параметры контроллера требуется перенастраивать вручную, чтобы получить новую оптимальную настройку. Настройка должна выполняться опытным оператором. Для систем с взаимодействующими контурами эта процедура может быть сложной и занимать много времени. Кроме того, для процессов с переменными параметрами, временными задержками, существенными нелинейностями и значительными помехами использование ПИ и ПИД контроллеров может не обеспечить оптимальных характеристик. Методы настройки ПИ и ПИД контроллеров также имеют ряд недостатков. Например, чувствительность к возмущениям или требуется человеко-машинное взаимодействие, в ходе которого оператор должен генерировать входные сигналы каждый раз, когда требуется изменение параметров с целью адаптации к изменению динамики процесса.

Управление с самонастройкой

По вышеупомянутым причинам необходимо, чтобы параметры контроллера настраивались в оперативном режиме управления с самонастройкой, в котором используется концепция машины, автоматически выполняющей самонастройку в целях управления произвольным динамическим процессом [3,19,20].

Управление с самонастройкой можно рассматривать как вид управления, выполняющий две основные задачи в замкнутом цикле обратной связи. На ней показаны обе основные задачи системы самонастройки. Первая из них -- сбор информации о текущем состоянии управляемого процесса. К данной задаче относится постоянное определение текущего состояния управляемого процесса на основе измеренных данных о входе и выходе процесса, а также сигналов состояния.

Полученная информация используется для идентификации системы, которая включает определение структуры модели, оценку ее параметров, а также оценку параметров неконтролируемых сигналов (например, шумовых сигналов в стохастических системах). Определение структуры модели требует построения вида математического представления системы, соответствующего решаемой задаче. Оценка параметров представляет собой ключевой элемент самонастройки. Она выполняется в оперативном режиме. Для управления с самонастройкой используется несколько схем рекурсивной оценки параметров. Наиболее распространенная схема -- рекурсивный метод оценки на основе метода наименьших квадратов или его расширение -- UD факторизационный метод, который является более надежным.

Вторая задача системы самонастройки -- задача проектирования (контроллера); ее решение обычно базируется на оптимизации критерия оптимальности управления. Цель управления задается для каждой конкретной системы, при этом требуется принять решения в отношении того, как контроллер должен адаптироваться или настраиваться. На этой основе рассчитывается новый набор параметров контроллера (взамен прежних параметров в цикле управления). Эта часть процесса известна как этап ратификации или утверждения. Одно из основных достоинств системы самонастройки состоит в том, что данный процесс выполняется в оперативном режиме и в реальном времени. При традиционном методе процесс утверждения обычно выполняется в автономном режиме, результаты часто оказываются неудовлетворительными, и весь процесс моделирования и проектирования приходится повторять. Расчет закона управления выполняется на основе процедуры, называемой эквивалентом определенности, в ней неопределенность текущих оценок параметров игнорируется.

3.3.2 Управление на основе искусственного интеллекта

Экспертные системы

Общие понятия

Экспертные системы (ЭС) - это набор программ или программное обеспечение, которое выполняет функции эксперта при решении какой-либо задачи в области его компетенции. ЭС, как и эксперт-человек, в процессе своей работы оперирует со знаниями [18]. Знания о предметной области, необходимые для работы ЭС, определенным образом формализованы и представлены в памяти ЭВМ в виде базы знаний, которая может изменяться и дополняться в процессе развития системы.

В отличие от машинных программ, использующих процедурный анализ, ЭС решают задачи в узкой предметной области (конкретной области экспертизы) на основе дедуктивных рассуждений. Такие системы часто оказываются способными найти решение задач, которые неструктурированны и плохо определены. Они справляются с отсутствием структурированности путем привлечения эвристик, т. е. правил, взятых "с потолка", что может быть полезным в тех системах, когда недостаток необходимых знаний или времени исключает возможность проведения полного анализа. При решении задач, требующих обработки большого объема знаний, возможность возникновения ошибки при переборе очень мала.

Главное достоинство экспертных систем - возможность накапливать знания, сохранять их длительное время, обновлять и тем самым обеспечивать относительную независимость конкретной организации от наличия в ней квалифицированных специалистов. Накопление знаний позволяет повышать квалификацию специалистов, работающих на предприятии, используя наилучшие, проверенные решения.

Основными отличиями ЭС от других программных продуктов являются использование не только данных, но и знаний, а также специального механизма вывода решений и новых знаний на основе имеющихся. Знания в ЭС представляются в такой форме, которая может быть легко обработана на ЭВМ. В ЭС известен алгоритм обработки знаний, а не алгоритм решения задачи. Поэтому применение алгоритма обработки знаний может привести к получению такого результата при решении конкретной задачи, который не был предусмотрен. Более того, алгоритм обработки знаний заранее неизвестен и строится по ходу решения задачи на основании эвристических правил. Решение задачи в ЭС сопровождается понятными пользователю объяснениями, качество получаемых решений обычно не хуже, а иногда и лучше достигаемого специалистами. В системах, основанных на знаниях, правила (или эвристики), по которым решаются проблемы в конкретной предметной области, хранятся в базе знаний. Проблемы ставятся перед системой в виде совокупности фактов, описывающих некоторую ситуацию, и система с помощью базы знаний пытается вывести заключение из этих фактов.

Качество ЭС определяется размером и качеством базы знаний (правил или эвристик). Система функционирует в следующем циклическом режиме: выбор (запрос) данных или результатов анализов, наблюдения, интерпретация результатов, усвоение новой информации, выдвижение с помощью правил временных гипотез и затем выбор следующей порции данных или результатов анализов. Такой процесс продолжается до тех пор, пока не поступит информация, достаточная для окончательного заключения.

В любой момент времени в системе существуют три типа знаний:

- Структурированные знания - статические знания о предметной области. После того как эти знания выявлены, они уже не изменяются.

- Структурированные динамические знания - изменяемые знания о предметной области. Они обновляются по мере выявления новой информации.

- Рабочие знания - знания, применяемые для решения конкретной задачи или проведения консультации.

Все перечисленные выше знания хранятся в базе знаний. Для ее построения требуется провести опрос специалистов, являющихся экспертами в конкретной предметной области, а затем систематизировать, организовать и снабдить эти знания указателями, чтобы впоследствии их можно было легко извлечь из базы знаний.

При создании ЭС возникает ряд затруднений. Это, прежде всего, связано с тем, что заказчик не всегда может точно сформулировать свои требования к разрабатываемой системе. Также возможно возникновение трудностей чисто психологического порядка: при создании базы знаний системы эксперт может препятствовать передаче своих знаний, опасаясь, что впоследствии его заменят "машиной". Но эти страхи не обоснованы, т. к. ЭС не способны обучаться, они не обладают здравым смыслом, интуицией. Но в настоящее время ведутся разработки экспертных систем, реализующих идею самообучения (нейросетевые ЭС). Также ЭС неприменимы в больших предметных областях и в тех областях, где отсутствуют эксперты.

Экспертная система состоит из базы знаний (части системы, в которой содержатся факты), подсистемы вывода (множества правил, по которым осуществляется решение задачи), подсистемы объяснения, подсистемы приобретения знаний и диалогового процессора.

При построении подсистем вывода используют методы решения задач искусственного интеллекта.

Достоинства экспертных систем

Постоянство - экспертные системы ничего не забывают из-за неограниченности базы знаний, в отличие от человека-эксперта;

Воспроизводимость - можно сделать любое количество копий экспертной системы, а обучение новых экспертов отнимает много времени и средств. Если имеется сложный лабиринт правил, то экспертная система может "распутать" этот лабиринт;

Устойчивость - Системы, основанные на знаниях, устойчивы к "помехам". Эксперт пользуется побочными знаниями и легко поддается влиянию внешних факторов, которые непосредственно не связаны с решаемой задачей. ЭС, не обремененные знаниями из других областей, по своей природе менее подвержены "шумам";

Эффективность - может увеличить производительность и уменьшать затраты персонала. Хотя экспертные системы дороги для создания и поддержки, они недороги для эксплуатации. Разработка и эксплуатационные расходы могут быть распределены среди многих пользователей. Полная стоимость может быть более разумной по сравнению с дорогими и малочисленными экспертами;

Постоянство - с использованием экспертных систем подобные транзакции обрабатываются одним и тем же способом. Система будет делать сопоставимые рекомендации для похожих ситуаций;

Влияние на людей - новый эффект (самая современная информация, имеющая влияние на здравый смысл). Главный эффект (ранняя информация доминирует над здравым смыслом );

Документация - экспертная система может задокументировать процесс решения задачи;

Законченность - экспертная система может выполнять обзор всех транзакций, а человек-эксперт сможет сделать обзор только отдельной выборки;

Своевременность - погрешности в конструкциях могут быть своевременно найдены;

Широта - могут быть объединены знания многих экспертов, что делает систему компетентной в широком спектре знаний, чего не может достичь один человек;

Снижают риск ведения дела - благодаря последовательности принятия решения, документированности, компетентности;

Недостатки экспертных систем

Интерфейс - большинство ЭС не вполне пригодны для применения конечным пользователем. Если вы не имеете некоторого опыта работы с такими системами, то у вас могут возникнуть серьезные трудности. Многие системы оказываются доступными только тем экспертам, которые создавали их базы знаний.

Быстродействие - вопросно-ответный режим, обычно принятый в таких системах, замедляет получение решений. Например, без экспертной системы врач может (а часто и должен) принять решение значительно быстрее, чем с ее помощью.

Здравый смысл - в дополнение к широкому техническому знанию, человек-эксперт имеет здравый смысл. Еще не известно, как заложить здравый смысл в экспертные системы;

Творческий потенциал - человек-эксперт может реагировать творчески на необычные ситуации, экспертные системы не могут;

Обучение - человек-эксперт автоматически адаптируется к изменению среды, экспертные системы нужно явно модифицировать. Нейронные сети - метод, который использует адаптацию и обучение.

Сенсорный Опыт - человек-эксперт располагает широким диапазоном сенсорного опыта, экспертные системы в настоящее время основаны на вводе символов;

Формализация - Все еще остается проблемой приведение знаний, полученных от эксперта, к виду, обеспечивающему их эффективную машинную реализацию.

Экспертные системы не эффективны, если решения не существует или когда проблема лежит вне области их компетенции. Системы, основанные на знаниях, также оказываются неэффективными при необходимости проведения скрупулезного анализа, когда число "решений" зависит от тысяч различных возможностей и многих переменных, которые изменяются во времени.

Критерий использования ЭС для решения задач

Существует ряд прикладных задач, которые решаются с помощью систем, основанных на знаниях, более успешно, чем любыми другими средствами. При определении целесообразности применения таких систем нужно руководствоваться следующими критериями.

Данные и знания надежны и не меняются со временем.

Пространство возможных решений относительно невелико.

В процессе решения задачи должны использоваться формальные рассуждения.

Должен быть, по крайней мере, один эксперт, который способен явно сформулировать свои знания и объяснить свои методы применения этих знаний для решения задач.

В таблице 3.1. приведены сравнительные свойства прикладных задач, по наличию которых можно судить о целесообразности использования для их решения ЭС [18].

Таблица 3.1 Критерий актуальности ЭС

В целом, ЭС не рекомендуется применять для решения следующих типов задач:

математических, решаемых обычным путем формальных преобразований и процедурного анализа;

задач распознавания, поскольку в общем случае они решаются численными методами;

задач, знания о методах решения которых отсутствуют (невозможно построить базу знаний).

Подобно другим видам компьютерных программ ЭС не могут заменить человека в решении задач, а скорее напоминают орудия труда, которые дают ему возможность решать задачи быстрее и эффективнее. Эти системы не заменяют специалиста, а являются инструментом в его руках.

Нечёткая логика

Для многих промышленных процессов сложно обеспечить точное управление. Они обычно являются многомерными, нелинейными и изменяющимися во времени. Управление на основе нечеткой логики может успешно применяться для таких процессов [3,11]. Кроме того, нечеткие контроллеры могут работать с не полностью описанными системами с неизвестной динамикой, так как для них (в отличие от многих традиционных адаптивных контроллеров) не требуется априорная математическая модель объекта управления. Еще одно преимущество нечетких контроллеров состоит в том, что они могут быть легко реализованы на цифровых или аналоговых СБИС, в которых информация может кодироваться по параллельно распределенной схеме.

Применение нечеткой логики для управления процессами в промышленности имеет ряд преимуществ по сравнению с использованием традиционных контроллеров. По-видимому, одно из основных преимуществ состоит в том, что нечетко-логический контроллер может разрабатываться по лингвистическим правилам, что тесно связано с искусственным интеллектом. Одна из целей искусственного интеллекта состоит в том, чтобы заменить человека машиной при выполнении точных операций. Нечеткий контроллер состоит из набора условных лингвистических операторов, или правил (называемых нечеткими ассоциативными матричными правилами, или НАМ-правилами), задающими конкретные ситуации управления. Эти условные лингвистические операторы могут быть легко получены из соображений здравого смысла или из технических сведений о процессе, которым требуется управлять.

Алгоритмы нечеткого управления, использующиеся в следующих случаях:

когда традиционные автоматические системы не справляются с управлением, а оператору в ручном режиме удается обеспечить заданное качество управления;

когда необходимо быстро провести наладку автоматической системы, при этом, с одной стороны, отсутствуют математические модели объекта управления, с другой стороны, имеется богатый опыт в виде знаний и навыков оператора по управлению в ручном режиме.

Показана схема построения нечеткой системы управления (НСУ). В ней можно выделить четыре блока. Основой для построения НСУ является схема управления объектом с участием (1) эксперта. Именно эксперт на основе собственных знаний об управлении объектом формирует (2) описание процесса управления. В этом случае описание задается в виде набора лингвистических правил и условий работы каждого лингвистического правила. Затем экспертное описание процесса управления преобразуется (3) в блок управления на основе нечетких экспертных знаний - НСУ. Это дает возможность исключить эксперта из схемы управления и в дальнейшем управление осуществляется (4) только на основе знаний эксперта об управлении, хранящихся в базе знаний НСУ.

На практике формирование базы знаний НСУ производит не сам эксперт, а инженер по знаниям во взаимодействии с экспертом.

Основные этапы построения систем интеллектуального управления на основе нечёткой логики следующие:

Определение входов и выходов создаваемой системы;

Задание для каждой из входных и выходных переменных функции принадлежности;

Разработка базы правил для реализуемой нечёткой системы;

Выбор и реализация алгоритма нечёткого логического вывода;

Анализ результатов работы созданной системы (проверка адекватности разработанной модели).

Составляющей частью НСУ является контроллер нечеткой логики - наиболее важное приложение теории нечетких множеств. Его функционирование отличается от работы обычных контроллеров тем, что для описания системы используются знания экспертов вместо дифференциальных уравнений. Эти знания могут быть выражены естественным образом с помощью лингвистических переменных, которые описываются нечеткими множествами.

Система управления на основе нечеткой логики состоит из набора НАМ-правил, задающих конкретные ситуации управления [3]. Во многих приложениях достаточно найти соотношение между ошибкой и скоростью изменения ошибки в процессе, чтобы изменить управляющее воздействие на величину, обеспечивающую удовлетворительное управление системой.

В этом отношении могут быть сформулированы простые лингвистические правила, основанные на наблюдениях или на простом изучении хода процесса. Приведем пример лингвистического правила на естественном языке, которое эксперт может использовать для описания действия системы управления:

Если ошибка является положительной, и большой, а скорость изменения ошибки -- отрицательная, и малая, то изменение на входе процесса -- положительное и большое.

В правиле использованы три переменных: ошибка (Е), скорость изменения ошибки (С) и изменение управляющего воздействия (U). Они задаются фиксированными универсальными множествами, определяющими диапазоны измерений величин, возможные в данной системе управления. В некоторых приложениях [33,34] в качестве посылки НАМ-правила, с целью улучшения характеристик системы, может быть добавлена еще какая-либо переменная, например, величина предыдущего управляющего воздействия, однако это приводит к усложнению в разработке системы управления.

Нейронные сети

В последнее время для целей управления все шире начинают применяться нейронные сети. Они строятся на основе биологических структур мозга и, благодаря способности к самоорганизации и обучению, имеют большие преимущества перед обычными ПИД и самонастраивающимися регуляторами [2,3,5,11,12,13,14,21,22].

Они показали свою эффективность для решения задач распознавания образов. Нейронные сети способны обучаться на основе соотношений "вход-выход", поэтому они могут обеспечить более простые решения для сложных задач управления [2,3,6]. Кроме того, нейроны -- это нелинейные элементы; следовательно, нейронные сети в своей основе являются нелинейными системами, пригодными для решения задач управления, принципиально связанных с наличием нелинейных характеристик. Традиционные методы управления не обеспечивают решения подобных задач. Таким образом, в последнее время интеллектуальное управление стало достаточно подходящим для решения реальных задач [2,14,21,22].

Вот основные причины, по которым нейронные сети в последние годы нашли широкое применение как в нейроуправлении, так и во многих других задачах науки и техники [3]:

нейронные сети - наилучший из возможных способ аппроксимации и экстраполяции функций. Это справедливо при наличии в процессе обучения нейронных сетей достаточно большого объема обучающей информации, а также грамотного синтеза многослойной нейронной сети, решающей задачу;

наличие множественных нелинейных функций активации в многослойной нейронной сети обеспечивает эффективную реализацию достаточно гибких нелинейных преобразований. Это важно для решения задач с существенными нелинейностями, для которых традиционные подходы пока не дают практически реализуемых решений;

необходимым условием применения традиционных методов оптимального адаптивного управления является наличие большого объема априорной информации об объекте управления, например, данных математического моделирования. Благодаря способности нейронных сетей к обучению и самообучению для нейроконтроллеров такой объем информации не требуется. В связи с этим можно полагать, что нейроконтроллеры пригодны для управления в условиях существенных неопределенностей;

высокая параллельность нейронных сетей является предпосылкой эффективной реализации аппаратной и программно-аппаратной поддержки нейросетевых контроллеров в контуре управления;

многократно отмечаемое в литературе по нейронным сетям, но пока недостаточно исследованное свойство нейронных сетей монотонно (а не катастрофически) уменьшать качество работы при увеличении числа вышедших из строя элементов, а также отсутствие изменения качества работы при значительных изменениях параметров схем, реализующих элементы.

3.4 АНАЛИЗ

До 1998 г. система автоматики металлизации была оснащена зарубежной аппаратурой. В частности, для управления технологическим процессом, системой сигнализации и блокировок на базовом уровне использовали контроллеры SIMATIC S3, для системы измерений, индикации и контроля использовали мнемосхему процесса, систему самописцев, индикаторов и узкопрофильных приборов, на которые выводилась необходимая информация.

На данный момент внедряется стандарт открытых систем - поэтапная программа модернизации системы контроля и блокировок на шахтной печи на базе универсальных программируемых промышленных контроллеров фирмы "ЭМИКОН" серии ЭК-2000. Это делает предприятие независимым от одного поставщика АСУТП. Появляется возможность создать информационную связь с АСУП в режиме реального времени. В конечном счёте это означает существенное снижение как прямых, так и косвенных затрат на производство. Данная модернизация явилась следствием следующих факторов:

моральный и физический износ оборудования КИПиА и автоматизации;

дороговизна запасных частей и комплектующих (для самописцев);

невозможность подключения компьютера к контроллерам типа SIMATIC S3, а современные контроллеры независимо от их типа обеспечивают свободный выбор при внедрении или модернизации системы;

одним из важнейших факторов был временной, так как ни одна фирма не могла предложить замену (модернизацию) оборудования в сроки капитального ремонта.

Но вопрос по созданию автоматической системы управления процессом металлизации пока остаётся открытым. Это, в первую очередь, связано с рядом проблем:

практически невозможна формализация процесса, в связи с чем возникают серьёзные затруднения с построением математической модели. Причём, даже если удастся создать такую модель, вопрос о её практической пригодности и полезности вряд ли можно экономически выгодно разрешить. Созданная модель оказалась бы громоздкой, так как должна описывать не только физику технологического процесса, но и учитывать взаимосвязи и возмущения, а это не позволит ей работать в режиме реального времени.

модель и её параметры динамически меняются и из-за неформализованности процесса невозможно спрогнозировать его ход.

отсутствие во многих традиционных системах управления (в том числе и в системах с самонастройкой) способностей к обучению и дообучению (эти функции в полной мере присущи искусственному интеллекту).

Разрешить названные проблемы очень трудно, используя только стандартные методы автоматизации.

Из вышесказанного понятно, что использование для автоматизации традиционных подходов практически невозможно, так как отсутствуют данные математического моделирования, а процесс по своей природе нелинеен и подвержен влиянию шумов. В связи с этим, надо искать альтернативные методы автоматизации, которые должны обладать вышеуказанными свойствами. Описанные ранее методы ИИ обладают этими свойствами.

3.5 ВЫВОДЫ

Для решения подобных задач необходима либо постоянная работа группы квалифицированных экспертов, либо адаптивные системы автоматизации, каковыми являются нейронные сети. Если создание экспертных систем может выполняться как на базе самоадаптирующихся систем, так и с использованием классических алгоритмов, то задачи управления агрегатами находятся целиком в компетенции систем с самостоятельной адаптацией.

В данной дипломной работе предложен метод автоматизации процесса металлизации на базе адаптивного нейросетевого подхода.

4. НЕЙРОННЫЕ СЕТИ

4.1 ЭЛЕМЕНТЫ НЕЙРОННЫХ СЕТЕЙ

4.1.1 Понятие нейрона

Основной элемент нейронной сети - это формальный нейрон, осуществляющий операцию нелинейного преобразования суммы произведений входных сигналов на весовые коэффициенты:

где X=(x₁, x₂, …, x_n)^T - вектор входного сигнала; W=(w₁, w₂, …, w_n) - весовой вектор; F - оператор нелинейного преобразования.

На рис. 4.1 представлена схема персептронного нейронного элемента, состоящая из сумматора и блока нелинейного преобразования F. Каждому i-му входу нейрона соответствует весовой коэффициент w_i (синапс), характеризующий силу синаптической связи по аналогии с биологическим нейроном. Сумма произведений входных сигналов на весовые коэффициенты называется взвешенной суммой. Она представляет собой скалярное произведение вектора весов на входной вектор:

где |W|, |X| - соответственно длины векторов W и X; = W, X - угол между векторами W и X.

Длины весового и входного векторов определяются через их координаты:

Так как для нейронного элемента длина весового вектора после обучения |W|=const, то величина взвешенной суммы определяется проекцией входного вектора на весовой вектор:

где Х_W - проекция вектора Х на вектор W.

Если входные векторы нормированы, т.е. |X|=const, то величина взвешенной суммы будет зависеть только от угла между векторами Х и W. Тогда при различных входных сигналах взвешенная сумма будет изменяться по косинусоидальному закону. Максимального значения она будет достигать при коллинеарности входного и весового векторов.

Если сила связи w_i отрицательная, то такая связь называется тормозящей. В противном случае синаптическая связь является усиливающей.

Оператор нелинейного преобразования называется функцией активации нейронного элемента, вектор входного сигнала - паттерном входной активности нейронной сети, а вектор выходного сигнала - паттерном выходной активности.

4.1.2 Функции активации нейронов

В качестве оператора нелинейного преобразования могут использоваться различные функции, которые определяются в соответствии с решаемой задачей и типом нейронной сети. Пусть Т - порог нейронного элемента, который характеризует расположение функции активации по оси абсцисс. Представим взвешенную сумму как:

Рассмотрим наиболее распространенные функции активации нейронных элементов (Табл. 4.1).

Пороговая

В качестве пороговой функции активации может использоваться биполярная или бинарная функция. Пороговая бинарная функция активации может принимать значения 0 или 1. В случае использования пороговой биполярной функции активации -1 или 1.

Линейная функция

В этом случае выходное значение нейронного элемента равняется взвешенной сумме у = kS, где k -- коэффициент наклона прямой.

Изменение порога линейного элемента эквивалентно сдвигу функции активации по оси абсцисс.

Таблица 4.1. Перечень функций активации нейронов

Сигмоидная функция

Эта функция является непрерывной, возрастающей функцией в диапазоне значений [0, 1]. Коэффициент ''c'' характеризует ширину сигмоидной функции по оси абсцисс. Сигмоидная функция является монотонной и всюду дифференцируемой. Поэтому она получила широкое распространение в искусственных нейронных сетях.

Модифицированная пороговая функция

Такая функция используется в двунаправленной ассоциативной памяти.

Гиперболический тангенс

Функция гиперболического тангенса аналогична биполярной сигмоидной функции. Коэффициент ''c'', как и в случае с сигмоидной функцией, характеризует ширину функции "гиперболический тангенс" по оси абсцисс.

Радиально-базисная функция

Она характеризуется функцией Гаусса для нормального закона распределения. Среднеквадратичное отклонение характеризует ширину радиально-базисной функции.

Величина S в данном случае будет определяться в соответствии с евклидовым расстоянием между входным и весовым векторами:

Применение различных функций активации определяется классом решаемых нейронной сетью задач. Помимо перечисленных могут применяться и другие функции активации нейронных элементов, которые адекватно отражают решаемую задачу.

4.2 СТРУКТУРА НЕЙРОННЫХ СЕТЕЙ

4.2.1 Основные понятия

Нейронные сети образуются путем соединения нейронов по определенным правилам. Схема соединения нейронов называется структурой (в совокупности с методом обучения - парадигмой) нейронной сети. В общем случае для решения задачи можно использовать нейронную сеть любой структуры. Но на практике было определено, что для наилучшего решения определенных задач подходят только некоторые из структур. Поэтому одной из задач, решаемых в данной работе, является выбор структуры нейронной сети.

Все разнообразие структур нейронных сетей принято делить на прямоточные (сети с прямыми связями), сети с обратными связями (рекуррентные, самоорганизующиеся) и гибридные сети. В прямоточных сетях нейроны не связаны обратными связями, т.е. в таких сетях не образуется петель и информация передаётся в одном направлении. К таким сетям относятся сети персептронного типа (простой персептрон, многослойный персептрон). В многослойных сетях с обратным распространением информации, нейроны связаны не только прямыми, но и обратными связями, т.е. в структуре таких сетей образуются петли. К таким сетям относятся, например, рекуррентные, рециркуляционные и сети Кохонена. В прямоточных и рекуррентных сетях структура сети не изменяется при обучении и эксплуатации сети. В самоорганизующихся сетях при обучении могут изменяться не только веса синаптических связей, но и структура сети, количество нейронов в отдельном слое и даже количество слоев в сети. Гибридные сети представляют собой объединение различного рода структур и концепций обучения сетей.

4.2.2 Сети прямого распространения информации

Однослойные сети

Рассмотрим нейронные сети, состоящие из одного слоя нейронных элементов, который осуществляет обработку входной информации.

Такие сети принято изображать в виде двухслойной нейронной сети, где первый слой нейронных элементов является распределительным, а второй обрабатывающим. Распределительный слой передает входные сигналы на обрабатывающий слой нейронных элементов, который преобразует входную информацию в соответствии с синаптическими связями и функцией активации (рис. 5.3). При этом каждый нейрон распределительного слоя имеет синаптические связи со всеми нейронами обрабатывающего слоя.

Тогда выходное значение j-го нейронного элемента второго слоя можно представить как:

где T_j - порог j-го нейронного элемента выходного слоя; w_ij - сила синаптической связи между i-м нейроном распределительного слоя и j-м нейроном обрабатывающего слоя.

Совокупность весовых коэффициентов сети можно представить в виде матрицы размерностью п х т:

Тогда вектор-столбец взвешенной суммы в матричном виде определяется следующим образом:\

где T - вектор-столбец порогов нейронных элементов второго слоя.

Однослойный персептрон

Данную структуру предложил американский ученый Ф. Розенблатт в 1959 г. для нейронной сети, которую он назвал персептроном. Персептрон - это сеть, состоящая из S, А и R нейронных элементов (рис. 5.4). Нейроны слоя S называются сенсорными и предназначены для формирования входных сигналов в результате внешних воздействий. Нейроны слоя А называются ассоциативными и предназначены для непосредственной обработки входной информации. Нейроны слоя R называются эффекторными. Они служат для передачи сигналов возбуждения к соответствующему объекту. В сетях персептронного типа нейрон одного слоя связан со всеми нейронам другого слоя и не связан с нейронами своего собственного слоя. Простой персептрон состоит всего из двух слоев - входного и выходного. На входной слой подаются независимые и зависимые переменные. Нейроны входного слоя обрабатывают поступившую информацию и передают ее нейронам выходного слоя. Нейроны выходного слоя, в свою очередь, обрабатывают поступившую информацию и выдают ее на выход сети.

Многослойные сети

Многослойная нейронная сеть способна осуществлять любое отображение входных векторов в выходные. Архитектура такой сети состоит из множества слоев нейронных элементов.

Входной слой (input layer) нейронных элементов выполняет распределительные функции. Выходной слой (output layer) нейронов служит для обработки информации от предыдущих слоев и выдачи результатов. Слои нейронных элементов, расположенные между входным и выходным слоями, называются промежуточными или скрытыми (hidden layers). Как и выходной слой, скрытые слои являются обрабатывающими. Выход каждого нейронного элемента предыдущего слоя нейронной сети соединен синаптическими связями со всеми входами нейронных элементов следующего слоя. Таким образом, топология многослойной нейронной сети является однородной и регулярной (рис. 5.5).

В качестве функции активации нейронных элементов обычно используется гиперболический тангенс или сигмоидная функция.

Многослойный персептрон

В многослойном персептроне помимо входного и выходного слоев добавляются скрытые слои. Они представляют собой нейроны, которые не имеют непосредственных входов исходных данных, а связаны только с выходами входного слоя и с входом выходного слоя. Таким образом, скрытые слои дополнительно преобразуют информацию и добавляют нелинейности в модели (рис. 5.5).

Простой персептрон хорошо справляется с задачами классификации. Каждому выходу нейронной сети сопоставляется определенный класс входного набора данных. Обученная нейронная сеть анализирует полученную информацию и активизирует только один выход - тот, который соответствует классу входного набора. Простой персептрон не способен решать большинство других практических задач. Многослойный персептрон с сигмоидной функцией активации нейронов способен аппроксимировать любую функциональную зависимость и, таким образом, способен решать большой круг самых разнообразных задач. Но при этом заранее не известно ни нужное число слоев сети, ни нужное количество скрытых нейронов, ни необходимое для обучения сети время. В большинстве случаев эти задачи решаются при конструировании сети эмпирическим путем.

4.2.3 Сети обратного распространения информации

4.2.3.1 Многослойные сети

Рекуррентные (Recurrent networks), рециркуляционные (Recirculation networks) и релаксационные нейронные сети характеризуются как прямым (feed forward), так и обратным (feed back) распространением информации. При этом обратное распространение информации осуществляется по-разному для таких нейронных сетей. В рециркуляционных нейронных сетях распространение информации происходит по двунаправленным связям, которые имеют в различных направлениях разные весовые коэффициенты. При обратном распространении сигналов в таких сетях осуществляется их преобразование с целью восстановления входного образа. При прямом распространении сигналов происходит сжатие входных данных. В результате осуществляется рециркуляция информации. Обучение рециркуляционных нейронных сетей производится без учителя. Рекуррентные нейронные сети характеризуются обучением с учителем и обратными связями, по которым передаются результаты обработки сетью данных на предыдущем этапе. В результате этого входом рекуррентной нейронной сети в каждый фиксированный момент времени является вектор входных данных и результаты обработки информации сетью на предыдущем этапе. Обучение таких сетей базируется на алгоритме обратного распространения ошибки. Это дало повод, несмотря на различия между рекуррентными и рециркуляционными нейронными сетями, отнести их к одному классу.

Рекуррентные сети

Рекуррентными нейронными сетями называются такие сети, в которых выходы нейронных элементов последующих слоев имеют синаптические соединения с нейронами предшествующих слоев. Это приводит к возможности учета результатов преобразования нейронной сетью информации на предыдущем этапе для обработки входного вектора на следующем этапе функционирования сети. Рекуррентные сети могут использоваться для решения задач прогнозирования и управления. Существуют различные варианты архитектур рекуррентных нейронных сетей. В 1986 г. Джордан (Jordan) предложил рекуррентную сеть (рис. 5.6), в которой выходы нейронных элементов последнего слоя соединены посредством специальных входных нейронов с нейронами промежуточного слоя. Такие входные нейронные элементы называются контекстными нейронами (context units). Они распределяют выходные данные нейронной сети на нейронные элементы промежуточного слоя.