Самообучающиеся и гибридные сети

Размещено на http://www.allbest.ru/

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1 Самообучающиеся и гибридные сети

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

ВВЕДЕНИЕ

В последние годы наблюдается рост активности в области теории и технической реализации искусственных нейронных сетей, в идейном отношении близких к персептрону Розенблатта. В работах Андерсона, Гроссберга, Кохонена, Хопфилда и др., выполненных в конце 70-х - начале 80-х годов, были разработаны более сложные и гибкие архитектуры сетей, составленных из нейроподобных элементов, и изучены функциональные возможности таких систем. Следует отметить, что этот процесс происходил на фоне общего возрастания интереса к многопроцессорным системам(к которым относятся в том числе и нейронные сети) и к реализации на них параллельных процессов обработки информации. Сочетание в архитектуре нейронных сетей массированного параллелизма при обработке информации с использованием элементов-связей (аналогов синапсов в биологии) на стадии обучения системы выделило нейронные сети в самостоятельный класс многопроцессорных вычислительных устройств.

Здесь рассмотрим основные архитектуры нейронных сетей, их общие и функциональные свойства и наиболее распространенные алгоритмы обучения сетей.

1. САМООБУЧАЮЩИЕСЯ И ГИБРИДНЫЕ СЕТИ

Рассмотренные выше нейронные сети персептронного типа обучались путем тренировки на примерах. Для обучения предоставлялась первоначальная информация о предметной области в виде набора входных векторов Х_ч и им соответствующих выходных векторов D_q -- своего рода подсказок, с использованием которых сеть обучалась давать правильные ответы на задаваемые вопросы. Поэтому такой способ называют обучением с учителем.

В реальных условиях любой живой организм, взаимодействуя с окружающей средой, постоянно ощущает ее воздействие, получает своего рода подсказки, согласно которым корректирует свое поведение. Так кошка, один раз прыгнувшая на раскаленную печь, никогда больше не повторит своей ошибки. Подобных примеров можно привести тысячи, поэтому механизм обучения с учителем несомненно свойственен мозгу любого живого существа.

Однако мозг человека обладает и другими механизмами обучения. Мы в состоянии решать многие интеллектуальные задачи и без предварительного обучения. Например, мы, не задумываясь, можем выполнить кластеризацию объектов -- объединить похожие между собой объекты в отдельные классы, называемые кластерами.

Рис. 1. Самообучающаяся нейронная сеть

Рассмотрим нейронную сеть, которая без помощи учителя автоматически настраивает свои синаптические веса, решая задачукластеризации входных векторов. Сеть, изображенная на рис. 3.33, имеет один слой из нейронов, каждый из которых соединен с TV входами. Этот слой нейронов называют слоем Кохонена в честь ученого, предложившего алгоритм самообучения нейросети. Веса синаптических связей каждого ?-го нейрона слоя Кохонена образуют вектор синаптических связейразмерность которого совпадает с размерностью входных векторов X = [x_bx₂,...,x_N]^T. Первоначально значения компонент векторов Wi задаются датчиком случайных чисел, а компоненты входного вектора X подвергаются нормализации путем деления каждой из них на длину самого вектора X.

Между вектором Хи каждым из векторов W_t вычисляются евклидовы расстояния

(1)

среди которых выбирается наименьшее. Нейрон, у которого вектор синаптических весов W_t оказался ближе всего к входному вектору X, будем называть нейроном-победителем, а его номер обозначим через w, т.е. нейрон-победитель имеет порядковый номер i = w. Синаптические веса нейрона-победителя, а также всех близлежащих к нему нейронов подвергаются корректировке по формуле Кохонена

(2)

В этой формуле коэффициент скорости обучения ?_i(t) уменьшается с увеличением времени i, а функция G(i, w) зависит от расстояния между нейроном-победителем w и i-м нейроном сети. Обычно ее задают максимальной для i= w и убывающей по мере увеличения расстояния от i-го нейрона до нейрона-победителя. Таким свойством обладает, например, функция Гаусса

(3)

в которой коэффициент ? называется уровнем соседства.

В другом варианте обучению по формуле Кохонена (2) подвергается только нейрон-победитель. В этом случае функция G(i, w) имеет вид

(4)

Этот алгоритм называется алгоритмом WTA. Название образовано начальными буквами английских слов Winner Takes All, что в переводе означает: «Победитель забирает все». В отличие от этого алгоритма формулу (4) относят к алгоритмам типа WTM -- Winner Takes Most, что переводится как «Победитель забирает больше».

Согласно итерационной формуле Кохонена (3) нейрон-победитель на каждой эпохе приближает свой синаптический век-гор W_w к входному вектору X, как показано на рис. 1. В результате такого обучения каждой отдельной группе близких между собой входных векторов X_q, называемой кластером, будет соответствовать один единственный нейрон, который в ходе обучения для этих векторов был победителем, причем его синаптический вектор в результате итерационного процесса окажется в центре этого кластера.

Однако могут найтись и такие нейроны, которые ввиду их первоначальной удаленности от входных векторов так и не были ни разу победителями. Этим нейронам не будет соответствовать ни один кластер, поэтому их называют мертвыми нейронами. Наличие мертвых нейронов нежелательно, они снижают эффективность вычислительного алгоритма.

Рис.1. Нейрон-победитель приближает свой синаптический вектор W_W к входному вектору Х

Проблема мертвых нейронов решается путем введения механизма, моделирующего эффект утомления, который известен из нейрофизиологических наблюдений. Этот эффект заключается в том, что биологические нейроны сразу после победы на некоторое время теряют свою активность и не участвуют в конкурентной борьбе.

Существует несколько способов моделирования эффекта утомления нейронов, Например путем введения потенциала активности каждого нейрона. Потенциалы активности модифицируются всякий раз после представления очередного входного вектора

(5)

В этой формуле p_min -- минимальное значение потенциала, разрешающее нейрону участие в конкурентной борьбе. Если текущее значение потенциала какого-либо нейрона падает ниже р_т[п, то этот нейрон временно отдыхает, уступая место для конкурентной борьбы другим нейронам. В результате такого обучения весовые векторы всех нейронов распределятся так, что они будут центрами различных кластеров, образованных из входных векторов, причем число кластеров, на которые разобьется входное множество векторов, будет равно числу нейронов сети.

Рассмотренная нейронная сеть представляет практический интерес, поскольку с помощью нее можно решать задачи кластеризации объектов, которые возникают, например, при необходимости сжатия информации с сохранением глобальных свойств сжимаемого множества. На рис. 2 приведен результат работы нейронной сети, которая разбила исходное множество на три кластера. Крестиками здесь отмечены точки исходного множества, кружочками -- центры кластеров, выявленные нейросетью.

Задачи кластеризации возникают в самых разнообразных областях человеческой деятельности. Так, в педагогике часто возникает задача разделения всех учащихся на несколько классов, например, вундеркиндов, отличников, успевающих и неуспевающих. Исходной информацией для такого деления является множество различных показателей успеваемости учащихся за длительный период времени. Для решения этой задачи можно использовать слой Кохонена из четырех нейронов.

Рис.2. Пример кластеризации множества

Слой Кохонена эффективно использовать в сочетании со слоями нейронов, реализующими другие нейросетевые парадигмы. Так, применение RBF-сетей, рассмотренных в подразд, подразумевает обязательную предварительную кластеризацию входных векторов, которую удобно выполнять с помощью нейронного слоя Кохонена. На рис. 3 изображена гибридная сеть, содержащая слой Кохонена, выходные сигналы с которого передаются на вход обычного персептрона. Обучение гибридной нейросети осуществляется в две стадии.

Рис.3. Гибридная нейронная сеть

I-слой нейронов Кохонена; II-персептронные слои

На первой стадии происходит самообучение слоя Кохонена, в результате которого множество входных векторов разбивается на кластеры, число которых равно числу нейронов I слоя Кохонена, а векторы синаптических весов каждого нейрона этого слоя принимают значения, изображающиеся центрами образовавшихся кластеров. Теперь при подаче на вход сети какого-либо входного вектора каждый нейрон слоя Кохонена будет вырабатывать сумму

Эти суммы нормализуются так, чтобы выходной сигнал нейрона-победителя был равен единице, а выходные сигналы остальных нейронов принимали значения в интервале (0,1). Указанная операция нормализации может осуществляться, например, с помощью формулы

в которой значение параметра а подбирается индивидуально для решаемой задачи.

Персептронная часть сети обучается обычным способом, например методом обратного распространения ошибки. Обучающая выборка в этом случае состоит из выходных векторов слоя Кохонена Y_q и им соответствующих желаемых выходов сети D_q. Благодаря хорошему структурированию исходных данных, выполненному слоем Кохонена, персептронная часть гибридной сети обучается во много раз быстрее, чем обычный персептрон.

В заключение отметим, что согласно современным данным, мозг человека представляет собой каскадное объединение биологических нейронных сетей различных функциональных назначений. Поэтому гибридная сеть, объединяющая слои нейронов различных нейросетевых парадигм, в большей мере соответствует современным представлениям о структуре и способе функционирования мозга. Следствием такого объединения является ее более высокая эффективность.

нейронный сеть обучение алгоритм

ЗАКЛЮЧЕНИЕ

В процессе изучения темы «Самообучающиеся и гибридные сети» мы ознакомились со следующими вопросами:

- моделями обучения;

- методами обучения;

Область приложения нейронных сетей значительна и расширяется.

Этот процесс идет по ряду направлений. К их числу можно отнести следующие:

- поиск новых нелинейных элементов, которые могли бы реализовывать сложное коллективное поведение в ансамбле,

- разработка новых архитектур нейронных сетей, перспективных с точки зрения их реализации на электронной, оптической и оптоэлектронной элементной базе,

- поиск областей приложения нейронных сетей в системах управления, робототехнике, системах обработки изображений, распознавания речи.

ЛИТЕРАТУРА

1. Ясницкий Л. Н. Введение в искусственный интеллект : учеб. пособие для студ. высш. учеб. заведений Л. Н. Ясницкий. -- 2-е изд., испр. -- М. : Издательский центр «Академия», 2008.

Размещено на Allbest.ru