3. Нечеткая классификация. Пусть для вектор данных x обработан слоем элементов, вычисляющих yi=d(x, ai). Идея дальнейшей обработки состоит в том, чтобы выбрать из этого набора {yi} несколько самых больших чисел и после нормировки объявить их значениями функций принадлежности к соответствующим классам. Предполагается, что к остальным классам объект наверняка не принадлежит. Для выбора семейства G наибольших yi определим следующие числа:

где число характеризует отклонение "уровня среза" s от среднего значения [-1,1], по умолчанию обычно принимается =0.

Множество J={i|yiG} трактуется как совокупность номеров тех классов, к которым может принадлежать объект, а нормированные на единичную сумму неотрицательные величины

(при iJ и f = 0 в противном случае)

интерпретируются как значения функций принадлежности этим классам.

4. Метод интерполяции надстраивается над нечеткой классификацией аналогично тому, как метод аккредитации связан с базовым способом. С каждым классом связывается q-мерный выходной вектор zi. Строится слой из q выходных сумматоров, каждый из которых должен выдавать свою компоненту выходного вектора. Весовые коэффициенты связей, ведущих от того элемента нечеткого классификатора, который вычисляет fi, к j-му выходному сумматору определяются как zij. В итоге вектор выходных сигналов сети есть

В отдельных случаях по смыслу задачи требуется нормировка fi на единичную сумму квадратов или модулей.

ГЛАВА 2. ПЕРСЕПТРОН РОЗЕНБЛАТТА

2.1 Задачи, решаемые при помощи Персептрона Розенблатта

В качестве научного предмета искусственные нейронные сети впервые заявили о себе в 40-е годы. Стремясь воспроизвести функции человеческого мозга, исследователи создали простые аппаратные (а позже программные) модели биологического нейрона и системы его соединений. Когда нейрофизиологи достигли более глубокого понимания нервной системы человека, эти ранние попытки стали восприниматься как весьма грубые аппроксимации. Тем не менее, на этом пути были достигнуты впечатляющие результаты, стимулировавшие дальнейшие исследования, приведшие к созданию более изощренных сетей [4].

Рисунок 2.1- Персептронный нейрон

Одной из первых искусственных сетей, способных к перцепции (восприятию) и формированию реакции на воспринятый стимул, явился PERCEPTRON Розенблатта (F.Rosenblatt, 1957). Персептрон рассматривался его автором не как конкретное техническое вычислительное устройство, а как модель работы мозга. Нужно заметить, что после нескольких десятилетий исследований современные работы по искусственным нейронным сетям редко преследуют такую цель.

Персептрон можно представлять себе как прибор для распознавания образов, который построен не для того, чтобы узнавать специфическое множество образов, а скорее для того, чтобы «научиться» после конечного числа испытаний узнавать образы из некоторого множества.

В персептрон образ поступает через сетчатку, состоящую из чувствительных элементов (например, фотоэлементов). Хотя любое воспринимаемое изображение может быть закодировано в форме, подходящей для входа, состоящего из набора чувствительных элементов, однако наиболее естественно (о чем и говорит термин «сетчатка») представлять образ как наблюдаемый вход, состоящий из света и тени. Фотоэлемент, который воспринимает относительно светлую часть образа, возбуждается, а фотоэлемент, воспринимающий относительно темную часть образа, не возбуждается.

После рассмотрения сетчатки лягушки становится ясным, что эта двоичная реакция, связанная с освещением сетчатки, имеет мало сходства с физиологической деятельностью. Чувствительные элементы соединены с промежуточными элементами (формальными нейронами), которые в свою

Рисунок 2.2 - Схематическое изображение персептрона

очередь могут быть соединены с реагирующими элементами (рисунок 2.2).

В терминах нейрофизиологического рассмотрения нервной системы как трехступенчатой системы сетчатка является рецептором персептрона; промежуточные элементы охватывают собственно нервную систему, а реагирующие элементы являются эффекторами или, скорее, соответствуют нейронам, выходы которых управляют эффекторами. С такими рассмотрением совместимо также и то, что когда на сетчатку персептрона действует изображение, то импульсы передаются от возбужденных чувствительных элементов к промежуточным элементам. Если сигнал, поступающий на промежуточный элемент, превосходит его порог, то этот элемент становится активным и посылает импульсы к элементам, с которыми он связан.

Перваночально персептрон являлся просто воплощением сильно упрощенных нейрофизиологических данных о нервной системе, снабженной зрительными рецепторами. Однако конструкторы персептрона пошли дальше этого, так что здесь стоит обсудить дополнительные свойства сети.

Существует, по-видимому, много подтверждений того, что люди имеют два вида памяти: «кратковременную» и «долговременную». Кроме того, кажется, что люди сначала должны запомнить мысль в кратковременной памяти, прежде чем передать ее в долговременную память. Время, необходимое для этой передачи, оценивается по-разному; в частности, одна из таких оценок равна 20 минутам. По-видимому, если кто-то впадает в бессознательное состояние, то его воспоминания о только что прошедших 20 минутах потеряны навсегда, так как они не были переданы в долговременную память. В настоящее время общепринято считать, что кратковременная память представляет собой в точности тот же тип памяти, которой мы снабдили модульную сеть, т. е. является прохождением по сети сложных конфигураций электрических импульсов. Далее, если такая временная активность продолжается довольно долго, то она фактически изменяет сеть. Это хорошо иллюстрируется простым примером (рисунок 2.3).



Рисунок 2.3 - Гипотетический пример долговременной памяти

Модуль, показанный на рисунке 2.3, хранит в кратковременной памяти информацию о том, был ли когда-нибудь возбужден его вход. Эта память сохраняется за счет образовавшегося в петле импульса. Модуль имел бы долговременную память, если бы кратковременная память могла, например, понизить его порог с 1 до 0, ибо в этом случае память сохранилась бы даже после исчезновения в петле импульса.

Один из возможных механизмов долговременной памяти заключается в образовании в нейронах специальных протеинов, которые изменяют их пороги в ответ на конфигурации кратковременной памяти. Другой механизм основан на росте концевых луковиц при повторном использовании и, таким образом, увеличивается вес соответствующего синапсического входа и, вероятно, облегчается восстановление конфигураций импульсов, использующих этот синапс. Это облегчает воспоминание прежней информации! Но истинный механизм все еще неизвестен. Поэтому физиология, гистология и анатомия, поддерживающие пока многие гипотезы, должны еще установить это).

Персептрон снабжен долговременной памятью. Это достигается изменением весов входов нейронов, или -- на языке конструкторов персептрона -- изменением величины импульса, поступающего от раздражителя. Эти изменения зависят от прошлой активности окончаний. Закон этой зависимости называется законом поощрения, так как он служит для поощрения правильных реакций персептрона на действие раздражителя. Сведения из физиологии настолько расплывчаты, что конструкторы персептрона выбрали такие правила поощрения, которые были удобны в теоретическом и экспериментальном отношениях. Их выбор дает персептрону возможность демонстрировать некоторые виды обучения.

Конструкторы персептрона должны были решить, каким образом надо соединить чувствительные элементы с промежуточными элементами. Первый подход заключался в том, чтобы соединения были многозначными и случайными. Позднее они включили в схему некоторые подсети, например подсети для линейного распознавания, подобные тем, которые нашли в кошке Хюбель и Визель.

Но подобно тому, как весьма упрощенная модульная сеть все же была способна хранить информацию и производить вычисления, так и первые персептроны, несмотря на все ограничения, проявляли простые свойства обучения.

Конструкторы персептрона провели три основных вида исследований: математический анализ, моделирование на цифровой вычислительной машине и построение действующей машины. Каждый метод имеет свои преимущества. Одним из важных результатов использования действующей машины является выяснение того, что ни точность, ни надежность компонент не имеют большого значения, а соединения не обязаны быть точными.

Другой интересный результат заключается в том, что персептрон может «учиться», несмотря на ошибки учителя.

Простым персептроном является такой персептрон, в котором промежуточные элементы не соединены между собой. Это означает, что у него нет кратковременной памяти.

Пусть имеются чувствительные элементы sh, промежуточные элементы am и n образов Si. В этой простой модели соединения между sh и ат не меняются (рисунок 2.4). Следовательно, множество промежуточных элементов, возбужденных образом S*, остается неизменным.

Пусть emi=1 тогда и только тогда, когда промежуточный элемент ат не возбужден образом Si-. Если Vm есть вес входа реагирующего элемента, подключенного к промежуточному элементу ат, когда перед сетчаткой находится образ Si, то вес входа реагирующего элемента равен

Предположим, что мы разбили имеющиеся образы на два класса: +1 и --1. Пусть ri -- один из классов, содержащий образ Si. Мы хотим, чтобы реагирующий элемент возбуждался тогда и только тогда, когда данный образ принадлежит классу +1.

Одним из правил поощрения является процедура исправления ошибки, которая заключается в следующем. Персептрону показывается образ Si он дает ответ. В случае правильного ответа никакого подкрепления не делается.

Рисунок 2.4.- Схематическое изображение простого персептрона

Если ответ неправильный, то Vm для возбужденных промежуточных элементов увеличивается на ?ri (? -- фиксированное положительное число). Невозбужденные промежуточные элементы остаются неизменными. Начальные значения произвольны, скажем,

Vi .... Vm, . . ., V N-

Предположим, что образы показываются в произвольном порядке так, что каждый образ повторяется достаточно часто. После некоторого конечного числа шагов машина будет давать правильные ответы на все образы, так что никаких дальнейших изменений не произойдет.

Порядок числа исправлений равен числу различных образов, подаваемых на сетчатку. Этот результат показал, что машина может выучивать наизусть, но использование простого персептрона в качестве прибора для распознавания образов нежелательно.

Персептрон «Марк-1» является простым персептроном. Он имеет сетчатку размером 20x20 фотоэлементов. Рассмотрим случай, когда в качестве образов используется 26 букв (английского) алфавита (каждая буква задается в стандартной форме), а выход состоит из пяти двоичных реагирующих элементов (25 = 32>',->26).

Рисунок 2.5 - Изображение буквы Е, которое может восприниматься чувствительными элементами персептрона

В проведенном эксперименте, как сообщалось, машина научилась правильно распознавать буквы после 15 показов каждой буквы, т. е. общее число показов было равно 390. Но обычно требуется от системы для распознавания нечто большее, чем только выделение образов в стандартной форме. Нужна машина, которая может распознавать каждую букву, помещенную на сетчатку, даже если она напечатана слегка искаженно и показана на пестром фоне. Но если мы допускаем это, то число образов катастрофически возрастает. В этом можно убедиться при рассмотрении различных вариантов стандартной буквы Е, образ которой представлен в виде точек, как показано на рисунке 2.5.

Следовательно, сделанный выше вывод о том, что для заучивания наизусть достаточно произвести некоторое число опытов, по порядку равное числу различных образов, является не столь значительным. Простой персептрон оказывается слишком простым. Этот простой персептрон мы обсуждаем из методических соображений; он полезен при рассмотрении вопроса о памяти нейронных сетей. На самом деле конструкторы персептрона проделали более сложную работу. Так как для своих сетей они ставили более трудные задачи, то и строили их с более сложной структурой. Их работа даже включает нейрохимическое исследование памяти и описание сопутствующих моделей [9].

Анатомия и физиология той части нашего мозга, работа которой относится к высшей нервной деятельности, мало изучена. Хотя макроскопическая анатомия мозга обнаружила сложную структуру, микроскопическая анатомия дает смутную картину, по-видимому, случайных взаимосвязей. Кажется невозможным, чтобы наши гены определяли точную структуру нашего мозга. Гораздо более вероятно, что они определяют некоторые схемы роста, более или менее подверженные меняющимся влияниям опыта. Кроме того, если бы связи были даже строго детерминированы, мы все равно не знаем механизма, посредством которого мозг может распознавать понятия, например узнавать букву А в разных видах и при некоторых искажениях. Поэтому конструкторы персептрона допускают, чтобы первоначальная структура была случайной, а та структура, которая необходима для распознавания образов, возникала в результате изменений, вызванных правилами поощрения.

Рассматривая зрительную систему лягушки можно обнаружить подтверждение того, что, по крайней мере, в лягушке некоторая очень важная структура предопределена генетически. В теории Винограда -- Кована (Winograd -- Cowan),можно убедимся, что если модульную сеть, предназначенную для определенной цели, преобразовать таким образом, чтобы уменьшить ее чувствительность к ошибкам, появляющимся вследствие неправильного функционирования или гибели нейронов, то в результате получится сеть, имеющая микроскопическую случайность, очень похожую на ту, которая обнаружена микроскопической анатомией мозга. В качестве последнего аргумента против использования полной случайности укажем на то, что имеются умственные акты, доступные ребенку, но совершенно недоступные для гориллы. Это происходит, возможно, вследствие генетически детерминированных различий в структуре. Дарвиновской эволюции понадобились тысячелетия, чтобы сделать наш мозг способным узнавать образы. Было бы крайне удивительно, если бы случайная сеть приобрела такую способность за несколько часов обучения.

Однако нужно признаться, что все вышеприведенные аргументы сводятся к следующему утверждению: адекватная модель человеческого мозга должна быть богата различными специфическими структурами, вроде той, которая обеспечивает восприятие прямых линий. Но это не помогает ответить на вопрос: необходима ли структура для обучения? Другими словами, если допустить, что человеческий мозг обладает структурой, то мы не достигнем еще никакого прогресса в выяснении следующих двух противоположных точек зрения:

- человек разумен потому, что эволюция снабдила его мозгом с очень сложной структурой. Эта структура выполняет различные функции и, в частности, дает ему возможность учиться. Требуется некоторая критическая степень сложности структуры, чтобы сеть могла изменять себя (независимо от сложности ее правил поощрения) таким способом, который мы могли бы считать разумным;

- человек - разумен потому, что эволюция снабдила его мозгом с очень сложными взаимосвязями. Схема взаимосвязей не имеет отношения к истинно разумному обучению, которое является результатом действия правил поощрения на достаточно большую, но существенно случайную сеть.



Рисунок 2.6 - Элементарный персептрон Розенблатта

Возможно, что истина заключается в искусном соединении этих точек зрения.

2.2 Методика обучения персептрона

Способность искусственных нейронных сетей обучаться является их наиболее интригующим свойством. Подобно биологическим системам, которые они моделируют, эти нейронные сети сами моделируют себя в результате попыток достичь лучшей модели поведения.

Используя критерий линейной разделимости, можно решить, способна ли однослойная нейронная сеть реализовывать требуемую функцию. Даже в том случае, когда ответ положительный, это принесет мало пользы, если у нас нет способа найти нужные значения для весов и порогов. Чтобы сеть представляла практическую ценность, нужен систематический метод (алгоритм) для вычисления этих значений. Розенблатт [4] сделал это в своем алгоритме обучения персептрона вместе с доказательством того, что персептрон может быть обучен всему, что он может реализовывать.

Обучение может быть с учителем или без него. Для обучения с учителем нужен «внешний» учитель, который оценивал бы поведение системы и управлял ее последующими модификациями. При обучении без учителя сеть путем самоорганизации делает требуемые изменения. Обучение персептрона является обучением с учителем.

Алгоритм обучения персептрона может быть реализован на цифровом компьютере или другом электронном устройстве, и сеть становится в определенном смысле самоподстраивающейся. По этой причине процедуру подстройки весов обычно называют «обучением» и говорят, что сеть «обучается». Доказательство Розенблатта стало основной вехой и дало мощный импульс исследованиям в этой области. Сегодня в той или иной форме элементы алгоритма обучения персептрона встречаются во многих сетевых парадигмах.

Персептрон обучают, подавая множество образов по одному на его вход и подстраивая веса до тех пор, пока для всех образов не будет достигнут требуемый выход. Допустим, что входные образы нанесены на демонстрационные карты. Каждая карта разбита на квадраты и от каждого квадрата на персептрон подается вход. Если в квадрате имеется линия, то от него подается единица, в противном случае - ноль. Множество квадратов на карте задает, таким образом, множество нулей и единиц, которое и подается на входы персептрона. Цель состоит в том, чтобы научить персептрон включать индикатор при подаче на него множества входов, задающих нечетное число, и не включать в случае четного.



Рисунок 2.7 - Персептронная система распознавания изображений

искусственный нейронный сеть персептрон

На рисунке 2.7 показана такая персептронная конфигурация. Допустим, что вектор Х является образом распознаваемой демонстрационной карты. Каждая компонента (квадрат) Х - (x1, x2, …, xn) - умножается на соответствующую компоненту вектора весов W - (w1, w2, ..., wn). Эти произведения суммируются. Если сумма превышает порог ?, то выход нейрона Y равен единице (индикатор зажигается), в противном случае он - ноль. Эта операция компактно записывается в векторной форме как Y = XW, а после нее следует пороговая операция.

Для обучения сети образ Х подается на вход и вычисляется выход Y. Если Y правилен, то ничего не меняется. Однако если выход неправилен, то веса, присоединенные к входам, усиливающим ошибочный результат, модифицируются, чтобы уменьшить ошибку.

Чтобы увидеть, как это осуществляется, допустим, что демонстрационная карта с цифрой 3 подана на вход и выход Y равен 1 (показывая нечетность). Так как это правильный ответ, то веса не изменяются. Если, однако, на вход подается карта с номером 4 и выход Y равен единице (нечетный), то веса, присоединенные к единичным входам, должны быть уменьшены, так как они стремятся дать неверный результат. Аналогично, если карта с номером 3 дает нулевой выход, то веса, присоединенные к единичным входам, должны быть увеличены, чтобы скорректировать ошибку.

Этот метод обучения может быть подытожен следующим образом:

1. Подать входной образ и вычислить Y.

2 а. Если выход правильный, то перейти на шаг 1;

б. Если выход неправильный и равен нулю, то добавить все входы к соответствующим им весам; или

в. Если выход неправильный и равен единице, то вычесть каждый вход из соответствующего ему веса.

3. Перейти на шаг 1.

За конечное число шагов сеть научится разделять карты на четные и нечетные при условии, что множество цифр линейно разделимо. Это значит, что для всех нечетных карт выход будет больше порога, а для всех четных - меньше. Отметим, что это обучение глобально, т. е. сеть обучается на всем множестве карт. Возникает вопрос о том, как это множество должно предъявляться, чтобы минимизировать время обучения. Должны ли элементы множества предъявляться - последовательно друг за другом или карты следует выбирать случайно? Несложная теория служит здесь путеводителем.

Важное обобщение алгоритма обучения персептрона, называемое дельта-правилом, переносит этот метод на непрерывные входы и выходы. Чтобы понять, как оно было получено, шаг 2 алгоритма обучения персептрона может быть сформулирован в обобщенной форме с помощью введения величины ?, которая равна разности между требуемым или целевым выходом T и реальным выходом Y

? = (T - Y). (2.1)

Случай, когда ?=0, соответствует шагу 2а, когда выход правилен и в сети ничего не изменяется. Шаг 2б соответствует случаю ? > 0, а шаг 2в случаю ? <0.

В любом из этих случаев персептронный алгоритм обучения сохраняется, если ? умножается на величину каждого входа хi и это произведение добавляется к соответствующему весу. С целью обобщения вводится коэффициент «скорости обучения» ?), который умножается на ?хi, что позволяет управлять средней величиной изменения весов.

В алгебраической форме записи

?i = ??xi, (2.2)

w(n+1) = w(n) + ?i, (2.3)

где ?i - коррекция, связанная с i-м входом хi; wi (n+1) - значение веса i после коррекции; wi{n) -значение веса i до коррекции.

Дельта-правило модифицирует веса в соответствии с требуемым и действительным значениями выхода каждой полярности, как для непрерывных, так и для бинарных входов и выходов. Эти свойства открыли множество новых приложений.

Может оказаться затруднительным определить, выполнено ли условие разделимости для конкретного обучающего множества. Кроме того, во многих встречающихся на практике ситуациях входы часто меняются во времени и могут быть разделимы в один момент времени и неразделимы в другой. В доказательстве алгоритма обучения персептрона ничего не говорится также о том, сколько шагов требуется для обучения сети. Мало утешительного в знании того, что обучение закончится за конечное число шагов, если необходимое для этого время сравнимо с геологической эпохой. Кроме того, не доказано, что персептронный алгоритм обучения более быстр по сравнению с простым перебором всех возможных значений весов, и в некоторых случаях этот примитивный подход может оказаться лучше.

На эти вопросы никогда не находилось удовлетворительного ответа, они относятся к природе обучающего материала. Эти проблемы являются важной областью современных исследований.

Обучение сети состоит в подстройке весовых коэффициентов каждого нейрона. Пусть имеется набор пар векторов (x,y), =1..p, называемый обучающей выборкой. Будем называть нейронную сеть обученной на данной обучающей выборке, если при подаче на входы сети каждого вектора x на выходах всякий раз получается соответствующий вектор y.

Предложенный Ф.Розенблаттом метод обучения состоит в итерационной подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах. Алгоритм включает несколько шагов:

Шаг 0. Начальные значения весов всех нейронов полагаются случайными.

Шаг 1. Сети предъявляется входной образ x, в результате формируется выходной образ

Шаг 2. Вычисляется вектор ошибки , делаемой сетью на выходе.

Шаг 3. Вектор весов модифицируется по следующей формуле: . Здесь - темп обучения.

Шаг 4. Шаги 1-3 повторяются для всех обучающих векторов. Один цикл последовательного предъявления всей выборки называется эпохой. Обучение завершается по истечении нескольких эпох, а) когда итерации сойдутся, т.е. вектор весов перестает изменяться, или б) когда полная просуммированная по всем векторам абсолютная ошибка станет меньше некоторого малого значения.

Используемая на шаге 3 формула учитывает следующие обстоятельства:

- модифицируются только компоненты матрицы весов, отвечающие ненулевым значениям входов;

- знак приращения веса соответствует знаку ошибки, т.е. положительная ошибка (>0, значение выхода меньше требуемого) проводит к усилению связи;

- обучение каждого нейрона происходит независимо от обучения остальных нейронов, что соответствует важному с биологической точки зрения, принципу локальности обучения.

Данный метод обучения был назван Ф.Розенблаттом «методом коррекции с обратной передачей сигнала ошибки». Позднее более широко стало известно название « - правило». Представленный алгоритм относится к широкому классу алгоритмов обучения с учителем, поскольку известны как входные вектора, так и требуемые значения выходных векторов (имеется учитель, способный оценить правильность ответа ученика).

Доказанная Розенблаттом теорема о сходимости обучения по - правилу говорит о том, что персептрон способен обучится любому обучающему набору, который он способен представить.

Каждый нейрон персептрона является формальным пороговым элементом, принимающим единичные значения в случае, если суммарный взвешенный вход больше некоторого порогового значения:

Таким образом, при заданных значениях весов и порогов, нейрон имеет определенное значение выходной активности для каждого возможного вектора входов. Множество входных векторов, при которых нейрон активен (y=1), отделено от множества векторов, на которых нейрон пассивен (y=0) гиперплоскостью.

. (2.4)

Следовательно, нейрон способен отделить (иметь различный выход) только такие два множества векторов входов, для которых имеется гиперплоскость, отсекающая одно множество от другого. Такие множества называют линейно разделимыми. Проиллюстрируем это понятие на примере.

Пусть имеется нейрон, для которого входной вектор содержит только две нулевые компоненты , определяющие плоскость. На данной плоскости возможные значения векторов отвечают вершинам единичного квадрата. В каждой вершине определено требуемое значение активности нейрона 0 (на рисунке 2.8 - белая точка) или 1 (черная точка). Требуется определить, существует ли такое такой набор весов и порогов нейрона, при котором этот нейрон сможет отделить точки разного цвета.

На рисунке 2.8 представлена одна из ситуаций, когда этого сделать нельзя вследствие линейной неразделимости множеств белых и черных точек.

Рисунке 2.8 - Белые точки не могут быть отделены одной прямой от черных

Требуемая активность нейрона для этого рисунка определяется таблицей, в которой не трудно узнать задание логической функции “исключающее или”.

X1	X2	Y
0	0	0
1	0	1
0	1	1
1	1	0

Линейная неразделимость множеств аргументов, отвечающих различным значениям функции означает, что функция “исключающее или”, широко использующаяся в логических устройствах, не может быть представлена формальным нейроном.

При возрастании числа аргументов ситуация еще более катастрофична: относительное число функций, которые обладают свойством линейной разделимости резко уменьшается. А значит и резко сужается класс функций, который может быть реализован персептроном (так называемый класс функций, обладающий свойством персептронной представляемости).

Нужно отметить, что позднее, в начале 70-х годов, это ограничение было преодолено путем введения нескольких слоев нейронов, однако критическое отношение к классическому персептрону сильно заморозило общий круг интереса и научных исследований в области искусственных нейронных сетей.

В завершении остановимся на тех проблемах, которые остались открытыми после работ Ф. Розенблатта. Часть из них была впоследствии решена, некоторые остались без полного теоретического решения [5].

1) Практическая проверка условия линейной разделимости множеств. Теорема Розенблатта гарантирует успешное обучение только для персептронно представимых функций, однако ничего не говорит о том, как это свойство практически обнаружить до обучения.

2) Сколько шагов потребуется при итерационном обучении? Другими словами, затянувшееся обучение может быть как следствием не представимости функции (и в этом случае оно никогда не закончится), так и просто особенностью алгоритма.

3) Как влияет на обучение последовательность предъявления образов в течение эпохи обучения?

4) Имеет ли вообще - правило преимущества перед простым перебором весов, т.е. является ли оно конструктивным алгоритмом быстрого обучения?

5) Каким будет качество обучения, если обучающая выборка содержит не все возможные пары векторов? Какими будут ответы персептрона на новые вектора?

Последний вопрос затрагивает глубокие пласты вычислительной нейронауки, касающиеся способностей искусственных систем к обобщению ограниченного индивидуального опыта на более широкий класс ситуаций, для которых отклик был заранее не сообщен нейросети. Ситуация, когда системе приходится работать с новыми образами, является типичной, так как число всех возможных примеров экспоненциально быстро растет с ростом числа переменных, и поэтому на практике индивидуальный опыт сети всегда принципиально не является полным.

2.3 Примеры использования персептронов

Предсказание псевдослучайных последовательностей. Существуют простые рекуррентные зависимости, генерирующие псевдослучайные последовательности чисел. Например, модель, называемая логистической картой, в которой следующее значение последовательности x(t+1) связано с текущим x(t):

(2.5)

где 0 x 1.

График функции F(x) показан на рисунке 2.9. Она имеет максимум F(0,5)=1.

Рисунок 2.9 - Функция, порождающая псевдослучайную последовательность

Если задать x(0) в интревале (0, 1), то по рекуррентной формуле получим псевдослучайную последовательность, элементы которой лежат в интервале (0, 1). Пример такой последовательности, для начального значения x(0)=0,2 представлен на рисунке 2.10.

Рисунок 2.10 - Псевдослучайная последовательность, полученная по формуле (2.5).

Задача состоит в том, чтобы по конкретной реализации случайной последовательности x(t) (рисунок 2.10), получить нейронную сеть, способную генерировать правильные псевдослучайные последовательности, т.е. для любого x, поданного на вход сети, давать x(t+1) на выходе.

Для решения задачи использовалась сеть с одним входом и одним выходом. Сеть содержала один скрытый слой из 5 нейронов. Применялась аналогичная сигмоидальной функция активации:

. (2.6)

Проводилось обучение методом обратного распространения с обучающим множеством, содержащим 1000 точек, т.е. 1000 известных отображений хt?хt1?. Сеть также имела прямые синапсы со входа на выход, минуя скрытый слой.

В результате обучения сеть создала следующее отображение со входа на выход:

(2.7)

Созданное сетью отображение аналитически совсем не похоже на исходную функцию F(x). Тем не менее, отклонение F от F* в рабочем интервале (0, 1) оказывается малым. Графики функций F(x) (пунктир) и F*(x) (непрерывная линия) представлены на рисунке 2.11.



Рисунок 2.11 - Созданная сетью (непр. линия) и исходная функция F(x) (пунктир).

Из графиков рисунка 2.11 следует:

- на рабочем участке сеть правильно выделила закономерность из входных данных; график F практически совпадает с F*; разумеется, при правильно изученной функции F* сеть способна правильно прогнозировать последовательность с любым x(0);

- на основании неявных предположений о функции F (непрерывность и дифференцируемость) сеть адекватно прогнозировала функцию F, т.е. проявила способность к обобщению. Эта способность не присуща сети самой по себе, а определяется выбором функции активации. Если бы в качестве функции активации была выбрана, к примеру, ступенька с линейной частью, функция F* оказалась бы недифференцируемой.

Предсказание вторичной структуры белков. Молекулы белков построены из аминокислотных остатков. В живых белковых молекулах встречаются 20 различных аминокислот.

Различают три уровня структуры белковой молекулы. Первичная структура -- порядок аминокислотных остатков в белковой молекуле, когда она растянута в линейную цепь. Аминокислотные остатки обозначаются трехбуквенными сочетаниями. Пример первичной структуры:

Лиз--Глу--Тре--Ала--Ала

соответствует цепи, состоящей из аминокислотных остатков: лизил--глутаминил--треонил--аланил--аланил.

Структура белковой молекулы в виде линейной цепи оказывается энергетически не самой выгодной. Благодаря изменению формы молекулы близкие участки цепи формируют несколько характерных структур: ??*спираль и ??*формы: параллельную и антипараллельную. Эти формы образуют вторичную структуру белковой молекулы. Она зависит от порядка аминокислотных остатков в молекуле. Третичная структура -- дальний порядок в молекуле, определяет, в каком порядке вторичные структуры образуют клубок или глобулу -- общий вид молекулы.

Задача ставится так: предсказать участки белковой цепи, имеющие определенную вторичную структуру, в данном случае ??*спираль. Для предсказания используется только информация о последовательности аминокислотных остатков в молекуле.

Для кодирования информации об одном аминокислотном остатке в нейросети используется 20 двоичных входов, например:

- Глицил 00000010...0;

- Аланил 0.........01000.

Одновременно в сеть вводится информация о 51 последовательном аминокислотном остатке, со сдвигом. Всего получается 51 * 20 = 1020 входов. Сеть формирует единственный выход -- вероятность того, что участок молекулы, заданный последовательностью из 51 входных аминокислотных остатков, имеет вид ?* спирали. В экспериментах сеть состояла из 40 скрытых нейронов в одном слое, всего 40 000 весов и пороговых уровней. Для обучения бралась известная информация о 56 белках. Для ускорения начального этапа обучения, когда ошибка очень высока, сначала обучающее множество состояло из данных лишь об одном (n=1) белке из 56. Остальные 55 использовались для контроля качества обучения. Когда ошибка немного снижалась, в обучающее множество добавлялась информация еще об одной молекуле и т.д.

На завершающем этапе в обучении участвовали все 56 (n=56) белков [11].

В результате обучения сеть стала давать лучшую точность, чем известные математические методы для предсказания вторичной структуры. Это редкий случай, когда нейросети превосходят математические методы по точности.

Синтез речи: NET7talk. В 1987 г. Сейновский, Розенберг провели эксперименты по преобразованию текста из английских букв в фонемы. Задача синтеза речевого сигнала из фонем гораздо проще, чем преобразование текста в фонемы. Полученное нейронной сетью фонетическое представление затем «прочитывалось» вслух одним из многочисленных коммерческих синтезаторов речи.

Для преобразования текста в фонемы применялся многослойный перцептрон с одним скрытым слоем из 80 нейронов. На вход одновременно подавалась последовательность из 7 букв, каждая из которых кодировалась группой из 29 входов (26 букв алфавита + знаки препинания). Сеть имела 26 выходов для представления одной из 26 фонем с различной окраской звучания, сюда же относились фонемы-паузы.

Сеть прошла 50 циклов обучения по обучающему множеству из 1024 английских слов, и достигла 95% вероятности правильного произношения для слов из этого множества, и вероятности 80% на неизвестных сети словах. Если учесть скромность затрат на реализацию эксперимента, по сравнению с коммерческими синтезаторами, то этот результат очень хорош [19].

ГЛАВА 3. КОМПЬЮТЕРНАЯ ИМИТАЦИОНАЯ МОДЕЛЬ ПЕРСЕПТРОНА РОЗЕНБЛАТТА

3.1 Ограничения, накладываемые на имитационную модель

Один из самых пессимистических результатов Минского показывает, что однослойный персептрон не может воспроизвести такую простую функцию, как ИСКЛЮЧАЮЩЕЕ ИЛИ. Это функция от двух аргументов, каждый из которых может быть нулем или единицей. Она принимает значение единицы, когда один из аргументов равен единице (но не оба). Проблему можно проиллюстрировать с помощью однослойной однонейронной системы с двумя входами, показанной на рисунке 3.1. Обозначим один вход через х, а другой через у, тогда все их возможные комбинации будут состоять из четырех точек на плоскости х-у, как показано на рис. 2.8. Например, точка х = 0 и у = 0 обозначена на рисунке как точка А Таблица 3.1 показывает требуемую связь между входами и выходом, где входные комбинации, которые должны давать нулевой выход, помечены А0 и А1, единичный выход - В0 и В1.

Рисунок 3.1 - Однослойная однонейронная система с двумя входами

В сети на рисунке 3.1 функция F является обычным порогом, так что OUT принимает значение ноль, когда NET меньше 0,5, и единица в случае, когда NET больше или равно 0,5. Нейрон выполняет следующее вычисление

NET = xw1 + yw2. (3.1)

Никакая комбинация значений двух весов не может дать соотношения между входом и выходом, задаваемого таблице 3.1 Чтобы понять это ограничение, зафиксируем NET на величине порога 0,5. Сеть в этом случае описывается уравнением (3.2). Это уравнение линейно по х и у, т. е. все значения по х и у, удовлетворяющие этому уравнению, будут лежать на некоторой прямой в плоскости х-у.

xw1 + yw2 = 0,5. (3.2)

Таблица 3.1. Таблица истинности для функции «ИСКЛЮЧАЮЩЕЕ ИЛИ»

Точки	Значения х	Значения у	Требуемый выход
A0	0	0	0
B0	1	0	1
B1	0	1	1
A1	1	1	0

Любые входные значения для х и у на этой линии будут давать пороговое значение 0,5 для NET. Входные значения с одной стороны прямой обеспечат значения NET больше порога, следовательно, OUT=1. Входные значения по другую сторону прямой обеспечат значения NET меньше порогового значения, делая OUT равным 0. Изменения значений w1, w2 и порога будут менять наклон и положение прямой. Для того чтобы сеть реализовала функцию ИСКЛЮЧАЮЩЕЕ ИЛИ, заданную таблицей 3.1, нужно расположить прямую так, чтобы точки А были с одной стороны прямой, а точки В - с другой. Попытавшись нарисовать такую прямую на рисунке 3.2, убеждаемся, что это невозможно. Это означает, что какие бы значения ни приписывались весам и порогу, сеть неспособна воспроизвести соотношение между входом и выходом, требуемое для представления функции «ИСКЛЮЧАЮЩЕЕ ИЛИ».

Рисунок 3.2 - Проблема ИСКЛЮЧАЮЩЕЕ ИЛИ

Взглянув на задачу с другой точки зрения, рассмотрим NET как поверхность над плоскостью х-у. Каждая точка этой поверхности находится над соответствующей точкой плоскости х-у на расстоянии, равном значению NET в этой точке. Можно показать, что наклон этой NET-поверхности одинаков для всей поверхности х-у. Все точки, в которых значение NET равно величине порога, проектируются на линию уровня плоскости NET (рисунок 3.3).

Рисунок 3.3 - Персептронная NET-плоскость

Ясно, что все точки по одну сторону пороговой прямой спроецируются в значения NET, большие порога, а точки по другую сторону дадут меньшие значения NET. Таким образом, пороговая прямая разбивает плоскость х-у на две области. Во всех точках по одну сторону пороговой прямой значение OUT равно единице, по другую сторону - нулю.

Как мы видели, невозможно нарисовать прямую линию, разделяющую плоскость х-у так, чтобы реализовывалась функция ИСКЛЮЧАЮЩЕЕ ИЛИ. К сожалению, этот пример не единственный. Имеется обширный класс функций, не реализуемых однослойной сетью. Об этих функциях говорят, что они являются линейно неразделимыми, и они накладывают определенные ограничения на возможности однослойных сетей.

Линейная разделимость ограничивает однослойные сети задачами классификации, в которых множества точек (соответствующих входным значениям) могут быть разделены геометрически. Для нашего случая с двумя входами разделитель является прямой линией. В случае трех входов разделение осуществляется плоскостью, рассекающей трехмерное пространство. Для четырех или более входов визуализация невозможна и необходимо мысленно представить n-мерное пространство, рассекаемое «гиперплоскостью» - геометрическим объектом, который рассекает пространство четырех или большего числа измерений.

Так как линейная разделимость ограничивает возможности персептронного представления, то важно знать, является ли данная функция разделимой. К сожалению, не существует простого способа определить это, если число переменных велико.

Нейрон с п двоичными входами может иметь 2n различных входных образов, состоящих из нулей и единиц. Так как каждый входной образ может соответствовать двум различным бинарным выходам (единица и ноль), то всего имеется 22n функций от n переменных.

Таблица 3.2 - Линейно разделимые функции

n	22n	Число линейно разделимых функций
1	4	4
2	16	14
3	256	104
4	65536	1882
5	4,3х109	94572
6	1,8х1019	15 028 134

Как видно из таблицы 3.2, вероятность того, что случайно выбранная функция окажется линейно разделимой, весьма мала даже для умеренного числа переменных. По этой причине однослойные персептроны на практике ограничены простыми задачами.

Эффективность запоминания. Серьезные вопросы имеются относительно эффективности запоминания информации в персептроне (или любых других нейронных сетях) по сравнению с обычной компьютерной памятью и методами поиска информации в ней. Например, в компьютерной памяти можно хранить все входные образы вместе с классифицирующими битами. Компьютер должен найти требуемый образ и дать его классификацию. Различные хорошо известные методы могли бы быть использованы для ускорения поиска. Если точное соответствие не найдено, то для ответа может быть использовано правило ближайшего соседа.

Число битов, необходимое для хранения этой же информации в весах персептрона, может быть значительно меньшим по сравнению с методом обычной компьютерной памяти, если образы допускают экономичную запись. Однако Минский [2] построил патологические примеры, в которых число битов, требуемых для представления весов, растет с размерностью задачи быстрее, чем экспоненциально. В этих случаях требования к памяти с ростом размерности задачи быстро становятся невыполнимыми. Если, как он предположил, эта ситуация не является исключением, то персептроны часто могут быть ограничены только малыми задачами. Насколько общими являются такие неподатливые множества образов? Это остается открытым вопросом, относящимся ко всем нейронным сетям. Поиски ответа чрезвычайно важны для исследований по нейронным сетям.

3.2 Схема имитационной модели Персептрона Розенблатта в среде Delphi

Теперь мы можем обратиться непосредственно к программированию нейронных сетей. Следует отметить, что число публикаций, рассматривающих программную реализацию сетей, ничтожно мало по сравнению с общим числом работ на тему нейронных сетей, и это при том, что многие авторы апробируют свои теоретические выкладки именно программным способом, а не с помощью нейрокомпьютеров и нейроплат, в первую очередь из-за их дороговизны. Возможно, это вызвано тем, что многие к программированию относятся как к ремеслу, а не науке. Однако в результате такой дискриминации остаются неразобранными довольно важные вопросы. Сложным и очень неприятным является вопрос лицензирования сред разработки нейронных сетей. Пожалуй, наилучшим средством для создания нейронных сетей является программа MatLab и встроенный в нее пакет создания нейронных сетей Neural Networks Toolbox, однако цена легального приобретения этой программы непомерно высока. Поэтому большинство программ моделирования нейронных сетей создается при помощи более дешевых универсальных языков программирования (Pascal, C, C++).

Как видно из рассмотренных в первой главе дипломной работы формул, описывающих алгоритм функционирования и обучения нейронных сетей, весь этот процесс может быть записан и затем запрограммирован в терминах и с применением операций матричной алгебры. Судя по всему, такой подход обеспечивает более быструю и компактную реализацию нейросети, нежели ее воплощение на базе концепций объектно-ориентированного программирования. Однако в последнее время преобладает именно объектно-ориентированный подход, что связано, скорее всего, с широким распространением визуальных средств разработки, таких как Visual Studio, Borland Builder, Borland Delphi и др. Программирование нейронных сетей с применением объектно-ориентированного подхода имеет свои плюсы. Во-первых, оно позволяет создать гибкую, легко перестраиваемую иерархию моделей нейронных сетей. Во-вторых, такая реализация наиболее прозрачна для программиста, и позволяет конструировать нейросети даже непрограммистам. В-третьих, уровень абстрактности программирования, присущий объектно-ориентированным языкам, в будущем будет, по-видимому, расти, и реализация нейросетей с объектно-ориентированным подходом позволит расширить их возможности [20,21,29].

Для формирования модели однослойного персептрона в MatLab предназначена функция newp

net = newp(PR, S) со следующими входными аргументами: PR - массив минимальных и максимальных значений для R элементов входа размера Rx2; S - число нейронов в слое.

В качестве функции активации персептрона по умолчанию используется функция hardlim.

Пример:

Функция

net = newp([0 2],l); создает персептрон с одноэлементным входом и одним нейроном; диапазон значений входа- [0 2].

Определим некоторые параметры персептрона, инициализируемые по умолчанию.

Веса входов:

inputweights = net.inputweights{1,1}

inputweights =

del'ays : 0

initFcn: 'initzero'

learn: 1

learnFcn: 'learnp'

learnParam: []

size: [1 1]

userdata: [lxl struct]

weightFcn: 'dotprod'.

Заметим, что функция настройки персептрона по умолчанию learnp; вход функции активации вычисляется с помощью функции скалярного произведения dotprod; функция инициализации initzero используется для установки нулевых начальных весов.

Смещения:

biases = net.biases{1}

biases =

initFcn: 'initzero'

learn: 1

learnFcn: 'learnp'

learnParam: []

size: 1

userdata: [lxl struct]

Нетрудно увидеть, что начальное смещение также установлено в 0.

Моделирование персептрона. Рассмотрим однослойный персептрон с одним двухэлементным вектором входа, значения элементов которого изменяются в диапазоне от -2 до 2:

net = newp([-2 2;-2 2],1); % Создание персептрона net

По умолчанию веса и смещение равны 0, и для того, чтобы установить желаемые значения, необходимо применить следующие операторы:

net.IW{l, l}= [-1 1]; net.b{l} = [1];

В этом случае разделяющая линия имеет вид:

L: -p1 +р2 + 1 =0.

Структурная схема модели персептрона показана на рисунке 3.4

Рисунок 3.4 - Структурная схема модели персептрона

Теперь определим, как откликается сеть на входные векторы р1и р2, расположенные по разные стороны от разделяющей линии:

p1 = [1; 13];

a1 = sim(net,pl) % Моделирование сети net с входным вектором p1

al = 1

р2 = [1; -1];

а2 = sim(net,p2) % Моделирование сети net с входным вектором р2

а2 = О.

Персептрон правильно классифицировал эти 2 вектора.

Заметим, что можно было бы ввести последовательность двух векторов в виде массива ячеек и получить результат также в виде массива ячеек:

% Последовательность двух векторов в виде массива ячеек

рЗ = {[1; 1][1; -1]>;

аЗ = sim(net,p3) % Моделирование сети net при входном сигнале рЗ

аЗ = [1] [0].

Инициализация параметров. Для однослойного персептрона в качестве параметров нейронной сети в общем случае выступают веса входов и смещения. Допустим, что создается персептрон с двухэлементным вектором входа и одним нейроном:

net = newp([-2 2;-2 2],1); Запросим характеристики весов входа:

net.inputweights{l, 1}

ans =

delays: 0

initFcn: 'initzero'

learn: 1

learnFcn: 'learnp'

learnParam: [ ]

size: [1 2]

userdata: [lxl struct]

weightFcn: 'dotprod'.

Из этого перечня следует, что в качестве функции инициализации по умолчанию используется функция initzero, которая присваивает весам входа нулевые значения. В этом можно убедиться, если извлечь значения элементов матрицы весов и смещения:

wts = net.iw{l,l}

wts =00

bias = net.b{l}

bias = 0.

Теперь переустановим значения элементов матрицы весов и смещения:

net.lW{l,l} = [3, 4] net.b{l} = 5

wts =34 bias =5.

Для того, чтобы вернуться к первоначальным установкам параметров персептрона, и предназначена функция init:

net = init(net); wts

wts =00 bias

bias = 0.

Можно изменить способ, каким инициализируется персептрон с помощью функции init. Для этого достаточно изменить тип функций инициализации, которые применяются для установки первоначальных значений весов входов и смещений. Например, воспользуемся функцией инициализации rands, которая устанавливает случайные значения параметров персептрона.

Задать функции инициализации весов и смещений:

net.inputweights{l,1}.initFcn = 'rands';

net.biases{1}.initFcn = 'rands';

% Выполнить инициализацию ранее созданной сети с новыми функциями

net = init(net);

wts = net.IW{l,l>

wts = -0.96299 0.64281

bias = net.b(l)

bias = -0.087065

Видно, что веса и смещения выбраны случайным образом.

Для создания более мощной программы с графическим использовательским интерфейсомиспользовалась среда быстрого проектирования и создания программ - Delphi 5. Эта среда очень удобна для программирования, поэтом была выбрана для реализации компьютерной программы Persrptron.

Программа Perseptron моделирует однослойную нейронную сеть из искусственных нейронов Мак-Каллока - персептрон. Программно предусмотрено создание персептронов, содержащих до 100 нейронов, однако из-за ограниченности площади экрана компьютера отображается и активируется только 3 нейрона. Персептрон содержит:

- Совокупность входов сell - массив до 100 специальных объектов TCell, отображаемых на экране компьютера в виде «флажков», включая и выключая которые можно подавать или отключать сигналы на входах соответствующих нейронов. Каждый вход соединен с каждым нейроном персептрона.

- Совокупность искусственных нейронов Мак-Каллока - массив до 100 специальных объектов TNeuron, отображаемых на экране компьютера в виде прямоугольников, содержащих комбинированные линейки прокрутки для ручной настройки «весовых» коэффициентов нейрона.

Любое изменение входов или весовых коэффициентов любого из нейронов приводит к полному перерасчету сети и, соответственно, изменению содержимого выходов персептрона. В данной программе настройка «весов» нейрона производится «вручную».

Для корректного выхода из программы предусмотрена специальная кнопка «выход», нажатие на которую прервет работу персептрона.

Исходные коды главного модуля программы Perseptron приведены в приложении.

3.3 Описание сеанса работы с компьютерной программой

Определим процесс обучения персептрона как процедуру настройки весов и смещений с целью уменьшить разность между желаемым (целевым) и истинным сигналами на его выходе, используя некоторое правило настройки (обучения). Процедуры обучения делятся на 2 класса: обучение с учителем и обучение без учителя.

При обучении с учителем задается множество примеров требуемого поведения сети, которое называется обучающим множеством

{P1t1,},{p2.t2},..,{PQ,tQ}. (3.3)

Здесь р1 р2, ..., pq - входы персептрона, a t1 t2, ..., tQ -требуемые (целевые) выходы.

При подаче входов выходы персептрона сравниваются с целями. Правило обучения используется для настройки весов и смещений персептрона так, чтобы приблизить значение выхода к целевому значению. Алгоритмы, использующие такие правила обучения, называются алгоритмами обучения сучителем. Для их успешной реализации необходимы эксперты, которые должны предварительно сформировать обучающие множества. Разработка таких алгоритмов рассматривается как первый шаг в создании систем искусственного интеллекта.