Микроволновое распознавание образов является важной технологией неразрушающего контроля и тестирования благодаря ее потенциальным функциональным возможностям во многих приложениях, таких как контроль спекания материалов, распознавание дефектов и трещин в конструкционных материалах, композитных панелях, деревянных плитах и многих других объектах. Указанная задача относится к классу обратных задач, представляющих повышенную сложность при их решении.

В настоящий момент неразрушающий контроль хорошо проработан для открытых систем. Но из-за высоких температур и ограниченности внутреннего пространства применение этих техник для закрытых систем, используемых в процессе СВЧ обработки материалов, вызывает значительные трудности в измерении параметров среды. Вследствие чего разработка метода бесконтактного микроволнового распознавания образов может быть привлекательным подходом при микроволновом распознавании образов.

В данной работе разрабатывается программное обеспечение, которое позволит отработать технологию мониторинга внутренней структуры материалов при СВЧ обработке. В качестве основного метода мониторинга используется искусственные нейронные сети. Входами нейронной сети являются матрица рассеяния (S-параметры), а выходами - параметры сферической неоднородности. В качестве таких параметров используется координаты и радиус окружности. На этапе тренировки ИНС многократно решается прямая задача нахождения S-параметров системы, содержащей образец с заранее заданными характеристиками, с использованием численного конечноразностного моделирования электромагнитного поля в системе.

Целью дипломной работы является разработка программного обеспечения, которое позволит восстанавливать параметры неоднородностей по результатам электромагнитных измерений, а также проводить эксперименты с различными типами искусственных нейронных сетей.

Для достижения поставленной цели нужно решить следующие задачи: создание искусственной нейронной сети, настройка ее внутренней архитектуры, обучение нейронной сети на заданном обучающем множестве, наглядная демонстрация результатов работы, создание гибкого механизма добавления различных видов ИНС в общее приложение.

1 . Неразрушающий контроль. Реконструкция параметров неоднородностей в материале

1.1 Описание предметной области

1.1.1 Введение в предметную область

Задача неразрушающего контроля имеет важное прикладное значение при разработке технологий получения новых материалов с нано-структурой [1]. Задача заключается в определении внутренней структуры материалов по результатам измерений в резонаторной или волноводной системе, и относится к классу обратных задач электродинамики.

Неразрушающий контроль -- контроль свойств и параметров объекта, при котором не должна быть нарушена пригодность объекта к использованию и эксплуатации.

1.1.2 Общие представления о системе

Технология СВЧ спекания порошковых материалов предполагает использование сложного оборудования. Моделирование такой системы представляет значительные сложности. В то же время, общие принципы технологии неразрушающего контроля должны быть общими как для таких сложных систем, так и для более простых модельных задач, поэтому исследования ведутся на упрощенной модели.

Рассматриваемая система состоит из прямоугольного металлического волновода, содержащего прямоугольный образец, с известной диэлектрической проницаемостью е₁, в котором располагается сферическая неоднородность, так же с известной диэлектрической проницаемостью е₂, как показано на рисунке 1.

неразрушающий контроль нейронный персептрон

Рисунок 1 - Волноводная система

Цель неразрушающего контроля состоит в определении параметров неоднородности. Параметрами неоднородности являются: положения этой неоднородности в образце, координаты x, y, z, а так же размер самой неоднородности, т.е. ее радиус r. Данные параметры восстанавливаются по результатам СВЧ измерений. В качестве измеряемых параметров выступает матрица рассеяния или S-параметры. Матрица рассеяния - матрица, элементы которой описывают физические параметры рассеяния. В технике СВЧ матрица рассеяния связывает линейной зависимостью падающую и отражённую волны на входах многополюсника. В отличие от матриц сопротивлений (проводимостей), а также матриц передачи, матрица рассеяния определена для всех устройств СВЧ. Кроме того, с инженерной точки зрения процесс измерения S-параметров возможен для любых устройств СВЧ, так как он сводится к измерению параметров падающей и отражённой волны на входах устройства.

Так как S-параметры в такой системе чувствительны к профилю диэлектрической проницаемости образца только в направлении распространения электромагнитной волны (вдоль оси ОХ), а образец и неоднородность трехмерны, то для получения полной информации необходимо измерять S-параметры для трех положений образца, повернутых друг относительно друга на 90 градусов. Так же можно применять волновод более сложной формы, но так как используется упрощенная модель, то остановимся на первом способе измерения параметров [2].

1.1.3 Практическое применение

Решение данной задачи имеет большой прикладное значение. На текущий момент, СВЧ печи применяются во многих технологических процессах и часто при этом необходим контроль качества. Рассмотрим некоторые из сфер применения метода:

· Получения новых композитных материалов из порошков. Суть данной задачи заключается в получении композитных материалов из порошков. Процесс происходит следующим образом, в СВЧ печь помещается кювет с порошком определенного материала, во время работы печи порошок спекается и получается композитный материал с интересующими нас свойствами. Но так как прогрев идет не равномерно, ближе к краям спекание идет быстрее, возможны появления в материале неоднородностей, что негативно сказывается на качестве получаемого композитного материала. При раннем обнаружении таких неоднородностей в процесс можно вмешаться, например, изменив мощность СВЧ излучения или направление излучения, предотвратив появление неоднородностей.

· Разморозка материалов. При разморозке материалов, а чаще всего это продукты питания, например, мороженое мясо или рыба, применяют СВЧ печи. Вследствие неоднородности таких материалов, прогрев идет не равномерно и возможен перегрев отдельных участков, т.е. порча материала. Для борьбы с этим явлением СВЧ излучение делают маломощным и не продолжительным, соответственно возможно, либо перегреть и испортить некоторые участки материала или не до конца разморозить материал и продолжить разморозку вне СВЧ печи. Если же иметь возможность мониторинга неоднородностей, то таких проблем можно избежать.

· Cушка материалов. Задача аналогична предыдущей.

Исходя из выше описанного, можно сделать вывод, что нужен простой метод для определения параметров неоднородности. Метод должен позволять определять эти параметры без остановки основного технологического процесса. Выбранный метод как раз попадает под эти условия.

1.2 Задача неразрушающего контроля

Указанная задача относится к классу обратных задач, представляющих повышенную сложность при их решении.

Обратная задача - тип задач, часто возникающий во многих разделах науки, когда значения параметров модели должны быть получены из наблюдаемых данных [3].

Мы хотим определить причины, если известны полученные в результате экспериментов или наблюдений следствия. С точки зрения соотношения «причина-следствие» все задачи математического моделирования можно условно разделить на два больших класса: прямые задачи (известны причины, необходимо найти следствия) и обратные (известны следствия, нужно найти причины). К прямым задачам относятся, например, задачи расчета механических, тепловых, электромагнитных полей для тел, свойства которых и конфигурация известны. Эти задачи к настоящему времени достаточно хорошо изучены и составляют сущность одного из важнейших разделов современной математики - уравнений математической физики или уравнений в частных производных. Первые работы в этой области были написаны более 200 лет назад, и с тех пор накоплено немало результатов, позволяющих, например, исследовать свойства решений, не решая самих уравнений, исследовать вопросы существования и единственности решений, сходимости различных приближенных методов.

Обратные задачи обладают рядом неприятных с математической точки зрения особенностей:

во-первых, они, как правило, не линейны, то есть неизвестная функция или неизвестный параметр входит в операторное или функциональное уравнение нелинейным образом;

во-вторых, решения обратных задач обычно не единственны. Для обеспечения единственности часто необходимо требовать избыточности экспериментальной информации [4].

В качестве модели для поставленной задачи была выбрана нейросетевая модель, т.к. она обладает рядом преимуществ:

· Минимальная подготовительная работа - для начала работы нейронной сети, необходима минимальная аналитическая работа по изучению данных.

· Универсальность модели - возможность решения разного спектра задач, достаточно обучить нейронную сеть на новых данных и она сможет решать измененную задачу. Например, восстанавливать параметры не сферической неоднородности, а цилиндрической или кубической неоднородности.

1.3 Искусственные нейронные сети

1.3.1 Общие понятия. Биологический нейрон

Нейронные сети - это раздел искусственного интеллекта, в котором для обработки сигналов используются явления, аналогичные происходящим в нейронах живых существ. Рассмотрим биологический нейрон и принцип его работы.

Нервная клетка, сокращенно называемая нейроном, является основным элементом нервной системы. Изучение механизмов функционирования отдельных нейронов и их взаимодействия принципиально важно для познания протекающих в нервной системе процессов поиска, передачи и обработки информации. С этой точки зрения представляется необходимым построить и изучить модель биологического нейрона.

Как и у любой другой клетки, у нейрона имеется тело со стандартным набором органелл, называемое сомой, внутри которого располагается ядро. Из сомы нейрона выходят многочисленные отростки, играющие ключевую роль в его взаимодействии с другими нервными клетками. Можно выделить два типа отростков: многочисленные тонкие, густо ветвящиеся дендриты и более толстый, расщепляющийся на конце аксон (рисунок 2).

Входные сигналы поступают в клетку через синапсы, тогда как выходной сигнал отводится аксоном через его многочисленные нервные окончания, называемые колатералами. Колатералы контактируют с сомой и дендритами других нейронов, образуя очередные синапсы. Очевидно, что синапсы, подключающие к клетке выходы других нейронов, могут находиться как на дендритах, так и непосредственно на теле клетки.

Передача сигналов внутри нервной системы - это очень сложный электрохимический процесс. С большим упрощением можно считать, что передача нервного импульса между двумя клетками основана на выделении особых химических субстанций, называемых нейромедиаторами, которые формирую влиянием поступающих от синапсов раздражителей. Эти субстанции воздействуют на клеточную мембрану, вызывая изменение ее энергетического потенциала, причем величина этого изменения пропорциональна количеству нейромедиатора, попадающего на мембрану.

Рисунок 2 - Схема биологического нейрона

Синапсы отличаются друг от друга размерами и возможностями концентрации нейромедиатора вблизи своей оболочки. По этой причине импульсы одинаковой величины, поступающие на входы нервной клетки через различные синапсы, могут возбуждать ее в разной степени. Мерой возбуждения клетки считается уровень поляризации ее мембраны, зависящий от суммарного количества нейромедиатора, выделенного на всех синапсах.

Из сказанного следует, что каждому входу клетки можно сопоставить численные коэффициенты (веса), пропорциональные количеству нейромедиатора, однократно выделяемого на соответствующем синапсе. В математической модели нейрона входные сигналы должны умножаться на эти коэффициенты для того, чтобы корректно учитывать влияние каждого сигнала на состояние нервной клетки. Синапсические веса должны быть натуральными числами, принимающими как положительные, так и отрицательные значения. В первом случае синапс оказывает возбуждающее, а во втором - тормозящее действие, препятствующее возбуждению клетки другими сигналами. Таким образом, действие возбуждающего синапса может моделироваться положительным значением синапсического веса, а действие тормозящего синапса - отрицательным значением.

В результате поступления входных импульсов на конкретные синапсы и высвобождения соответствующих количеств нейромедиатора происходит определенное электрическое возбуждение нервной клетки. Если отклонение от состояния электрического равновесия невелико, либо если баланс возбуждений и торможений является отрицательным, клетка самостоятельно возвращается в исходное состояние, и на ее выходе какие-либо изменения не регистрируются. В этом случае считается, что уровень возбуждения клетки был ниже порога ее срабатывания. Если же сумма возбуждений и торможений превысила порог активации клетки, значение выходного сигнала начинает лавинообразно нарастать, принимая характерный вид нервного импульса (рисунок 3), пересылаемою аксоном на другие нейроны, подключенные к данной клетке. Величина этого сигнала не зависит от степени превышения порога. Клетка действует по принципу "все или ничего". После выполнения своей функции нейромедиатор удаляется. Механизм удаления заключается либо во всасывании этой субстанции клеткой, либо в ее разложении, либо в удалении за пределы синапса.

Одновременно с генерацией нервного импульса в клетке запускается процесс рефракции. Он проявляется как стремительное возрастание порога активации клетки до значения "плюс бесконечность", в результате чего сразу после генерации импульса нейрон теряет способность вырабатывать очередной сигнал даже при сильном возбуждении. Такое состояние сохраняется в течение времени Дt_r называемого периодом абсолютной рефракции. По окончании этого срока наступает период относительной рефракции Дt_w, за который порог срабатывания возвращается к первоначальному значению. В это время клетку можно активировать, но только с приложением более сильных возбуждений. В естественных процессах, как правило, выполняется отношение Дt_w >> Дt_r.

Рисунок 3 - Типичная форма нервного импульса

Кора головного мозга человека является протяженной, образованной нейронами поверхностью толщиной от 2 до 3 мм с площадью около 2200 см², что вдвое превышает площадь поверхности стандартной клавиатуры. Кора головного мозга содержит около 10¹¹ нейронов. Каждый нейрон связан с 10³ - 10⁴ другими нейронами. В целом мозг человека содержит приблизительно от 10¹⁴ до 10¹⁵ взаимосвязей.

Нейронная сеть проявляет высокую устойчивость к помехам - это "стабильная" сеть, в которой отдельные сбои не оказывают существенного влияния на результаты ее функционирования. Таково главное отличие нейронных систем от обычных электронных систем, созданных человеком

Нейроны взаимодействуют посредством короткой серии импульсов, как правило, продолжительностью несколько миллисекунд. Сообщение передается посредством частотно-импульсной модуляции. Частота может изменяться от нескольких единиц до сотен герц, что в миллион раз медленнее, чем самые быстродействующие переключательные электронные схемы. Тем не менее, сложные решения по восприятию информации, как, например, распознавание лица, человек принимает за несколько сотен мс. Эти решения контролируются сетью нейронов, которые имеют скорость выполнения операций всего несколько мс. Это означает, что вычисления требуют не более 100 последовательных стадий. Другими словами, для таких сложных задач мозг "запускает" параллельные программы, содержащие около 100 шагов. Это известно, как правило ста шагов [5]. Рассуждая аналогичным образом, можно обнаружить, что количество информации, посылаемое от одного нейрона другому, должно быть очень маленьким (несколько бит). Отсюда следует, что основная информация не передается непосредственно, а захватывается и распределяется в связях между нейронами. Этим объясняется такое название, как коннекционистская модель, применяемое к ИНС.

1.3.2 Математическая модель нейронной сети. Виды нейронных сетей

В соответствии с принципами функционирования биологических нейронов созданы различные математические модели, которыми в большей или меньшей степени реализуются свойства природной нервной клетки. Обобщенная схема, составляющая основу большинства таких моделей, восходит к представленной на рисунке 4 модели МакКаллока-Питса, содержащей сумматор взвешенных входных сигналов и нелинейный блок выработки выходного сигнала нейрона, функционально зависящего от выходного сигнала сумматора. Свойства нелинейной функции, особенно ее непрерывность, оказывают определяющее влияние на выбор способа обучения нейрона (подбор весовых коэффициентов). Другим важным фактором становится выбор стратегии обучения. Можно выделить два подхода: обучение с учителем и обучение без учителя.

При обучении с учителем предполагается, что, помимо входных сигналов, составляющих вектор x, известны также и ожидаемые выходные сигналы нейрона d_i, составляющие вектор d (от англ. destination). В подобной ситуации подбор весовых коэффициентов должен быть организован так, чтобы фактические выходные сигналы нейрона y_i принимали бы значения, как можно более близкие к ожидаемым значениями d_i. Ключевым элементом процесса обучения с учителем является знание ожидаемых значений d_i выходного сигнала нейрона.

Если такой подход невозможен, остается выбрать стратегию обучения без учителя. Подбор весовых коэффициентов в этом случае проводится на основании либо конкуренции нейронов между собой (стратегии «Winner Takes All - WTA» (Победитель получает все) или «Winner Takes Most - WTM» (Победитель получает больше), либо с учетом корреляции обучающих и выходных сигналов (обучение по Хеббу)). При обучении без учителя на этапе адаптации нейрона мы не можем прогнозировать его выходные сигналы, тогда как при обучении с учителем результат обучения предопределен заранее благодаря априори заданным обучающим выборкам [6].

Из приведенных выше рассуждений следует, что каждый нейрон можно считать своеобразным процессором: он суммирует с соответствующими весами сигналы, приходящие от других нейронов, выполняет нелинейную (например, пороговую) решающую функцию и передает результирующее значение связанным с ним нейронам. В соответствии с действующим правилом "все или ничего" в простейших моделях нейронов выходной сигнал принимает двоичные значения: 0 или 1. Значение 1 соответствует превышению порога возбуждения нейрона, а значение 0 - возбуждению ниже порогового уровня.

В одной из первых моделей нейрона, называемой моделью МакКаллока-Питса (предложенной в 1943 г.), нейрон считается бинарным элементом [7]. Структурная схема этой модели представлена на рисунке 4. Входные сигналы x_j (j = 1, 2, , …, N) суммируются с учетом соответствующих весов w_ij (сигнал поступает в направлении от узла i к узлу j) в сумматоре, после чего результат сравнивается с пороговым значением w_i0. Выходной сигнал нейрона у_i определяется при этом зависимостью

 . (1)

Рисунок 4 - Модель МакКаллока-Питса

Персептрон. Простой персептрон - это обычная модель МакКаллока-Питса с соответствующей стратегией обучения [8]. Структурная схема и обозначения элементов i-го персептрона представлены на рисунке 4. Весовые коэффициенты входов сумматора, на которые поступают входные сигналы x_j, обозначаются w_ij, а пороговое значение, поступающее с так называемого поляризатора, - w_i0. Нелинейная функция активации персептрона представляет собой дискретную функцию ступенчатого типа, вследствие чего выходной сигнал нейрона может принимать только два значения - 0 или 1 в соответствии с правилом:

для , (2)

для , где u_i обозначен выходной сигнал сумматора

 (3)

В приведенной формуле подразумевается, что имеющий длину N вектор x дополнен нулевым членом x₀ = 1, формирующим сигнал поляризации, x = [x₀, x₁, …, x_N]. Обучение персептрона требует наличия учителя и состоит в таком подборе весов w_ij, чтобы выходной сигнал y_i был наиболее близок к заданному значению d_i. Это обучение гетероассоциативного типа, при котором каждой обучающей выборке, представляемой вектором x, априори поставлено в соответствие ожидаемое значение d_i на выходе i-го нейрона.

Наиболее популярный метод обучения персептрона состоит в применении правила персептрона, в соответствии с которым подбор весов осуществляется по следующему алгоритму:

- при первоначально выбранных (как правило, случайным образом) значениях весов w_ij на вход нейрона подеется обучающий вектор x и рассчитывается значение выходного сигнала y_i. По результатам сравнения фактически полученного значения y_i с заданным значением d_i уточняются значения весов;

- если значение y_i совпадает с ожидаемым значением d_i, то весовые коэффициенты w_ij не изменяются;

- если y_i = 0, а соответствующее заданное значение d_i = 1, то значения весов уточняются в соответствии с формулой w_ij(t+1) = w_ij(t) + x_j, где t обозначает номер предыдущего цикла, а (t+1) - номер текущего ц икла;

- если y_i = 1, а соответствующее заданное значение d_i = 0, то значения весов уточняются в соответствии с формулой w_ij(t+1) = w_ij(t) - x_j, где t обозначает номер предыдущего цикла, а (t+1) - номер текущего цикла.

По завершении уточнения весовых коэффициентов представляются очередной обучающий вектор x и связанное с ним ожидаемое значение d_i, и значения весов уточняются заново. Этот процесс многократно повторяется на всех обучающих выборках, пока не будут минимизированы различия между всеми значениями y_i и соответствующими им ожидаемыми значениями d_i.

Следует отметить, что правило персептрона представляет собой частный случай предложенного гораздо позже правила Видроу-Хоффа [10]. В соответствии с этим правилом подбор весовых коэффициентов нейрона (необязательно персептронного типа) проводится по формулам:

(4)

. (5)

Аналогичные соотношения используются при подборе веса поляризатора w_i0, для которого входной сигнал всегда равен 1, в связи с чем

. (6)

Легко заметить, что если сигналы y_i и d_i принимают только двоичные значения 0 и 1, то правило Видроу-Хоффа превращается в правило персептрона.

Характерная особенность как правила персептрона, так и обобщенного правила Видроу-Хоффа состоит в использовании для обучения информации только о текущем и ожидаемых значениях выходного сигнала. В связи с разрывностью нелинейной функции активации персептрона невозможно учитывать информацию об изменении значения y_i. (т.е. ее производную). Минимизация различий между фактическими реакциями нейрона y_i и ожидаемыми значениями d_i может быть представлена как минимизация конкретной функции погрешности (целевой функции) Е, чаще всего определяемой как

, (7)

где p означает количество предъявляемых обучающих выборок. Такая минимизация при использовании правила персептрона производится по методу безградиентной оптимизации. Эффективность метода при большом количестве обучающих выборок относительно невелика, а количество циклов обучения и его длительность возрастают очень быстро, причем без всякой гарантии достижения минимума целевой функции. Устранить эти недостатки можно только в случае применения непрерывной функции активации, при которой целевая функция Е также становится непрерывной, что дает возможность использовать в процессе обучения информацию о величине градиента [9].

Сигмоидальный нейрон.

Нейрон сигмоидального типа имеет структуру, подобную модели МакКаллока-Питса, с той разницей, что функция активации является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции [11]. Униполярная функция, как правило, представляется формулой

(8)

тогда как биполярная функция задается в виде:

(9)

Рисунок 5 - Модель сигмоидального нейрона

В этих формулах параметр в подбирается пользователем. Его значение влияет на форму функции активации. На рисунке 6 представлены графики сигмоидальной функции от переменной х для различных значений в, причем на рисунке 6 показана униполярная, а на рисунке 7 - биполярная функция. Графики обеих функций сильно зависят от значения в. При малых величинах в график функции достаточно пологий, но по мере роста значения в крутизна графика увеличивается. При в>? сигмоидальная функция превращается в функцию ступенчатого типа, идентичную функции активации персептрона. На практике чаще всего для упрощения используется значение в = 1.

Рисунок 6 - График униполярной сигмоидальной функции

Рисунок 7 - График биполярной сигмоидальной функции при различных значениях коэффициента в

Важным свойством сигмоидальной функции является ее дифференцируемость. Для униполярной функции имеем:

(9)

тогда как для биполярной функции

. (10)

И в первом, и во втором случае график изменения производной относительно переменной х имеет колоколообразную форму, а его максимум соответствует значению х = 0 (рисунок 8).

Рисунок 8 - График производной от сигмоидальной функции при различных значениях коэффициента в

Сигмоидальный нейрон, как правило, обучается с учителем по принципу минимизации целевой функции, которая для единичного обучающего кортежа <x,d> i-го нейрона определяется в виде

(11)

где . (12)

Функция f(u_i) является сигмоидальной, x - это входной вектор, x=[x₀, x₁, …, x_N]^T со значением х₀ = 1 при наличии поляризации и х₀ = 0 при ее отсутствии, а d_i - соответствующее ему ожидаемое значение на выходе i-го нейрона. Применение непрерывной функции активации позволяет использовать при обучении градиентные методы. Проще всего реализовать метод наискорейшего спуска, в соответствии с которым уточнение вектора весов w = [w₁₀, w₁₁, …, w_iN]^T проводится в направлении отрицательного градиента целевой функции.

Если эта функция определена выражением (11), j-я составляющая градиента имеет вид:

, (13)

где e_i = (y_i - d_i) означает разницу между фактическим и ожидаемым значением выходного сигнала нейрона. Если ввести обозначение то можно получить выражение, определяющее j-ю составляющую градиента в виде

(14)

Значения весовых коэффициентов также могут уточняться дискретным способом:

(15)

где - это коэффициент обучения, значение которого, как правило, выбирают либо эмпирически из интервала (0,1), либо решением разностного уравнения

(16)

в котором константа м выступает в роли, аналогичной значению в уравнении (15). Два последних уравнения определяют алгоритм обучения нейрона. На эффективность обучения оказывает сильное влияние подбор коэффициента обучения. В существующих приложениях его величина может задаваться константой либо быть переменной величиной, значение которой изменяется в процессе обучения адаптивным способом либо подбирается на каждом шаге по принципу направленной минимизации. Наиболее эффективным, но одновременно и наиболее трудоемким считается метод направленной минимизации, по которому коэффициент обучение подбирается на каждом шаге путем минимизации целевой функции от однородной переменной в направлении наискорейшего уменьшения значений этой целевой функции.

Радиальные нейронные сети.

Многослойные нейронные сети с точки зрения математики выполняют аппроксимацию стохастической функции нескольких переменных путем преобразования множества входных переменных xR^N во множество выходных переменных yR^M . Вследствие характера сигмоидальной функции активации осуществляется аппроксимация глобального типа. В результате ее нейрон, который был однажды включен (после превышения суммарным сигналом u_i определенного порогового значения), остается в этом состоянии при любом значении u_i, превышающем этот порог. Поэтому всякий раз преобразование значения функции в произвольной точке пространства выполняется объединенными усилиями многих нейронов, что и объясняет название глобальная аппроксимация.

Другой способ отображения входного множества в выходное заключается в преобразовании путем адаптации нескольких одиночных аппроксимирующих функций к ожидаемым значениям, причем эта адаптация проводится только в ограниченной области многомерного пространства. При таком подходе отображение всего множества данных представляет собой сумму локальных преобразований. С учетом роли, которую играют скрытые нейроны, они составляют множество базисных функций локального типа. Выполнение одиночных функций (при ненулевых значениях) регистрируется только в ограниченной области пространства данных - отсюда и название локальная аппроксимация.

Особое семейство образуют сети с радиальной базисной функцией, в которых скрытые нейроны реализуют функции, радиально изменяющиеся вокруг выбранного центра и принимающие ненулевые значения только в окрестности этого центра. Подобные функции, определяемые в виде ц(х) = ц(¦х-с¦), будем называть радиальными базисными функциями. В таких сетях роль скрытого нейрона заключается в отображении радиального пространства вокруг одиночной заданной точки либо вокруг группы таких точек, образующих кластер. Суперпозиция сигналов, поступающих от всех скрытых нейронов, которая выполняется обходным нейроном, позволяет получить отображение всего многомерного пространства.

Сети радиального типа представляют собой естественное дополнение сигмоидальных сетей. Сигмоидальный нейрон представляется в многомерном пространстве гиперплоскостью, которая разделяет это пространство на две категории (два класса), в которых выполняется одно из двух условий: либо либо Такой подход продемонстрирован на рисунке 9. В свою очередь радиальный нейрон представляет собой гиперсферу, которая осуществляет шаровое разделение пространства вокруг центральной точки (рисунок 9). Именно с этой точки зрения он _вляяется естественным дополнением сигмоидального нейрона, поскольку в случае круговой симметрии данных позволяет заметно уменьшить количество нейронов, необходимых для разделения различных классов.

Рисунок 9 - Иллюстрация способов разделения пространства данных:

а) сигмоидальным нейроном; б) радиальным нейроном

Поскольку нейроны могут выполнять различные функции, в радиальных сетях отсутствует необходимость использования большого количества скрытых слоев. Структура типичной радиальной сети включает входной слой, на который подаются сигналы, описываемые входным вектором х, скрытый слой с нейронами радиального типа и выходной слой, состоящий, как правило, из одного или нескольких линейных нейронов. Функция выходного нейрона сводится исключительно к взвешенному суммированию сигналов, генерируемых скрытыми нейронами [12].

Математические основы

Математическую основу функционирования радиальных сетей составляет теорема Т. Ковера [13] о распознаваемости образов, в соответствии с которой нелинейные проекции образов в некоторое многомерное пространство могут быть линейно разделены с большей вероятностью, чем при их проекции в пространство с меньшей размерностью.

Если вектор радиальных функций ц(х)= [ц₁(х), ц₂(х),…, ц_К(х)]^Т в N-мерном входном пространстве обозначить ц(х), то это пространство является нелинейно ц-разделяемым на два пространственных класса Х⁺ и Х ^? тогда, когда существует такой вектор весов w, что

w^T ц(х)>0 x Х⁺, (17)

w^T ц(х)<0 x Х ^?. (18)

Граница между этими классами определяется уравнением w^T ц(х)=0. В [13] доказано, что каждое множество образов, случайным образом размещенных в многомерном пространстве, является ц--разделяемым с вероятностью 1 при условии соответственно большой размерности К этого пространства. На практике это означает, что применение достаточно большого количества скрытых нейронов, реализующих радиальные функции ц(х), гарантирует решение задачи классификации при построении всего лишь двухслойной сети: скрытый слой должен реализовать вектор ц(х), а выходной слой может состоять из единственного линейного нейрона, выполняющего суммирование выходных сигналов от скрытых нейронов с весовыми коэффициентами, заданными вектором w.