3.1.2 Недостатки систем распознавания образов на основе нейросетей

Поскольку способность искусственной нейросети идентифицировать класс принадлежности того или иного образа полностью зависит от точности обучения системы, обучающие данные и используемые методы обучения являются наиболее важными. Порядок обучения требует большого количества данных с тем, чтобы убедиться, что результаты являются статистически значимыми. Однако, основное неудобство применения нейросетей для детектирование вторжения - это природа «черного ящика» нейросети. В отличие от экспертных систем, которые имеют жестко закодированные правила анализа событий, нейросети адаптированы на анализ данных по результатам ее обучения. Веса и активационные функции узлов обычно замораживаются после того, как сеть достигла допустимого уровня успеха в идентификация событий. Хотя анализ изображений достигает достаточно хорошего значения, базовый уровень его зачастую не известен. Проблема «черного ящика» весьма характерна для нейросетевых приложений [2].

3.1.3 Выбор критериев анализа и типа используемой нейросети

Термины «нехарактерный», «неизвестный», «не соответствует» следует рассматривать как нечто, отсутствующее в предыдущем опыте. Иными словами разрабатываемая система должна накапливать определенные знания о поведении тех или иных процессов и сигнализировать об отклонениях в случае их появления.

Чаще всего в задачах подобного рода используются нейронные сети того или иного вида в зависимости от решаемой задачи и точности получаемых результатов.

Таким образом, необходимо выбрать тип используемой нейронной сети или комплекса нейронных сетей.

Выделим основные типы нейронных сетей [3]:

Однонаправленные многослойные сети сигмоидального типа.

Обучение данного вида сетей проводится, как правило, с учителем. Иными словами сеть настраивается таким образом, чтобы при данных входах получать на выходе ожидаемые значения. С точки зрения математики выполняют аппроксимацию стохастической функции нескольких переменных путем преобразования множества входных переменных xR^N во множество выходных переменных yR^M. Могут применяться для прогнозирования и диагностики неисправностей.

Радиальные нейронные сети.

Относятся к категории сетей, обучаемых с учителем. Отличаются некоторыми специфическими свойствами, обеспечивающими более простое отображение характеристик моделируемого процесса.

Рекуррентные сети как ассоциативные запоминающие устройства.

Сети с обратной связью между различными слоями нейронов. Их общая черта состоит в передаче сигналов с выходного либо скрытого слоя во входной слой. Главный принцип работы сводится к запоминанию входных (обучающих) выборок таким образом, чтобы при представлении новой выборки система смогла сгенерировать ответ - какая из запомненных ранее выборок наиболее близка к вновь поступившему образу. Частая область применения - распознавание заученных образов.

Рекуррентные сети на базе персептрона.

Представляют собой развитие однонаправленных сетей персептронного типа за счет добавления в них соответствующих обратных связей. Используются для моделирования динамических процессов, обработки и распознавания сигналов.

Сети с самоорганизацией на основе конкуренции.

При обучении используется метод обучения без учителя, то есть результат обучения зависит только от структуры входных данных. Нейронные сети данного типа часто применяются для решения самых различных задач, от восстановления пропусков в данных до анализа данных и поиска закономерностей, например, в финансовой задаче. В частности могут использоваться прогнозирования.

Сети с самоорганизацией корреляционного типа.

В процессе обучения используется информация о зависимостях между сигналами и выявляются значимые корреляционные зависимости между ними, с подстройкой под них путем адаптации значений синаптических весов. Применяются для сепарации сигналов, анализа главных компонентов PCA (англ.: Principal Component Analysis), анализа независимых компонентов ICA (англ.: Independent Component Analysis), сглаживания и т.п.

Нечеткие нейронные сети.

Характерной особенностью этих сетей является возможность использования нечетких правил вывода для расчета выходного сигнала. По сравнению с традиционными решениями нечеткие нейронные сети демонстрируют качества, связанные с их способностью гладкой аппроксимации пороговых функций.

3.1.4 Общее описание исследуемых нейронных сетей

Однослойные сети. Персептрон

В соответствии с [4] персептрон представляет собой модель обучаемой распознающей системы. Он содержит матрицу светочувствительных элементов (S-элементы), ассоциативные элементы (А-элементы) и реагирующие элементы (R-элементы). По сути персептрон состоит из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов.

В 60^е годы персептроны вызвали большой интерес. Розенблатт [4] доказал теорему об обучении персептрона и тем самым показал, что персептрон способен научиться всему, что он способен представлять. Уидроу [5-7] дал ряд убедительных демонстраций систем персептронного типа. Исследования возможности этих систем показали, что персептроны не способны обучиться ряду простых задач. Минский [8] строго проанализировал эту проблему и показал, что имеются жесткие ограничения на то, что могут выполнять однослойные персептроны, и, следовательно, на то, чему они могут обучаться.

Один из самых пессимистических результатов Минского показывает, что однослойный персептрон не может воспроизвести такую простую функцию как ИСКЛЮЧАЮЩЕЕ ИЛИ. Это - функция от двух аргументов, каждый из которых может быть нулем или единицей. Она принимает значение единицы, когда один из аргументов равен единице (но не оба). Если проблему представить с помощью однослойной однонейронной системы, то легко видеть, что при любых значениях весов и порогов невозможно расположить прямую линию, разделяющую плоскость (пространство образов) так, чтобы реализовывалась функция ИСКЛЮЧАЮЩЕЕ ИЛИ. Имеется обширный класс функций (наряду с функцией ИСКЛЮЧАЮЩЕЕ ИЛИ), не реализуемых однослойной сетью. Об этих функциях говорят, что они являются линейно неразделимыми, и они накладывают определенные ограничения на возможности однослойных сетей. Линейная разделимость ограничивает однослойные сети задачами классификации, в которых множества точек (соответствующих входным значениям) могут быть разделены геометрически. В случае двух входов разделитель является прямой линией. В случае трех входов разделение осуществляется плоскостью, рассекающей трехмерное пространство. Для четырех или более входов визуализация невозможна и необходимо мысленно представить n-мерное пространство, рассекаемое ` `гиперплоскостью'' - геометрическим объектом, который рассекает пространство четырех или большего числа измерений. Как показано в [9], вероятность того, что случайно выбранная функция окажется линейно разделимой, весьма мала. Так как линейная разделимость ограничивает возможности персептронного представления, то однослойные персептроны на практике ограничены простыми задачами.

Чтобы сеть представляла практическую ценность, нужен систематический метод (алгоритм) для вычисления значений весов и порогов. Процедуру подстройки весов обычно называют обучением. Цель обучения состоит в том, чтобы для некоторого множества входов давать желаемое множество выходов. Алгоритм обучения персептрона был предложен в [4] и имеет множество модификаций.

Многослойные сети

Серьезное ограничение представляемости однослойными сетями можно преодолеть, добавив дополнительные слои. Многослойные сети можно получить каскадным соединением однослойных сетей, где выход одного слоя является входом для последующего слоя, причем такая сеть может привести к увеличению вычислительной мощности лишь в том случае, если активационная функция между слоями будет нелинейной.

Многослойные сети способны выполнять общие классификации, отделяя те точки, которые содержаться в выпуклых ограниченных или неограниченных областях. Если рассмотреть простую двухслойную сеть с двумя нейронами в первом слое, соединенными с единственным нейроном во втором слое, то каждый нейрон первого слоя разбивает плоскость на две полуплоскости, образуя в пространстве образов V-образную область, а нейрон второго слоя реализует различные функции при подходящем выборе весов и порога. Аналогично во втором слое может быть использовано три нейрона с дальнейшим разбиением плоскости и созданием области треугольной формы. Включением достаточного числа нейронов во входной слой может быть образован выпуклый многоугольник любой желаемой формы. Точки, не составляющие выпуклой области, не могут быть отделены о других точек плоскости двухслойной сетью.

Трехслойная сеть является более общей. Ее классифицирующие возможности ограничены лишь числом искусственных нейронов и весов. Ограничения на выпуклость отсутствуют. Теперь нейрон третьего слоя принимает в качестве входа набор выпуклых многоугольников, и их логическая комбинация может быть невыпуклой. При добавлении нейронов и весов число сторон многоугольника может неограниченно возрастать. Это позволяет аппроксимировать область любой формы с любой точностью. В добавок не все выходные области второго слоя должны пересекаться. Возможно, следовательно, объединять различные области, выпуклые и невыпуклые, выдавая на выходе единицу всякий раз, когда входной вектор принадлежит одной из них.

Для обучения искусственных нейронных сетей широко применяется процедура обратного распространения

Сети Хопфилда

Сети, рассмотренные выше, не имели обратных связей, т.е. связей, идущих от выходов сети к их входам. Отсутствие обратных связей гарантирует безусловную устойчивость сетей. Так как сети с обратными связями имеют пути от выходов к входам, то отклик таких сетей является динамическим, т.е. после приложения нового входа вычисляется выход и, передаваясь по сети обратной связи, модифицирует вход. Затем выход повторно вычисляется и процесс повторяется снова и снова. Для устойчивой сети последовательные итерации приводят к все меньшим изменениям выхода, пока в конце концов выход не становится постоянным. Для многих сетей процесс никогда не заканчивается, такие сети называются неустойчивыми. Проблема устойчивости ставила в тупик первых исследователей. Никто не был в состоянии предсказать, какие из сетей будут устойчивыми, а какие будут находится в постоянном изменении. К счастью, в работе [10] была получена теорема, описавшая подмножество сетей с обратными связями, выходы которых в конце концов достигают устойчивого состояния. Это замечательное достижение открыло дорогу дальнейшим исследованиям.

Дж. Хопфилд сделал важный вклад как в теорию, так и в применение систем с обратными связями. В его работе [11] при имитации поведения ансамбля нейронов использовались переменные, описывающие состояния нейронов (вектор состояния ), и переменные, описывающие связи между нейронами (оператор памяти W), а также два уравнения, определяющие изменение со временем. Одно из этих уравнений представляет изменение под действием оператора W (выработка реакции на стимул), а второе - изменение матрицы W, квадратичное по (запоминание). При этом вектор состояния ансамбля нейронов представляет собой вектор в фазовом пространстве динамической системы, а ` `память'' реализована как система аттракторов. Запоминание новой информации осуществляется путем усложнения по определенному алгоритму структуры аттракторов. Такой подход допускает простую механическую аналогию, если представить себе вектор состояния как положение частицы, движущейся под действием силы тяжести и трения по некоторому рельефу. При скатывании с ` `горы'' в одну из ``низин'' потенциальная энергия системы уменьшается, и в конце концов материальная точка останавливается из-за трения. Положение частицы в конечном состоянии (т.е. та из низин, в которой она останавливается) зависит как от формы рельефа, так и от начального состояния, с которого началось скатывание. Функционирование сети легко визуализируется геометрически. В случае двух бинарных нейронов в выходном слое каждой вершине квадрата соответствует одно из четырех состояний системы (00,01,10,11). В случае трехнейронной системы пространство образов представлено кубом (в трехмерном пространстве), имеющим 8 вершин, каждая из которых помечена трехбитовым бинарным числом. В общем случае система с n нейронами имеет 2ⁿ различных сосояний и представляется n - мерным гиперкубом. Когда подается новый входной вектор, сеть переходит из вершины в вершину, пока не стабилизируется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если входной вектор частично неправилен или неполон, то сеть стабилизируется к вершине, ближайшей к желаемой.

Дополнительно в ходе анализа поставленной задачи были найдены следующие обобщенные решения на базе нейронных сетей с точки зрения их реализации:

Процесс обучения нейросети:

· задание параметров обучения нейросети;

· процесс обучения нейросети;

· сохранение весовых коэффициентов нейросети;

Каждый из критериев анализа может являться входной информацией для многослойной сети на базе персептрона с алгоритмом обратного распространения ошибки (англ.: error back propagation). Дополнительным преимуществом рассматриваемого сигмоида является автоматический контроль усиления. То есть для слабых сигналов, когда сумма для нейрона с номером j, часто называемая сигналом внутреннего возбуждения, близка к нулю, кривая вход-выход имеет сильный наклон, дающий большое усиление. Когда величина сигнала внутреннего возбуждения становится больше по модулю, усиление снижается. Таким образом, большие по величине сигналы воспринимаются сетью без насыщения, а слабые сигналы проходят по сети без чрезмерного ослабления. Что является важным для данной НИР.

Основная проблема практической реализации в том, что оптимальные выходные значения нейронов всех слоев, кроме последнего, как правило, не известны, и двух или более слойный персептрон уже невозможно обучить, руководствуясь только величинами ошибок на выходах НС. Один из вариантов решения этой проблемы - разработка наборов выходных сигналов, соответствующих входным, для каждого слоя НС, что, конечно, является очень трудоемкой операцией и не всегда осуществимо. Второй вариант - динамическая подстройка весовых коэффициентов синапсов, в ходе которой выбираются, как правило, наиболее слабые связи и изменяются на малую величину в ту или иную сторону, а сохраняются только те изменения, которые повлекли уменьшение ошибки на выходе всей сети. Очевидно, что данный метод «наугад», несмотря на свою кажущуюся простоту, требует громоздких рутинных вычислений. И, наконец, третий, более приемлемый вариант - распространение сигналов ошибки от выходов НС к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Этот алгоритм обучения НС получил название процедуры обратного распространения. Именно он будет использоваться в дальнейшем.

3.2 Детализация модели функционирования программного средства

Было выяснено, что при проектирования данной системы однослойная нейросеть, структура которой описана ниже, будет являться недостаточной для выполнения задачи.

В ходе практической реализации было обнаружено, что модель многослойной нейронной сети сигмоидального типа, использующая стратегию подбора весовых коэффициентов при помощи алгоритма обратного распространения ошибки, является достаточной для осуществления поставленной задачи.

При подборе архитектуры нейросети воспользуемся теоремой Колмогорова, из которой следует, что разрабатываемая нейросеть должна иметь не менее чем один скрытый слой с количеством нейронов = 2*(число входов)+1. Более точное количество скрытых слоёв нейросети и количество нейронов на них будет зависеть от обучаемой выборки.

3.2.1 Детализация функционирования многослойной ИНС сигмоидального типа использующей для обучения алгоритм обратного распространения ошибки

Среди различных структур нейронных сетей (НС) одной из наиболее известных является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя или, в случае первого слоя, со всеми входами НС. Такие НС называются полносвязными. Когда в сети только один слой, алгоритм ее обучения с учителем довольно очевиден, так как правильные выходные состояния нейронов единственного слоя заведомо известны, и подстройка синаптических связей идет в направлении, минимизирующем ошибку на выходе сети. По этому принципу строится, например, алгоритм обучения однослойного персептрона. В многослойных же сетях оптимальные выходные значения нейронов всех слоев, кроме последнего, как правило, не известны, и двух или более слойный перцептрон уже невозможно обучить, руководствуясь только величинами ошибок на выходах НС. Один из вариантов решения этой проблемы - разработка наборов выходных сигналов, соответствующих входным, для каждого слоя НС, что, конечно, является очень трудоемкой операцией и не всегда осуществимо. Второй вариант - динамическая подстройка весовых коэффициентов синапсов, в ходе которой выбираются, как правило, наиболее слабые связи и изменяются на малую величину в ту или иную сторону, а сохраняются только те изменения, которые повлекли уменьшение ошибки на выходе всей сети. Очевидно, что данный метод «тыка», несмотря на свою кажущуюся простоту, требует громоздких рутинных вычислений. И, наконец, третий, более приемлемый вариант - распространение сигналов ошибки от выходов НС к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Этот алгоритм обучения НС получил название процедуры обратного распространения. Именно он будет рассмотрен в дальнейшем.

Согласно методу наименьших квадратов, минимизируемой целевой функцией ошибки НС является величина:

(3.2.1.1)

где - реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; d_jp - идеальное (желаемое) выходное состояние этого нейрона.

Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

 (3.2.1.2)

Здесь w_ij - весовой коэффициент синаптической связи, соединяющей i-ый нейрон слоя n-1 с j-ым нейроном слоя n, - коэффициент скорости обучения, 0<<1.

(3.2.1.3)

Здесь под y_j, как и раньше, подразумевается выход нейрона j, а под s_j - взвешенная сумма его входных сигналов, то есть аргумент активационной функции. Так как множитель dy_j/ds_j является производной этой функции по ее аргументу, из этого следует, что производная активационной функция должна быть определена на всей оси абсцисс. В связи с этим функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых НС. В них применяются такие гладкие функции, как гиперболический тангенс или классический сигмоид с экспонентой. В случае гиперболического тангенса

(3.2.1.4)

Третий множитель s_j/w_ij, очевидно, равен выходу нейрона предыдущего слоя y_i^(n-1). Что касается первого множителя в (3.2.1.3), он легко раскладывается следующим образом:

(3.2.1.5)

Здесь суммирование по k выполняется среди нейронов слоя n+1.

Введя новую переменную

(3.2.1.6)

мы получим рекурсивную формулу для расчетов величин _j⁽ⁿ⁾ слоя n из величин _k⁽ⁿ⁺¹⁾ более старшего слоя n+1.

(3.2.1.7)

Для выходного же слоя

(3.2.1.8)

Теперь мы можем записать (3.2.1.2) в раскрытом виде:

(3.2.1.9)

Иногда для придания процессу коррекции весов некоторой инерционности, сглаживающей резкие скачки при перемещении по поверхности целевой функции, (3.2.1.9) дополняется значением изменения веса на предыдущей итерации

(3.2.1.10)

где - коэффициент инерционности, t - номер текущей итерации.

Таким образом, полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

1. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам, рассчитать значения последних. Напомним, что

(3.2.1.11)

где M - число нейронов в слое n-1 с учетом нейрона с постоянным выходным состоянием +1, задающего смещение; y_i^(n-1)=x_ij⁽ⁿ⁾ - i-ый вход нейрона j слоя n.

y_j⁽ⁿ⁾ = f(s_j⁽ⁿ⁾), где f() - сигмоид (3.2.1.12)

y_q⁽⁰⁾=I_q, (3.2.1.13)

где I_q - q-ая компонента вектора входного образа.

2. Рассчитать ^(N) для выходного слоя по формуле (3.2.1.8).

Рассчитать по формуле (3.2.1.9) или (3.2.1.10) изменения весов w^(N) слоя N.

3. Рассчитать по формулам (3.2.1.7) и (3.2.1.9) (или (3.2.1.7) и (3.2.1.10)) соответственно ⁽ⁿ⁾ и w⁽ⁿ⁾ для всех остальных слоев, n=N-1,… 1.

4. Скорректировать все веса в НС

(3.2.1.14)

5. Если ошибка сети существенна, перейти на шаг 1. В противном случае - конец.

Рисунок 3.1 - Диаграмма сигналов в сети при обучении по алгоритму обратного распространения

Сети на шаге 1 попеременно в случайном порядке предъявляются все тренировочные образы, чтобы сеть, образно говоря, не забывала одни по мере запоминания других. Алгоритм иллюстрируется рисунком 3.1.

Из выражения (3.2.1.9) следует, что когда выходное значение y_i^(n-1) стремится к нулю, эффективность обучения заметно снижается. При двоичных входных векторах в среднем половина весовых коэффициентов не будет корректироваться, поэтому область возможных значений выходов нейронов [0,1] желательно сдвинуть в пределы [-0.5,+0.5], что достигается простыми модификациями логистических функций. Например, сигмоид с экспонентой преобразуется к виду

(3.2.1.15)

Теперь коснемся вопроса емкости НС, то есть числа образов, предъявляемых на ее входы, которые она способна научиться распознавать. Для сетей с числом слоев больше двух, он остается открытым. Как показано в [4], для НС с двумя слоями, то есть выходным и одним скрытым слоем, детерминистская емкость сети C_d оценивается так:

N_w/N_y<C_d<N_w/N_ylog(N_w/N_y) (3.2.1.16)

где N_w - число подстраиваемых весов, N_y - число нейронов в выходном слое.

Следует отметить, что данное выражение получено с учетом некоторых ограничений. Во-первых, число входов N_x и нейронов в скрытом слое N_h должно удовлетворять неравенству N_x+N_h>N_y. Во-вторых, N_w/N_y>1000. Однако вышеприведенная оценка выполнялась для сетей с активационными функциями нейронов в виде порога, а емкость сетей с гладкими активационными функциями, например - (3.2.1.15), обычно больше. Кроме того, фигурирующее в названии емкости прилагательное «детерминистский» означает, что полученная оценка емкости подходит абсолютно для всех возможных входных образов, которые могут быть представлены N_x входами. В действительности распределение входных образов, как правило, обладает некоторой регулярностью, что позволяет НС проводить обобщение и, таким образом, увеличивать реальную емкость. Так как распределение образов, в общем случае, заранее не известно, мы можем говорить о такой емкости только предположительно, но обычно она раза в два превышает емкость детерминистскую.

В продолжение разговора о емкости НС логично затронуть вопрос о требуемой мощности выходного слоя сети, выполняющего окончательную классификацию образов. Дело в том, что для разделения множества входных образов, например, по двум классам достаточно всего одного выхода. При этом каждый логический уровень - «1» и «0» - будет обозначать отдельный класс. На двух выходах можно закодировать уже 4 класса и так далее. Однако результаты работы сети, организованной таким образом, можно сказать - «под завязку», - не очень надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного нейрона в выходном слое или, что еще лучше, нескольких, каждый из которых обучается определять принадлежность образа к классу со своей степенью достоверности, например: высокой, средней и низкой. Такие НС позволяют проводить классификацию входных образов, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство приближает подобные НС к условиям реальной жизни.

Рассматриваемая НС имеет несколько «узких мест». Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидах многих нейронов в область насыщения. Малые величины производной от логистической функции приведут в соответствие с (3.2.1.7) и (3.2.1.8) к остановке обучения, что парализует НС. Во-вторых, применение метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Эта проблема связана еще с одной, а именно - с выбором величины скорости обучения. Доказательство сходимости обучения в процессе обратного распространения основано на производных, то есть приращения весов и, следовательно, скорость обучения должны быть бесконечно малыми, однако в этом случае обучение будет происходить неприемлемо медленно. С другой стороны, слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения. Поэтому в качестве обычно выбирается число меньше 1, но не очень маленькое, например, 0.1, и оно, вообще говоря, может постепенно уменьшаться в процессе обучения. Кроме того, для исключения случайных попаданий в локальные минимумы иногда, после того как значения весовых коэффициентов застабилизируются, кратковременно сильно увеличивают, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние НС, можно более или менее уверенно сказать, что найден глобальный максимум, а не какой-то другой.

3.3 Окончательный вариант решения

Таким образом, описав общую модель функционирования программного средства и детализировав ее основные особенности, можно представить следующую функциональную схему разрабатываемого программного средства с учетом добавления некоторых функционально необходимых элементов, отображующую взаимосвязь различных блоков:

Рисунок 3.2 - Функциональная схема окончательного варианта решения

Заключение

В ходе данной работы был создан прототип программного средства, осуществляющего автоматизированное обнаружение вторжений через анализ файлов системных журналов.

Были разработаны и обоснованы базовые принципы построения данного типа программных средств и определены основные направления дальнейшего совершенствования. В процессе разработки было применено значительное количество оригинальных методик и качественно новых решений, часть которых основана на базовых концепциях современных интеллектуальных систем.

Также был сделан тщательный анализ современной ситуации в разработке средств обнаружения атак и существующих подходов к обнаружению атак в целом.

Список источников

распознавание зрительный образ нейронный

1. Selfridge O. Pandemonium. A paradigm for learning. Proceedings of Symposium on Mechanization of Though Processes. - London, 1959.

2. Ryan, J., Lin, M., and Miikkulainen, R. Intrusion Detection with Neural Networks. AI Approaches to Fraud Detection and Risk Management: Papers from the 1997 AAAIWorkshop (Providence, Rhode Island), Menlo Park, CA: AAAI, 1997

3. Ф. Уоссермен, Нейрокомпьютерная техника, М., Мир, 1992

4. Розенблатт Ф. Принципы нейродинамики. М.: Мир.1965

5. Windrow B. The speed of adaptetion in adaptive control system. 1961

6. Windrow B. A statistical theory of adaptetion. Adaptive control systems. 1963

7. Windrow B., Angell J.B. Reliable, trainable networks for computing and control. 1962

8. Минский М.Л., Пайперт С..Персепроны.М.: Мир.1971

9. Wider R.O. Single-stage logic, Paper presented at the AIEE Fall General Meeting. 1960

10. Cohen M.A., Grossberg S.G. Absoiute stability of global pattern formation and parallel memory storage by compatitive neural networks.1983

11. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. Proseedings of the National Academy of Science 79.1982

12. Итоги науки и техники: физические и математические модели нейронных сетей, том 1 - М.: ВИНИТИ, 1990

13. Нейронные сети. STATISTICA Neural Networks: Пер. с англ. - М.: Горячая линия-Телеком, 2001

14. Сергей А. Терехов. Лекции по теории и приложениям искусственных нейронных сетей - Снежинск, Лаборатория Искусственных Нейронных Сетей НТО-2, ВНИИТФ (alife.narod.ru)

15. Осовский C. Нейронные сети для обработки информации.: Пер. с польского И.Д. Рудинского. - М.: Финансы и статистика, 2002

16. Ясницкий Л.Н. Введение в искусственный интеллект: Учеб. Пособие для студ. высш. учеб. заведений - М.: Издательский центр «Академия», 2005

17. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. - М.: Горячая линия-Телеком, 2006

18. Безопасность жизнедеятельности.: Учебное пособие /Под общ. ред. Ю.В. Зайцева. - Рязань, РГРТА, 2000

Размещено на Allbest.ru