Распознавание слов естественного языка с использованием нейросетей

Ф. Розенблаттом использовал в своем персептроне не дифференцируемую ступенчатую функцию активации. Возможно, именно это помешало ему найти эффективный алгоритм обучения, хотя сам термин Back Propagation восходит к его попыткам обобщить свое правило обучения одного нейрона на многослойную сеть.

Разберем этот ключевой для нейрокомпьютинга метод несколько подробнее.

Алгоритм обратного распространения - это итеративный градиентный алгоритм, который используется с целью минимизации среднеквадратичного отклонения текущего выхода многослойного персептрона и желаемого выхода.

Алгоритм обратного распространения используется для обучения многослойных нейронных сетей с последовательными связями. Нейроны в таких сетях делятся на группы с общим входным сигналом - слои. На каждый нейрон первого слоя подаются все элементы внешнего входного сигнала. Все выходы нейронов m-го слоя подаются на каждый нейрон слоя m+1. Нейроны выполняют взвешенное суммирование элементов входных сигналов. К сумме элементов входных сигналов, помноженных на соответствующие синаптические веса, прибавляется смещение (порог) нейрона. Над результатом суммирования выполняется нелинейное преобразование - функция активации (передаточная функция). Значение функции активации есть выход нейрона.

На рисунке 1 показана укрупненная схема многослойной сети (многослойного персептрона). Нейроны представлены кружками, связи между нейронами - линиями со стрелками.

Рисунок 1 - Многослойный персептрон

Обозначим входы n-го слоя нейронов , весовые коэффициенты w_ij. Нейроны этого слоя вычисляют соответствующие линейные комбинации a_i:

(1)

и передают их на следующий слой, пропуская через нелинейную функцию активации:

. (2)

Нелинейная функция f называется активационной и может иметь различный вид, как показано на рисунке 2. Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида):

(3)

При уменьшении сигмоид становится более пологим, в пределе при =0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции - простое выражение для ее производной.

Рисунок 2 - а) функция единичного скачка; б) линейный порог (гистерезис); в) гиперболический тангенс; г) сигмоид

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

Для построения алгоритма обучения необходимо знать производную ошибки по каждому из весов сети:

. (4)

Таким образом, вклад в общую ошибку каждого веса вычисляется локально, простым умножением невязки нейрона на значение соответствующего входа. (Из-за этого, в случае, когда веса изменяют по направлению скорейшего спуска , такое правило обучения называют дельта-правилом.)

Входы каждого слоя вычисляются последовательно от первого слоя к последнему во время прямого распространения сигнала:

, (5)

а невязки каждого слоя вычисляются во время обратного распространения ошибки от последнего слоя (где они определяются по выходам сети) к первому:

. (6)

Области применения многослойных персептронов, с обучением по методу обратного распространения:

- распознавание образов;

- классификация;

- прогнозирование;

- экспертные системы.

Рассмотрим алгоритм сети обратного распространения ошибки подробнее.

Входной набор данных, на котором сеть должна быть обучена, подается на входной слой сети (рисунок3), и сеть функционирует в нормальном режиме (т.е. вычисляет выходные данные).

Рисунок 3 - Прямое распространение сигнала

Полученные данные сравниваются с известными выходными данными для рассматриваемого входного набора. Разница между полученными и известными (опытными) данными - вектор ошибки.

Вектор ошибки используется для модифицирования весовых коэффициентов выходного слоя с тем, чтобы при повторной подаче (рисунок 4) того же набора входных данных вектор ошибки уменьшался.

Рисунок 4 - Модифицирование весовых коэффициентов выходного слоя (обратное распространение ошибки)

Затем таким же образом модифицируются весовые коэффициенты скрытого слоя, на этот раз сравниваются выходные сигналы нейронов скрытого слоя и входные сигналы нейронов выходного слоя (рисунок 5), целью данного сравнения является формирование вектора ошибки для скрытого слоя.

Рисунок 5 - Модифицирование весовых коэффициентов скрытого слоя (обратное распространение ошибки)

Если в сети существует входной слой (именно слой, а не ряд входных значений), то проводятся аналогичные действия и с ним.

Следует заметить, что ошибка может быть распространена на любой желаемый уровень (т.е. в нейронной сети может быть неограниченное количество скрытых слоев, для которых рассчитывается вектор ошибки по одной и той же схеме).

Сеть обучается путем предъявления каждого входного набора данных и последующего распространения ошибки. Этот цикл повторяется много раз. Например, для распознавания цифры от 0 до 9, сначала обрабатывается символ "0", символ "1" и так далее до "9", затем весь цикл повторяется много раз. Не следует поступать иначе, а именно, обучать сеть по отдельности сначала символу "0" (n-ое количество раз), потом "1", потом "2" и т.д., т.к. сеть вырабатывает очень "четкие" весовые коэффициенты для последнего входного набора (то есть для "9"), "забывая" предыдущие. Например, к тысячному повтору обучения символу "1" теряются весовые коэффициенты для распознавания символа "0". Повторяя весь цикл для всего набора входных данных, мы предполагаем, что каждый символ оказывает равноправное влияние на значения весовых коэффициентов.

Таким образом, полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

1. Инициализировать пороговые значения и весовые коэффициенты небольшими случайными величинами (не более 0.4).

2. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам.

3. Вычислить ошибки для выходного слоя. При этом используем следующую формулу для каждого i-ого значения выходного слоя:

E_i = (t_i - a_i).a_i.(1 - a_i) (7)

Здесь E_i - ошибка для i-ого узла выходного слоя,

a_i - активность данного узла,

t_i - требуемая активность для него же (т.е. требуемое выходное значение).

Используем значения ошибок выходного слоя для определения ошибок в скрытом слое. Формула практически та же, но теперь не определены желаемые выходные значения. Вычислить взвешенную сумму значений ошибок выходного слоя по формуле:

E_i = a_i. (1 - a_i). У_j E_j.w_ij (8)

Смысл переменных по сравнению с формулой (9) изменился незначительно. индекс i используется для нейронов скрытого слоя (а не выходного), E_i, следовательно, значение ошибки для нейрона скрытого слоя, и a_i - сигнал на выходе нейрона. Индекс j относится к нейронам выходного слоя: wij - вес (весовой коэффициент) связи между i-ым скрытым нейроном и j-ым выходным нейроном, а E_j - значение ошибки для выходного нейрона j. Суммирование проводится для всех весов связей между отдельно взятым i-ым нейроном и всеми нейронами выходного слоя.

Обратим внимание, что сумма включает в себя взвешенные связи только между рассматриваемым в данный момент нейроном скрытого слоя и всеми нейронами выходного слоя.

Полученные значения ошибок для выходного слоя будем использовать для изменения весовых коэффициентов между скрытым и выходным слоями. Вычислить все значения ошибок до модификации весовых коэффициентов, так как в формуле присутствуют и старые значения весов.

Применяем уравнение:

new w_ij = old w_ij + зд_j.x_i (9)

где w_ij - вес связи между нейроном i скрытого слоя и нейроном j выходного;

д_j - приращение ошибки для выходного нейрона j;

x_i - сигнал на выходе скрытого нейрона i;

з - константа.

Константа используется для того, чтобы обучение не проводилось слишком быстро, то есть весовые коэффициенты не изменялись слишком сильно за один шаг обучения (что является причиной прыжков сходимости при обучении сети).

Пороговые уровни нейронов также инициализируются небольшими случайными числами и нуждаются в обучении. Пороговые уровни трактуются так же, как и весовые коэффициенты, за исключением того, что входные значения для них всегда равны -1 (знак минуса - т.к. уровни вычитаются во время функционирования сети):

new threshold = old threshold + зд_j.(-1) (10)

или (в более удобном виде):

new threshold = old threshold - зд_j (11)

1.3 Постановка задачи

Задачей данного курсового проекта является создание программы распознавания слов естественного языка с использованием нейросетей. Для ее выполнения была выбрана нейронная сеть обратного распространения ошибки, которая будет реализована на языке программирования C# в виде класса. Класс будет содержать конструктор, на который будут подаваться значения следующих параметров:

- обучающая выборка;

- тестовая выборка;

- количество нейронов скрытого слоя;

- коэффициент обучения;

- момент;

- количество эпох обучения.

Для перевода обучающих и тестовых слов в двоичный вид, а также сохранения слов-исключений в хеш-таблице будут предусмотрены отдельные классы.

Также будет создан класс, производящий разбиение текста на отдельные лексемы и их распознавание средствами нейросети и хеш-таблицы.

Соответственно, для решения поставленной задачи необходимо создание четырех классов:

- класс нейросети и средств ее обработки;

- класс перевода текста в двоичный вид;

- класс хеш-таблицы и методов работы с ней;

- класс разбиения текста на лексемы и распознавания.

Созданные классы будут оформлены в виде библиотечного компонента.

Для тестирования созданного класса будет создано Windows-приложение с использованием визуальных компонентов. Тестирующая программа должна осуществлять ввод текстовой информации из файла и с клавиатуры, а также ввод параметров нейросети: количество эпох обучения, количество нейронов скрытого слоя, момент и коэффициент обучения.

2. Проектирование библиотеки классов для реализации нейросети и тестовой программы

2.1 Программная реализация нейросети обратного распространения ошибки

Алгоритм был реализован в виде класса NeuroNetwork. UML диаграмма класса представленна на рисунке 6.

Рисунок 6 - UML-диаграмма класса NeuroNetwork

Параметры конструктора:

- обучающая выборка - INP_PATTERNS;

- желаемый выход - OUT_PATTERNS;

- момент - M;

- коэффициент обучения - BETA;

- количество нейронов скрытого слоя - N_HID;

- количество нейронов входного слоя - Max_inp;

- количество образцов, содержащихся в обучающей выборке - Max_par;

- количество эпох обучения - Epoch;

- имя файла с обучающей выборкой - name;

- логическая пременная indicate, сигнализирующая о необходимости обучения сети.

Ввод тестируемой выборки производится посредствам метода get_test_pattern(double[] tests).

Для описания нейрона была создана структура neuron_type, содержащая следующие поля:

- список весовых коэффициентов для связей между данным нейроном и всеми нейронами предыдущего слоя (или входными данными, если нейрон находится во входном слое). Каждый весовой коэффициент - действительное число (по 1 весовому коэффициенту на нейрон предыдущего слоя);

- пороговый уровень;

- значение ошибки, используется только на стадии обучения;

- изменение ошибки, также используется только во время обучения.

Описание нейрона привидено ниже:

struct neuron_type

{

public double[] w; //весовые коэффициенты

public double[] change;//модификация весовых коэффициентов используется в процессе обучения

public double threshold, a; //а-сигнал на выходе нейрона,threshold-значение порога

public double t_change; //модификация порога используется в процессе обучения

public double E; //значение ошибки

}

Выходной сигнал нейрона хранится в поле a (так называемая активность нейрона). Нейрон должен отреагировать на входной сигнал, поступающий по взвешенным связям, вычислив при этом выходной сигнал. Для трансформации входных сигналов в выходные необходима функция.

Ниже приведена декларация узлов с помощью закрытых переменных. Постоянные обозначают количество нейронов во входном, скрытом и выходном слое:

int MAX_INP; //Количество нейронов в входном слое

int MAX_HID; //Количество нейронов в скрытом слое

int MAX_OUT; //Количество нейронов в выходном слое

neuron_type[] ipl; //Входной слой

neuron_type[] hl; //Скрытый слой

neuron_type[] ol; //Выходной слой

Функция активации (2) была реализована в открытом методе sigmoid. В данном метода используется формула (3). Код на С# для этого метода:

private double sigmoid(double x)

{ return 1 / (1 + Math.Exp(-x)); }

Однако функция Exp приводит к ошибке в программе, если входное значение выходит из промежутка -39..38. К счастью, эти значения настолько далеко отстоят от начала координат, что мы можем считать: при аргументе < -39 значение функции равно 0, при аргументе > 38, - значение функции равно 1. Для предотвращения ошибки добавим несколько строчек:

private double sigmoid(double x)

{ if (Math.Abs(x) < 38) //проверка условия нахождения функции в интервале -39..38

{ return 1 / (1 + Math.Exp(-x)); }

else

{ if (x >= 38)

{ return 1; }

else { return 0; } } }

Биологические нейроны не срабатывают (не выдают выходной сигнал) до тех пор, пока уровень входного сигнала не достигнет некоторого порогового значения, т.е. на вход нейрона поступает сумма взвешенных сигналов минус некоторая величина. Полученное значение проходит через активационную функцию.

Каждая активность нейрона предыдущего слоя умножается на соответствующий весовой коэффициент, результаты умножения суммируются (1), вычитается пороговое значение, вычисляется значение сигмоидной функции (5). Вот пример на С#:

Вычисление суммы взвешенных сигналов для входного набора данных

private void run_input_layer()

{ double sum = 0;

for (int i = 0; i < MAX_INP; i++)

{ sum = 0;

for (int j = 0; j < MAX_INP; j++)

{ sum = sum + ipl[i].w[j] * test_pat[j];//(1) }

ipl[i].a = sigmoid(sum - ipl[i].threshold);//(5) } }

Вычисление суммы взвешенных сигналов для скрытого и выходного слоев (методы run_hidden_layer и run_output_layer) производится аналогично.

Каждый слой нейронов базируется на выходе предыдущего слоя (за исключением входного слоя, базирующегося непосредственно на предъявляемых сети входных данных (в коде - массив test_pat). Это значит, что значения входного слоя должны быть полностью рассчитаны до вычисления значений скрытого слоя, которые в свою очередь, должны быть рассчитаны до вычисления значений выходного слоя.

Выходы нейронной сети - значения активностей (поле a) нейронов выходного слоя. Программа, симулирующая работу нейронной сети, в процессе обучения будет сравнивать их со значениями, которые должны быть на выходе сети.

Полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

1. Инициализировать пороговые значения и весовые коэффициенты небольшими случайными величинами (не более 0.4). Инициализация весовых коэффициентов случайными вещественными значениями с помощью класса Random производится в функции random_weights.

2. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам, рассчитать значения последних. Метод run_the_networ.

3. Вычислить ошибки для выходного слоя (calculate_output_layer_errors). При этом используем формулу (7) для каждого i-ого значения выходного слоя. Ниже представлена соответствующая функция:

private void calculate_output_layer_errors()

{ for (int j = 0; j < MAX_OUT; j++)

{ ol[j].E = (desired[j] - ol[j].a) * ol[j].a * (1 - ol[j].a); } }

Вычисление ошибки для скрытого и входного слоев производится методами calculate_input_layer_errors и calculate_hidden_layer_errors по формуле (8). Код соответствеющей функции для входного слоя предтсавлен ниже:

private void calculate_input_layer_errors()

{

double sum;

for (int i = 0; i < MAX_INP; i++)

{

sum = 0; // {Сумма ошибок скрытого слоя}

for (int j = 1; j < MAX_HID; j++)

{ sum = sum + hl[j].E * hl[j].w[i]; }

ipl[i].E = ipl[i].a * (1 - ipl[i].a) * sum;

}

}

Используя формулы (9), (10), (11) получим функцию, обучающую весовые коэффициенты и пороговые уровни:

private void weight_change()

{ //i обозначает нейрон скрытого слоя, j - выходного

for (int j = 0; j < MAX_OUT; j++) //выходной слой

{ for (int i = 0; i < MAX_HID; i++) //Подстройка}

{ ol[j].change[i] = BETA * ol[j].E * hl[i].a + M * ol[j].change[i];

ol[j].w[i] = ol[j].w[i] + ol[j].change[i]; }

//Подстройка значения порога

ol[j].t_change = BETA * ol[j].E * 1 + M * ol[j].t_change;

ol[j].threshold = ol[j].threshold + ol[j].t_change; // }

//Модифицируем веса между входным слоем и скрытым слоем

…

//Модифицируем веса между входами и входным слоем

… } }

Далее объединим вышеуказанные функции в одном методе back_propogate().

В общем виде функция обучения сети будет выглядеть следующим образом:

public void train_the_network()

{ blank_changes();//Очистка предыдущих значений changes}

for (int loop = 0; loop < num_cycles; loop++)

{ for (int pat = 0; pat < MAX_PAT; pat++)

{ for (int i = 0; i < MAX_INP; i++) //Копирование входного образа}

{ test_pat[i] = INP_PATTERNS[pat, i]; } /в массив 'test_pat'

for (int i = 0; i < MAX_OUT; i++) //Копирование выходного образа

{ desired[i] = OUT_PATTERNS[pat, i]; } //в массив'desired'

run_the_network();//Определение выходов сети

back_propagate(); } }

AddWeightsToFile(); }

Для очистки предыдущих значений используется функция blank_changes.

Для упрощения временной сложности работы сети полученные весовые коэффициенты будем записывать в отдельные файлы (метод AddWeightsToFile()), имена которым даются программой автоматически Для считывания сохраненных параметров будет применяться метод ExtractWeights().

2.2 Класс перевода текста в двоичный вид

Данный класс предназначен для бинаризации исходных данных (слов), т.е. перевода слов с естественного языка в набор единиц и нулей. Данная процедура является необходимой, т.к. нейронная сеть обратного распространения ошибки работает только с двоичными данными. UML диаграмма класса Binarization представлена на рисунке 7.